CAMA: Enhancing Mathematical Reasoning in Large Language Models with Causal Knowledge

文章主要内容总结本文针对大型语言模型（LLMs）在复杂数学推理任务中表现不佳的问题，提出了一种名为CAusal MAthematician（CAMA）的两阶段因果框架。该框架通过引入数学因果图（Mathematical Causal Graph, MCG）增强LLMs的数学推理能力，具体内容如下：核心动机：LLMs在数学推理中受限于Transformer架构的固定推理深度和对统计模式的依赖，难以处理具有深层结构依赖的复杂问题。CAMA旨在通过结构化推理指导（而非纯数据驱动预测）解决这一问题。CAMA框架：学习阶段：首先从问题-解决方案对中提取知识点，结合LLM先验知识和因果发现算法（如PC算法）构建初始MCG（节点为知识点，有向边表示因果依赖，如“圆的面积是圆柱体积的前提”）；随后通过LLM的问答准确性反馈迭代优化MCG，使其更贴合下游任务。推理阶段：针对新问题，先生成LLM的中间推理轨迹，再基于问题内容和轨迹从MCG中动态提取相关子图，将子图以自然语言形式注入LLM以指导最终推理。实验结果：在AIME、Omni-MATH、OlympiadBench等数据集上的实验表明，CAMA显著提升了LLMs的数学推理性能；结构化指导（如MCG）优于非结构化方法，且包含非对称因果关系的模型比仅用对称关联的模型表现更好。