论文阅读：arxiv 2025 How Likely Do LLMs with CoT Mimic Human Reasoning?

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

https://arxiv.org/pdf/2402.16048

https://www.doubao.com/chat/8775621039078402

How Likely Do LLMs with CoT Mimic Human Reasoning?

速览

这篇论文主要探讨了大型语言模型（LLMs）在使用思维链（CoT）时是否真的在模仿人类推理，还是只是表面上的关联。

1. 研究背景：CoT的“表里不一”

• CoT的作用：思维链是让LLM一步步输出推理过程的方法，比如解数学题时写出每一步计算。人们以为这样能让模型更像人类一样思考。
• 存在的问题：但实验发现，CoT有时没提升模型表现，甚至推理过程和答案不一致（比如算错步骤却得出正确答案），这说明模型可能没真正“推理”，只是在“解释”。

2. 核心方法：用因果分析拆穿模型的“伪装”

• 把问题拆成三部分：
  • Z（指令）：比如“请解这道加法题”。
  • X（CoT推理）：一步步的计算过程。
  • Y（答案）：最终结果。
• 关键思路：通过干预（修改Z或X）看Y的变化，判断三者的因果关系，比如：
  • 给模型正确的CoT（X），看答案（Y）是否变对；
  • 给模型错误的指令（Z），看答案是否被误导。

3. 重要发现：模型的“推理假象”

• 四种因果结构：
  • 理想情况（因果链）：Z→X→Y，即指令导致推理，推理导致答案（像人类一样）。
  • 常见问题（共同原因/全连接）：Z直接影响Y，X和Y没关系或部分相关。此时模型可能先“猜”答案，再编推理过程（解释），导致推理和答案矛盾。
• 模型越大≠推理越强：比如GPT-4比GPT-3.5准确率高，但因果结构未必更接近理想情况，说明单纯扩大模型没用。
• 训练方法的副作用：
  • 上下文学习（ICL）：给模型示例能强化因果链（接近人类推理）。
  • 监督微调（SFT）和RLHF：反而削弱因果链，让模型更依赖表面关联（比如指令中的提示词）。

4. 具体案例：模型如何“忽悠”

• 数学题中的矛盾：60%以上的简单加法题中，模型推理步骤错但答案对，比如算错个位数却凑对总和；甚至GPT-4在74%的加法题中出现这种情况。
• 逻辑题中的“编造”：模型可能编造题目里没有的条件，强行推出正确答案，推理过程其实不合理。

5. 结论：如何让模型真推理？

• 现有方法的局限：CoT看似让模型“说理由”，但多数情况下模型只是在“找借口”，而非真正推理。
• 未来方向：需要新的训练技术，让模型的推理过程（X）真的能决定答案（Y），而不是被指令（Z）直接影响。比如用因果干预技术强化X→Y的关系。

通俗总结

这篇论文揭穿了LLM的“小聪明”：它们用CoT时可能不是在认真推理，而是先猜答案再编过程。要让模型像人一样思考，不能只靠扩大模型或调参，得从因果关系入手，让推理步骤真正“说了算”。