Chain of Thought

CoT 是大模型从"直觉回答"到"理性推理"的关键转折：

• 大幅提升准确率：在 GSM8K 数学推理基准上，PaLM 540B 使用 CoT 后准确率从 17% 提升到 58%，接近三倍。
• 可解释性：CoT 让模型的思考过程外显化，用户可以看到模型是如何得出结论的，而不仅仅是一个结果。
• 零门槛：不需要修改模型、不需要训练数据，改一下 Prompt 就能用。这是你能对模型做出的性价比最高的改进之一。

CoT 有效的原因来自 LLM 的自回归本质：

1. 逐 Token 生成的连锁效应：模型每次只生成一个 Token。当它先生成推理步骤再生成答案时，推理步骤生成的每个 Token 都为后续的"答案 Tokens"提供了额外的上下文条件。本质上是用生成过程的中间产物来约束最终输出。

2. 将复杂问题分解：CoT 强制模型按步骤处理——先分析已知条件，再逐步推导——而不是"一步到位"地猜测答案。这特别适合需要多步运算的数学题、逻辑推理题。

3. Zero-shot CoT vs Few-shot CoT：Zero-shot CoT 只需要"Let's think step by step"；Few-shot CoT 则提供带推理步骤的完整示例。后者效果更好，但前者更简单通用。

数学推理：算术应用题、方程求解、统计计算，CoT 能将正确率提升 20-50%。

逻辑推理：三段论推理、条件判断、策略分析，CoT 让模型不再"拍脑袋"。

代码调试：要求模型先分析 Bug 可能的原因，再给出修复方案，而不是直接改代码。

决策辅助：让模型先列出每个选项的利弊，再做选择，避免遗漏关键因素。

误区：CoT 让模型真的"会思考"
✅ 实际上：CoT 是一种有效的输出引导策略，不是赋予了模型意识或真正的推理能力。它的推理步骤有时看似合理实则错误（仿真推理）。

误区：所有问题都应该用 CoT
✅ 实际上：简单问题用 CoT 反而浪费 Token。对于"1+1=?"这类简单问题，CoT 是多此一举。只在需要多步推理时才值得用。