思维链 CoT:让模型一步步推理

思维链(Chain-of-Thought,CoT)由 Wei 等人在 2022 年提出,核心是在提示里示范「先推理、后作答」,让大模型把复杂问题拆成若干中间步骤逐步求解,而不是直接吐出最终答案。它揭示了一个关键现象:规模足够大的语言模型已经具备逐步推理的潜力,只是需要恰当的提示把它「唤醒」。

是什么

思维链是一种少样本或零样本提示技巧:在 few-shot 示例中加入「问题、推理步骤、答案」的完整推导,或用一句「让我们一步步思考」触发模型自行展开推理。它不改变模型权重,只是改变提示形式,因此可随时用于任何支持指令的模型,无需重新训练。

为什么有效

大模型一次输出容易在长链条推理中出错。把推理显式写出来,相当于把任务拆成更小的子目标,每步的计算更可控,也便于人类检查错误出现在哪一步。原论文显示,在 GSM8K 数学推理基准上,CoT 让大模型的准确率从约 17% 提升到约 60%,带来两位数百分点的显著改善。

怎么做

零样本写法只需加一句引导:

问题:一箱苹果有 24 个,分给 6 个孩子,每个孩子再给妈妈 2 个,最后剩几个?
让我们一步步思考。

少样本写法在示例里给出完整推导过程,让模型模仿格式。推理步骤越贴近目标任务的真实拆解方式,效果越好。

适用场景

CoT 特别适合数学应用题、多步逻辑判断、符号推理与需要解释过程的分析任务。对于简短的事实问答或创意写作,逐步推理带来的收益有限,反而增加长度与成本。

注意点

  • CoT 对足够大的模型收益明显,小模型可能写出看似合理却错误的步骤。
  • 推理步骤越长,消耗 token 越多、延迟越高,按需使用。
  • 要核对中间步骤,不能只看最终答案。
  • 可与自一致性结合,对多条推理路径投票进一步提升稳定性。

小结

思维链通过显式的中间推理步骤提升大模型在复杂任务上的准确率,是提示工程中最基础也最有效的推理技巧之一,既可零样本触发也可少样本示范。

参考与延伸阅读

本文累计阅读