智能体的推理模式演进：ReAct、CoT 与自主规划的范式变迁

智能体的推理模式演进：ReAct、CoT 与自主规划的范式变迁

智能体怎么"想"问题，是这个领域最底层的设计决策。四年间，主流推理范式经历了清晰的四次跃迁：思维链（CoT）让模型把思考过程写出来，ReAct 让思考与行动交替闭环，规划型范式让智能体先谋后动并自我反思，推理模型则把"思考"内化成了模型的原生能力。每一次跃迁都不是简单替换，而是叠加出更丰富的工具箱——今天的工程师需要知道每件工具适合什么任务、代价是什么。这篇文章按时间脉络梳理这场范式变迁，并给出任务与模式匹配的工程经验。

CoT：把思考过程显式化

一切的起点是 2022 年的思维链研究。Wei 等人的论文证明了一个此前难以想象的事实：只要在提示里给出几个带推导过程的示例，让大模型"把步骤写出来"，它在数学应用题上的表现就能大幅跃升——PaLM 540B 在 GSM8K 上从标准提示的 17.9% 提升到思维链提示的 56.9%。同年 Kojima 等人进一步证明连示例都省了，一句"让我们一步步思考"（zero-shot CoT）就能显著提分。这个发现的本质是：模型的参数里已经"会"这些推理步骤，显式生成中间步骤给了它更多计算空间——每个中间 token 都是额外的串行计算步。

后续的增强沿两个方向展开。自洽性（self-consistency）让模型对同一题独立采样多条推理链再投票取多数答案，在 GSM8K 上比单链 CoT 再提升十个百分点量级，代价是调用量成倍增长。另一个方向是 CoT 的忠实性问题：研究发现模型的显式推理未必反映其真实决策依据——它可能先"猜"出答案再倒推出像样的步骤。这意味着 CoT 输出既是能力工具也是风险面：拿模型的思考过程做解释或审计时，必须清楚它不等于可靠的心理报告。

ReAct：推理与行动的闭环

CoT 解决了"想"，但没有解决"做"——模型被封闭在自己的参数知识里，事实性任务上幻觉频发。2022 年底的 ReAct 论文（Yao 等）把两条线拧在一起：让模型交替输出思考（Thought）、行动（Action）、观察（Observation），行动调用外部工具，观察结果回流进下一轮思考。这个三段式循环成了此后几乎所有智能体框架的骨架，LangChain 早期的 AgentExecutor 就是它的直接实现。

ReAct 的价值在两类任务上得到验证：在 HotpotQA 这类多跳问答上，它同时超过了纯推理（CoT-only）与纯行动（act-only）两个基线——思考提供方向、工具提供事实，缺一不可；在 ALFWorld 这类具身任务上提升更为显著。更重要的是它降低了幻觉：当模型的断言可以被外部观察纠正，它就不再需要"编"。ReAct 的工程代价同样清晰：循环轮次不可预测，失败的循环（反复调用同一工具、在错误方向上空转）会烧 token、拖延迟。后续的 ReWOO 等改进把"先一次性给出全部计划，再批量执行工具调用"作为替代结构，用减少往返次数的方式压成本，适合工具调用模式可预判的任务。

从固定套路到自主规划

ReAct 仍然是"走一步看一步"的局部策略，2023 年之后范式向全局规划演进。Plan-and-Execute 模式先让模型产出一份完整计划，再逐步执行并按需修订，BabyAGI、HuggingGPT 一脉的产品是早期实践，工程收益是减少无效轮次——计划先行让每一步都有全局坐标。Reflexion 引入了语言化的自我反思：任务失败后，让模型生成一段"哪里错了、下次怎么改"的自然语言总结，存入情景记忆，下一轮尝试时注入。这个朴素的机制效果惊人，论文报告在 HumanEval 代码基准上把 pass@1 从约 80%（GPT-4 基线）推到 91%，而它没有改任何模型参数——反思文本就是记忆，重试就是学习。更激进的搜索类范式（思维树 ToT、LATS 把蒙特卡洛树搜索引入推理）在难题上收益明显，但多分支并行探索的成本是数量级增长，至今只适合高价值低频场景。

flowchart LR
    A["2022 CoT<br/>显式思考步骤"] --> B["2022 ReAct<br/>思考-行动-观察闭环"]
    B --> C["2023 规划与反思<br/>先谋后动 + 失败复盘"]
    C --> D["2024 推理模型<br/>RL 训练的内化思考"]
    B -.->|"局部贪心局限"| C
    C -.->|"外部 scaffolding 成本高"| D
    D --> E["今天：模式工具箱<br/>按任务成本组合选用"]

内化思考：推理模型的崛起

第四次跃迁把 CoT 从提示工程变成了模型内建。2024 年 9 月 OpenAI 发布 o1 系列，2025 年初 DeepSeek-R1 用纯强化学习把长思考能力开源复现，Anthropic 与 Google 跟进 extended thinking 能力。这类模型的特点是在输出最终答案前自主生成长篇思考（对用户不可见但计费），在数学与编程难题上的提升是断崖式的：OpenAI 公布的数据里，AIME 2024 竞赛题上 GPT-4o 是 9.3%，o1 达到 74.4%；Codeforces 竞赛编程从第 11 百分位跳到第 89 百分位。DeepSeek-R1 则证明了强化学习驱动的推理能力可以蒸馏进 7B 到 70B 的小模型，把推理能力的价格打下来。

范式变迁的工程含义有三条。其一，提示词里手写的"一步步思考"技巧大面积失效了——推理模型自己会想，过度提示反而干扰；而传统模型上 CoT 提示仍是免费的能力提升。其二，思考 token 是新的成本维度：一次 extended thinking 调用可能消耗数千到数万不可见 token，必须提供思考预算控制并区分场景开关。其三，"简单任务不思考、难题深思"成为新的路由维度，混合模式下让模型自适应分配思考深度，是当前各家共同的演进方向。

开源侧的跟进也改变了部署版图。DeepSeek-R1 以纯强化学习复现出长思考能力并开放权重，随后蒸馏出的小尺寸推理模型让"轻量思考"进入了可私有化部署的价格区间——数据不出域的企业第一次有了推理能力的真实选项，而不必在能力与合规之间二选一。对自建推理的团队，这同时意味着推理模型的解码成本压力显著缓解：小尺寸推理模型加适量思考预算，正在成为很多中间难度任务的默认配置。

另一个值得建立的习惯是思考过程的审计。推理模型对用户隐藏完整思考、只暴露摘要，工程上应当定期抽查思考摘要与最终答案的一致性——两者矛盾（摘要说考虑了 A 方案，答案却采用了未提及的 B 方案）是发现模型走捷径或推理失控的早期信号，这类抽查在关键业务场景应与输出质量抽查同等频率。

小结

范式选择：任务与模式的匹配

四代范式在今天的正确用法是工具箱而非替代链。结构化抽取、分类、改写这类"一次调用内完成"的任务，任何推理模式都是浪费，直接调用即可。需要多源事实的任务（查资料、汇总报告）用 ReAct，工具回调对齐事实。长程多步任务（代码库级修改、复杂运维）用规划加反思结构，必要时叠推理模型。数学证明、算法竞赛、疑难 bug 定位这类难题用推理模型的深度思考，接受思考 token 的成本。最后一条经验反复被验证：模式叠加不等于效果更好——在已经能完成的任务上叠 ReAct 会增加失败面，在简单任务上开思考纯烧钱。先跑通最简单的基线，确认哪一步失败，再引入对应强度的范式，这个顺序在绝大多数项目里都是对的。

范式迁移的工程教训与轨迹数据飞轮

四次跃迁叠在一起，也给工程侧留下了几条昂贵的教训。第一条是脚手架的半衰期：外部脚手架的价值随模型能力提升持续贬值。2023 年团队精心设计的 ReAct 提示工程——详细的工具调用格式说明、失败重试的显式指令、自我反思的模板——到 2025 年的推理模型上，很多变成了干扰项：模型自己知道怎么调工具，冗余的格式指令反而约束了它。工程上的对策是把"提示词是否还有必要"纳入定期复盘，模型大版本升级后重跑消融，砍掉不再产生收益的脚手架。与之相关的是顺序问题：新模型发布后先跑基线再改结构，而不是把上一代模型调好的编排复杂度原样搬过来——为弥补旧模型缺陷而生的多层反思与树搜索，在新模型上常常是负资产。

第二条教训关于成本与思考的匹配。推理模型的思考 token 是可编程的成本旋钮，务实的管理方式是按任务分级预算：简单分类与改写几百 token 思考预算，标准的多步任务几千，疑难问题放开到上万——配合超预算的强制收敛约定。同时监控思考 token 占比：一个团队的经验是，某类任务思考占比异常上涨后排查发现，根因是检索工具返回的数据格式太乱，模型在用"多想"补偿"环境缺陷"——工具修好之后思考消耗回落了四成。这个案例的启示是：思考消耗暴涨往往不是任务变难，而是基础设施在退化。

范式变迁还留下一份意外资产：轨迹数据飞轮。ReAct 时代积累的生产轨迹——完整的思考、行动、观察序列——如今成了微调与强化学习的训练原料。成功轨迹是行为克隆的示范数据，失败轨迹配上事后反思是对比学习的负样本素材，领域的专属轨迹数据正在成为比模型本身更难复制的竞争壁垒。这也是可观测性投入的隐性回报：有完整 trace 体系的团队，等于自动在积累一份可训练的数据资产；没有的团队，每一轮生产执行都在白白蒸发。

最后一个务实建议：范式选择靠消融实验而不是范式宣传。同一任务集分别用直接调用、ReAct、规划加反思、推理模型四种配置跑评测，比较成功率、成本、延迟的三角关系。多个团队的消融结果指向同一个结论：约三成任务在实测后发现最简单的配置已经够用，还有两成则是只有推理模型能稳定完成——分布两端都超出直觉，唯一可靠的判断依据就是你自己的评测数据。

小结

智能体推理范式的四次跃迁各有分工：CoT 用显式思考换取更多计算空间，ReAct 用行动闭环对齐外部事实，规划与反思把局部贪心升级为全局策略并实现"用语言学习"，推理模型则把思考内化为模型原生能力并在难题上实现了数量级的突破。它们的当前形态是工具箱：按任务的复杂度、事实依赖度与价值密度匹配范式强度，先基线后叠加，把思考深度当作可调节的成本维度来管理。范式会继续演进，但"思考是需要付费的计算资源"这个经济学视角，会长期主导智能体的推理设计。