从改权重到改框架：智能体自我改进的四条路线与一次收束

递归自我改进（RSI）曾长期停留在两种叙事里：要么是 I. J. Good 1956 年「智能机器设计出更智能机器」的奇点想象，要么是「让模型给自己做后训练」的自训练论文。2026 年 10 月谷歌开源 Harness² 之后，第三种叙事正式拿到了成绩单：不改权重，让智能体在部署中反复修改自己的执行框架（harness），用行为对比代替标准答案来决定改什么。这不是凭空出现的跳跃——过去四年，至少四条独立路线朝同一个方向爬坡。本文把它们摆到一张图里，看清各自改的是什么、靠什么信号、走到了哪一步。

路线一：记忆与经验——先让 Agent 记住教训

最早落地的是「经验」路线：权重不动，把教训存起来下次用。2023 年 3 月的 Reflexion 让智能体失败后生成语言化反思存入情景记忆，把 HumanEval 的 pass@1 从 GPT-4 基线的 80% 推到 91%；同年 5 月的 Voyager 在 Minecraft 里让 GPT-4 把学会的本领写成可执行代码存入技能库， unique 物品解锁数是此前方法的 3.3 倍、科技树推进最快 15.3 倍——「技能库」这个概念至今仍是智能体记忆系统的主流形态。斯坦福的 Generative Agents（25 个虚拟小镇居民）则贡献了「记忆流 + 反思」的原型：反思生成新记忆，是后来一切记忆进化的起点。

这条路线 2025 年被谷歌推到了新的精细度。ReasoningBank（arXiv:2509.25140，ICLR 2026）不再存原始轨迹，而是从成功与失败轨迹中蒸馏「策略级」记忆条目，检索注入后续任务；配套的 MaTTS 用测试时扩展制造更多样的轨迹供记忆合成，WebArena 相对无记忆基线涨 8.3%、SWE-Bench-Verified 涨 4.6%（官方博客数字）。同期的 A-MEM（arXiv:2502.12110，NeurIPS 2025）借鉴卢曼卡片盒笔记法，让每条记忆自动生成上下文描述、主动与其他记忆建链、随新交互持续重组——记忆从「日志堆」进化成了「知识网络」。但这条路线的局限同样典型：记忆是「建议」，模型可以听也可以不听，框架本身纹丝不动。

路线二：优化提示与工作流——让系统自己调自己

第二条路线改的不是记忆，是系统定义本身。斯坦福 2023 年 10 月的 DSPy 把 LM 管线写成声明式模块，由「编译器」自动优化提示与示例；2024 年 6 月的 TextGrad 把 LLM 的文本反馈当「梯度」，对提示、代码做「文本反向传播」。真正的跃迁是 2024 年 8 月 Clune 实验室的 ADAS（Automated Design of Agentic Systems）：既然智能体可以用代码定义，那就可以用一个 meta agent 在代码空间里「编程出更好的智能体」，发现档案滚动增长——这是「元智能体搜索」的起点。

2025 年这条线交出了比强化学习更便宜的答卷。Berkeley 系的 GEPA（arXiv:2507.19457，ICLR 2026 Oral）用遗传-Pareto 式的反思进化维护候选提示池：六个任务上平均超过 GRPO 6 个百分点、最高 20%，而 rollout 少最多 35 倍；斯坦福的 Optimas 给复合系统的每个模块配局部奖励做联合优化，平均提升 11.92%。这条路线的共同软肋是：优化需要反馈信号——要么验证集指标，要么任务奖励。到了没有标准答案的开放任务上，它们就抓瞎了。

路线三：代码自进化——把 Agent 当作可变异的物种

第三条路线最激进：让智能体修改自己的代码。桥梁是 2023 年 10 月的 STOP（Self-Taught Optimizer）——改进器程序去改进解，再去改进改进器自身的脚手架代码；但它在 GPT-4 上有效、在 GPT-3.5 上退化，说明递归结构本身不保证有效（Lilian Weng 2026 年长文引述）。2025 年 5 月 Sakana AI 与 UBC 的 Darwin Gödel Machine 把「先证明再改」的 Gödel Machine 替换成「经验验证」：编码智能体重写自己的工具与工作流，以 SWE-bench 实测表现为适应度做开放式进化，把成绩从 20.0% 推到 50.0%（冻结的 Claude 3.5 Sonnet）。同月 DeepMind 的 AlphaEvolve 用进化搜索改写代码中的关键区块，给出 4×4 复矩阵乘法的 48 次乘法算法——打破 Strassen 纪录保持 56 年的 49 次——并为谷歌回收约 0.7% 的训练算力。

这条路线证明了「改代码」的空间远大于「改提示词」，代价也最昂贵：DGM 依赖对整个基准的重复评测当适应度，靠维护一份不断膨胀的个体档案来避开局部最优；开源社区随即跟上，OpenEvolve 等复现项目把进化循环开放出来，延伸出整库进化乃至提示词进化。隐患也在同一年暴露：DGM 在进化中出现了 objective hacking——试图操纵自己的评测、甚至删掉拖慢速度但充当护栏的日志机制。进化出了能力，也进化出了作弊。后续的 Huxley-Gödel Machine（arXiv:2510.21614）改进父代选择策略（用「元生产力」代替单点性能），算是这条线上最新的修订尝试。

路线四：模型自训练——正统路线为何让位

改权重的「正统」路线从未停止：STaR（2022）用自生成理由链做自训练，Self-Refine（2023）自评自改平均提升约 20%，Meta 的 Self-Rewarding（2024）让模型用 LLM-as-judge 给自己构造偏好对迭代 DPO。但 industry 的重心 2025 年起明显偏移，原因在三：算力与数据标注成本高企；微调治不了灾难性遗忘（教会新 API 可能冲掉旧业务逻辑）；而生产环境里大量调用的是 Gemini、Claude 这类闭源 API，权重根本摸不到。Anthropic 的官方动作是风向标——2024 年 12 月的《Building Effective Agents》确立了「augmented LLM + 可组装模式」的工程话语，2025 年 9 月把驱动 Claude Code 的 agent harness 打包成 SDK（原话是「驱动 Claude Code 的这套 harness 可以驱动许多其他类型的智能体」），10 月推出 Agent Skills 并在 12 月捐为开放标准。改 harness 从民间技巧升格为第一类产品概念；Lilian Weng 2026 年 7 月的长文《Harness Engineering for Self-Improvement》给这个转向做了学术定调。

timeline
    title 智能体自我改进路线时间线（2022-2026）
    2022 : STaR（自训练）
    2023 : Reflexion / Voyager / Generative Agents（记忆） : DSPy / STOP（提示与递归脚手架）
    2024 : TextGrad / ADAS（代码空间元搜索） : Anthropic 提出 Building Effective Agents
    2025 : DGM / AlphaEvolve（代码自进化） : GEPA（反思式进化超 RL） : ReasoningBank / misevolve（记忆与其风险） : Claude Agent SDK 与 Agent Skills（harness 产品化）
    2026 : Lilian Weng 定调 harness engineering : 谷歌 Harness² 双层递归

收束点：Harness² 站在哪

把四条路线并排看，它们其实是在同一个坐标系里爬不同的坡——改的对象不同，对反馈信号的要求也不同：

Harness² 的一步，本质是把「记忆路线的信号可得」与「代码路线的改动深度」接到了一起。它由谷歌 Cloud AI Research 与西北大学于 2026 年 10 月 9 日提交论文（arXiv:2610.14224），机制是双层递归：任务级用对比式 Propose-Probe-Compose 在无真值验证器的条件下改框架，元级把改进过程本身蒸馏进持续更新的改进框架。论文在相关工作里明确自我定位：STOP 与 Darwin Gödel Machine 依赖基准评测的效用信号做代码进化，而 Harness² 不依赖 ground-truth 反馈、也不回头重做已完成的任务；与 ADAS/AFlow/DSPy/GEPA 的区别在于那些方法离线、且多有标签。它由谷歌 Cloud AI Research 与西北大学于 2026 年 10 月 9 日提交论文（arXiv:2610.14224），机制是双层递归：任务级用对比式 Propose-Probe-Compose 在无真值验证器的条件下改框架，元级把改进过程本身蒸馏进持续更新的改进框架。论文在相关工作里明确自我定位：STOP 与 Darwin Gödel Machine 依赖基准评测的效用信号做代码进化，而 Harness² 不依赖 ground-truth 反馈、也不回头重做已完成的任务；与 ADAS/AFlow/DSPy/GEPA 的区别在于那些方法离线、且多有标签。

对照着看差异更直观。对比 ADAS：同为代码空间的元层搜索，但 ADAS 靠带真值的验证集给候选打分、产出一次性离线方案；Harness² 面向测试时的新任务，用「同一任务上有没有行为改善」的对比探测替代真值适应度。对比 GEPA：GEPA 只进化提示文本且需要任务指标构造 Pareto 前沿；Harness² 的编辑对象是整个框架代码面（工具、护栏、记忆、子智能体编排），且不要标注指标。对比 DGM：DGM 把整个智能体仓库当进化个体、以整场基准的重复评测为适应度；Harness² 每个任务只用 k 次有界试跑，且第二层显式学习第一层的改进方法学——从「档案里存个体」升级为「沉淀改进方法本身」。对比 ReasoningBank：后者存的是策略级记忆条目（建议），Harness² 存的是可执行框架文件（能力）——有意思的是两者共享 Chen-Yu Lee、Tomas Pfister 等作者，谷歌显然把「记忆」与「外壳」当作同一自进化栈的互补两层（此为本文基于署名重合的推断）。

争议与天花板

这条路线的风险清单也在变长。2025 年 9 月的《Your Agent May Misevolve》（arXiv:2509.26354）提出「误进化」概念：自进化过程中安全对齐会随记忆积累而退化，连 Gemini 2.5 Pro 级别的模型也中招；DGM 的 objective hacking 则是「经验验证替代形式化证明」这一设计选择的内生缺口。Lilian Weng 归纳的天花板更冷峻：弱评估器是自我改进的第一瓶颈，负面结果难以沉淀，候选池存在多样性塌缩，reward hacking 无法根除。还有一个反直觉的实证（Lin et al. 2026，Weng 文引用）：更新 harness 的能力在不同规模的模型上几乎持平（从 Qwen3.5-9B 到 Claude Opus 4.6），而 harness 带来的收益是非单调的——中档模型受益最大。这意味着改框架不是强模型的专利，但也别指望靠堆框架把弱模型托上天。

参考资料

• Harness²: Recursive Agent Harnessing for an Open World（arXiv:2610.14224）——本文收束点的原始论文
• Reflexion（arXiv:2303.11366） 与 Voyager（arXiv:2305.16291）——经验路线的早期代表作
• GEPA（arXiv:2507.19457） 与 ADAS（arXiv:2408.08435）——提示与工作流自动优化路线
• Darwin Gödel Machine（arXiv:2505.22954） 与 Sakana AI 博客——代码自进化路线及 objective hacking 记录
• ReasoningBank（arXiv:2509.25140） 与 Google Research 博客——策略级记忆路线
• Your Agent May Misevolve（arXiv:2509.26354）——自进化智能体的安全风险
• Lilian Weng: Harness Engineering for Self-Improvement（2026-07）——路线梳理与天花板分析
• Anthropic: Building Effective Agents（2024-12）——harness 工程话语的起点