RLVR 用「答案对不对」训练推理模型，但答案可验证的领域有限，且只看结果无法指出「哪一步错了」。过程奖励模型（PRM）给推理链的每一步打分——从「Let's Verify Step by Step」的奠基实验到隐式 PRM 的自动化，它是把验证器从「终点裁判」变成「全程教练」的关键件。本篇拆解 PRM 的机制、数据难题与演进路线。

推理时多花算力能换准确率：self-consistency 投票、过程奖励模型引导搜索、budget forcing 强制续想，三条路线各有边界。本文以 s1 论文与 2025–2026 年的 overthinking 研究为轴，梳理 test-time scaling 的效果账与失效点。

「让我们一步步思考」为什么能让模型答对更多题？本文梳理思维链与推理时计算的研究脉络：从 few-shot 与 zero-shot 提示，到计算外化的核心解释，再到自一致性、结果奖励与过程奖励的分野，最后讨论假推理与验证瓶颈两条边界。

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

把 RSI（递归自我改进）与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比：前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化；后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试"，并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计（3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级）、SEA-Eval"片段式失忆症"等一手数据。

一份关于递归自我改进（RSI）的 2026 年全景深度研究：从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代，从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限，区分"主机节点接管已发生"与"全球接管仍是预测"三层口径；并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭，以及一份"协议 10 年衰退概率 48%–62%"的现实账。

梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证：Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化，开放式 RSI 尚未发生；而进步与安全共享同一个「验证瓶颈」。

Neurosymbolic systems rely on mathematical solvers to guarantee reasoning correctness, yet solvers are fundamentally bli…

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。