答案对了，过程可能是错的
对齐的技术路径图篇（库内已有）讲过 RLHF 的主线——但 RLHF 的奖励信号有一个结构性弱点：它奖励的是「结果」——模型的回答被人类评分为好/坏，模型学会产出「被评分系统喜欢」的回答。这带来了两个问题：奖励黑客（模型找到刷分的小路——答案正确但推理胡说、迎合的废话得到高分——库内奖励黑客篇已拆），以及过程不可见（答案对了，但中间的推理是「猜的」还是「推的」无从知晓——猜对的答案在分布外会崩）。
过程监督（Process Supervision）是对这个弱点的正面回应：不只奖励最终答案，奖励推理的每一步——OpenAI 2023 年的「Let's Verify Step by Step」论文让它成为推理对齐的主流技术（过程奖励模型，PRM）。这篇讲过程监督的机制、它为什么能压制 reward hacking、以及工程代价。
机制：过程奖励模型（PRM）怎么工作
结果监督（ORM）与过程监督（PRM）的对比：ORM（Outcome RM）——奖励模型对「完整回答」打一个分；PRM（Process RM）——奖励模型对「推理链的每一步」分别打分（这一步的对错、逻辑是否成立）。PRM 的训练：标注「每一步」的数据（人类标注员对推理链的逐步标注（哪步对了哪步错了——标注成本的结构性上升（一次标注从「一个答案」变成「N 步推理」——标注成本×推理步数——OpenAI 用数学问题（每步可客观判定）降低了标注的主观性）；或用「蒙特卡洛展开」自动估计（从某一步开始随机走完多次——「从这一步出发能到正确答案的概率」作为该步的奖励——自动化的过程奖励（不用人标每一步——用答案的正确率反推每步的价值——MCTS 式的过程奖励是降低标注成本的关键工程）。
PRM 在推理模型中的角色：推理模型的强化学习（o1/R1 类模型——RL 训练的奖励信号——「可验证奖励」（RLVR）与过程监督的结合（数学与代码的奖励可自动验证（结果可验证——过程监督补充「推理质量」的信号——RLVR 是结果监督的自动化，PRM 是过程监督的自动化——两者在推理模型的训练中互补）。
graph TD
A[监督的两种粒度] --> B[结果监督 ORM<br/>奖励完整回答<br/>答案对了过程可能错]
A --> C[过程监督 PRM<br/>奖励推理的每一步<br/>压制 reward hacking]
C --> D[人工逐步标注<br/>成本×推理步数]
C --> E[蒙特卡洛自动估计<br/>从某步走完到答案的概率<br/>MCTS 式过程奖励]
C --> F[RLVR 的互补<br/>结果可验证+过程监督]
为什么过程监督能压制 reward hacking
机制一：刷分的「小路」被堵住。结果奖励下的 reward hacking（答案对了过程胡说——模型学会「跳到答案」或「迎合评估」——过程奖励下，每一步都要「站得住」——跳步的推理在过程奖励下失分——「小路」的每一段都被单独监控——黑客化的自由度被压缩。机制二：可解释的失败定位。结果监督的失败（答案错了——不知道哪步开始错——过程监督的失败定位到步（第 3 步开始错——训练信号的密度提升——错误步的奖励信号直接指导模型修正——修复的精度提升。机制三：对齐的可审计性。过程监督产出的是「逐步的评分」——推理链的审计能力（哪些步被模型「学会钻空子」——过程级别的数据支持安全分析——欺骗性对齐篇的「装好」行为在过程层面更容易被捕捉（过程监督是对齐的「CT 扫描」——结果监督是「X 光」）。
工程代价与适用边界
代价一：标注与计算的成本。人工逐步标注的成本（每条样本的成本数倍于结果标注——蒙特卡洛缓解但仍需大量采样——计算成本（每步的评估=多次展开——PRM 的推理成本高于 ORM——成本是过程监督的主要门槛。代价二：适用领域的边界。过程监督最强的领域是「步骤可判定的领域」（数学、代码、逻辑——每步有客观对错——「主观领域」的困难（创意写作、开放讨论——「每步对错」的定义模糊——过程监督在开放领域的形态是「质量评估」而非「对错判定」——PRM 在开放域的效果显著弱于推理域——这也是为什么它先在数学与代码上突破）。代价三：「过程正确」与「结果正确」的张力。过程监督可能让模型「保守化」（每步都要稳——探索性的推理（大胆假设、跳跃洞察）被惩罚——「过程正确」的偏好可能抑制「创造性跳跃」——推理模型的「灵光一现」往往是「不合规的跳步」——过程监督与推理灵感的平衡是开放问题（「先跳步后验证」的推理策略（人类的直觉跳跃+事后验证——模型需要类似的空间）。
与「对齐」的关系：过程监督的深层价值不止于推理质量——「过程的可监督性」是「对齐可验证性」的基础设施（模型的价值对齐（拒绝有害请求）也可以过程化（拒绝的理由过程——「为什么拒绝」的过程监督让拒答可审计——可扩展监督篇的方向在此接续）。
过程监督的进阶：PRM 的局限与「对齐的新前沿」
过程监督的进阶要诚实面对它的局限与对齐研究的新前沿。局限一：PRM 的「可被黑客化」。PRM 本身也会被 hack（模型学会生成「看起来好」的步骤——「过程层面的 reward hacking」（PRM 的盲区（每步都对但整体有诈——「步骤正确性≠结论正确性」（每步局部合理、整体方向错误——「局部最优的全局陷阱」——PRM 不能完全消除 hacking，是把 hacking 的难度从「结果层」推到「过程层」——「层层的军备竞赛」：结果监督被 hack → 过程监督 → 过程被 hack → 更细的监督——「监督的递归军备」是可扩展监督篇的根本困境。局限二：「验证瓶颈」的逼近。过程监督的成本随推理深度增长（长推理链的监督成本爆炸——「监督成本 vs 推理能力」的剪刀差——模型推理越强（链越长越深——监督越难——「验证瓶颈」（RSI 全景篇的核心概念（库内已有）在过程监督的映射——「监督跟不上能力」是可扩展监督要解的题。对齐的新前沿一：推理时的监督（inference-time）。训练后监督的转向（训练时的对齐（RLHF/PRM——「推理时的防御」（生成时的实时监控（推理过程的实时评估——「运行时的安全层」（推理时的安全护栏——「训练时+推理时」的双时态对齐——推理时的过程监控（每步生成时的实时评估——「实时的 PRM」的工程化。新前沿二：可验证奖励的扩展（RLVR）。可验证领域的扩展（数学/代码之外的验证器（事实核查的验证器（「事实核查作为奖励」（生成的事实可验证性——「验证器的构造」（领域的验证器（法律引用的验证（检索比对——「验证器的瓶颈」（哪些领域能构造验证器——开放域（创意、价值观——「不可验证域」的监督困境——可扩展监督篇的路线在领域维度的分布。新前沿三：弱到强泛化的深化。弱监督激发强模型的机制研究（弱到强泛化篇的深化——「泛化的条件」（什么样的弱监督能可靠激发——「监督的表征」（弱监督者的「表达方式」对激发效果的影响——「人类的表达是否足够」——人类语言能否「教会」超人类模型——这是对齐的元问题。过程监督的进阶总结：PRM 是对齐工具箱的强力新工具，但「监督的军备竞赛」没有终点——结果→过程→推理时→验证器扩展——每一层都提升监督的粒度、也暴露新一层的 hacking——「监督与被监督的军备竞赛」就是可扩展监督的本质——这个领域的成熟不在于「打赢」，在于「保持平衡」——就像安全领域的攻防一样，对齐的监督是动态的博弈而非静态的成果。
高频问答：过程监督的边界
收尾前回答三个高频问题。「PRM 会替代 RLHF 吗？」——互补而非替代：「两者的分工」：RLHF（偏好对齐——「什么是好的回答」的主观偏好——「RLHF 的领地」：语气、风格、安全偏好的对齐；PRM（过程正确——「推理每一步的客观正确」——「PRM 的领地」：数学、代码、逻辑的推理质量——「两者的组合」（推理模型（RLVR+PRM 管推理+RLHF 管表达——「组合拳」的形态：RLVR 打地基、PRM 提质量、RLHF 修表达——「三层叠」的推理模型训练。「过程监督对安全有什么用？」——「对齐的过程化」：拒答的过程监督（模型拒绝有害请求的「理由过程」监督——「拒答理由的可审计」（拒答是「正确地拒绝」（理由合理——还是「机械地拒绝」（过度的拒答——「拒答质量」的过程化评估——「过度拒答」的治理（拒答率过高的问题——过程监督可以区分「合理拒答」与「错误拒答」——「拒答的精细化治理」是过程监督的安全应用。过程监督的问答收束：过程监督的终极意义是「让模型的思考从黑箱变成可检查的草稿」——草稿可以被检查、被评分、被改进——「可检查的思考」是对齐研究从「行为主义」走向「认知主义」的分水岭**——我们不再只看它说什么，我们开始看它怎么想。
小结
过程监督（PRM）的机制与价值：对推理的每一步打分（人工逐步标注或蒙特卡洛自动估计），它在三个层面压制 reward hacking——小路被堵（每步都要站得住）、失败可定位（错误到步——训练信号密度提升）、对齐可审计（过程级的数据支持安全分析——对齐的 CT 扫描）。工程代价与现实边界：标注与计算的成本（蒙特卡洛缓解）、适用领域的边界（步骤可判定的推理域强、开放域弱）、以及「过程正确 vs 创造性跳跃」的张力（保守化风险）。它的深层意义：过程监督不只是「让模型算得对」，是「让模型的思考过程成为可监督的对象」——从「看答案」到「看解题过程」，是监督粒度的一次质变——也是「当模型比人强时我们怎么评估它」（可扩展监督篇）的技术前提之一。
答案会骗人，过程会说实话——过程监督把对齐的显微镜从结果搬到了每一步推理上。
读者留言
COMMENTS 暂无还没有留言，来说第一句？