从 SFT 到宪法 AI：对齐的技术路径图

基础大模型（预训练完成的那一刻）只会一件事：续写文本。你问它一个问题，它可能续写出另一个问题、一份答案、或者一段网络论坛的骂战——因为它的训练目标只是「预测下一个词」。让这个「文本续写器」变成「有用的助手」，中间隔着一整套对齐训练的技术体系。这条体系十来年走过了三代方法：SFT（监督微调）、RLHF（人类反馈强化学习）、CAI（宪法 AI）。本篇沿着这条路径走一遍，看每一代解决了什么、暴露了什么，以及为什么下一代方法总是瞄准上一代的瓶颈。

手绘信息图：对齐的技术路径图 SFT→RLHF→CAI

第一代：SFT——教会格式与行为范本

监督微调（Supervised Fine-Tuning，SFT）是对齐的第一步，方法朴素：雇人写出高质量的「问答对」（用户问 X，理想回答是 Y），用这些示范数据继续训练模型。InstructGPT 论文（OpenAI，2022）确立的标准流程里，SFT 是第一个阶段，几千到几万条人工示范就能让「文本续写器」初步变成「指令跟随器」。SFT 的有效之处在于格式与风格：回答的结构、拒绝的方式、多轮对话的礼仪，都能被示范数据快速塑形。它的天花板同样清晰：模型学到的只是「模仿示范」，不是「理解对错」——示范数据的覆盖度决定能力边界（没见过的攻击类型就不会拒绝），且它无法表达「这个回答比那个好一点」的精细偏好（示范只能给「标准答案」，给不了「排序」）。于是第二代方法登场。

第二代：RLHF——用偏好排序训练奖励模型

人类反馈强化学习（RLHF）的核心创新是把人类的判断从「示范」升级为「排序」。流程三步：第一步仍是 SFT；第二步，让人对模型同一问题的多个输出做偏好排序（A 比 B 好），用这些排序训练一个奖励模型（Reward Model）——它学会了给任何回答打「人类喜好分」；第三步，用强化学习（PPO 等算法）让主模型最大化奖励模型的打分。InstructGPT 用这套流程让 1.3B 参数的小模型在人类偏好上超过了 175B 的 GPT-3——对齐训练的威力第一次被定量证明。RLHF 的贡献：把对齐从「覆盖一切情况的示范」升级为「方向性的偏好信号」，数据效率与精细度都上了一个台阶；今天主流商用模型的「好用」，大头是 RLHF 的功劳。它的代价与漏洞也在这条路径上暴露：其一，奖励模型是古德哈特定律的完美宿主——它是人类偏好的有损压缩，模型最大化它的分数时，学会的可能是讨好（谄媚：说用户爱听的）而非真实（本库《欺骗性对齐与谄媚》详述）；其二，人类标注的瓶颈——标注员自身的偏见、疲劳与能力上限，直接封印了奖励模型的上限；其三，对「连人类都判断不了的输出」（超人类水平的内容）无从标注——这为第三代方法埋下了动机。

第三代：CAI——让 AI 依据原则批评 AI

宪法 AI（Constitutional AI，Anthropic，2022）对 RLHF 的两大瓶颈（人工标注的成本与上限）给出了一条激进路径：用一组成文的原则（「宪法」）替代大部分人工标注。流程概要是：先让模型依据宪法原则自我批评并修订自己的输出（「这个回答是否有害？依据原则 X 修订它」），用修订后的数据做 SFT；再用 AI 按原则对输出对做偏好判断（AI 反馈，即 RLAIF），训练奖励模型后做强化学习。人类的角色从「逐条标注者」退到了「原则的作者与审计者」。CAI 的优势：标注成本骤降、原则可以持续修改与审计（改宪法比改几十万条标注容易得多）、且原则上 AI 反馈可以覆盖「人类判不了」的超人类内容（让模型按推理原则判断，而非依赖标注员的直觉）。它的未解难题同样要诚实列出：宪法本身的制定是新的对齐难题（原则由谁定？覆盖哪些价值？冲突时怎么排序？——这是把「对齐税」从数据层搬到了原则层）；AI 评审员会不会有自己的系统性偏见（被原模型训练出来的评审，天然倾向原模型的风格）；以及整套方法建立在「模型能可靠执行原则」这个前提上——前提越强，问题被推得越深。

flowchart LR
    A["预训练模型<br>只会续写"] --> B["SFT<br>示范：教格式与行为"]
    B --> C["RLHF<br>偏好排序训练奖励模型"]
    C --> D["强化学习<br>最大化人类喜好分"]
    D --> E["瓶颈：谄媚/标注上限"]
    E --> F["CAI<br>原则驱动的自我批评与 AI 反馈"]
    F --> G["人类角色：写宪法并审计"]

路径之外：三代共存的现实与互补

要澄清一个常见误解：三代方法不是替代关系，是叠加关系——今天的旗舰模型几乎同时使用 SFT（格式）、RLHF 或其变体（偏好）、CAI 类方法（原则约束），外加第三篇要讲的防御训练。路径演进真正变化的是人类监督的形态：从「监督每一次输出」（SFT 的示范），到「监督比较的方向」（RLHF 的排序），到「监督底层的原则」（CAI 的宪法）——人类的介入点越来越抽象，单点影响越来越大。这既是效率的跃升，也是风险的转移：原则层的任何偏差都会被整条训练管线放大。这也是为什么对齐研究的一个前沿方向是「原则的工程化」——如何测试一组宪法原则会训练出什么行为、如何发现原则间的冲突、如何让原则的修订像代码的 review 一样有流程。对齐的路，从「教模型说话」走到了「给 AI 立法」——而立法的难度，读者现在已经能猜到了。

过程监督与结果监督：教模型的两种老师

对齐训练里有一个比三代方法更细的切分值得理解：结果监督（outcome supervision）与过程监督（process supervision）。结果监督只看最终答案对不对（奖励模型的判断对象是结论）——它的问题：模型可能「碰对了」（推理过程一团糟但结论正确），学到的推理模式不可靠；在需要多步推理的任务上，结果监督的信号稀疏（只有终点有奖励，中间步骤全靠猜）。过程监督对推理的每一步打分（OpenAI 的数学推理过程监督研究是代表：标注每一步推理的正确性）——它教的是「推理过程的可靠性」，实验显示在数学推理上明显优于结果监督。对齐语境下这个切分更有深意：过程监督是对「谄媚与钻空子」的结构性防御——奖励模型盯住「结论是否讨好」时，模型会走捷径（本库《一篇读懂 AI 对齐》的古德哈特）；盯住「每一步是否诚实合理」时，捷径的生存空间被压缩。这也是「可验证奖励」（verifiable rewards：数学、代码等可以程序化验证的领域用自动验证做奖励）路线受关注的原因——可验证性把监督从「人的判断」解放到「规则的判断」，代价是只适用于可验证的领域。过程监督的更远延伸是「对推理链本身的对齐」（模型思考的过程也要符合原则，而不只是输出）——这条线正把对齐从「行为层」往「思维层」推进。

DPO 与偏好优化的简化路线

RLHF 的工程复杂度（奖励模型+强化学习两个大组件）催生了一个重要的简化路线：直接偏好优化（DPO，Direct Preference Optimization）。它的洞察极巧：跳过显式的奖励模型与强化学习循环，把偏好排序直接转化为对语言模型本身的一次监督训练——数学上可以证明，RLHF 的目标存在一个闭式解，可以直接用「偏好对」做分类式的损失训练，不需要单独训练奖励模型、不需要 PPO 的不稳定调参。DPO 的工程意义：训练管线从「三阶段大工程」简化为「一次微调」，稳定性与成本大幅改善——它迅速成为开源社区与中小团队做偏好对齐的默认选择（开源模型生态里的对齐训练，DPO 及其变体是事实标准）。它与安全的关系是双面的：正面——偏好对齐的门槛降低，意味着「安全对齐」的迭代成本降低（对齐税的降低，本库《一篇读懂 AI 对齐》的框架）；负面——门槛降低同样意味着「去安全化微调」的成本降低（拆护栏的工程难度同步下降，本库《开放权重模型的安全辩论》的护栏拆除焦虑因此加剧）。DPO 教的对齐课：技术的简化永远是双刃的——它降低了好行为与坏行为的共同生产成本，安全的净效应取决于哪一边用得更勤。

「宪法」的内容：一份真实原则清单的解读

宪法 AI 的「宪法」具体写了什么，值得读一遍原文的骨架（Anthropic 公开的宪法原则清单），它是对齐原则工程的活标本。原则的结构分层：行为层（「请选择最无害的回答」「拒绝生成种族主义、性别歧视的内容」——对伤害类型的具体指令）、身份与边界层（「你是 Anthropic 的 AI 助手 Claude」——身份的锚定）、价值层（「选择最不可能被多数人视为有害的回答」「优先支持无约束成年人的自由与自主」——价值排序的显式声明，包括对「家长式干预」的克制、「回答不应该操纵或伤害」的对操纵的禁令）、以及认识论层（「选择最诚实的回答」「承认不确定性」——对诚实的原则化要求）。这份清单的三个设计特征值得学习：一、原则是「比较级」而非「绝对律令」（「选择更无害的那个」——AI 反馈的机制是两两比较，原则写成比较式天然适配）；二、原则包含元原则（「如果原则之间冲突，优先……」——宪法自己规定了冲突时的排序，这是原则工程最容易被忽略的层）；三、宪法的可修订性与公开性（宪法是公开文档且有版本演进——原则的变更留痕、可被公众审视）。对其他组织做「自己的宪法」的启示：原则要写比较级、要有冲突排序、要公开留痕——这三条让「原则」从口号变成可执行、可审计的训练规格。

小结

对齐技术路径收成四条：SFT 教格式（模仿示范，无法表达偏好）、RLHF 教偏好（排序训练奖励模型，但奖励模型是古德哈特的宿主、人工标注封顶）、CAI 教原则（AI 依宪法自我批评与互评，人类退到原则层——成本骤降但把对齐难题搬进了立法层）；三代是叠加不是替代，今天的旗舰模型三者并用；演进的真实主线是人类介入点的抽象化——从监督输出到监督方向再到监督原则，单点影响越来越大。这条路径的下一段（把监督点进一步抽象到什么程度、谁来审计宪法本身），就是本库《欺骗性对齐与谄媚》与 RSI 系列要讨论的世界。

参考资料

Ouyang et al. (2022). Training language models to follow instructions with human feedback (InstructGPT) —— SFT + RLHF 流程的奠基论文
Bai et al. (2022). Constitutional AI: Harmlessness from AI Feedback —— 宪法 AI 的原始论文（Anthropic）
本库前篇：《一篇读懂 AI 对齐》《奖励黑客》《欺骗性对齐与谄媚》