知道自己不知道：大模型校准与不确定性量化前沿

校准：模型的信心与正确率为何脱节

一个理想的分类器应当「知道自己不知道」：答对时自信，答错时迟疑。度量这件事的学科叫校准（calibration），它研究的是模型输出的置信度与实际正确率之间的对应关系。深度学习的校准研究始于视觉模型时代，在语言模型时代经历了戏剧性的反转：基座大模型意外地校准良好，而对齐后的人类偏好模型却普遍过度自信。这条研究线在 2023 到 2024 年因幻觉问题再度升温——语义熵等方法让「检测模型在胡说」成为可操作的工程。本文从经典方法讲起，把大模型校准与不确定性量化的前沿完整梳理一遍。

经典起点：过度自信的神经网络与温度缩放

Cornell 的 Guo、Pleiss、Sun 与 Weinberger 2017 年的《On Calibration of Modern Neural Networks》（ICML 2017）奠定了这个领域的语言与工具。他们观察到：2011 年以后，随着模型容量上升与正则化手段更替，深度网络普遍变得过度自信——在错误样本上照样给出接近 1.0 的置信度。论文给出了两个沿用至今的工具：期望校准误差（ECE），把样本按置信度分桶后计算「平均置信度与实际正确率的加权偏差」；可靠性图，把置信度分桶画成直方图，理想模型应当贴着对角线。修复手段是著名的温度缩放（temperature scaling）：在 softmax 之前给 logits 除以一个温度参数，在验证集上优化这一个标量，就能把 ResNet 这类模型的校准误差压到接近零，且完全不改变预测结果——因为温度不改变 logits 的排序，只压缩分布的尖锐程度。

这套框架直接迁移到了大模型时代的选择题评测上，但很快遇到了一个反直觉的现象。

LLM 的校准悖论：基座好、对齐后变差

OpenAI 在 2023 年的 GPT-4 技术报告里放了一张后来被反复引用的图：五样本 MMLU 上，预训练（基座）GPT-4 的校准曲线几乎贴着对角线——模型说「八成把握」时正确率真的接近八成；而经过 RLHF 的 GPT-4，置信度被普遍推向高位，校准曲线严重变形。结论颠覆了「大模型校准研究从零开始」的预期：下一词预测目标的统计性质天然产生了良好校准，恰恰是对齐训练为了讨好人类偏好、鼓励流畅肯定的表达，系统性破坏了它。Anthropic 的 Kadavath 等人 2022 年的《Language Models (Mostly) Know What They Know》从另一侧验证了同一件事：百亿级以上参数的语言模型在「选项可见」的选择题上校准良好，让模型先作答再自评「这个答案为真的概率」（P(True)），其自评分数与真实正确率高度相关；用强化学习微调专门训练「自知」能力后，模型还能进一步提升对自身错误的事前识别，并在二十问游戏等任务上把这种元认知用在行动策略里。这两篇工作共同确立了基准事实：大模型的元认知能力是真实存在、且可通过训练塑造的。

幻觉检测：语义熵与重复采样

校准解决的是「信心准不准」，幻觉检测要回答的是「这句输出可不可信」。2024 年 6 月，牛津大学的 Farquhar、Kuhn、Gal 等人在 Nature 发表《Detecting hallucinations in large language models using semantic entropy》，把这条线推到了舞台中央。方法分三步：对同一问题多次采样生成若干候选答案；用双向蕴含（两个方向的自然语言推理都成立才算同义）把表面措辞不同、语义相同的答案聚成一类；在「语义类」而非 token 序列上计算熵。语义熵高，说明模型对不同答案的语义分布犹豫不决——这正是编造答案的信号。相比直接看 token 级置信度，语义熵跨过了「同一个意思有十种说法」的表述噪声，在 TriviaQA、SQuAD、BioASQ 等约二十个问答基准上更准确地区分对错，且用它驱动弃答策略（高不确定性时不作答）可以显著提高整体回答精度。同一思路的工程化变体是 SelfCheckGPT（Manakul 等人 2023）：不看蕴含、只看多次采样的一致性，不需要访问模型内部概率，黑盒可用。

另一条互补路线是重复采样与验证。「Large Language Monkeys」（Brown 等人 2024）发现，把同一个问题采样上千次，问题被解出的覆盖率随样本数近似对数线性上升，数学与代码任务上覆盖率可以逼近理论极限——但前提是你得有一个可靠的验证器来挑出那个正确答案，这再次把不确定性问题转化为验证问题。

表达不确定性与弃答训练

让模型用自然语言「说出」置信度是第三条路线。Lin 等人 2022 年（OpenAI）的《Teaching Models to Express Their Uncertainty in Words》微调 GPT-3 说出零到一百的口头概率，校准显著改善——模型能学会把内部状态翻译成数字。但 Xiong 等人 2023 到 2024 年的实证研究泼了冷水：直接让现成模型口头报告置信度，普遍仍然过度自信，且受提示措辞影响很大。训练侧的代表作是 R-Tuning（Zhang 等人 2024，微软亚洲等，NAACL 2024 杰出论文）：先让模型自己判断训练数据里每个问答对属于「已知」还是「未知」（用模型自己的知识做裁判），再用这套标签训练模型在未知问题上主动拒答， known 问题上保持流畅。R-Tuning 在不影响已知任务表现的前提下大幅降低幻觉率，把「知识边界」变成了可优化的训练目标。更早的实证（Yin 等人 2023）指出问题的根源：模型的自知能力与任务能力并不同步，「会不会」与「知不知道自己会不会」是两种能力。工程侧的落地正在展开：弃答阈值接入客服与搜索的升级流程、一致性检测接入内容审核，而保形预测（conformal prediction，Quach 等人 2024）把「带覆盖率保证的候选集输出」引入文本生成，为高风险场景提供统计意义上的兜底。

flowchart TD
    A["问题：这句话可信吗"] --> B["多次采样候选答案"]
    B --> C["双向蕴含聚类：按语义而非措辞分组"]
    C --> D["在语义类上计算熵"]
    D --> E["高语义熵：模型语义层面犹豫"]
    E --> F["触发弃答 / 转人工 / 标注来源"]
    D --> G["低语义熵：答案语义稳定"]
    G --> H["正常输出，附置信度"]

开放问题与落地建议

这个领域还有几个明确的未解问题。第一，长文本生成的不确定性度量：语义熵在单句问答上成熟，但对长输出，「哪一句在胡说」的分句归因仍是难题。第二，思维链对校准的影响方向未定：多项 2025 年前后的实证提示，更长的推理链可能让模型越来越自信而正确率不升，过度自信随推理步数累积。第三，工具与检索引入后的复合不确定性：模型对检索结果的采信本身就是一个校准问题。第四，校准的稳定性：分布漂移之下，验证集上调好的温度参数会失效，持续校准是工程必需。给落地团队的建议可以浓缩成三条：选择题场景直接上温度缩放加 P(True) 自评，便宜且立竿见影；自由生成场景用重复采样一致性做黑盒幻觉过滤；高风险流程把「弃答率」当作与准确率并列的一级指标来监控——宁可少答，不可错答。

工程落地：选择性预测与路由

不确定性量化在生产里的形态是选择性预测：把样本按置信度排序，计算「只回答最自信的前 x% 时的错误率」，得到风险-覆盖曲线与 AURC 指标——这是弃答系统的核心度量。产品架构上，置信度低于阈值的请求升级人工或转检索增强，阈值由业务的风险成本校准；客服机器人用这套机制平衡「自动化率」与「答错率」，搜索与医疗问答里它是一级架构决策而非可选项。

选择题校准有几个容易踩的陷阱。多项研究显示，LLM 的选择题校准对选项顺序与措辞极其敏感——同一道题换一下选项排列，预测分布会明显漂移（Wang 等人 2024 年的《LLMs Are Not Robust Multiple Choice Selectors》做了系统测量）；依赖「第一个 token 的概率」当置信度的常见做法因此不可靠，P(True) 式自评或多次采样一致性更稳。内部探针提供了第三条路：Azaria 与 Mitchell 2023 年证明，用隐层状态训练的小探针就能预测答案真伪；Gottesman 与 Geva 2024 年更进一步——不生成任何 token，直接从内部状态估计模型「知道什么」，把知识探测的成本从「采样生成」降到「一次前向」。

推理时代带来了新的校准难题。2025 年前后的多项实证指出：思维链越长、模型越自信，但正确率并不随之上升——「过度思考」与过度自信同步发生，o1、R1 这类推理模型的弃答校准普遍比其前身更差。这意味着推理能力的进步反而加大了对不确定性机制的需求：一个会做长推理但不承认不会的模型，比一个短平快的模型更危险。

统计保证路线是最近的增量。Quach 等人 2024 年的保形语言建模把保形预测引入文本生成：在验证集上校准后，输出「以指定覆盖率包含正确答案的候选集合」；Angelopoulos 等人的风险控制预测集提供了更一般的框架。这类方法的卖点是有限样本下的分布无关保证，代价是输出形态从「一个答案」变成「答案集合」，更适合后端流程、审计与质检场景，而非直接面向终端用户。

小结

大模型不确定性量化的研究轨迹是「意外发现、然后修复」的典型剧本：基座模型的下一词预测天然带来良好校准，RLHF 出于偏好优化的动机破坏了它；而幻觉问题让「知道自己不知道」从学术 curiosities 变成产品刚需。方法版图可以按数据需求分层：零成本的温度缩放与口头置信度、黑盒可用的重复采样一致性、需要模型内部的 P(True) 与隐层探针、需要训练的 R-Tuning 式弃答对齐，以及带统计保证的保形预测。这条研究线的终极目标清晰而遥远：让「模型的信心」成为与「模型的正确率」一样可靠的工程量。