资深工程师回答问题自带校准:「我印象里是这个数,你以官方文档为准。」结论、依据、不确定度一句话给全。RAG 的回答则永远同一个腔调:检索到了就笃定地写,检索得半生不熟也笃定地写。把「检索到了」伪装成「所以是真的」,是用户信任流失的第一原因——错一次,用户就学会对所有答案打折扣。无答案场景的拒答兜底本系列已有专篇,本篇谈更常见的情形:答案存在,它可信到什么程度,怎么算出来、怎么诚实地讲出来。

检索信号:便宜但只照到半程
检索信号的第一手材料是分数:top1 分数水平、第一名与其余结果的分数断层、分数整体的分布形态。断层陡峭说明检索笃定地找到了目标;全员分数挤在一起说明候选都半斤八两。第二手材料是多路一致性:混合检索里向量与关键词两路命中同一篇文档是强信号,各自命中不同文档是弱信号;查询改写后多个变体的检索结果收敛到同一候选,同样加分——多路独立路径指向同一处,比单路高分更说明问题,因为它排除了「某一条召回路径碰巧偏科」的解释。
检索分数要可用,先得解决可比性。实操是维护滚动窗口内按意图或栏目分桶的分数分布,把当前查询的分数转成所在桶内的分位位置:同一个绝对分值,在「大模型」栏目里可能处于中位,在「算法题解」栏目里可能垫底,分位才是跨查询可比的语言。分桶不能太细——每桶都要攒分布,细了就回到冷启动;也不能太粗——不同意图的分数水位不同,混起来信号被抹平。栏目级是常见的起点,与检索侧的难度分桶共用一张分布表都行。
它的局限同样清晰。相似度分数跨模型、跨查询不可比,只能在单次查询内部做相对比较,分位化解决的是这一条。高分不等于正确:改写型冗余的噪音文档与查询措辞高度相似,照样刷出高分——分数度量的是「像不像」,不是「是不是」。最关键的一条:分数分布只度量「检索的把握」,不度量「答案的推导是否成立」——检索笃定而生成走样,是检索信号照不到的暗区。把检索分数直接当答案置信度展示给用户,是置信度工程里最常见的偷懒,也是最常见的误导:用户看到「相似度 0.92」并不能推导出「答案对的概率」,两个数字之间没有可解释的换算关系。
生成信号与校验信号:句级证据与第二遍核查
生成信号里最有工程价值的是引用覆盖:答案里每条断言都能挂到检索来源,支撑才算充分;出现挂不上来源的句子,就是游离断言——不确定性的直接来源被定位到了句级。实现上要把答案切成断言粒度(一个事实主张一条,而不是按句号机械切),再对每条断言判断是引用支撑、改写支撑还是无支撑;引用覆盖率连同游离断言的具体位置一起输出,后者还能反哺上游——游离断言集中在答案末尾,往往意味着上下文用尽后模型开始自由发挥。引用覆盖是检索与生成之间的桥,也是少数可以被机械验证的信号,应当常驻计算。
模型自报置信度——让模型输出答案时顺便报「有多大把握」——直观但不可直接采信:校准研究的结论相当一致,开箱即用的自报置信系统性过度自信,它度量的是语言上的流利自信而非事实把握。自报信号要用,但只能当作三路之一,且档位阈值要靠本系统的评测数据单独校准——校准之后它仍有价值,毕竟成本几乎为零。校准自报信号还有个便宜的改进:让模型先作答、再复盘引用作答把握,两段分离能显著减少「边写边自信」的连续性偏置;追问环节等于强迫模型重看一遍依据,自报档位会诚实一些。
校验信号是第二遍核查,形态有二。独立再生成:同一问题采样多次,按语义聚类比对答案一致性,分歧大说明答案不稳定——语义熵的思路,截至 2026-11 已有可用的开源实现,但多次采样成本高。轻量核查器:逐句核对答案与引用来源是否相符,成本低一档,能抓住引用与断言不符的硬伤。校验信号最接近「答案对不对」本身,也最贵——它的正确用法不是全量启用,而是分级启用:高置信抽查、中置信必检、低置信直接走低档呈现,把预算花在分界线上。三路信号成本递增、覆盖的失败模式互不重叠:检索信号管「找没找对」,生成信号管「说没说离谱」,校验信号管「到底对不对」,单用任何一路都会漏。
信号融合与阈值校准
融合不是加权求和那么简单:三路信号量纲不同——相似度分位、一致性比率、自报档位,直接加权等于把不同货币直接相加。可行做法是先各自归一:分数在同类查询分布内转成分位,一致性转成比率,自报转成离散档;然后用「一票降档」规则合成——任何一路亮红灯就把最终档位压低一级。它比加权平均稳健,因为三路信号的失败模式是「或」的关系:任何一路失控都足以让答案不可信,而加权平均会让一路的红旗被另两路的绿灯稀释掉。降档规则也要留出例外通道:某些场景里单路信号权重天然更高——合规问答里校验信号一票到底,闲聊场景里校验成本干脆省掉,融合规则按场景配置而不是全局一份。
flowchart TD
R["检索信号:分数分位、断层、多路一致性"] --> F["归一化:分布内转档位"]
G["生成信号:自报置信、引用覆盖"] --> F
V["校验信号:采样一致性、逐句核查"] --> F
F --> M{"按场景规则合成:一票降档"}
M -->|"三路全绿"| HIGH["高置信档"]
M -->|"有黄灯"| MID["中置信档"]
M -->|"有红灯"| LOW["低置信档"]
def grade_confidence(retrieval, generation, verification):
level = 2 # 2 高 / 1 中 / 0 低
if retrieval.score_pct < P50:
level -= 1 # 检索分数位于分布下半区
if retrieval.gap < GAP_MIN or not retrieval.multi_hit_agree:
level -= 1 # 无断层或多路不一致
if generation.self_report < 2:
level -= 1 # 模型自报低把握
if generation.citation_cover < COVER_MIN:
level = min(level, 0) # 有游离断言,一票到底
if verification and verification.disagree:
level = min(level, 0) # 复核不一致,一票到底
return max(level, 0)
阈值校准是整条链路的锚,分档阈值不能拍脑袋定。标准做法是在评测集上跑全链路:系统给每个答案自评档位,人工标注每条答案的正确性,然后看每个档位集合的实际正确率——理想形态是一张单调递增的表:高置信档正确率明显高于中置信档,中置信档又明显高于低置信档;如果高置信档与中置信档的正确率拉不开,说明分档器没有区分力,归一化或降档规则要重调。校准目标是一句业务语言:「标为高置信的答案,实际正确率要达到可断言线」——这条线由场景定,客服话术与合规答复的线完全不同。
校准不是一次性的:换模型、改检索配置、语料大版本更新,都会让信号分布漂移,阈值要随回归一起复检。评测集本身要覆盖三档的真实样本——全是容易的全对样本,校准出来的是「所有答案都标高置信也正确」的假象;低置信样本(语料没覆盖的问题、边缘主题)必须占一席之地,否则阈值永远学不会「什么时候该低头」。标注口径也要先定清楚再开工:「答案正确」是事实全对才算,还是关键值对即可、措辞瑕疵不算——标注员理解不一,校准出来的正确率就是噪声;口径写进标注指南,抽两成人做交叉标注核对一致性,再放开全量。常见反模式是把校准做成「调阈值让高置信占比好看」——占比是产出不是目标,正确率才是。
呈现设计:三档的语言学
高置信档:直接断言加引用,不加免责套话。这一点反直觉但重要:如果每个答案都附「请核实」,用户很快学会忽略警示,等于没有警示。警示的稀缺性是它的价值——只在真正需要时出现,才能维持权重。高置信档的纪律反而是不说废话,让引用自己说话。
中置信档:给答案,同时说明依据的边界——「依据 2024 年发布的部门规程,此后未见更新版本」,或「主要依据单一来源,未见交叉印证」。措辞必须模板化,不能让模型自由发挥:自由发挥的结局是漂回自信腔,模板是防漂移的栏杆。模板要覆盖典型场景:单一来源、来源较旧、口径存疑、多源不完全一致,各配一句标准表述,答案按命中场景套用;模板本身进版本管理,改一句措辞也要走回归——措辞影响用户行为,是产品决策不是文案润色。
低置信档:明说不确定,同时给两条出路——已检索到的候选与分歧点是什么,建议的核实路径是哪条(去哪个系统、找哪个角色)。低置信不等于交白卷:交白卷把用户推回「什么都查不了」,带警告的答案加指路才是低档的正确形态。档位的视觉语言要保持稳定:档位标记的样式、位置、含义一旦定下就不要随改版漂移——用户对警示的信任建立在「每次看到都长一个样」之上,标记忽隐忽现、样式常换,等于重新训练用户忽略它。呈现形式还要分渠道:对话界面用措辞模板,API 调用方给结构化字段——置信档位、依据边界、游离断言数量作为 JSON 字段随答案返回,让下游系统自己决定怎么消费,不能把面向人的文案硬塞给程序。
产品侧还有一条常被漏掉的纪律:监控各档位的出现频率。高置信长期占满说明分档器失效——等于没有分档;低置信异常升高往往是检索质量恶化的先行指标。频率之外再抽交互证据:低置信答案被追问的比例、中置信答案被回评核实的行为,都是档位是否被正确消费的验证。档位频率是免费的系统健康探针,比单独搭监控便宜得多。
| 档位 | 措辞模板 | 用户预期 |
|---|---|---|
| 高 | 直接断言并附引用 | 可直接采信 |
| 中 | 给答案并说明依据与时效边界 | 参考结论,核实关键值 |
| 低 | 说明不确定与分歧点并指路 | 需人工确认,系统给出核实路径 |
小结
不确定性表达是校准问题,不是措辞问题。信号侧:检索信号要转成分位才可比、便宜但照不到推理,引用覆盖是少数可机械验证的生成信号、还能定位游离断言,校验信号最准最贵、按档分级启用;融合先归一再用按场景配置的一票降档合成,拒绝把不同量纲加权求和;阈值用评测集回归校准到「高置信集合的实际正确率达到业务可断言线」,评测集必须含低置信样本,并随模型与语料变更复检。呈现侧:三档措辞模板防漂移、进版本管理,API 渠道给结构化字段,高置信不说废话以保住警示的稀缺性,档位频率常驻监控当健康探针。用户不怕不确定,怕的是假装确定。
读者留言
COMMENTS 暂无还没有留言,来说第一句?