AI 资讯 知识库 智能体生态观察智能体生态观察 · 第 62 篇|幻觉治理:引用链、校验器与置信度表达

智能体生态观察 · 第 62 篇|幻觉治理:引用链、校验器与置信度表达

拍卖行从不向买家承诺「零赝品」,而是建立一整套鉴定流程:来源考证、独立专家复核、按证据分级定价——赝品没有被消灭,但变贵了、可见了、可控了。幻觉治理是同一门生意:治不到零,就把编造的成本抬高、把不确定亮出来、把风险分级管理。智能体的执行能力让幻觉的代价从「说错话」升级为「做错事」,这门生意也因此更急迫了。

手绘信息图:幻觉的三道过滤网——引用锚定、独立校验、置信度分级,主链路从模型生成到用户呈现,每道网标注拦截要点

幻觉的新形态:不只是「编事实」

聊天时代的幻觉研究聚焦闭卷编造:模型凭参数记忆说出不存在的事实——虚构论文、捏造法条、编造不存在的函数。智能体时代的主流幻觉换了形态:卷子就摆在桌上——上下文里有工具返回的正确数据,模型仍然读错、抄错、用错。开卷还错比闭卷编造更值得治理,因为它发生在信息最完备的时刻,破坏的是「有据可查」这项智能体最核心的承诺。更麻烦的是它难以预警:闭卷编造容易靠知识比对发现,开卷误读的答案表面流畅、逻辑自洽,只有对着原始数据逐项核对才会现形。

第一类新形态是工具结果误读:表格列错位、单位混淆、取错行、统计口径张冠李戴——数据明明是对的,结论是错的。第二类是参数编造:用户没给的字段,模型自己填一个「看起来合理」的值——收件人、金额、日期,概率机器厌恶空缺,而智能体的手让每一次编造都直接变成真实动作。第三类最隐蔽:引用错位——回答带了引用,出处也真实存在,但那段原文并不支持这句话。引用在这里成了装饰品,甚至是信任的伪装。典型翻车如财报问答:回答里的数字与引用页码都对得上,但那一页讲的其实是另一项业务——引用链完整,结论张冠李戴。

还有一类随长期使用浮现:记忆错认——智能体把上一次会话的细节错安到这一次头上,或把「记得有过」当成「确实如此」。智能体时代的幻觉因此是一族现象,不是一个现象:闭卷编造只是最经典的一支,开卷误读、参数编造、引用错位、记忆错认各有各的成因,也各有各的过滤办法。把它们混称为「模型爱编」,治理就会失焦。

新形态 典型场景 易被误认为
工具结果误读 表格取错列、单位混淆 数据源错误
参数编造 默认值填充、日期臆测 输入缺失
引用错位 出处真实但不支持断言 引用缺失
记忆错认 上次会话细节错安 上下文过长

新形态的共同点是:幻觉不再只是内容问题,它顺着工具与记忆,长进了系统的动作与状态里。

三道过滤网:锚定、校验与分级

第一道网是引用锚定:要求每个关键断言挂上来源片段,把生成从「凭记忆说话」改为「对着原文说话」。机制上这是把概率性的回忆任务改造成抽取式的对齐任务,幻觉空间显著收窄;厂商侧也已把引用做成产品能力——搜索场景的带引用回答、API 层的引用字段,让「答案与原文的对应关系」由系统而非模型自觉维护。边界同样清楚:锚定只保证「话有出处」,不保证「出处支持话」——引用错位这道网拦不住,且上下文随引用膨胀,成本上升。实务里有一条折中:不要求全句挂靠,只对事实性断言强制挂靠——数量降下来,质量才提得上去。

第二道网是独立校验:用不参与生成的另一套逻辑复核答案。最便宜的是规则校验——数字对账、日期合法性、跨字段一致性,能把相当一部分数值类幻觉拦下;更进一步是验证链式的自查流程:先起草案,再自动生成核查问题,逐条独立作答后对照修订——学界已有成熟方法可循。工程上更稳的是异构复核:用另一家或另一配置的模型交叉检查,避免同一套盲区两边通用。校验器的局限要认账:漏网率随成本递减,但永不归零;校验器自己也可能出错,需要用人工标注的抽查来「校验校验器」。

校验的成本要分层设计,把预算花在高风险断言上。四级递进:规则校验零边际成本,全量过;交叉检索核验关键事实,按断言触发;异构模型复核,只给高风险输出;人工复核,留给低置信加高代价的窄口子。与「全量都过一遍大模型校验」的粗放做法相比,分层把成本压掉一个量级,而拦截率几乎不损——幻觉治理的经济学,一半在分层。

第三道网是置信度分级。难点在分数从哪来:让模型口头报告把握程度并不可靠——口头自信与实际对错的相关性弱得危险。可操作的替代是间接信号:多次独立采样看答案是否一致(一致性与正确性正相关)、证据是否冗余(多个来源交叉印证)、工具能否交叉核对(两个独立接口返回同值)。拿到分数后按级路由:高置信直接呈现,中置信带引用与提示呈现,低置信给出「不确定」或转人工——分级把「要不要信」的决策从用户肩上接走了一半。

校准要在自己的数据上做,不能依赖通用分数。团队实践通常是:抽一批带标准答案的历史任务做校准集,测出各档置信信号在本业务上的准确口径,再按错误代价的不对称性调阈值——医疗场景宁可多拒答,营销场景宁可多呈现。阈值不是通用常数,是业务参数。

def route_answer(answer, evidence, signals):  # 置信度路由:分级信号的消费端(示意)
    agree = signals["sample_agreement"]      # 多次独立采样的一致率
    support = signals["citation_support"]    # 引用支持率
    if agree >= 0.9 and support >= 0.95:
        return render(answer)                # 高置信:直接呈现
    if agree >= 0.6 and support >= 0.7:
        return render(answer, evidence=evidence,
                      note="中等置信,建议核对引用")   # 带引用与提示呈现
    return give_search_hints(signals)        # 低置信:给检索方向,不给编造答案
过滤网 机制 成本 效果边界
引用锚定 断言挂来源片段 上下文与延迟上升 只保证有出处
独立校验 规则加异构模型复核 多一轮调用 漏网递减不归零
置信度分级 采样一致性与证据冗余 采样开销 依赖校准质量

三道网是串联的过滤器,不是并列的备选——锚定管出处,校验管对错,分级管路由。顺序不能颠倒:没有锚定的校验无从查起,没有分级的校验只是内部信息。

呈现层:把「不确定」做成产品语言

过滤网产出的是分级信号,呈现层负责把它翻译成用户语言。分色是最基础的一档:高置信的陈述、中置信的带提示陈述、低置信的明确标注,三档视觉分层让用户扫一眼就知道哪里可以放心、哪里要自己核。证据面板是更进一步的产品化:点击引用展开原文片段,断言与证据一一对应——用户不必全信系统,可以抽查任何一句。这里有一条容易踩的线:引用必须可点、可查、对得上;点开与断言无关的原文,比没有引用更伤信任。密度也要拿捏:全部句子都挂引用等于没有引用——标注要集中在事实性断言上,观点与建议不必强行挂靠,否则证据面板会退化成视觉噪音。

「我不知道」需要被当成功能来设计,而不是失败的兜底。至少要区分两种「不知道」:没找到证据,与找到了但相互矛盾——前者给出「现有资料没有覆盖」并附检索范围说明,后者把冲突双方摆出来让用户裁决。低置信时的呈现也有讲究:给出线索而非编造的答案(「这类问题通常取决于合同版本,建议核对对应章节」),比硬答一个错值的产品口碑好得多。拒绝的质量,是智能体产品成熟度的标志之一。

对话式场景还有一张牌:让用户成为校验的一环。呈现「我查到两份材料,口径不一致,你要哪一份」,比擅自裁决更稳妥;关键参数缺失时反问而不是填充,从源头掐掉参数编造。把校验节点显式交回给用户,本质是把置信度分级做成一次交互,而不是一次静态呈现。

flowchart TD
  G["模型生成:可能编造"] --> N1["网一:引用锚定,断言挂来源"]
  N1 --> N2["网二:独立校验,规则与异构复核"]
  N2 --> N3["网三:置信度分级"]
  N3 -->|"高"| P1["直接呈现"]
  N3 -->|"中"| P2["带引用与提示呈现"]
  N3 -->|"低"| P3["声明不确定或转人工"]
  P3 --> B["线索化回应:给检索方向,不给编造答案"]

呈现层的设计原则是「让过滤可见」:用户看到的不只是答案,还有答案的可信度与出处——可解释的不确定,比伪装的确定更有价值。

生态观察:从「可信承诺」到「可验证呈现」

生态里的竞赛方向清晰可见:搜索类产品把引用做成标配,答案即脚注;托管 API 开始提供引用字段,把「答案与原文的对应」下沉为系统能力;引用格式的标准化尝试也在推进——网页引用的元数据、法条与文献的结构化引用,让机器可校验的引用链成为可能。方向一致:从「请相信我」转向「请查证我」。

垂直场景走得更快也更硬。法律场景里法条编号可精确校验、判例可全文检索,规则引擎能把引用错位直接判死;医疗场景把指南与文献检索、危险表述清单、强制人工复核组合成强校验流水线;金融场景用数字对账兜住数值幻觉。垂直场景的共同优势是权威语料封闭、验收规则明确——校验器因此能写死,幻觉治理从「模型问题」部分转化为「数据工程问题」。这也是为什么垂直产品敢在营销里谈「可信」,通用产品只敢谈「改进」。

工具生态也在跟进:校验器正在从论文方法变成中间件——引用支持率检测、忠实度打分、事实一致性比对的现成组件,可以挂进流水线当关卡;评测口径里,「有引用且引用支持」开始作为独立指标单独统计。当校验成为一键接入的基建,跳过它的理由就从「做不起」变成了「不想做」。截至 2026-11,这类组件的成熟度参差,关键场景仍需自建加抽查兜底。

两个判断值得留下。其一,「零幻觉」的营销承诺不可信,可信的是可测量的口径——忠实度、引用支持率、拒答恰当率正在成为团队评测的常规指标,买方看指标不看口号。其二,治理重心正在从「让模型不编」迁移到「让编造可见、可查、可追责」——引用不是装饰,是责任链:出错时能回溯到断言、出处与校验记录的哪一环,治理才算闭环。截至 2026-11,这套口径在严肃场景已近似刚需。

从「可信承诺」到「可验证呈现」——治理重心迁移的实质,是把信任从口号变成可查证的链条。

小结

幻觉治理是概率工程,别用确定性思维做承诺。目标函数要改写:不是把编造降到零,而是让编造变贵(锚定与校验提高了编造成本)、变可见(分级与证据面板把不确定亮出来)、变可控(路由把高风险决策交还给人)。三道过滤网串联使用,呈现层把分级翻译成用户语言,垂直场景用封闭语料与硬规则把校验写死。一个朴素的验收动作:随机抽十条回答,逐条点开引用核对原文是否支持——引用错位率如果高得离谱,说明锚定只做了形式;如果低且稳定,这套系统才算真正把「查证」做成了产品能力。幻觉不能消灭,只能降价——降价的空间,就是治理的成绩单。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?