重新定义问题：幻觉是训练目标的内生属性
大众叙事把幻觉当成「bug」——修好就行。学术视角更冷静：幻觉是当前训练范式的内生属性，它在多个环节被系统性制造。第一环是预训练目标：下一词预测奖励「无论知不知道都要给出高概率的延续」——训练分布里几乎不存在「我不知道」这个选项（网络文本里承认无知的比例极低），模型学到的是「永远给出一个答案」的策略。第二环是知识的参数化存储：万亿 token 的知识被压缩进固定参数，注定有损——高频知识存得牢，长尾知识（冷门人名、精确数字）存得模糊，而模型对「自己存得模糊」这件事的感知很弱。第三环是解码的随机性：采样温度让低概率（可能是编造的）词也有机会被选中。
这三环叠加的解释力很强：幻觉为什么偏爱冷门事实（长尾知识存得差）、为什么语气自信（训练分布里没有犹豫的示范）、为什么同样的错误换个问法就不犯（检索参数知识的路径不同）——都不是玄学，是机制的直接推论。
四种机制来源：一条分类框架
研究文献里的幻觉可以按机制分成四类，各自的对策不同。知识缺失型：训练数据里根本没有（或极少）相关事实，模型按语言模式「合理地编」——对策是检索增强（RAG）让外部知识补位，或拒答。知识冲突型：参数知识与检索到的外部知识矛盾，模型随机站队或混合输出——这是 RAG 场景的高发幻觉，机制研究（知识冲突方向）发现模型对参数知识的偏好常压过明确的上下文证据，缓解方向是训练模型「优先信任上下文」。推理错误型：知识在，推理链断了——多步推理的中间错误被放大，思维链与验证器（可验证奖励方向）是此类的对策。表达错位型：模型内部「知道」自己不确定，但生成时没有表达出来——这是近年最有意思的发现方向，下一节展开。
flowchart TB
Q["问题输入"] --> A{"机制分类"}
A -->|"参数里没有"| B["知识缺失型 → RAG / 拒答"]
A -->|"参数与上下文矛盾"| C["知识冲突型 → 训练优先信任上下文"]
A -->|"知识有、推理断"| D["推理错误型 → 思维链 / 验证器"]
A -->|"内部知道不确定但没说"| E["表达错位型 → 校准训练 / 表达式拒答"]
「内部知道但嘴上不说」：表达错位的研究
最有启发性的发现来自内部表征与生成输出的错位研究：用探针（probe）读取模型内部激活，发现模型在生成一个错误答案时，内部表征常常「知道」这个答案有问题——不确定性信号在内部存在，却没有被转化成外显的犹豫或拒答。一项被广泛引用的研究（2024 年的「LLMs Know What They Know」方向的工作及后续）表明：模型的内部状态对「这个回答对不对」的预测能力，优于它自己口头表达的置信度。
这个错位的训练根源清晰：RLHF 与人类偏好数据奖励「流畅、自信、有答案」的回复，「表达不确定」在偏好排序里常吃亏——模型被训练成了「内部有警报但嘴上不说」。缓解方向由此明确：校准训练——用「知道自己不知道」的样本训练（拒答奖励、置信度表达奖励），以及推理时的自我一致性检查（多次采样比对，内部信号的一致性低就降置信）。表达错位研究的实用价值：与其等模型「变诚实」，不如把内部不确定性信号接出来用——置信度校准工具链正在从研究走向推理基础设施。
检测与缓解：学术进展的分层清单
检测层：自一致性检测（多次采样答案的一致性——分歧大的回答可疑，成本低最常用）、内部信号检测（用探针读激活做二分类「这句是编的吗」，学术上比文本侧方法准但工程依赖白盒）、检索比对（有外部知识库时直接核验，金标准但覆盖面受限于库）。训练缓解层：RLHF 数据里加入「拒答优于瞎编」的偏好对（主流模型近年幻觉率下降的主要功臣）、事实性微调（用标注过真伪的问答微调）。系统缓解层：检索增强 + 引用要求（让模型只基于检索内容作答并给出出处）、工具调用（计算与事实查询交给外部工具，模型只做组织语言——把「背事实」这个最弱的环节外包出去）。
一个务实的认知：分层防御，不追求单点消除。知识缺失型靠 RAG 压、推理错误型靠验证压、表达错位型靠校准压——每层削掉一部分，系统整体的幻觉率就能进入可用区间。追求「零幻觉模型」在原理上走不通（参数化知识的有损性 + 训练分布的偏置是结构性的），把它当工程指标管理才是正路。
幻觉率的市场：为什么各家模型的事实性差异这么大
同一个问题问不同模型，幻觉率可以差数倍——这背后是训练配方对幻觉四类机制的差异化处理。预训练数据的质量与去重：知识缺失型幻觉的根源之一是「低质数据教会了模型编造的模式」——数据管线的严格程度直接影响长尾事实的可靠性。拒答的奖励设计：RLHF 阶段「不知道就说不知道」被奖励多少，直接决定表达错位型的程度——各家偏好数据里「诚实拒答」样本的配比是幻觉率的第一杠杆；行业里出现过一个反直觉的现象：某些对齐过度的模型拒答率过高（明明知道也不答），幻觉率与拒答率是一对需要联合调节的旋钮。检索的接入深度：带联网检索的模型在时效性事实上幻觉率断崖式低于纯参数模型——「答案的出处」引用（标注来源链接）进一步压制「编造引用」的经典幻觉。评测的真实性：各家宣传的幻觉率数字要用统一的第三方基准（如 FactScore 类的事实核查式评测）横向看，自报口径（用什么测试集、怎么定义幻觉）差异极大。给用户的实用结论：幻觉率是任务相关的——长尾事实问答是最危险区，检索加持 + 要求引用 + 交叉验证是把风险压到可用区间的三件套；把任何模型当「事实的最终来源」都是对自己不负责任。
置信度表达的产品设计：让模型学会说「我不确定」
表达错位研究（正文）的产品化方向是「置信度表达」的设计学。三种表达形态。其一，语言化 hedging：回答里带「根据现有资料……可能有误」——最常见但被 RLHF 压抑（用户偏好流畅自信），需要奖励设计翻转。其二，结构化置信标注：回答的每个事实声明带置信分数（高/中/低或百分比），高风险声明显式标记——适合企业知识库场景（让审阅者按置信度分配检查精力）。其三，主动询问：置信度低于阈值时不作答，反问澄清——客服与医疗场景的安全阀。产品设计的张力：置信表达的「诚实收益」与「体验损失」互相拉扯——过度 hedging 的模型被用户评价「没用」（用户要的是答案不是免责声明），过少则幻觉风险。分场景的旋钮：医疗法律建议（宁可不答）、创意生成（几乎不需要 hedging）、事实问答（按置信分级）——置信度的表达策略应该是产品的场景参数，不是模型的全局性格。校准的技术基础：内部信号（正文的表达错位研究）给「真置信度」提供了比口头表达更准的来源——把内部信号校准成产品级的置信标注，是推理基础设施的在建工程。一个好的产品指标：「用户被幻觉伤害的次数 / 用户感知到的模型自信度」——置信表达设计的目标就是压低这个比值。
RAG 时代的幻觉新形态：检索错误的「合理化」
检索增强被当作幻觉的解药，但它引入了新的幻觉形态，值得单独点名。检索错误的合理化：检索回来的材料本身错误（知识库里的过时文档、低质网页），模型基于错误材料生成「有出处、有引用、看起来可信」的错误答案——这是最难被用户识破的幻觉（它带着引用的外衣）。检索缺失的强行作答：检索没召回到相关材料，模型不承认「库里没有」，转而用参数知识作答并把「出处」标注成检索结果的编号——「假引用」的经典形态。缓解的工艺三件：检索质量的监控（召不准的库先修库）、模型指令的「仅基于材料作答，材料不足时明确说明」（主流模型的可调行为）、答案与材料的「归因校验」（生成的每个声明反向核对出处，产品级的引用审查工具已在成熟）。RAG 场景的幻觉治理因此是「模型 × 数据 × 指令」的三方工程——把责任全推给模型或全推给检索，都是不完整的归因。
小结
幻觉是下一词预测 + 参数化有损知识 + 「自信才有奖励」的训练分布共同制造的内生产物，按机制分四类：知识缺失（RAG 补）、知识冲突（训练优先信任上下文）、推理错误（思维链与验证器）、表达错位（模型内部知道不确定却没说）。表达错位是最有价值的近年发现——内部信号的置信预测优于口头表达，校准训练与内部信号利用是缓解的主方向。检测靠自一致性、内部探针与检索比对三层，缓解靠训练、系统、工具的分层防御。「消除幻觉」在原理上不成立，「把幻觉管理进可用区间」是工程正路。下一篇继续在模型内部打转——但不看问题，看能力：模型合并与模型编辑，不重训就能改模型的知识。
读者留言
COMMENTS 暂无还没有留言，来说第一句？