检索指标的陷阱:recall@k、MRR 与 nDCG 的适用边界

某团队把检索 MRR 从 0.62 优化到 0.85,庆功会开完,用户投诉量纹丝不动——因为用户的真实任务是「把相关材料找齐」,而 MRR 只看第一条。检索指标从来不是分数越高系统越好,前提是「指标在测你想优化的东西」:recall@k、MRR 与 nDCG 各自隐含一种任务假设,量对了是导航仪,量错了就是拿体重秤量血压,读数再准,也回答不了血压的问题。

手绘信息图:三个指标三种眼光——recall@k 看集合找齐、MRR 看首条命中、nDCG 看排序质量

三指标的机制与任务假设

recall@k 的算式最直白:前 k 条结果里命中了多少条相关条目,除以全部相关条目。它的隐含假设是任务关心「找齐」——相关条目构成一个有限集合,每漏一条都有代价,合规审查、清单核对、法条援引都是这类任务。它的第一个陷阱藏在分母里:语料里到底有几条相关,这件事通常不可知,标注只能覆盖「已发现的相关」,于是 recall@k 度量的是「相对标注集的找齐率」,标注缺了多少,读数就虚高多少。极端情况:标注只登记了三条已知相关文档,系统把这三条全收进 top-k,recall@10 拿到满分——而语料里可能还躺着几十条没人标过的相关条目。第二个陷阱是天花板错位:真实相关条目上百条而 k 只取 10 时,recall@10 的理论上限不足两成,指标长期难看,但系统可能根本没病——如果任务只需要其中三五条,追高召回率本身就是伪需求。读 recall 之前先问两句:分母从哪来,天花板够不够得着。这两个问题没有可信答案,这个指标就只是好看的装饰。

MRR 问的是「第一条相关结果排第几」,取其排名倒数,再对查询集求平均。它隐含的是导航假设:用户只想要一个入口,第一条对了任务即告完成——FAQ 定位、单文档跳转、知识入口推荐都属此类。它的盲区由同一个假设决定:第二条之后的排名完全不进指标。把十条相关材料的前三条排妥、其余七条全丢,与十条全部进 top-5,两种系统的 MRR 可能一样高;在导航任务里两者等效,在材料收集任务里后者完胜。更隐蔽的是梯度缺失:MRR 只认第一条命中在哪,不认命中的那条有多相关——把一条边缘相关的文档顶到第一位、把真正权威的文档挤到第二位,MRR 反而更高。把 MRR 用在集合任务上当北极星,等于训练系统「把一条最像的顶到最前,其余随便」,方向性错误;用得对时它也最便宜——判定简单、人工标注只要确认首条,是三个指标里维护成本最低的一个。

nDCG 最讲究:每条结果按相关程度打分级标签(比如零到三级),得分按位置折扣累加——排得越靠后折扣越重,最后除以理想排序的得分做归一。它隐含三重假设:相关性有梯度、用户按顺序浏览、浏览深度到第 k 条为止;任何一条不成立,读数就失真。标签只有相关与不相关两档时,nDCG 退化成带位置加权的精确率,区分力未必强过 MRR;分级标签靠模型打分时,打分噪声直接进入指标,两次评测之间的波动可能盖过系统真实差异;理想排序依赖标注完整性,漏标会让归一分母偏小、读数虚高;k 取得过大,优化的是用户根本看不到的第 7 到第 10 位。还有一个团队自查点:当评测集全是简单查询、所有系统的 nDCG 都挤在 0.95 以上时,指标已经饱和、失去区分力——该补的是难题,不是继续优化。

同一个检索结果,三个指标会讲三个故事。假设某查询有八条相关材料,系统返回的 top-10 命中了其中五条,最相关的一条排第 1,另有两条排在第 8 与第 10:recall@10 读 0.63,指控「没找齐」;MRR 读 1.0,宣布「完美」;nDCG@10 读一个中上的分数,评价「还行」。三个读数都对,它们是同一系统的三张面孔——下游拿这批材料写综述时,recall 是真相;用户点进第一条就走时,MRR 是真相;逐条浏览找答案时,nDCG 是真相。先定任务,再定哪个读数算数;反过来,用三个数里最好看的那个做汇报,是指标工程里最常见的自欺。

三个指标没有高下之分,只有假设与任务合不合;合则灵,不合则自欺。

指标与任务的配对

配对的第一步是承认 RAG 里至少并存三类检索任务,一张指标走天下是幻想。问答类任务要「最相关的三五条进上下文」:主指标选 nDCG@5 这类位置敏感指标,辅助挂 recall@20——上游召回接得住,重排才有料可排;这里最常见的失真是标注粒度错位:相关性标注做在文档级、评估算在块级,文档相关不代表被检出的那一块相关,指标会系统性虚高,评测得分与答案质量之间出现对不上的裂缝。合规集合类任务要「一条不漏」:主指标是 recall@50 这类大窗口召回,护栏是校验后的噪音率——召回窗口放开必然带进噪音,噪音由校验器与人工兜底;分母未知的问题用候选池方案解决:先用宽口径多路召回把候选汇成一个池,人工确认池内每条的相关性,把确认后的池当作分母的近似,读数从此有了锚。导航入口类任务要「第一条就对」:主指标就是命中@1 或 MRR,辅以在线点击信号;它的天然盲区是对第二位之后全盲,所以别拿它去评估多材料任务。

flowchart LR
    Q["一个检索查询进来"] --> T{"任务要什么"}
    T -->|"最相关的几条"| A["问答任务:nDCG@5 为主,recall@20 兜底"]
    T -->|"全部相关条目"| B["集合任务:recall@50 为主,噪音率为护栏"]
    T -->|"一个入口"| C["导航任务:命中@1 或 MRR 为主"]
任务 主指标 辅助指标 典型陷阱
问答 nDCG@5 recall@20 文档级标注与块级评估错位
合规集合 recall@50 校验后噪音率 分母未知导致读数虚高
导航入口 命中@1 或 MRR 在线点击率 对第二位以后全盲

现实里还有第四种情况:同一个入口混着多类任务——用户有时提问、有时找文档、有时要清单。此时指标要跟着路由走:查询先过意图判别,不同意图分别用各自的指标统计、分别看分桶读数;把三类任务的查询混进一个总分,等于把三张不同的考卷订成一本算平均分,那个数字没有任何含义。指标配对是「按任务配」,不是「按系统配」。配对还要落到管线的层上:召回层与重排层该用不同的尺。召回层看 recall@100 或候选池命中率——它的职责是把对的材料留在场内;重排层看 nDCG@5——它的职责是把对的材料排到眼前。两层合用一把尺,调优信号就糊了:重排把召回漏掉的东西排得再整齐,分数也涨不动;召回层漏掉的,重排层永远救不回。给两层分别留一套分层数字,坏哪层看哪层,调优才知道动哪一层。配对关系定下后写进团队文档,每个新指标进榜前先回答一句「它隐含什么任务假设、我们的任务是哪类」——答不上来的指标,不许进放行标准。

指标之外的补充

离线指标是代理,在线真值是用户行为与 bad case 率,两者必须定期对账。操作形态:每周从真实查询流量里抽三五十条,人工快速判「这轮检索结果能不能支撑作答」,得出一个粗粒度的可用率,与当周离线主指标并排看。离线指标涨、人工可用率没涨,先怀疑两件事——标注漂移(口径或标注人员变了)或指标失真(任务分布变了),不要急着庆功;反过来人工体感变差而指标平稳,多半是查询分布漂出了评测集的覆盖范围,评测集该补新条目了。bad case 率(来自用户反馈与人工评审的出错比例)是最贵也最贴近真值的信号,它的趋势应当与主指标负相关;当两者同向波动,基本可以断定主指标已经测错了东西——这是指标失效最可靠的警报。

任何单一指标被立成唯一目标,团队都会学会「在指标上得分」而不是「在任务上得分」:把 MRR 当唯一 KPI 的团队,三个月后会拥有一批首条极准、后面稀烂的排序结果。防御不是堆指标——五个指标三个涨两个跌,结论任人打扮——而是分层:主指标一个、护栏一到两个,其余全部降级为诊断面板;放行标准只看主指标达到容差且护栏不劣化,诊断面板的数字只用于解释「为什么」,不用于决定「行不行」。指标口径还要绑定变更记录:换标注人员、换评审模型、调 k 值,都会让分数整体平移,此时该重刷基线,而不是把平移误读成提升。

横向比较也有边界:两家系统各自报的 recall@10 未必可比——k 相同,但标注集不同、分母口径不同,分数就没有互换性。指标数字只在「同一份评测集、同一套标注、同一套参数定义」内部可比;跨系统比较要连评测集一起交换,否则就是在比较两个不可通约的量具。指标回答「大概多少」,人工对账回答「真的吗」,两套信号各司其职,谁也不能替谁。

指标的上限最终由标注质量决定,这件事常被忽略。标注员对「相关」的理解不一致,分数就在测标注员的分歧而不是系统的能力;开工前先做小规模双人交叉标注,算一致率,一致率不高就先修标注指南再放量。指南要对边界情形给出判例:广告页算不算相关、过时但唯一提到该主题的文档算不算相关、同主题的旧版规程算不算。标注质量还有一条隐秘的退化路径:评测集常年由同一批人维护,判例越积越偏向最初的任务理解,而真实任务早已演化,尺子的刻度没跟着换——所以指标体系每年重审,重审的不只是指标,还有刻度本身。最后是对汇报语言的约束:对外报指标时把口径带上——「recall@10(评测集 v6,人工标注三百条)」和光秃秃一句「recall 提升 8 个点」,是两种可信度。指标数字一旦脱离口径单独旅行,就会在传播中被赋予它从未有过的含义;写清口径只需要十几个字,省下这几个字,代价是往后无数次解释。

import math

def recall_at_k(ranked, relevant, k):
    hits = len(set(ranked[:k]) & set(relevant))
    return hits / len(relevant)      # 分母是全部相关条数,标注缺口直接变成虚高

def mrr(ranked, relevant):
    for pos, doc in enumerate(ranked, start=1):
        if doc in relevant:
            return 1.0 / pos         # 只看第一条命中的位置,其后全部失明
    return 0.0

def ndcg_at_k(ranked, gains, k):
    dcg = sum(gains[d] / math.log2(i + 1) for i, d in enumerate(ranked[:k], start=1))
    ideal = sorted(gains.values(), reverse=True)[:k]
    idcg = sum(g / math.log2(i + 1) for i, g in enumerate(ideal, start=1))
    return dcg / idcg if idcg > 0 else 0.0

小结

指标选错,优化就是在错误方向上努力。recall@k 假设任务要找齐、MRR 假设任务只要首条、nDCG 假设用户按序浏览到第 k 条——每个指标上放行榜之前,先回答「我们的任务符不符合它的假设」:问答配位置敏感的 nDCG 加上游召回兜底,合规集合配大窗口 recall 加噪音护栏,导航入口配命中@1。分母缺口、指标饱和、标注与评估粒度错位,是三类最常见的读数失真,靠人工抽样对账加 bad case 率负相关检验来发现;混合任务按意图分路由、分指标统计,别把三张考卷订成一本。指标体系不要一次定终身:任务形态变了、查询分布漂了、指标饱和了,就重审换尺——这件事每年做一次不为过。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?