AI 资讯 知识库 RAG 实战手册MMR 与检索多样性:top-k 不该是十份复印件

MMR 与检索多样性:top-k 不该是十份复印件

在企业知识库上搜一次「服务器采购流程」,top-5 常常是同一份规范的五个转写版本:行政抄过一遍、IT 存过一份、两个部门的 Wiki 各挂一份镜像。向量检索按相似度排序,天然偏爱这种结构——每一条单独看都很相关,合在一起却只覆盖了一个角落,上下文窗口被挤成一间复印机房。本库《上下文组装》篇把 MMR 当去重工具一笔带过,这篇把它当成一个独立的检索目标拆开:扎堆为什么会发生、MMR 怎样在相关性与冗余之间折中、λ 与 k 该怎么联合调,以及多样性到底该按什么口径验收。

手绘信息图:普通 top-k 五条挤在一簇与 MMR 五条覆盖三个子话题的对比

扎堆的机制:嵌入空间的簇效应与「改写型冗余」

top-k 爱扎堆不是实现 bug,是机制使然。检索的目标函数是「按与查询的相似度排序」,而语料的分布从来不是均匀的,它成簇。最大的一簇来源是改写型冗余:同一份制度被三个部门各转写一遍,同一篇报道被五个网站洗稿改写,同一套 FAQ 被两个系统各自维护——这些文本的事件结构、术语、句式高度相似,嵌入之后彼此距离很近,一荣俱荣。查询向量一旦落进这个话题的簇,邻近的十个位置就被这一窝「表亲文档」集体占住:单条相关性强,集合的信息量却趋近于一条。

另外两个推手常被忽视。其一是模板相似:企业的通知、工单、周报有固定格式,开头结尾高度一致,即便内容不同,嵌入向量的距离也被模板拉近;分块越小,模板在块内占比越高,这个效应越明显。其二是重叠切块:滑窗切块的相邻 chunk 共享大段原文,互相相似是必然,top-k 里同一个父文档连中数段,在滑窗切块的管线里几乎是默认行为。切块策略的取舍是独立话题,这里只说它与多样性的交互:重叠越大,扎堆越重。

要紧的是把两类冗余分开处置。完全一致与轻度改写的重复,是入库前的语料卫生问题,哈希去重与 MinHash 一类的近重复检测就能抓住;而改写型冗余——同一事实的差异化转写、同一话题的不同侧面——文本确实不同,近重复检测拦不住,只能在查询期的结果集上动手术。这条分工线决定了:多样性重排不是去重的替代品,而是它在查询期的接力棒;两道工序各管一段,谁也替代不了谁。

顺带回应一个常见期待:换更强的重排模型能不能解决扎堆?不能,这是任务性质决定的。交叉编码器逐条独立打分,每一条都在自己的「查询、文档」对里被评成高分——而冗余是集合的性质,不是单条的性质,逐条打分的模型在原理上就看不见集合。要让模型看见集合,得做列表式重排,把候选一起喂给模型,成本与复杂度都上台阶;MMR 用极低的成本在向量层面近似了这个「集合视角」,这正是它在管线里站稳位置的原理性理由:它便宜到可以默认开着,而列表式重排贵到只能挑场景用。

一句话小结:扎堆是「按相似度排序」遇上「簇状分布语料」的必然结果,入库去重清不完,查询期必须有第二道工序。

MMR 的算法骨架:像选代表一样选结果

MMR(Maximal Marginal Relevance,最大边际相关)由 Carbonell 与 Goldstein 在 1998 年为摘要任务提出,思路用一个比喻就能说清:从候选池里选五个人组成代表团,若按全城人气榜直接取前五,五个人可能来自同一个社区、主张完全一样;MMR 的选法是第一次选人气最高的,之后每一步都问——这个人除了人气,还能不能代表尚未被代表的人群。放到检索上,每一步给每个候选打一个合成分,MMR(d) = λ × sim(d, query) − (1 − λ) × max sim(d, d_selected),其中第二项是该候选与已选集合的最大相似度。λ 是唯一的相关性-冗余旋钮:λ 等于 1 时退化为普通相关性排序,越低则「与已选集不同」的分量越重,迭代选到 k 条为止。工程实现里公式形态常略有出入——有的写成直接减 λ 倍冗余、有的先归一化再加权——但骨架不变:每一步的得分都由「对查询的相关」与「对已选集的冗余」两项拉锯决定。

import numpy as np

def mmr_select(query_vec, cand_vecs, k=5, lam=0.7):
    rel = cosine_all(query_vec, cand_vecs)          # 每条候选与查询的相关性
    red = cosine_all(cand_vecs, cand_vecs)          # 候选两两相似度矩阵
    picked = [int(np.argmax(rel))]                  # 第一名给纯相关性
    pool = set(range(len(cand_vecs))) - set(picked)
    while len(picked) < k and pool:
        best, best_score = None, -np.inf
        for i in pool:
            redundancy = max(red[i][j] for j in picked)   # 与已选集的最大相似
            score = lam * rel[i] - (1 - lam) * redundancy
            if score > best_score:
                best, best_score = i, score
        picked.append(best)
        pool.discard(best)
    return picked
flowchart TD
    A["候选池 50 条"] --> B{"选取策略"}
    B -->|"普通 top-k"| C["按相似度取前 5 条"]
    C --> D["五条挤在同一簇"]
    D --> E["上下文只有一个侧面"]
    B -->|"MMR"| F["第一条取最高相关"]
    F --> G["后续逐条权衡相关性与冗余"]
    G --> H["五条分散到三个子话题"]
    H --> I["上下文覆盖多个侧面"]

成本上不必担心:MMR 是候选集内的贪心选择,计算量是 k 乘候选数的级别,几百条候选选十条就是几千次向量点积,微秒到毫秒级,远比神经重排便宜。不少检索框架与编排库内置了现成实现(如 LangChain 的 max_marginal_relevance_search,截至 2026-11 各主流客户端库基本都有),也可以像上面那样几十行自己写。这也是它常被放在 rerank 之后做「集合级收尾」的原因:模型重排决定每条各自的分数,MMR 决定哪些条适合一起进上下文,两件事不冲突。

实现层面还有三个细节决定成败。第一,先去重再 MMR:完全相同的 chunk 会让冗余项饱和(相似度等于 1),MMR 在它们之间怎么选都一样,先把精确重复清出候选池,MMR 才有干净的局面。第二,第一条恒为精排第一名:MMR 的首选项就是相关性最高者,这保证了多样性重排不伤害头名精度——精查型查询真正依赖的就是那一条,后面的槽位才是多样性的舞台。第三,选择顺序即摆放顺序:MMR 的输出顺序(相关性优先、多样性递进)可以直接作为上下文的摆放顺序,无需二次排序;若要配合「最强证据放开头」的摆放策略,两者天然兼容,首选项本来就是最强证据。

一句话小结:MMR 的本质是把「单条最优」改成「集合逐步最优」,每一步都为还没覆盖的语义区域保留机会。

λ 与 k 的联合调参:两个旋钮一起拧

λ 不是拍一次就完事的静态常数。先把边界钉死:λ 等于 1 完全不考虑多样性;λ 压到 0 则连「与查询相关」都不管了,会选出一堆彼此不同却和问题无关的东西。所以有效的调节区间永远在中间,而「中间偏哪」取决于查询类型与 k。调参的实操顺序是:把评测查询按类型分桶(精查型、综述型、对比型),每桶单独扫 λ,同时看「子话题覆盖率」与「top-k 相关性均值」两条曲线的交点,而不是全局扫一个 λ 取平均——平均数会把两类的相反诉求糊成一团。

λ 与 k 的交互更隐蔽,值得单独提醒。k 越小(比如只取前三),扎堆的概率本来就不高,MMR 的边际收益有限,λ 可以偏高,精查型甚至直接关闭;k 放大(比如取十条做综述),冗余压力随集合变大快速上升,MMR 的价值同步放大,λ 应相应调低。另一个常被忽略的前提:MMR 需要一个比 k 大得多的候选池。从 top-8 里选 top-5 没有多少腾挪空间,从 top-50 里选才有得选,候选池深度决定了多样性的上限。若上游是混合检索或多路召回,进 MMR 之前记得按 chunk 去重,否则池子里先自相重复,MMR 只能重复劳动。

给一个直观的对比。综述型查询「内部有哪些容器网络方案」,λ 拉满时 top-8 全是同一篇对比文档的连续八段——像一篇被切碎的文章;λ 调低后,八条结果自动散开:三篇方案文档、一篇选型会议纪要、一篇踩坑复盘,互相之间的相似度明显下降,而单条相关性几乎没掉。反过来,精查型查询「容器网络故障的排查命令」,λ 调低后第八名被一篇讲网络原理的教程挤占——它与已选集足够不同,所以合成分高,但对答案毫无用处。两个现象放在一起,λ 的取舍逻辑自己浮了出来:它保护的其实是「排在后面的槽位」的价值,问题越开放,后面的槽位越值钱;问题越收敛,后面的槽位越该给次优的精确答案留着。

场景 λ 取向 理由
精查型:找唯一标准 偏高或关闭 聚焦优先,多样性有害
综述型:全景了解 偏低 覆盖面优先
对比型:多方案优劣 居中 每个方案都要有代表
观点平衡:争议话题 居中偏低 防止单边声音刷屏
已知条目核对 拉满或跳过 答案唯一,无需多样

一句话小结:λ 的合理取值要按查询类型分桶回归得出,并且永远和 k、候选池深度一起看。

多样性的业务定义:嵌入距离只是代理指标

还有一个容易被糊弄过去的概念要掰正:MMR 度量的多样性是嵌入空间的距离,而业务想要的多样性往往是别的维度——子话题覆盖、来源多样、观点平衡。两者经常同向,但不总是一致:同一子话题的两段文字可能措辞迥异,嵌入距离很大,业务上却是重复;两个不同部门的文档可能套用同一模板,嵌入距离很小,业务上却是两个来源。把嵌入距离当成多样性的唯一定义,调参调得再细,优化的也只是代理指标。

好在 MMR 的骨架是通用的:把「与已选集的相似度」换成任何业务化的冗余度量,算法照转。来源多样,可以把冗余项换成「与已选条目同源的相似度加重」,或者干脆外挂一层每文档、每来源配额——配额是多样性的粗糙特例,实现最便宜,很多场景配额加 MMR 双层就够了。观点平衡(绩效制度争议、技术选型对比这类场景),可以在元数据里给文档打立场标签,选集时保证两边都有代表入场。面向子话题覆盖的做法更激进:先让查询理解层把问题拆成几个子问题,按子问题定向检索再合并选集——管线形态已偏向多路定向检索,但它的验收口径与 MMR 是同一个:覆盖了多少个子问题。

举一个配额的实战样本。电商客服知识库里有四类来源:官方政策、运营 SOP、客服聊天记录整理、商家求助帖。不加约束时,聊天记录整理因为口语化、最贴近用户问法,经常霸占前五——检索指标很好看,答案却越来越「聊天腔」。挂上每来源两条的配额后,前五变成官方政策两条、SOP 两条、聊天整理一条,答案口径的稳定性立刻回升。值得注意的是,配额解决了 MMR 不好解决的问题:每通聊天记录彼此都不一样,嵌入距离层面的 MMR 根本不把它们当冗余——冗余是业务定义的,就不该指望嵌入距离替你发现它。这个案例的启示是:多样性的实现手段可以极便宜,只要冗余的定义对得上业务。

一句话小结:嵌入距离只是多样性的代理指标,子话题、来源、观点这些业务定义才是目标,MMR 骨架允许替换成业务化的冗余度量。

验收:用子话题覆盖率说话

多样性调参最常见的失败是「肉眼验收」:调完看两条结果好像分散了,就宣布有效。肉眼既测不了覆盖,也测不了副作用。可操作的验收分三步。第一步,给评测集里的综述型、对比型查询各配一张子话题清单(人工列出这个答案应该覆盖哪些点),算检索结果的覆盖率,这是多样性的直接指标。第二步,同时盯精度回退:多样性重排对精查型查询经常是负收益,回归必须分桶看,聚焦桶的相关性指标不许跌——不分桶的多样性调参,等于一边点火一边灭火。第三步,端到端量答案:让评判模型或人审「答案信息是否完备、有没有大段重复啰嗦」,多样性的收益最终要落到答案层才算数。上线形态建议做成查询类型开关(综述型开、精查型关,类型标签可由查询路由顺带输出),而不是全量一刀切。

第三步展开说。要点覆盖与重复啰嗦是两个可量化的判分维度,交给评判模型按清单打分(每个子话题命中与否、答案中重复表达的比例),比笼统的「这个答案好不好」稳定得多。再补一个反面案例压舱:某团队把多样性参数全局调低后,综述桶指标涨了,精查桶的相关性均值却掉了近一成——因为聚焦问题的第二、三名被换成了「不太重复但更不相关」的条目,全局平均看起来几乎没变化,分桶才暴露问题。没有分桶回归的多样性调参,就是在两个水箱之间倒水,还以为水箱的总量变了。

一句话小结:多样性的验收是子话题覆盖率与聚焦桶精度回退的联合体检,肉眼和全局平均数都会骗人。

小结

top-k 扎堆是机制性现象:相似度排序遇上簇状分布的语料,五条结果常是同一件事的五种改写。完全重复靠入库去重清理,改写型冗余只能在查询期处理——MMR 用一个 λ 旋钮在相关性与冗余之间折中,每一步为未覆盖的语义区域保留机会;λ 要按查询类型分桶调,与 k、候选池深度联动。嵌入距离只是多样性的代理指标,子话题覆盖、来源多样、观点平衡这些业务定义才是目标,MMR 骨架允许换成业务化的冗余度量。验收靠子话题覆盖率加分桶精度回归:多样性最终要兑换成答案层的信息完备度,否则只是把扎堆换成了散漫。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?