集合检索:「一个都不能少」的高召回查询

「把这份合同里所有涉及数据出境的条款找出来。」面对这类请求,日常问答调好的一套检索参数会悄悄失灵。问答要的是「最相关的几条」,合规审查、法条引用、影响面分析要的是「所有相关的一条不漏」,漏检一条就是业务事故——律师与审计的结论正建立在清单完整之上。这是与点检索不同的任务形态:目标函数换成集合完整率,失败定义从「答案不够好」变成「清单缺了一项」。本篇谈集合检索自身的任务形态与工程方法。

手绘信息图:点检索与集合检索的差异及召回保障三件套

点检索与集合检索的分野:目标函数不同,失败定义不同

两类任务的根本差异在目标函数。点检索优化的是排序:给定的查询,把最相关的少数几条顶到最前面,衡量它的指标是精确率、排序名次这类「头部质量」,漏掉一条排在第五十位的边缘相关文档几乎无所谓,因为上下文窗口也只装得下几条。集合检索优化的是完整率:相关文档的全集必须尽可能一条不少地找回来,衡量它的指标是以人工金标清单为分母的查全表现,头部排第几名完全不重要——找回来五十条、排序随机打乱,只要全集齐了,任务就成功了。

失败形态的差异更关键。点检索漏一条,后果是答案不够丰满,用户大致还能得到正确的方向,属于质量损失。集合检索漏一条,后果是清单残缺,业务决策建立在错误事实上:合规团队以为「就这五条风险条款」,实际还有第六条藏在另一份附件里。两者的代价结构完全不对称——集合任务里,漏检的代价通常远高于把噪声检进来的代价,多检一百条浪费的是复核时间,漏检一条赔上的是业务结论的可靠性。这决定了参数取向:集合检索要系统性偏向召回,宁可脏,不可漏。两类任务的验收口径也因此不同——排序指标对集合任务毫无意义,完整率必须以人工金标清单为分母来度量,金标怎么建是评测专题的事,但任务侧要先立好「拿完整率说话」的共识。

「最像」的陷阱还要专门点破。向量检索找的是与查询最相似的样本,但集合任务的成员彼此并不像:同一项合规风险,在主合同里写成一段严肃的条款,在补充协议里缩成一个括号短语,在某份会议纪要里只留下一句口语化的决定。top-k 检索天然扎堆在「表达最典型」的那几份样本附近——第一路查询把最典型的三条全占了名额,典型样本的高相似度把边缘表述的成员挤出了名单。这是集合检索最阴险的失败方式:名单看起来言之凿凿,缺的全是不典型的成员。撒网和钓鱼的区别就在这里:钓鱼比谁钓的鱼大,撒网比的是网眼漏不漏鱼。

现实中集合任务被误当问答处理的情况比想象中普遍,症状很有辨识度:用户抱怨「找不全」,团队的第一反应是调重排、换嵌入模型——全是排序思路的药。药不对症的根子是没人定义过「全集应该有多大」,检索系统只对 top-k 负责,没有人对「名次之外的那部分」负责。先把任务判定改过来,再谈优化,否则参数拧得再细,也是在优化一个错误的目标。

高召回的工程手段:多路变体、阈值放宽与完整性校验

第一件武器是多路查询变体。单一查询只能覆盖一种表述形态,集合任务要用一组查询并行检索:业务口语一路(「数据传到境外」)、法条术语一路(「个人信息跨境提供」)、上游术语一路(「跨域数据传输」),再加一路不做语义检索、纯按元数据筛的枚举(文档类型为合同的、时间窗内的全部拉出来)。每一路负责覆盖一种成员形态,路的数量按「成员可能的表述差异」估算——表述越多样的主题,需要的路越多。多路结果合并去重,分数取各路最大值:一条条款只要在某一「路」下被强烈命中,就该进候选池,不能因为它对其他路不友好就被埋没。

第二件武器是阈值放宽与断层截断,核心是放弃固定 top-k。固定取前十名的逻辑在集合任务里是错的——集合可能有三条成员,也可能有三十条。正确做法是按分数划界:设一个放宽的召回阈值,分数在阈值之上全部保留;更好的是找「分数断层」——把候选按分数排列,观察哪里出现明显的悬崖,连续高分带通常就是集合的边界估计,悬崖之下的大概率是无关内容。断层法比固定阈值更能适应不同查询的分数分布,因为不同任务的分数天然不在一个量纲上。断层截断也有失效形态要预判:分数分布平缓、没有明显悬崖时,断层法退化为猜边界,这时不要硬划线,降级为「放宽阈值加校验器兜底」的组合,让下游过滤消化多出来的候选——边界判断交给校验器,比在检索层硬划更稳。无论用哪种,召回余量都要给足:预估集合规模的数倍取回,宁可后面筛掉,不在检索层冒险截断。

flowchart TD
    A["集合型任务判定"] --> B["构造多路查询变体"]
    B --> C["多路并行检索并合并去重"]
    C --> D["放宽阈值或断层截断"]
    D --> E["校验器逐条过滤"]
    E --> F{"完整性校验通过"}
    F -->|"未达标"| G["扩大召回余量或元数据枚举补查"]
    G --> C
    F -->|"达标"| H["输出完整清单"]

第三件武器是完整性校验,它回答「什么时候可以停」。三招:一是边际递减检验——把召回余量再扩大一倍重新检索,新增候选是否明显变稀,变稀说明接近全集,仍然密集说明还没捞到底;二是元数据对账——如果知道「全库共有多少份合同」「涉及数据出境主题的文档大概有多少」,已召回数远低于对账数就是红灯;三是覆盖扫描兜底——对结构化程度高的语料,直接按类型与时间窗做全量枚举,语义检索只负责「从枚举集中挑出相关的」,枚举保证不漏,语义负责不冗余。校验不通过就回到检索环节扩大再捞,循环到收敛为止。这套循环的哲学是:集合检索不信任单次检索的完备性,完备性要靠校验与迭代逼出来。

分块策略也要跟着换轨。问答任务的分块围绕「便于理解」设计,集合任务的分块要围绕「业务单元」设计:一条条款、一份合同、一个事件,块就是清单的成员粒度——清单要的是「第几条第几款」,切得再碎也无法拼回成员,切得太大又把多个成员黏成一坨。入库时给这类语料打上单元级元数据(条款号、文档类型、生效日期),检索时就能按单元召回、按元数据对账,两头都顺。

召回与噪声的平衡:校验器兜住余量

高召回必然放进噪声,这是代价结构里早已接受的部分,工程问题变成「噪声在哪一层被消化」。第一层是校验器过滤:用一个判定模型(通常是指令模型或微调的小分类器)对候选逐条判「是否属于清单主题」,把召回余量里的无关内容筛掉。校验器的判定成本远低于生成成本,且天然适合批处理,这是整个方案在经济上成立的前提。第二层是分批处理:候选量大时按批校验、按批输出进度,长任务要有断点续跑,避免一次失败全量重来。第三层是人工抽检:校验器自己会漏判,定期抽样人工复核它的判定,重点是「校验器说否、人工说是」的漏判样本——校验器的漏判直接变成清单漏项,是这个体系里最危险的静默失败。

def set_retrieve(query_variants: list[str], expected_min: int) -> set[str]:
    candidates: dict[str, float] = {}
    for q in query_variants:                       # 多路变体覆盖不同表述形态
        for doc_id, score in vector_search(q, top_k=K * 4):  # 召回余量给足
            candidates[doc_id] = max(candidates.get(doc_id, 0.0), score)

    ranked = sorted(candidates.items(), key=lambda x: -x[1])
    selected = [d for d, s in ranked if s >= RECALL_THRESHOLD]  # 放宽阈值而非固定 top-k

    kept = {d for d in selected if verifier(query_variants[0], d)}  # 校验器筛噪声

    if len(kept) < expected_min:                   # 完整性校验未达标
        extra = metadata_enumerate(query_variants)  # 按类型与时间窗枚举兜底
        kept |= {d for d in extra if verifier(query_variants[0], d)}
    return kept
手段 作用 代价
多路查询变体 覆盖不同表述形态 检索成本成倍增加
阈值放宽 边缘成员不漏 噪声混入候选池
召回余量 抵消排序偏差 校验与存储开销
元数据枚举 兜住语义检索盲区 依赖元数据质量
校验器过滤 消化召回余量的噪声 判定成本与漏判风险
人工抽检 监控校验器漏判 人力成本

成本观要点一句:集合检索的钱花在两处——检索侧的余量、校验侧的过滤,两者是配对着涨的。余量给得越足,校验的量越大;校验器越准,余量就可以收得越紧。优化方向是提高校验器精度来换检索余量,而不是两边同时堆料。验收口径上,集合任务的完整率必须以人工金标清单为分母来测,抽检的样本要覆盖「不典型成员」——测试集里全是典型样本,测出来的完整率是虚高的。

什么时候该用集合检索:三个判据

判据一问语义:任务的正确输出是「一个清单」还是「一段回答」?要清单的是集合任务,要回答的是问答任务。判据二问代价:漏检的代价是否远高于噪声的代价?合规、审计、法务、尽调清一色是「漏了出事、多了无所谓」的代价结构。判据三问边界:集合有没有可对账的外部边界——文档总量、类型分布、时间窗?有边界的集合才能做完整性校验,无边界的开放性主题(「所有关于企业文化的讨论」)校验无从谈起,只能给余量。三问里有两问指向集合,就该按集合任务的参数与验收来跑,别在问答的调参思路上修修补补——那等于用钓鱼的心态撒网,网眼漏鱼都不知道。判定之后还有一层组织动作:集合任务的产出通常有人签字负责,验收时要把完整率口径、抽检记录与校验器版本一并归档,日后出了漏检事故,能回放当时的判定链找出是哪一环松了。

常见的集合任务形态可以列个清单备查:合规与审计的证据收集、合同或法条的条款引用清单、影响面分析(哪些文档引用了这个接口、这项制度)、尽调与诉讼的证据固定、内容清单核对(这个季度所有涉及某产品的发布)。它们的共性是「输出物是清单、签字人对完整性负责」——凡是对完整性负责的任务,都不是排序指标能伺候好的。

小结

集合检索是一类独立的任务形态,不是问答检索的激进参数版。它的差异在根子上:目标函数是完整率而非排序质量,失败定义是漏项而非答不好,代价结构是漏检远贵于噪声。方法论围绕三件武器展开——多路查询变体覆盖表述形态,阈值放宽加断层截断替代固定 top-k,完整性校验用递减检验与元数据对账逼出收敛;噪声靠校验器与人工抽检在下游消化,分块与元数据按业务单元配合。合规审查要的是全部,不是最像——用问答的思路做合规,漏掉的那一条迟早会找上门。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?