AI 资讯 知识库 RAG 实战手册联邦检索:跨库路由与结果合并

联邦检索:跨库路由与结果合并

企业知识库从来不是一座图书馆。制度库由行政与法务维护、半年一修订,产品文档库跟着版本发布每周更新,工单库长在客服系统里逐日膨胀——三个团队、三套索引、三种分数体系,而用户的一个问题常常同时落在两个库里。联邦检索让一次查询跨库取材,也把头号工程难题摆上桌面:不同库的分数不可直接比较,如同用不同刻度的尺子量长度,量完不能直接相加。这篇讲联邦的三种形态、三大机制、治理问题,以及从最小闭环起步的落地路径。

手绘信息图:联邦检索的总线——联邦层完成库选择路由、并行扇出、分数归一、合并重排与来源标注,下方挂制度库、产品文档库、工单库三个库

联邦的动机与三种形态

库的分裂不是设计失误,是组织的自然结果。制度库由行政与法务维护,内容以规程与政策为主;产品文档库跟着研发走,版本节奏决定更新节奏;工单库长在客服系统里,每小时都在增长,还带着天然的对话结构。三者更新节奏不同、权限体系不同、责任团队不同,把它们强行合并进一个索引的努力大多以失败告终:权限模型缝不到一起,一处更新牵动全库重建,「这个库归谁管」变成无主之地。联邦检索换了一种思路:不动各库,在查询侧把它们当成一个整体来用——每个库保留自己的管线与治理,联邦层负责把一次查询变成一次跨库协作。

形态有三种。其一是水平联邦:同级多个领域库并行取材,制度、产品、工单各答一段,这是最常见的形态,也是本文的主线。其二是垂直联邦:总部库与分支库、集团库与子公司库构成层级,查询先在高层路由、再向下钻取,层级本身就是一种先验路由——问集团政策先查总部库,问本地执行再下钻分支库。其三是外部接入:把通用搜索引擎或第三方知识服务当作一个远程「库」挂进来,走同一套扇出与合并逻辑,内部知识与外部资料在同一次查询里会师,结果里标明「这是外部来源」。

联邦与合并之间还有一条务实的判断线:不是所有多库都值得联邦。库的规模小、权限模型同源、责任团队是同一批人时,合并进一个索引仍然是对的——联邦层的复杂度(归一、路由、来源治理)并不便宜,能省则省;库一旦跨权限域、跨团队、跨更新节奏,联邦就优于合并。还有一个常被忽略的信号:当「合并」开始要求某个库改变自己的切块策略或权限模型去迁就全局时,就该停手了——迁就正是联邦要消灭的东西。判断的依据是治理成本,不是文档数量。

它与两个相邻话题的边界要说清楚。多租户 RAG 讲隔离——租户之间互相看不见是安全特性;联邦恰好相反,跨库合并是目的本身。查询路由讲的是单个查询在检索管线内的路径选择——走向量、走关键词还是走知识图;联邦的路由决策对象是「库」——这个查询该问哪几个库。一句话概括:租户讲隔开,路由讲走法,联邦讲合起来。形态与边界定住了联邦的地盘,接下来是撑起它的三大机制。

三大机制:库路由、分数归一、合并去重

先看全景。联邦层的流水线是五步:库选择、并行扇出、分数归一、合并去重、重排与来源标注,每一步都有独立的工程决策:

flowchart TD
    Q["用户查询"]
    subgraph F["联邦层五步流水线"]
        F1["库选择路由"] --> F2["并行扇出"]
        F2 --> F3["分数归一"]
        F3 --> F4["合并去重"]
        F4 --> F5["统一重排与来源标注"]
    end
    Q --> F1
    F2 --> L1["制度库"]
    F2 --> L2["产品文档库"]
    F2 --> L3["工单库"]
    F5 --> R["带来源标注的合并结果"]

库路由的第一课是分清什么时候不需要它。库少(三五个)时全扇出就是最优解——实现简单、没有漏选风险,代价只是每个库都付一次检索成本。库多到两位数,选择性路由才登场:给每个库维护一段 scope 描述(这个库收什么、不收什么、什么更新节奏),路由器按查询与 scope 描述选库,可以是一个轻量分类器,也可以让小模型直接判断。路由最要紧的一条纪律是承认漏选的严重性:排序排错了,好答案还在候选里;库选漏了,那边的完美答案根本没有上场机会——库选择是召回级错误,比排序错误高一档。所以路由要偏保守,拿不准就把库加进来,宁可多付几次检索的成本。scope 描述是路由的地基,要随库的定位变化一起维护,过期的 scope 描述比没有更糟。

分数归一是联邦的头号难题,根源在各库的分数不同源:BM25 的分没有统一上限,余弦相似度挤在一个窄区间,rerank 分是模型自定义的分数段,各家还叠着不同的业务加权。把这四类分数放进一个排序器直接比大小,等于把米、英尺、海里直接相加。工程上有三个层次的做法。第一层,查询内归一:把每个库本次返回的候选分数 min-max 拉到公共区间再合并,简单直接,但受极端值影响,库只返回一两条时退化失效。第二层,倒数排名融合(RRF):不看分值只看名次,每个文档的融合分是它在各库名次的倒数加权和——量纲问题被整个绕开,是跨库合并最鲁棒的兜底;代价是丢掉了分数间距,「这个库的整体质量比那个库高」这件事无法表达,只能靠库级权重补偿。第三层,统一重排:把各库头部候选汇合后交给同一个 reranker 重打分,把「跨库可比」转换成「同尺重考」,质量上限最高,代价是延迟与成本各加一截。常见的组合是 RRF 做全局兜底、高频查询场景再叠统一重排,融合代码大致长这样:

def rrf_fuse(per_lib: dict[str, list[str]],
             lib_weight: dict[str, float],
             k: int = 60) -> list[tuple[str, float]]:
    # 倒数排名融合:只用名次不用分值,天然免疫跨库量纲差异
    fused: dict[str, float] = {}
    for lib, ranked in per_lib.items():
        w = lib_weight.get(lib, 1.0)
        for rank, doc_id in enumerate(ranked, start=1):
            fused[doc_id] = fused.get(doc_id, 0.0) + w / (k + rank)
    return sorted(fused.items(), key=lambda pair: pair[1], reverse=True)

def minmax_norm(scores: list[float]) -> list[float]:
    # 查询内归一:拉到公共区间,注意单条候选时退化
    lo, hi = min(scores), max(scores)
    span = (hi - lo) or 1.0
    return [(s - lo) / span for s in scores]

合并去重处理扇出回来的重叠。安全规范可能同时被制度库和产品库收录,一份操作手册在两个库里切块粒度不同,合并要做两级处理。文档级:同一 docId 或同一 canonical 指针的候选聚成一条,保留权威来源——哪个库是这份文档的主场,入库时就该定好,而不是合并时临时裁决。条目级:不同切块粒度的近重复按所属文档聚合,展示为一张合并卡片,而不是两条几乎一样的结果前后脚出现。去重之后,每条结果都要带来源库标签——它既是合并的自然产物,也是下一节治理问题的主角。

治理问题:权限、来源与延迟

跨库权限的第一条纪律是「过滤在库侧完成」。各库的权限模型不同源:制度库按部门授权,工单库按「处理人与相关方」授权,产品文档库可能全员可见。联邦层翻译不了这些权限语义——「处理人可见」在联邦层的权限模型里没有对应物——所以查询带着用户身份扇出,每个库用自己的 ACL 过滤之后再交出结果,联邦层不代行任何权限判断。联邦层要守住的是不引入新的泄漏面:跨用户共享的联邦缓存是最大风险点,缓存键必须包含用户与权限范围,这条纪律与网关篇同源,违反一次就是一次越权事故。权限过滤的耗时各库不齐,慢库的权限校验会拖住整体延迟,这部分开销必须算进各库的延迟预算里,而不是当成免费。

来源可见性是联邦系统里最便宜的信任投资。合并结果必须标注来源库与原文位置:用户判断一条答案的权威度,靠的往往不是分数而是来源——「来自制度库 2026 年修订版」与「来自三年前的工单回复」是两种可信度。同名文档要能区分到「哪个库的哪一份」,跨库重名不标注就是制造混淆。来源标注同时是审计的底账:答案出事后要能回放「当时引用了哪些库的哪些文档、各自的分数是多少」。把来源做成结果卡片上的一等公民,比任何关于「智能排序」的说明都更能换来用户信任。

延迟预算的分配决定了联邦的体验下限。并行扇出时,联邦延迟约等于最慢库的延迟;串行则是各库之和——所以并行是默认,串行只留给有依赖的垂直联邦。给每个库设超时预算:到点未返回就取它已交出的部分继续合并,并在结果里标注降级——「工单库响应超时,本次结果不含工单内容」。预算按库分级:高频核心库给宽预算,长尾外围库给紧预算,不要一刀切。整体 p95 由最慢库决定,优化的第一刀应该砍向最慢的库,而不是平均延迟——联邦系统里,平均数是最会骗人的指标。

机制 主要手段 代价
库路由 scope 描述加保守扇出 漏选即漏答
分数归一 查询内归一与 RRF 丢失分数间距
统一重排 跨库候选同一 reranker 延迟与成本上升
合并去重 文档级聚合权威优先 权威判定要维护
延迟控制 并行扇出超时预算 部分结果降级

五张卡片就是联邦层的工程清单:每一行都有明确的手段与明确的代价,没有免费的跨库合并。

落地路径:从最小闭环到库贡献度账本

联邦检索不该一步建成。第一步是最小闭环:库少时全扇出加 RRF 加来源标注,先把「一次查询、多个库、一份带来源的结果」跑通——这一步没有智能,全是管道,但它是后面一切决策的数据来源。第二步建立库贡献度账本:每个库在多少查询里供了最终被引用的答案、多少查询在某库颗粒无收、各库的延迟分布与超时率。这份账本比任何架构讨论都更有说服力——贡献度长期趋近于零的库可以移出扇出列表,超时率高的库优先治理,预算怎么分按数据说话。第三步才谈增强:查询分布显示某些领域明显走错库时上智能路由,高频场景成本允许时叠统一重排。

账本之外,还要盯一类隐性失效:某库的索引悄悄停更。扇出照常发生、延迟照常正常,但那个库的内容停在上个月——检索不会报错,答案只是慢慢变旧。扇出健康检查要包含数据新鲜度核对(各库最近一次成功增量更新的时间),把「库活着」与「库是新的」当成两个独立信号。联邦系统的可用性定义因此比单库宽一层:不但要答得上,还要答的是各库的当前状态。

评测也要跟上联邦的特殊性。评测集要专门包含「答案只存在于单个库」的查询来测漏选——这类查询里被漏掉的库一票否决;还要包含需要两库拼接才能回答的查询来测合并——制度给出规则、工单给出例外,答案要两头都取到才算对。通用检索评测集测不出联邦的特有失效,这两个专门的查询类型是联邦评测集与普通评测集的分界线。落地的顺序一言以蔽之:管道先于智能,账本先于优化——先让跨库查询诚实地发生,再让它们变聪明。

小结

联邦检索是组织问题与技术问题的对半开。技术这一半的题眼是分数归一——把不同尺子的读数换算到同一把尺上,查询内归一与 RRF 是鲁棒的兜底,统一重排是质量的上限;组织这一半的题眼是规则归属——哪类问题以哪个库为准、哪份文档算权威版本,要写成显式规则而不是停留在口头默契。落地顺序先窄后宽:最小闭环跑通归一、合并与来源标注,用库贡献度账本决定是否上智能路由与统一重排。跨库合并做好了,分散的索引第一次以一个整体服务用户——各库保留自己的治理,用户得到一个统一的入口,这正是联邦检索存在的理由。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?