预过滤与后过滤:元数据过滤的性能账

「加个过滤条件而已。」这句评审会上的轻描淡写,在向量检索里值得多追问一句:先过滤,还是后过滤?关系数据库「先 WHERE 后计算」的直觉在这里并不总成立——同样的过滤条件,两种时序可能差出数倍延迟,也可能差出一倍召回;最坏的情况是返回一个看似正常的空结果,错误静默无感知。本篇把两种时序的机制、性能账与混合策略一次算清。

手绘信息图:预过滤与后过滤的时序对比及过滤率仪表

两种时序:机制与各自的失效形态

后过滤的流程是:向量索引无视过滤条件,按相似度取回超额候选——目标条数的若干倍,再逐条按元数据条件筛,剩下多少给多少。它实现简单、不碰索引结构,在语料还没建标量索引的早期阶段,它常常是唯一选项。失效形态有二。其一,筛空:条件通过率低时,超额候选里满足条件的寥寥无几甚至为零,用户拿到三条就是三条,不知道本来该有三十条。其二,也是更本质的:错误是静默的——接口不报错、日志无异常、结果看起来正常,召回率的塌方只有对过答案的用户才知道。筛空是后过滤的原罪:它删掉的不是坏结果,恰恰是最需要的好结果。

预过滤的流程是:先按元数据条件圈出候选集合——倒排索引或位图求交,再在这个子集内做近邻搜索。实现是一条谱系。最朴素的做法是拿候选 id 列表逐个算距离:条件很苛刻时,这个列表本身就小,等价于一次受控的精确扫描,结果准但失去了索引加速的意义。图索引上的预过滤则是在遍历时只走满足条件的节点,保留近似搜索的效率——但它有一个特有的悬崖:高度选择性的过滤会把图打碎。从入口点出发,邻居大多被条件排除,遍历走几步就无路可走,搜出来的结果质量骤降。这就是图碎裂,预过滤版本的「筛空」:同样静默,只是形态从「结果被筛没了」变成了「图走不通了」。

工程实现上还有一个容易被忽略的差异:allow 列表怎么传进引擎。有的引擎接受外部位图或 id 集合作为检索参数,遍历时逐点判断成员资格,集合极大时内存与判断开销都会上来;有的引擎只在元数据字段上建倒排,由引擎自己求交。两条路的语义相同,性能特征不同——自研链路做基准测试时,必须用真实的选择率分布去测,不能用均匀分布的合成负载,否则测出来的路径选择与线上行为对不上。

两种时序的共同点是失效都无告警,不同点是失败机制完全不同——这决定了它们没有通用的补救手段,只能按机制各自设防:后过滤防筛空,预过滤防碎裂。

性能账:选择率是唯一的主角

把过滤条件想象成一个阀门,选择率就是阀门开度:满足条件的文档占全库的比例。两种时序的优劣几乎完全由它决定。高选择率时——多数文档满足条件——预过滤圈出的集合几乎等于全库,圈集成本白付;后过滤几乎不筛掉东西,只是白白多取回了一批候选。两边都退化成普通搜索,差距不大。低选择率时差异拉开:预过滤在一个小得多的子集里搜索,又快又准;后过滤的通过率断崖下跌,要维持同样的返回条数,取回倍数得按通过率的倒数放大,延迟与筛空风险同步上升。

复合条件让账本更陡。多个条件合取时,整体通过率近似等于各条件通过率的乘积:「2024 年之后」可能通过三成,「法务部」可能通过一成,两者叠加就是百分之三的量级。每一层看似温和的条件,乘起来就是苛刻。工程上评估过滤查询,永远要按合取后的复合选择率来算,不能逐条件单独看——这是过滤查询容量规划最常见的漏算点。

选择率本身怎么获得,是个前置问题。等值条件的通过率可以从字段值的统计表直接估(部门、状态这类低基数字段的分布通常稳定);范围条件的通过率要靠直方图或采样估计(时间范围、金额区间);复合条件只能拆开各自估再相乘,或对历史同类查询做统计。估计天然有误差,所以下游的策略决策不能贴着阈值走——估计值落在「中基数」区间时,两条路径都要能兜住,而不是赌一个精确的边界。

还有一个维度常被当成普通过滤,实际行为特殊:时间范围。它与合作部门这类等值过滤的差别在于,通过率随语料增长持续变化——新语料不断进库,「近一年」的绝对通过率会漂移;而且时间条件常与新鲜度需求叠加,过滤之外往往还想要排序上的时间权重。评估这类查询时,要按语料的增长曲线把通过率当作随时间变化的量,而不是一次测定的常数。

低选择率下预过滤也有图碎裂悬崖,于是成熟的引擎走向了自适应决策:先用过滤器基数估计快速估算满足条件的文档量——基数大,直接走普通图搜索加轻量过滤;基数中等,走过滤友好的图遍历;基数很小,放弃近似结构、在子集内精确扫描,此时小集合暴力计算反而最快。截至 2026-11,主流向量数据库已普遍内置这类决策;自研链路要复刻的是这个「按基数选路径」的思路,而不是押注单一时序。

flowchart TD
    Q["带过滤条件的查询"] --> E["基数估计:满足条件的文档量"]
    E -->|"基数大"| A["普通图搜索 + 轻量过滤"]
    E -->|"基数中等"| B["过滤友好的图遍历"]
    E -->|"基数很小"| P["放弃图索引,子集内精确扫描"]
    A --> M["合并排序返回"]
    B --> M
    P --> M
    M --> W["观测:返回条数与通过率"]

筛空的补偿与工程策略

选了后过滤,筛空就必须补偿。基本公式是超额取回:取回条数等于目标条数除以预估通过率,再加安全余量。通过率从哪来:过滤器基数估计(不少引擎现成提供)、历史同型查询的统计,或者粗粒度的字段分布表。通过率本身可以持续学习:每次过滤查询都记录「取回多少、筛后剩多少」,按条件模式聚合出经验通过率,下次同型查询直接取用——这比静态估计更贴实际,因为它自动吸收了语料增长带来的漂移。取回倍数必须设上限——通过率极低时,按公式取回等于放弃索引,此时正确动作是切换到预过滤路径,而不是无限放大候选集。

def overfetch_k(target_k, pass_rate, max_k=400):
    if pass_rate <= 0:
        return None            # 无法估计通过率,切换预过滤路径
    k = int(target_k / pass_rate * 1.3)   # 目标条数除以通过率加余量
    if k > max_k:
        return None            # 倍数失控,转预过滤而不是硬扛
    return k

比运行时补偿更彻底的是把高频过滤维度变成物理分区:按租户、部门或年份分索引、分集合,过滤条件降维成路由条件,查询直接命中对应分区。这时过滤不再是运行时谓词,而是部署时的拓扑决策,性能稳定可预期。代价同样明确:分区数量膨胀、跨分区查询变贵、热度在分区之间不均衡——大部门的分区索引比小部门大几个量级,调参要按分区各自做,一份全局参数照顾不了所有分区。分区还有自己的生命周期问题:语料过期下线时,整区重建比逐条删除划算;按年份分区的好处正在于此,过期数据整区归档,索引不背历史包袱。

它适合过滤维度高度固定且低基数的场景——部门、租户、年份;自由组合的多维过滤依然要回到索引内过滤,分区救不了条件的排列组合。判断标准很朴素:把线上过滤查询按条件模式聚类,若少数几个模式占了绝大多数流量,且这些模式的维度基数低,分区就是划算的;若条件组合高度发散,投资自适应决策更值。还有一条常被跳过的纪律:分区方案定稿前,先跑一周「假想路由」——按分区键给历史查询打路由标签,统计每个假想分区的查询量与数据量分布,确认没有把一个八成流量的巨型分区留下来,那等于没分区。

策略 适用场景 主要风险
后过滤加超额取回 高选择率条件 低通过率时取回放大失控
图上预过滤遍历 中等选择率 高选择性时图碎裂
基数估计自适应决策 混合负载 估计偏差导致选错路径
物理分区替代过滤 固定低基数维度 分区膨胀,跨分区查询贵

观测与验收:让筛空显形

过滤查询必须有两个常驻指标。一个是「过滤后返回条数与目标条数的比值」:长期低于一说明在筛空,必须告警,而不是让空结果悄悄出门。另一个是「过滤器实际通过率」:它是超额取回公式的输入,也是预过滤与后过滤切换的判据,两件事共用一个信号。告警阈值要按业务定:合规清单类查询筛掉一条都是事故,闲聊类查询少一条无人在意——告警配置跟着查询的业务等级走,而不是一刀切。指标之外还要留痕:筛空发生的查询要连同过滤条件、取回倍数、实际通过率一起落日志,事后回放才能区分「语料里真的没有」与「链路把它筛没了」——这两种情况的处置完全不同,前者是语料补建问题,后者是链路参数问题,混在一起排查会浪费大量时间。

验收要按选择率分层造评测查询:高、中、低选择率各留一组,分别验收返回完整率与延迟分位。评测查询的构造有现成素材:从线上日志统计过滤条件的真实组合与各自的选择率,按分布抽样生成,而不是手工拍脑袋造——手工构造最容易漏掉「低选择率但高价值」的组合,比如按具体项目编号过滤,通过率极低,但这类查询往往是最重要的定向检索。只用高选择率查询做回归,等于没测过滤——最难的路径根本没被走到。

策略选择跟着本系统的过滤率分布走:十个部门、常年只按部门过滤的库,分区就是最优解;过滤条件千奇百怪的开放查询场景,自适应决策才是主路。混合负载也不冲突:高频固定维度做分区,长尾组合留在自适应决策的索引内过滤,两套并存。没有全局最优,只有分布最优。

小结

元数据过滤的正确性问题都是静默的,性能问题的答案只有一个变量:选择率。后过滤简单但会筛空,补偿靠超额取回公式、经验通过率的学习与常驻观测指标;预过滤正确但有图碎裂悬崖,出路是基数估计驱动的自适应决策;固定低基数的过滤维度值得升格为物理分区,但分区也有膨胀与再平衡的账。上线前按线上真实分布造分层评测查询,上线后盯紧返回条数比值——让每一次「少给了」都显形,是过滤链路唯一可靠的纪律。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?