AI 资讯 知识库 RAG 实战手册Rerank 的成本工程:蒸馏、量化与级联

Rerank 的成本工程:蒸馏、量化与级联

在检索增强管线里,rerank 常是效果投入产出比最高的一环:从几十条候选里精挑五条,比换嵌入模型便宜,见效也快。但它同时有一条容易被忽视的成本曲线——候选集越大、模型越重、并发越高,费用按乘法膨胀,很多团队是在上线数周后的账单与延迟告警里才第一次看清这条曲线。本库《混合检索与重排序》篇讲过 rerank 在三段式里的定位,这篇换一个视角,把它当成纯成本工程来算账:钱花在哪、三条省钱路线各自省什么、换档时怎么守住质量不被换丢。

手绘信息图:rerank 旗舰模型、蒸馏小模型与级联三档配置的成本对比

成本结构:候选数、模型档位与并发的乘法

交叉编码器的成本结构极其朴素:每一对「查询、文档」都要跑一次完整前向传播。所以总成本等于三个因子相乘——查询量乘每查询候选数乘单对打分成本,延迟也按同样的乘法走。做个算术示意(数字是假设,量级感是真的):峰值 50 QPS、每查询重排 100 条候选、单对打分 10ms,单次查询的打分工作量就是一秒,必须靠批处理与并发硬消化,GPU 利用率、排队延迟随之而来;高峰期一旦排队,rerank 立刻成为整条管线的延迟瓶颈。三个因子里任何一个翻倍,账单与延迟同步翻倍,这就是「乘法」的威力。

单对打分成本还有两个隐藏变量。其一是序列长度:交叉编码器的输入是查询与文档拼接,chunk 切得越长越贵——用短子块做重排再回填父块的管线(父子检索一路),与直接重排 2000 字长块的管线,成本可以差出数倍。其二是批处理的填充浪费:同一批打分的序列长度参差不齐,短序列要补零对齐到批内最长,按长度分桶组批能白捡一截吞吐。计费侧分两种账本:商用 API 按查询次数计费(截至 2026-11 主流档位大致在每千次查询一两美元的量级,以各家官方牌价为准),账单直观;自托管账本是 GPU 显存、吞吐与时延,账单隐蔽但总量常更低。把这两本账都换算成「每千次查询的成本」,才谈得上比较与优化。

成本结构的另一头连着质量:候选数不只是成本因子,也是质量因子。候选从 100 条收窄到 30 条,账单降七成,但「真答案排在第 31 名」的查询从此注定失败——收窄候选等价于把召回风险从上游转嫁给自己。所以候选数的合理值不是越少越好,它由上游召回的分布决定:召回器若把真答案稳定排在前 50,重排 50 条就够;召回质量波动大,省下的 rerank 钱会以答案质量的形式加倍还回去。另外一笔账是 API 与自托管的选择:查询量小(日均万级以下)时,API 按次计费几乎必然更划算,省下的运维成本是真的;查询量过了某个临界点,自托管 GPU 的固定成本摊薄后反超。这个临界点随模型效率与各家牌价持续变化(截至 2026-11 没有统一答案),要用自家的查询量与峰值曲线现场测算,别照抄别人的架构结论。

一句话小结:rerank 的成本是查询量、候选数、单对成本的乘法,序列长度与批处理效率是两个隐藏因子,先建账本再谈省钱。

换更小的模型:蒸馏与量化

第一条省钱路线是降模型档位。蒸馏是大模型教小模型:让旗舰交叉编码器对海量「查询、文档」对打分,把分数当软标签训练小模型,学生不止学会正负判断,还学到分数的排序结构。开源 reranker 家族普遍提供多个尺寸,同一管线可以直接换档,这是工程上的便利——蒸馏的质量规律是:常规查询上小模型与旗舰差距很小,差距集中在难例上,术语密集、长文档歧义、多条件组合的查询先掉分,而且掉分位置很有规律:头部几名的次序开始错乱,尾部该淘汰的照常淘汰。这决定了蒸馏小模型的适用姿势:作为日常主力,难例兜底另想办法(下一节的级联正是这么接的)。

量化是降单对成本而不换模型:把权重压到 int8 甚至更低位宽,推理框架直接支持,显存占用与吞吐收益立竿见影,精度损失通常小于换小一档模型,但不是零——要用评测集实测,别信「量化不掉点」的口头承诺。它与蒸馏可以叠加:蒸馏出来的小模型再量化,是自托管 rerank 的常见配置。第三条支线是让大语言模型当重排器(把候选列表给 LLM 按相关性排序):它是一个独立档位,按输入输出 token 计费,候选一多就又贵又慢,更适合放进级联的最后一段精选小名单,而不是全程海扫。

蒸馏的数据建设比模型选择更决定成败。教学数据要用自家生产分布:拿真实查询(脱敏后)配上真实语料的候选对,让教师模型打分——用公开数据集蒸馏出来的学生,在自家领域查询上的表现往往差一截,因为查询措辞分布与领域术语密度都不同。难例挖掘值得单独投入:把教师与学生打分分歧最大的样本挑出来加倍投喂,学生的困难桶差距能缩小一大截——蒸馏要补的主要就是难例,难例喂得越准,换档的底气越足。量化那边,校准环节不可省:拿几百条代表性输入跑一遍校准(统计激活分布再定量化的缩放参数),精度损失比直接量化小得多;不同推理框架的量化实现质量参差,同一份权重在两家框架上的实测差异可以很显著,选型时用自家数据测,别看通用榜单。

一句话小结:蒸馏降的是模型档位、量化降的是单对成本,两者可叠加;小模型的质量损失集中在难例头部,这决定了它该和级联配合而不是单独顶上去。

级联:贵模型只看短名单

第三条路线不换模型,改流程。类比医院的分诊制度:分诊护士快速过一遍所有病人,把可疑的转给专科医生,专家只看转诊名单。rerank 的级联同构:轻量模型(蒸馏小模型或量化副本)先给全部候选打分,按分数取前 25 条左右组成短名单,旗舰重模型只在短名单上精排,产出最终 top-5。成本省在「重模型少看 75 条」,延迟同理——轻模型快,重模型慢,两段串行的总时延通常仍低于重模型单段扫全量。

级联的风险只有一个:粗筛截断。真答案如果被轻模型排在短名单之外,后面的精排再准也救不回来——粗筛的天花板就是整条级联的天花板。三个缓解手段。一是余量:精排名单取 25 而不是 5 的两倍,是最终 k 的五倍上下,用少量成本买截断保险。二是分数带自适应:轻模型打完分看分数带,带内断层清晰(有明确的高分段)就按计划进精排;分数带平坦(名次间分数咬得很紧)说明这批候选难分高下,把短名单扩大再精排。三是评测监控截断率:构造「重模型全量排序」作为参照的评测子集,专门量「真答案被粗筛截掉」的比例,这个指标恶化先于质量事故出现。

def cascade_rerank(query, candidates, k=5):
    scored = light_reranker.score(query, candidates)      # 轻模型全量粗筛
    shortlist = take_top(scored, n=25)                    # 短名单留足余量
    if score_band_flat(scored):                           # 分数带平坦则扩容
        shortlist = take_top(scored, n=40)
    refined = heavy_reranker.score(query, shortlist)      # 重模型只看短名单
    return take_top(refined, n=k)
flowchart TD
    A["检索候选 top-100"] --> B["轻模型粗筛打分"]
    B --> C{"分数带形态"}
    C -->|"断层清晰"| D["保留前 25 条"]
    C -->|"名次咬紧"| E["扩大到前 40 条"]
    D --> F["旗舰模型精排"]
    E --> F
    F --> G["最终 top-5"]
    F --> H["贵模型只花在短名单上"]

短名单的规模怎么定,是级联最重要的参数决策。按比例截(比如前四分之一)在候选总量波动时账单不稳定,按绝对数截(固定 25 条)则要保证覆盖:可行做法是先用重模型全量精排跑一版基准,统计「真答案在全量精排中的名次分布」,取覆盖绝大多数真答案的名次分位再加余量,作为短名单长度——这个数字来自自家召回分布,不是抄来的常数。再看一个截断事故的还原:某知识库把短名单从 50 砍到 20,两周后答案质量缓慢下滑,排查发现不是检索变差,而是召回器近期升级后真答案的名次中位数从第 15 移到了第 30——级联参数没有跟着上游一起改。级联的参数不是静态的,上游召回分布一动,短名单的覆盖假设就过期,名次分布监控是级联的心电图。

一句话小结:级联的本质是把「贵模型的注意力」当成稀缺资源来分配,粗筛截断率是唯一要命的风险,余量与分数带自适应就是为它买的保险。

质量守恒的验收:换档要过回归

成本优化的每一刀都砍在质量上,验收的核心是守恒:同一评测集,换档前后各跑一遍,三个层面一起看——最终 top-k 的召回(答案段还在不在前五)、排序质量(nDCG 一类的名次指标)、端到端答案质量(检索指标不动,答案也可能变脸)。更进一步要分桶看:把评测查询分成简单桶与困难桶,蒸馏与量化的损失几乎都集中在困难桶,全局平均会把它抹平;给困难桶设一条不可跌破的质量底线,底线之上再谈省钱。在这个口径下定义兑换率:降一档档位,质量掉了多少、成本省了多少,把所有档位画成一条质量-成本曲线,曲线上的拐点就是工作点。上线走灰度,按流量比例逐步切档,同时监控线上重排分数的分布漂移——分布形状突变通常先于用户可感知的质量事故到来,是最便宜的预警信号。

配置 延迟 成本 适用
旗舰交叉编码器 最高 最高 难例兜底与最终精排
蒸馏小模型 低 低 日常主力档
小模型加量化 更低 更低 高并发与 CPU 场景
LLM 列表重排 高 按 token 小名单精选与难例仲裁
轻重两级级联 中 中 候选多、量大的重负载

这五种配置不是互斥的单选题,成熟管线常常是它们的组合:日常流量走蒸馏小模型,高峰期切量化副本,候选量大的场景挂级联,难例与小名单仲裁留给旗舰模型或 LLM 列表重排。组合的前提是每一档都单独过过回归、知道彼此的质量-成本坐标,否则组合只是在叠加未知数。

回归用的评测集也有讲究。重排层的回归最好用「带相关性判级」的查询候选对:每个查询配若干候选及其相关等级,换档后只看重排层的名次变化,把检索层的变量隔离掉——这套数据可以复用本库评测集构建篇的方法,标注量比端到端评测小得多。线上验证则靠 A/B 的三个指标:答案引用的正确率(换档后引用错位往往先于答案变差出现)、重排环节的 p95 延迟(省钱的最终目的是省延迟与成本,两个都要落袋)、以及每千次查询的重排成本(账本口径从第一天就统一,否则省没省说不清)。三线都稳了,这一档才算换完。

一句话小结:换档的验收纪律是同一评测集回归、分桶设底线、画出质量-成本曲线选工作点,省钱省得清清楚楚。

小结

rerank 的账单是查询量、候选数与单对成本的乘法,序列长度与批处理效率是隐藏因子——先把它换算成「每千次查询的成本」,优化才有单位。三条省钱路线各有分工:蒸馏降档位,损失集中在难例头部;量化降单对成本,叠加在蒸馏上更香;级联改注意力分配,用轻模型粗筛加余量与分数带自适应,把旗舰模型省给短名单。所有换档决策都要过同一评测集的回归,分桶设困难桶底线,盯住质量-成本兑换率与线上分数分布漂移。rerank 的钱本该花在 top-20 的最后一厘米,花错了地方,比不花更贵。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?