「这轮改完感觉顺多了。」「哪里顺了?」「就是……整体吧。」两周后复盘,没人说得清五个改动里哪个有效、哪个无效、哪个在偷偷添乱。RAG 团队最常见的内耗不是没做优化,而是优化不可归因:改了感觉变好,复测说不出哪里好。评测驱动迭代把改进变成可归因的循环——测量、归因、单变量改动、复测,每一轮以记录在案的结论收尾,感觉换成证据。

迭代循环:四节飞轮与一条纪律
飞轮四节各司其职。测量:用分层评测拿到检索层与生成层的基线分数——分数必须分层,否则后面的归因无从谈起;测量拿的不只是总分,分桶分数与近期 bad case 样本一起拿,基线是后面一切对比的锚。归因:对当期 bad case 按归因树分类,找出占比最大的问题类——这一步决定「改什么」;没有归因的改动清单是愿望清单,按愿望调优,效果全凭运气。改动:针对最大问题类做单变量改动,一次只动一个旋钮。复测:同一评测集重跑,与基线对比,分桶扫描有没有按下葫芦浮起瓢;复测通过才算闭环,复测不过就回滚或修正,不允许「先合了再说」。四节顺序不能颠倒,更不能省节:省掉归因的改动是盲动,省掉复测的改动是赌博。
比结构更重要的纪律:每轮循环必须以书面结论收尾,无论正负。正向结论写清改动、指标变化与效应量;负向结论写清改动、观察到的劣化与假设失败的可能原因——负结果同样是资产,它告诉下一轮「此路不通」,防止三个月后有人把同一个主意再试一遍。没有书面结论的循环等于没跑:改进被吸收进系统,知识却没被吸收进团队,半年后团队对「什么改动在这套语料上有效」仍然一无所知。
飞轮的转速上限由复测的可信度决定。复测噪声大,一个真效应淹没在波动里,要靠重复多次才能分辨,循环自然慢;噪声小,一轮复测就能裁决,迭代自然快。所以评测流程的投入——评测集质量、噪声地板实测、闸门自动化——回报不体现在评测本身,体现在迭代速度上;把评测当成本中心的团队,最终把成本花在了反复返工上。
测量一节值得再展开一层,因为它是飞轮的地基。分层要落成两套并行数字:检索层跑检索指标(召回、重排后的排序质量),生成层跑答案指标(正确性、引用覆盖、拒答恰当率),两层各留自己的基线与趋势;只留总分,回归发生时无法定位层级,飞轮会卡死在归因那一节。基线还要分桶:按意图、按难度、按答案类型的分桶分数,是「哪里坏了」的第一手证据。最后是测量的口径底线:基线随主干刷新,任何对比都要注明「和哪个版本、哪天落盘的基线比」——对比对象不明,是迭代记录里最常见的事故。
flowchart LR
M["测量:分层基线与分桶分数"] --> A["归因:bad case 分类找最大问题类"]
A --> C["改动:单变量,一次一个旋钮"]
C --> T["复测:同集对比基线,分桶扫描"]
T -->|"达标"| M
T -->|"劣化"| B["回滚或修正,结论归档"]
B --> M
单变量原则与改动日志
单变量原则常被挑战:五个改动一起上,评测分数也涨了,为什么不行?答案有三层。归因层面:涨了不知道是谁的功劳,可能四个改动白做、一个改动在撑分——白做的改动占着维护成本与风险面,却没人知道该不该删。回滚层面:三周后某类查询塌了,你不知道回滚谁;全量回退等于把四个本来有效的改动一起扔掉。学习层面:工程团队真正的知识资产是「什么改动在这套语料上有效」的映射表,多变量改动永远无法往表里添一行。交互效应当然存在——某些改动确实要配套——但正确顺序是先单变量证明各自有效,再实验组合验证交互;用「可能有交互」为一把全改开脱,是把顺序反过来。
改动日志是单变量原则的落地载体,格式固定、一条一档:改动内容与涉及的配置项、动机与归因依据、评测结论(指标与分桶的变化)、后续动作(保留、回滚、待组合实验)。日志要能回答三个问题——这个改动为什么做、做完了分数怎么变、现在它还在不在生效。三个月后排查「当时是谁把 top-k 从 8 改到 5 的」,答案必须在日志里,不在某个人的记忆里;人会被裁、会失忆、会休假,日志不会。日志要真正支撑回滚,还得和配置版本绑定:每个改动条目带上当时的配置快照或版本号,评测报告与快照互相引用——「这次改动、这份配置、这份报告」三位一体,任何时刻都能精确回答「系统此刻生效的是哪个组合」。回滚因此从救火动作降级为查表动作:找到上一个被采纳的快照,恢复,复测,完毕。没有快照绑定的日志只能告诉你改过什么,不能让系统回到改过之前;回滚的底气从来不在流程里,在快照里。单变量的粒度也以回滚单元定义:一次动了配置里的两个参数就是两个变量;一个功能开关连同它必要的默认值一起上,逻辑上不可分,就还算一个变量——出问题时你会一起回滚的东西,就是一个变量。
一个值得整段记住的教训:某团队一次合入五件事——换 embedding 模型、改块大小、调提示词、开重排、降 top-k,评测涨了两个点,全员高兴。三周后财务类查询开始漏关键数字,逐项排查的成本高到没人愿意付,最后整体回退到改动前,两个点的提升与五个改动的功过一笔勾销。更大的代价在信心:之后两个月团队只敢做单变量实验,节奏骤降——如果一开始就守纪律,这五件事本可以在五周内各归各位,谁也不欠谁。
change_id: exp-2026-1112-03
date: 2026-11-12
change:
component: rerank
item: candidate_pool
from: 20
to: 50
motive:
attribution_bucket: rank_miss
evidence: 排序失败占当月 bad case 四成
eval:
set: core-v7
metric_delta:
ndcg_at_5: +0.021
recall_at_20: +0.004
bucket_scan: 无分桶劣化
noise_floor: 0.008
verdict: adopt
followup: 组合实验:候选池 50 配新阈值
日志的反模式也要点名:只记成功不记失败——失败条目恰恰是最贵的经验;记流水账不记结论——「跑了评测」不是结论,「涨了多少、为什么」才是;事后补记——改动三天后凭记忆补的日志,效应量早就对不上号了。日志条目的价值密度取决于写它的当时:动机、数字、决定,当场三行,胜过事后三十行。组合实验是单变量走通之后的一步,同样要守规范:只组合已各自证明有效的改动,一次组合不超过两个变量,组合结果与各变量的单独效应一起记录——交互是正是负,从此有了第一手数据。绕过单变量直接跑组合的诱惑永远存在,尤其在期限逼近的时候;但组合实验的结果解释不了任何东西,赢了是彩票,输了是谜题,团队要的是知识,不是运气。
迭代节奏:日更、周更与季度重审
节奏分三层。快速集随改动跑:每个单变量改动在合并前过一遍核心集,分钟级反馈,守住回归底线——这是日更层,产出是闸门结论,供合并决策用。全量集按周跑:每周固定夜跑一次全量评测加分桶报告,捕捉快速集覆盖不到的长尾劣化,同时刷新周度基线——这是周更层,产出是分桶报告,供迭代方向用。评测集本身按季度重审:语料在长、查询分布在漂,去年建的评测集会慢慢测不准现在的系统——这是季更层,产出是新版本评测集与口径变更说明,供全员对齐用。三层各管一段:闸门、雷达、校尺,别混。
季度重审做三件事。按近期真实查询分布补新条目——评测集的分布要贴着生产的分布走,查询漂了不补,评测就在守一个不存在的世界;淘汰过时条目——产品改名、流程作废的旧答案会变成永久扣分的幽灵故障;复查标注一致性——口径随业务演化漂移,标注员对「相关」与「正确」的理解要重新对齐。评测集不重审,团队会陷入「分数在涨、效果停滞」的过拟合:系统学会了讨好评测集,而不是服务用户;这时最危险的信号是离线分数创新高、用户投诉不降反升。重审本身也要守单变量纪律:评测集换版本是一次对全部分数影响巨大的变更——新版评测集上所有历史基线作废,要重刷一遍基线再开始新一轮改动;评测集版本变更与系统变更不能同时发生,否则分数变化又分不清来源。版本号要显式:评测报告写的是哪个版本,比任何文字说明都可靠;口径变更说明写清加了什么、删了什么、为什么,让半年后的人能重建今天的判断。
| 节奏 | 对象 | 产出 |
|---|---|---|
| 随改动跑 | 核心快速集 | 闸门结论,拦截回归 |
| 每周夜跑 | 全量集分桶报告 | 周度基线与长尾劣化清单 |
| 每季度 | 评测集本身 | 新版评测集与口径变更说明 |
节奏背后有一本成本账要摊开:快速集每次几分钟、夜间全量一次几十分钟、季度重审一个人力周——相比多变量返工与线上事故的代价,这套节奏便宜得近乎免费;觉得贵,通常是因为回归防线还没自动化,人力被钉在了本该机器干的活上。节奏也要随团队规模伸缩:一两个人的团队可以把周更并入日更、季度重审压缩成半天,但三层不可缺——闸门、雷达、校尺少一层,对应类型的退化就会漏进来,只是早晚。节奏要落到人头上才有生命:谁负责跑快速集(自动闸门,改动者等结果)、谁负责看夜间报告(轮值评审,发现劣化当天定位)、谁负责季度重审(评测 owner,变更说明全团队过目)。分工不必重,但每层要有一个名字——没有名字的环节会在忙碌的那一周静默失效,而失效的第一个月往往没人察觉,因为分数还在涨,只是越涨越不代表真实世界。
小结
评测驱动的本质,是让每一次改动都可解释、可回滚。飞轮四节——测量给基线、归因给方向、单变量给因果、复测给裁决——缺一节循环就漏气;每轮以书面结论收尾,负结果也是资产。单变量原则不是教条,是归因、回滚与团队学习三个层面的共同底线,改动日志是它的载体,当场记录是它的纪律。节奏上快速集守闸门、全量集看长尾、评测集按季度重审防过拟合,三层各司其职。迭代速度从来不取决于改动的勇气,取决于复测的可信度——把评测当基础设施投入,改动才敢快,快才有复利。
读者留言
COMMENTS 暂无还没有留言,来说第一句?