AI 资讯 知识库 RAG 实战手册RAG 变体的 A/B 测试:在线实验的设计与陷阱

RAG 变体的 A/B 测试:在线实验的设计与陷阱

离线评测 0.87 对 0.83,胜出,全量上线;两周后核心指标回落原点,还搭进去一批投诉。这类故事的共同剧本是:实验做完了全套流程,唯独没做实验。离线评测是在自己的考卷上比高低,在线 A/B 是在真实用户身上判生死——真理法庭的规矩严格得多,分流、指标、判定、放量每一步都有讲究,而新奇效应、样本污染、慢指标,每一个都能把假胜利判成真。

手绘信息图:A/B 的完整闭环——流量分流、观测指标、显著性判定、放量或回滚的实验流程

在线实验的骨架:分流、判定、放量

骨架第一件是分流。分流要稳定且互斥:同一用户在整个实验期必须始终落在同一组,按用户标识加实验名做带盐哈希取模是最常用的稳定分桶;分流键的粒度要匹配改动的感知单位——改答案呈现样式按会话分流即可,改检索行为本身就必须按用户分流,否则同一用户前后两次提问体验割裂,行为数据自相矛盾。第二件是判定契约:看哪个指标、在什么显著性水平、观察多久,实验开始前立好字据,开跑之后不再更改。边跑边看、一看显著就宣布胜利的做法是 A/B 第一大坑:每天看一次、显著即停,会在随机波动里捞出一大把假阳性——以为赢了,其实是抽样噪声替你按了确认键。样本量同样要预计算:预期提升越小,需要的流量越大、时间越长,小流量长跑不是美德,是混杂因素温床。

第三件是放量节奏。按阶梯走:小比例探路,重点看护栏指标有没有当场炸掉;中比例确认,看主指标的趋势是否延续;最后才全量。每一级设最短观察期,跳级放量等于把未验证的改动泼给全部用户。实验结束的产物不止胜负:无论放量还是回滚,实验的查询分布、分群表现与结论都要回流——胜出变体的特征沉淀进离线评测集当新基线,失败变体的教训写进实验记录防重蹈。这样 A/B 才不是一次性审判,而是迭代循环里的一环。

放量之前还要备好回滚预案,这件事在顺利时显得多余,在出事时价值千金。预案写三件事:回滚的触发线——护栏指标劣化到什么水平、投诉量超到什么阈值就切回旧版;回滚的操作路径——配置开关还是重新部署,由谁在什么权限下执行,多少分钟内完成;回滚后的用户善后——实验组用户回到旧版本时会不会遇到缓存残留、会话状态错乱,这些残留要不要主动清理。没有预案的实验,出事时全靠临场发挥,而临场发挥的速度就是用户的受伤时长。观察期的确定同样有章可循:至少覆盖一个完整的业务周期——工作日与周末的查询构成不同,周期性波动必须被完整包含,否则对比的是两个不同的世界;再跨过新奇效应的窗口,通常一到两周;最后按预计算的样本量补足时长。三者取最长,预计结束日期写进判定契约,到点收数据——提前是偷看,拖延是在噪声里钓显著。

还有一条纪律容易被忽略:控制并发实验数。同一个用户同时落在三个实验里,行为归因就搅成一团浆糊——转化提升不知道该记在谁的账上。实验之间要么互斥(流量切片分开),要么分层(正交维度分桶),并发上限要明文规定;实验系统的第一美德不是灵活,是每一条数据都只讲一个故事。实验平台越成熟,这些纪律越是长在系统里:分流服务统一出桶、判定契约模板化、放量动作走审批——纪律不靠自觉,靠默认。

flowchart TD
    H["假设:新 rerank 档位能提升解决率"] --> S["分流:按用户稳定哈希,两组各百分之五"]
    S --> O["观测:解决率、转人工率、延迟、满意度"]
    O --> J{"到达预设样本量,统一判定"}
    J -->|"显著胜出且护栏无恙"| R["阶梯放量:探路、确认、全量"]
    J -->|"不显著或护栏劣化"| B["回滚,实验记录归档"]
    R --> C["结论回流:胜出特征进离线评测集"]
    B --> C

RAG 特有的指标选择:北极星与护栏成对

RAG 在线实验的指标分两类,判定时角色不同。北极星回答「这改动有没有用」:解决率居首——操作化定义必须提前定死,比如会话内未转人工、未重复提问、未点踩即记为解决,三个条件少一个,口径就漂;人工转接率是它的影子指标,客服场景里转人工降一个百分点都是真金白银。护栏回答「这改动有没有附带伤害」:p95 延迟(rerank 加档、上下文加长都会抬延迟)、每会话成本、越权拦截率、答案格式错误率。只看北极星不看护栏,会放进一个解决率微涨、延迟翻倍的净亏损改动;只看护栏不看北极星,实验退化成回归测试,A/B 的钱白花。北极星与护栏成对出现、成对判定,是 RAG 在线实验的基本姿势。

解决率的操作化定义里藏着不少口径陷阱,值得提前排雷。重复提问怎么判:换个说法再问一遍算不算重复,措辞相似度的阈值定在哪;转人工怎么算:用户主动要求转接与系统主动建议转接是两类性质的事件,混在一个口径里,转接率的升降就没法解释;「没有反馈」默认算解决还是算未知——大多数用户不反馈,这个默认值一改,解决率整体平移好几个点。口径定完要做一次回放校准:拿历史会话按新口径算一遍,看分布是否符合业务直觉,再放它上实验;口径变更要与实验解耦,改口径的当期不跑新实验,否则效果变化分不清来自改动还是来自定义。

在线指标还有一个离线没有的难题:归因。实验组解决率降了,可能是改动不好,也可能是实验组恰好撞上了一批更难的查询——随机分流理论上均衡,小流量下却常失衡,一个渠道引流异常、一批新用户集中涌入,都足以让两组人群构成不同。防御手段是分层看数据:按新老用户、按入口渠道、按查询意图分别对比两组,主效应在多数分层里方向一致才算数;只在某一个分层里冒头的差异,多半是人群构成在作怪。拿不准时把流量放大一档重跑一次,能复核的结论才配写进结论栏。

指标选取还要考虑滞后性,它决定实验要跑多久。延迟是实时的,几天就有结论;解决率要等会话结束才能判定,按小时级滚动结算;满意度最慢——回收率低、评分用户自带选择偏差,通常只能当辅助证据。规划实验周期时按最慢的关键指标倒推,而不是按最慢的漂亮指标。

指标类型 衡量方式 滞后性
解决率 会话行为综合判定 小时级,会话结束结算
人工转接率 转接事件计数 近实时
满意度 显式评分与点踩 天级,回收率低
p95 延迟 请求埋点分位数 实时
每会话成本 调用与 token 计费汇总 实时

第三类是诊断信号:不进判定、只进解释。引用点击率说明用户是否核对了来源,追问率异常上升往往意味着答案变含糊,会话轮数变化反映答案是否一次到位。实验结果出来之后,无论胜负,先看诊断信号再写结论——主指标说不清的因果,诊断信号常能补上最后一块拼图。诊断信号的价值还在于便宜:它们几乎都是已有埋点的副产品,不花额外的实验预算,却经常是评审会上最有说服力的那页数据。

三个经典陷阱:新奇、污染、慢指标

新奇效应指老用户对新行为多出来的兴趣:答案版式变了、交互变了,头几天用户点得更多、看得更久,这股新鲜劲虚增互动类指标,一两周后回落原形——如果你恰好在新鲜劲的坡顶收数据,就会收获一个注定守不住的胜利。防御有两条:一是分群比较,只比新用户(双方都没有历史包袱),或把老用户单独分群观察衰减曲线;二是拉长观察期跨过新奇窗口再做终判。RAG 里还有个更隐蔽的变体:答案变详细之后,用户短期更信任,等第一次撞上编造的细节,信任塌得比以前更狠——信任类指标要看长期趋势,首周的数字不作数。

样本交叉污染是 RAG 浓度最高的坑,典型形态有三种。会话中途换组:分流键用了随机数或按请求分流,同一会话前半场一套行为、后半场另一套,用户被两个版本反复横跳。缓存串味:语义缓存或结果缓存没带实验分组键,对照组用户命中了实验组缓存过的答案,改动效果被缓存稀释甚至反转——这是 RAG 特有的污染源,因为答案值钱、缓存冲动强。评测探针混入实验流量:拿线上实验组当免费评测场,探测请求混进行为数据,分布就歪了。防御的工程原则一句话:分组随用户走,缓存随分组走——缓存键显式带上实验分组与变体版本,实验期间缓存过期时间调短或干脆旁路,分流服务对同一用户的多次请求永远返回同一变体。

慢指标是第三道坎:解决率的组间差异通常只有一两个百分点,这个量级的效应在百分之五的小流量下要跑到天荒地老才显著。三条出路按序试:加大实验流量占比,与风险容忍度做交换;换更敏感的代理指标,转接率、重复提问率比综合解决率波动小、判定快;最后是承认不可判定——离线评测与机制分析已经够定方向时,别用 A/B 硬凑确定性,把预算留给真正输不起的大改动。

对显著性还有两重常见误读值得单独拆开。第一重:统计显著不等于业务显著——样本够大时,百分之一的微弱差异也能跑出显著,但乘上延迟与成本之后可能得不偿失;判定契约里除了显著性水平,还应写上最小业务效应量,够不上效应量的「显著」照样不放量。第二重:业务看着热闹不等于统计显著——用户反馈里吵翻天,样本不足时可能只是噪声在表演,这时该做的是加样本或延长观察,而不是顺应嗓门。显著性是门槛,不是结论;结论永远是效应量、成本与风险的合账。

import hashlib

def bucket_of(user_id: str, experiment: str, groups: int = 20) -> int:
    salt = experiment + ":" + user_id
    digest = hashlib.sha256(salt.encode()).hexdigest()
    return int(digest[:8], 16) % groups   # 同一用户同一实验,永远落在同一组

小结

A/B 的成本很高——流量、时间、工程与注意力全是硬支出,要留给离线评测与机制分析都判不了胜负的改动。设计上守住骨架:分流稳定互斥、判定契约预先立好、样本量预计算、放量按阶梯走、并发实验数有上限。指标上北极星与护栏成对出现,滞后性决定观察期长短,诊断信号负责解释因果。陷阱上,新奇效应用分群与观察期化解,交叉污染靠「分组随用户走、缓存随分组走」的工程纪律堵死,慢指标要么加流量、要么换代理、要么承认不可判定。离线赢一分,在线不一定赢;在线赢一分,还要再问一句——赢的幅度,够不够付这次实验的账。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?