大医院里没有主治医师亲自写每一份病历:住院医写初稿,上级医师审核、修改、签名,责任由签名承担。这套流程省下的不是质量,是把最贵的判断力只花在审核与兜底上。RAG 的生成侧可以用同一个结构:小模型写初稿,大模型当审核——让昂贵智能花在验证与兜底,而不是花在每一个字的产出上。让旗舰模型写每一句话是预算刺客,而多数错误其实不需要旗舰级的生成能力来修复,只需要旗舰级的判断力来拦截。本篇讲这套组合的经济学原理、三种落地模式与校验器自身的质量账。

分工的经济学:生成贵在产出,校验贵在判定
账要从任务性质算起。初稿生成是 token 密集型任务:答案的每一个字都要由模型产出,输出 token 直接对齐计费表,答案越长账单越长。校验是判定密集型任务:校验器读答案与引用,产出的是「通过、不通过、哪里不通过」——输出 token 以个位数计,成本大头在输入侧,而输入侧可以裁剪、可以批处理。判定任务还有一个生成任务不具备的属性:可蒸馏性。判断「这句断言有没有引用支撑」是边界清晰的分类任务,小模型甚至专用判别器就能学会大模型的判定标准,训练成本一次性付清,推理成本从此与旗舰模型脱钩。
两类任务可蒸馏性差异的根源值得多说一句:判定任务有干净的监督信号——答案与引用的相符与否可以低成本人工标注,边界清晰、样本便宜,监督训练天然高效;生成任务的知识与文风弥散在参数与上下文的每个角落,「写得像旗舰模型」这件事本身难以压缩成小模型的目标函数。所以分工不是「小模型通用变弱、大模型通用变强」的粗档位选择,而是按任务性质把两类模型放进各自擅长的位置:生成留给便宜量大的,判定交给昂贵精准的,蒸馏再把判定的价格打下来。
于是结构性的价差出现了:让大模型写一千字,付一千字的生成费;让大模型验一千字,只付判定费,且这部分还能被蒸馏进一步压低。「校验比生成便宜」不是绝对规律——逐句核对要把上下文与答案都读一遍,输入并不小——但在输出侧的价差是数量级的,这正是组合模式的利润来源。还有一个常被忽略的账:校验可以批处理。初稿生成必须逐查询实时完成,校验却没有同等的实时约束——非关键场景可以把校验任务攒批离线跑,用时间换算力,进一步摊薄成本。
分工的边界也要说清:这个杠杆针对的是「答案写出来了,但不知道对不对」的问题,它不解决「检索没找到」的问题——上下文里没有依据时,小模型写不出好答案,大模型校验也只能判死。所以组合模式的前半段永远是检索质量,本篇的杠杆建立在检索可用的前提上,别把校验当成检索缺口的补丁。判断某类坏答案该归谁管,有个简单测试:把上下文人工给足,看小模型能否写对——能写对而没写对的,校验杠杆管;给了依据仍写不对的,回去修检索与语料。
一句话小结:生成按字付费、校验按判定付费且可蒸馏可批处理,输出侧的数量级价差是组合模式的利润来源。
三种组合模式:放行、重写、抽检
第一种是初稿加核对放行,标准形态。小模型基于检索上下文写初稿,大模型逐条核对:断言是否有引用支撑、数值是否与来源一致、有没有游离断言。核对通过直接放行,不通过进入下一步。这个模式的关键参数是核对粒度——整篇粗核对便宜但漏得多,逐句核对贵但能定位到句,工程折衷是两级:先整篇判断「有没有疑点」,有疑点的答案再升级逐句核对,多数干净答案停在第一级,核对的平均成本被压到接近粗筛。
第二种是失败升级重写。核对不通过时不是简单丢弃,而是带着批注重试:把校验器指出的具体问题(第几句无引用、哪个数值与来源不符)连同原稿回给小模型定向修改,或直接升级给大模型重写。重试要封顶——两轮仍不过的答案转人工或走降级话术,避免循环烧钱。批注重写的价值在于定向:校验器已经定位了问题,重写就有了靶子,比盲目重新生成便宜且成功率高;校验意见的质量直接决定重写的一次通过率,这是两个模块之间的隐含契约。
第三种是抽样送检。平时小模型直出,按比例或按风险抽检送大模型核对:新上线场景多抽、高风险栏目全检、稳定场景低频抽。它是全量核对与完全信任之间的滑钮,抽检率是个运营变量,跟着质量指标浮动——抽检发现问题的比例升高,就调高抽检率,问题率回落再降回来。这条反馈回路让校验预算自动流向质量波动期,而不是按一个写死的比例常年空转。
三种模式各有一条隐藏代价要提前算。核对放行把生成变成两跳串行:小模型写完、大模型查完才放行,端到端延迟比单模型直答高一截,且天然与流式输出冲突——校验没完成不能开播,用户盯着空白等两次推理;所以它更适合正确性极度敏感、时延相对宽容的场景(工单回复、合规答复),聊天式场景要用就要配「先流式后撤回」这类体验补偿,复杂度另算。批注重写的代价是状态管理:重写中间态要与原稿、校验意见一起留痕,审计时能还原「哪版初稿、哪条意见、改了几轮」,这套留痕不是可选项——没有它,重写循环就成了黑盒。抽样送检的代价是覆盖率盲区:抽检率之外的错误永不被发现,所以要配线上信号兜底——用户负反馈、追问改口率这类免费信号当全员哨兵,抽检只做深度体检。
MAX_REWRITE = 2
def answer(query, ctx):
draft = small_model.generate(query, ctx) # 初稿:便宜、快
for attempt in range(MAX_REWRITE):
verdict = verifier.check(draft, ctx) # 判定:只输出结论与定位
if verdict.passed:
return draft # 放行
draft = small_model.rewrite(draft, verdict.notes)
return fallback(query) # 封顶:转人工或降级话术
def sampled_answer(query, ctx, risk):
draft = small_model.generate(query, ctx)
if risk < RISK_HIGH and not sampled_this_call():
return draft # 低风险且未被抽中,直出
return answer(query, ctx) # 抽中或高风险,走核对放行
一句话小结:放行管日常、重写管兜底、抽检管预算,三者按场景组合使用而不是三选一。
校验器的设计:口径、粒度与输入裁剪
校验器的第一件事是定口径:核对什么。引用相符(断言能挂到来源)、数值一致(数字、日期、金额与来源一致)、风格达标(是否触发风格红线)——三项是独立检查还是合并判定,必须显式选择。口径混着写会让校验结果失去解释力:「不通过」不知道是引用问题还是风格问题,重写就没有靶子。口径还决定成本:风格检查可以后处理规则解决,不必进模型;真正需要大模型的只有引用相符与数值一致这类语义核对。
输入裁剪是校验器省钱的主战场。逐句核对不必把全部上下文都送进去:先做断言切分,再按断言检索最相关的来源片段,只送「候选句加它的对应来源」,输入 token 能比整篇硬塞降一个量级;数值核对更可以走程序化路径——先把两边数字抽出来对表,对不上的才送模型判定。校验器的输出也要结构化:结论、不通过的条目、每条的定位与理由,三个字段让下游的重写与统计都有据可依,自由文本的校验意见没法进指标。
flowchart TD
Q["查询与检索上下文"] --> S["小模型:初稿生成"]
S --> P["断言切分与来源配对:输入裁剪"]
P --> V{"大模型校验器:逐条核对"}
V -->|"通过"| OK["放行输出"]
V -->|"不通过"| RW["带批注定向重写"]
RW --> V
RW -->|"两轮封顶"| FB["升级大模型直答或转人工"]
一句话小结:口径拆开才可解释,输入裁剪决定校验的真实单价,输出结构化才能喂给重写与指标。
校验器的质量账:先测召回再省钱
整套杠杆的支点是校验器的召回率——它漏放一个错误答案,错误就以「已校验」的名义上线,比未校验更危险,因为它穿着质量背书的外衣。所以校验器自己要先过评测:用标注好的「答案与引用相符性」样本集测准确与召回,重点盯假阴性(错误被放行)的比率;这个比率决定组合模式的可信下限。标注集要覆盖真实的错误形态:数值错、来源张冠李戴、断言超出来源范围、游离断言,每一类都要有足量样本,校验器在没见过的错误类型上的漏放率才是它真实的下限。
假阳性是另一个方向的账:校验器误杀好答案,触发不必要的重写,成本翻倍不说,重写后的版本未必更好——把一个正确的初稿改成出错的改稿,是这套架构独有的新失效形态。控制假阳性靠两条:判定标准偏向宽容(存疑时放行并标记,而不是存疑时拦截),把最后一道裁决留给置信分级或人工;以及误杀样本回流——被判不通过但人工复核为正确的样本进评测集,防止校验器长期带着系统性偏见过度拦截。
验收组合模式时,评测口径必须是「校验后质量」而不是「小模型裸质量」。小模型直答 80 分、校验后 92 分、全大模型 93 分——如果数字是这样,组合模式用约三分之一的成本拿到接近的质量,决策成立;只报小模型裸分,杠杆的价值完全隐形。质量守恒的意思不是「一分钱一分货精确成立」,而是省下的钱要能算清换来多少质量损失,兑换率可测,决策才有依据。这个口径还有个推论:校验器换代(换提示词、换模型、蒸馏新版)也要走同一套「校验后质量」回归,防止省钱优化悄悄把支点换松。
| 模式 | 成本档 | 质量风险 | 适用场景 |
|---|---|---|---|
| 核对放行 | 中 | 取决于校验召回 | 高风险对外答复 |
| 批注重写 | 中高 | 重写引入新错误 | 允许两轮内修复 |
| 抽样送检 | 低 | 漏检率随抽检率走 | 稳定运行的大流量 |
一句话小结:校验器的假阴性比率决定系统的质量下限,验收口径必须是校验后质量,校验器自身变更也走回归。
小结
小模型生成、大模型校验是把昂贵智能从「产出」挪到「判定」的成本杠杆:生成按 token 付费、校验按判定付费,后者可蒸馏、可批处理、可裁剪输入,输出侧价差是数量级的。落地三模式——核对放行管日常、定向重写管兜底、抽样送检管预算,按场景组合使用;校验器的设计三件事——口径拆开、输入裁剪、输出结构化;支点是校验器的召回率,先在覆盖真实错误形态的标注集上测它的假阴性比率,再谈省钱。验收口径必须是校验后质量,与全大模型基线对齐比较,把省的钱与丢的分放进同一张表。这套组合还有一个组织收益:校验器的判定记录天然是训练数据——攒得越多,蒸馏出的校验小模型越强,杠杆的支点随运行时间自我加固。校验比生成便宜,是任务性质给的折扣——判定可以只输出结论,产出必须逐字付费,杠杆的正确用法是把每一分生成预算换成判定预算。
读者留言
COMMENTS 暂无还没有留言,来说第一句?