一套题库用了三年,考出来的第一名未必会干活——这在智能体行业不是段子,是常态。评测数据集是整个行业最不起眼却最要命的隐形基建:模型往哪个方向练、产品敢不敢换版本、买家信谁的宣传,全都有意无意地锚在某几套题库上。它决定谁看起来强,也悄悄决定谁真的强。而题库像生鲜一样会过期:题目老化、分数污染、分布漂移,三本账哪本算不清,评测的信标作用就失灵。这一篇把这三本账摊开来算。

构造的三种来源:成本、偏差、规模的三角
第一种来源是人工标注:贵、慢、准。专家出题与专家判卷是高价值场景的唯一选项——法律意见的质量、医疗分诊的准确性、财务稽核的合规性,这些领域的「对错」本身就需要专业知识定义,模型判不了,外包判不放心。人工路线的规模化成本线性上涨,标注质量靠培训、双标仲裁与一致性抽检维持;一套千题量级的专家评测集,投入往往以人月计。它的适用公式是:高价值、小体量、强权威。
第二种来源是真实流量采样:免费且真实。生产日志里的问题就是最贴业务的题——它们天然分布正确,不存在「评测集与生产分布不一致」的先天病。但三条纪律要做足:脱敏是底线,用户的隐私数据绝不能进题库,脱敏还要防「还原式泄漏」(姓名抹了,唯一的地名与日期组合还在);分层要补偿,高频路径的样本海量、冷门路径的样本稀少,直接按自然分布采样等于把冷门场景排除出质检范围;去重要做,重复问题虚增题量,让评测看起来覆盖很广实则翻来覆去考同一道题。流量采样的适用公式是:有流量、大体量、贴业务——它几乎是中大型团队评测集的主力。
第三种来源是模型合成:便宜、量大、但有隐蔽偏差。合成题天然偏向「模型会出题的方式」——句式规整、条件完备、任务边界清晰,而真实用户的输入恰恰是残缺、跳跃、含糊的;用合成题训练出来的能力,考起真实流量会打折。更深的坑在自举:用模型 A 出题考模型 B,等于把 A 的题型偏好泄给了 B 的优化方向。合成题的可解性与区分度都需要人工抽检校准——「便宜」是显性的,质检成本是隐性的。它的适用公式是:快速起量、边界探索、难库存放。
三种来源构成一个三角:成本、偏差、规模,取二者必舍其一。成熟团队的答案是混编——真实流量打底(保分布)、人工标注定锚(保权威)、合成题探边界(保覆盖),比例本身就是评测战略:跑在对齐业务上的团队把权重压给流量采样,做通用能力宣传的团队不得不靠人工与合成扩量。混编之外还有一道隐形的账:评测集的复用经济。一套题库的使用次数越多、时间越长,单题摊销成本越低——这正是污染风险的来源,复用价值与防污染价值天然打架;把这道账算进构造决策,才能解释为什么头部团队愿意反复重造题库——他们买的不是题目本身,是「分数仍然可信」这件事的时效。
| 来源 | 成本 | 主要偏差 | 适用场景 |
|---|---|---|---|
| 人工标注 | 高,线性上涨 | 标注员主观漂移 | 高价值小体量 |
| 流量采样 | 低 | 冷门路径欠采样 | 有流量的大团队 |
| 模型合成 | 最低 | 题型偏置与自举 | 快速起量与探边 |
小结:构造评测集没有免费午餐——三种来源各有代价,混编比例是评测战略的第一决策。
污染问题:分数里混着多少「背过」
污染的第一条途径是基准泄漏:公开基准大概率进过预训练数据,模型「背过答案」与「学会能力」在分数里无法区分。判断一个基准是否还在诚实工作,看它的饱和速度就够了——从发布到接近满分的时间越来越短,泄漏的嫌疑就越来越大;旧基准年年刷分、分数虚高,几乎是公开的秘密。
第二条途径更隐蔽:训练与评测同源。同一家公司自己构造数据、自己训练、自己评测,评测集的独立性靠自觉维持。2025 年初,FrontierMath 这一高难数学基准的资助关系被曝光——出题方接受被评方厂商的资金支持,舆论哗然;无论最终结论如何,这件事立了一条行业规矩:谁出钱出题,必须披露,评测的中立性从披露开始。竞技场式榜单的问题在 2025 年 4 月被《The Leaderboard Illusion》论文系统性披露:部分厂商可以私测多个模型变体、择优上报正式版本,采样机会不均,落榜变体静默下架——榜单在结构上偏向资源多的玩家。同月的「榜单特调版」事件(某新模型被曝存在专供竞技场的调优变体)让污染话题彻底破圈,公众第一次意识到:排行榜的分差可能是「应考策略」的差距。
第三条途径是反向的:评测集本身的产权失守。私有评测集因此兴起——ARC-AGI 类基准把测试集半私有、只公开训练集;第三方评测机构与厂商内部金题库把题目锁进保险柜;canary 哨兵字符串成为检测手段——在题库中埋入特定的 GUID 标记,若它出现在某个模型的输出里,即可证明该模型的训练数据吞过这套题库,污染实锤。
| 污染途径 | 识别方法 | 防御手段 |
|---|---|---|
| 公开基准泄漏 | 饱和速度异常、逐题准确率突兀 | 定期换血、动态题库 |
| 训练评测同源 | 资助关系与流程不透明 | 强制披露、第三方出题 |
| 榜单机制偏置 | 变体测试机会不均、静默下架 | 规则公开、上报留痕 |
| 题库产权失守 | canary 哨兵命中 | 测试集私有化 |
小结:污染不能根治只能定价——分数引用时先问三件事:题目何时出的、谁出的钱、测试集是否私有。
保鲜机制:把防过期做成流水线
保鲜的第一档是定期换血。LiveBench 从 2024 年上线起把月度换题写进机制——新题来自新文献、新赛事与新事件,模型想「背题」只能背到上个月的题;LiveCodeBench 走另一条路:题目带时间戳,参评模型只允许使用题库发布之前截止训练数据的版本,从制度上保证「考的都是训练之后的世界」。两家的共同点是把「防背题」从倡议变成流程——保鲜不是良心,是工程。换血还有一条工程细节:退役题目不要销毁,转入「考后分析池」,用于诊断模型在历史题上的能力变迁——老题的价值从「区分模型」降级为「考古模型」,依然有账面价值。
第二档是动态难度与锚题桥接。模型进步让题目通胀:去年的难题今年成了送分题,固定难度集必然饱和。可行设计是保留一组「锚题」——经过检验、长期不动的基准题,负责纵向可比;其余题目定期轮换,新旧成绩靠锚题桥接,任何一次换血都不会让历史曲线断裂。锚题本身也要防泄漏,池子要够大、轮换要低调。动态难度的另一半是难度标定要跟着模型代际更新——新模型上线后重标难度分布,把「对现役模型区分度不足」的题降级进锚题池,让主力题库始终保持在有效区分区间内。
第三档是分布漂移追踪。题库的任务构成要跟着真实工作走:智能体的考题从「写正则表达式」漂到「读报错日志定位依赖冲突」再到「跨多文件重构」,每一步都对应真实任务形态的迁移。追踪的手段不复杂:定期对生产流量做任务类型聚类,把近季度的分布与题库的分布做对比,偏差超阈值就触发补题。保鲜流水线因此是一条持续运转的管道:从真实流量采样回流,经脱敏与分层抽样,进入月度小补丁与年度大换血——旧题退役、锚题保留、新题上岗。
evalset:
name: "agent-production-v3"
mix:
traffic_sampled: 0.60 # 真实流量采样,保分布
expert_anchored: 0.20 # 专家锚题,保纵向可比
synthetic_probe: 0.20 # 合成探边题,保覆盖
freshness:
refresh: "monthly" # 月度小补丁
overhaul: "yearly" # 年度大换血
holdout_canary: true # 关灯集 + 哨兵字符串
governance:
funding_disclosure: true # 出题资金来源强制披露
version_log: "dataset-diff.md"
flowchart LR
A["真实流量"] --> B["脱敏与分层抽样"]
B --> C["月度补丁:新题上岗"]
C --> D["年度换血:旧题退役"]
D --> E["锚题池:纵向可比"]
E --> C
F["canary 哨兵检测"] --> G{"发现污染?"}
G -->|"是"| H["题库整改与来源排查"]
G -->|"否"| C
小结:保鲜是流水线不是动作——换血、锚题、漂移追踪三档机制,把评测集从静态资产变成有保质期管理的生鲜。
生态观察:信标的信任危机与付费化
公开基准正在经历三段式的信任危机:先是饱和——老题库被刷到接近满分,区分度归零;然后是军备——更难的题库竞相推出,人类最后考试式的「考倒模型」成了新品类;最后是私有化——题目进保险柜,成绩靠官方跑分而非自助复测。三段走完,公开榜单还在,但已从「权威」降级为「参考之一」;专业读者读榜单的方式变了,先查题目年龄、出题资金与测试集的私有程度,再谈分数。
评测同时正在变成一门生意。私有榜单、第三方付费评测、企业金题库托管——评测从公共品变成服务,驱动因素有两个:公开基准的信任折价,让企业采购愿意为「干净的分数」付费;垂直行业的验收需求(法律、医疗、金融)需要私有且贴合业务的题库,公开基准永远覆盖不了。生意化带来新问题,结构与审计行业的历史困境同构:付钱的一方与被评的一方关系太近,信标的中立性需要制度来维持——披露规则、利益回避、多机构交叉验证,评测行业若不走这一步,付费化只会放大怀疑。
观点与事实分开说:饱和、军备、私有化是可观察的趋势;「私有评测一定更干净」则是待验证的命题——私有只解决了污染的一半,另一半(分布漂移与题库老化)依然只能靠持续运营解决。最后回到本篇的起点:评测集的质量决定行业的信标质量,信标错了,全行业会朝着错误的方向优化——模型追逐榜单分数而非真实能力,产品引用虚高的数字做决策。守护题库的新鲜与干净,看起来是后勤工作,实际上是行业的导航系统。
小结
评测数据集的经济学,最终是三本账的平衡术:成本账决定怎么造——流量打底、人工定锚、合成探边;污染账决定信不信——泄漏、同源、榜单偏置三防,披露与私有化两守;保鲜账决定用多久——换血、锚题、漂移追踪缺一不可。对从业者,这一篇的实用结论是一份读分清单:看题目年龄、看资金披露、看测试集私有度、看与生产分布的距离。评测集是行业的隐形基建,也是每个团队自己的镜子——它粗一点,团队就每天对着哈哈镜做决策;它准一点,整个行业的进化才有一个不变的参照系。
读者留言
COMMENTS 暂无还没有留言,来说第一句?