搜索:GSM1k

共命中 3 条(服务端检索)
一篇读懂评测污染:你的 Benchmark 分数可能是个假象
GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法,以及动态基准的军备竞赛。
大模型 精选 · 原创 · 今天 阅读 1·访客 1
AI 数学能力到底怎么测:基准、污染与「会考试不等于会研究」
FrontierMath 发布时最好的模型不到 2%,一年半后最高分冲到约 52%;可同一时期,GSM1k 证明部分模型的高分有背题成分,FrontierMath v2 修正了四成多题目,25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波,以及 2026 年评测范式向证明题与开放问题的转向。
研究前沿 精选 · 原创 · 10-10 阅读 830·访客 785
一篇读懂基准失效:饱和、污染与刷分——一个评测基准的一生
每个 LLM 基准都逃不过同一条生命周期曲线:出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点,并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。
一叶一世界 精选 · 原创 · 10-8 阅读 692·访客 679