Scaling Law 的边界：数据墙、算力墙与推理 Scaling 的新战场

2020 年 Kaplan 等人的 Scaling Laws 论文与 2022 年的 Chinchilla 修正，定义了此后三年大模型行业的资源分配逻辑：算力换性能，且优先买参数。到 2024 年，这套逻辑撞上了两堵物理墙——可用的高质量数据存量跟不上算力增速（数据墙），训练集群的功率与供应链跟不上算力需求（算力墙）。与此同时，o1 展示了第三条缩放曲线：测试时计算（test-time compute）——推理阶段多想几步，性能照样随投入平滑提升。缩放没有死，但战场从预训练单曲线变成了三条曲线的分配问题。本文梳理数据墙与算力墙的定量证据、推理感知的缩放理论修正，以及测试时计算缩放作为新战场的实证与边界。

Scaling Law 的边界：三堵墙

一、数据墙：公共语料的储量估算

Epoch AI 的储量账本

研究机构 Epoch AI 的「Will we run out of data? Limits of LLM scaling on human-generated data」（Villalobos et al.，2022 首发、2024 修订）给出了这个方向被引用最多的估算：2024 年公开互联网上人类生成的高质量文本有效存量约 300 万亿 token 量级，年增长约 5% 到 7%（翻倍周期约 10 年量级）；而训练算力按 2010 到 2024 年的趋势每年增长 4 到 5 倍，对应的训练数据需求每约两年翻倍。两条增长曲线相交的结论是：若坚持 Chinchilla 最优配比，公共人类文本将在 2026 到 2032 年间被耗尽；即便采用「欠训练大模型」等缓解策略，也只能把时间窗推迟数年。这份估算的技术细节（低质文本的可用性折扣、重复文本的有效性折减、私域数据的不可及性）都存在争议，但方向性结论已被 2024 到 2025 年的行业动作反向印证：前沿实验室大规模转向合成数据、多模态数据与私域数据采购，正是数据墙临近的微观证据。

应对策略的定量边界

数据墙的工程应对有两条已定量化的路径。其一是重复训练：Muennighoff et al.（2024）的数据受限缩放定律给出，同一数据重复到约 4 个 epoch 仍近似等价新数据，超过 16 个 epoch 增益趋零，且合成改写可以部分突破该上限。其二是多模态扩展：视频、音频、图像-文本对的数据存量比文本大一到两个数量级，但单位 token 的知识密度更低，多模态数据能否等效替代文本仍是开放问题。此外，提高单位数据的知识密度（教科书式过滤，FineWeb-Edu 与 phi 路线）本质上是在「质量轴」上扩数据墙，与前两条路径正交且已验证有效。

二、算力墙：从 Scaling 法则到电网现实

训练成本曲线与功率约束

Epoch AI 对 2010 到 2024 年前沿训练算力的追踪显示：年度增长 4 到 5 倍，前沿单次训练的算力从 GPT-3 的约 3e23 FLOPs 增至 GPT-4 的约 2e25 FLOPs，2025 年的前沿运行（如 Grok 3 一类）已进入 4e26 FLOPs 量级。按此速度外推，2030 年前的单次训练将触及 GW 级功率——相当于一座大型核电机组的输出。Epoch 关于数据中心功率的分析（2025）指出：单个 GW 级数据中心的选址、变电与冷却建设周期以年计，功率正在取代芯片成为最刚性的约束。算力墙的表现形式因此不是「算不出」，而是「算不起与等不及」：边际算力的交付周期与能源成本，正在把缩放曲线的斜率压平。

推理感知的缩放修正

算力墙催生了理论修正：Chinchilla 最优只考虑训练成本，忽略了推理成本。Sardana 与 Frankle 的「Beyond Chinchilla-Optimal」（ICML 2024）把推理成本纳入优化目标，结论是：对部署量大的模型，最优策略是「训更小的模型、用更多数据过训练」，模型的最优参数量随预期推理量增加而显著缩小。产业实践与理论完全对齐：LLaMA 3-8B 用 15T token 训练，约是其 Chinchilla 最优 token 量（约 200B）的 75 倍；LLaMA 3.1-405B 的训练 token 量也达到其最优配比的两倍以上。过训练（overtraining）已成为默认配方——用训练侧的冗余换推理侧的边际成本，这是算力墙压力下缩放策略的第一次结构性再平衡。

flowchart LR
    subgraph walls["两堵墙"]
        W1["数据墙<br/>公共文本 2026-2032 耗尽区间"]
        W2["算力墙<br/>GW 级功率 / 交付周期"]
    end
    A["预训练缩放<br/> Kaplan / Chinchilla"] -->|"受限"| walls
    walls --> B["应对：质量过滤<br/>合成改写 / 多模态"]
    walls --> C["应对：过训练小模型<br/>推理感知缩放"]
    A --> D["第三曲线：测试时计算<br/>o1 / s1 / RLVR"]
    D --> E["训练时 RL 后训练<br/>过程奖励 / 结果奖励"]
    E --> D
    B --> F["下一阶段范式<br/>三曲线算力分配"]
    C --> F
    D --> F

三、推理 Scaling：第三条曲线的实证

o1 与「两条新的缩放曲线」

OpenAI 的 o1（2024 年 9 月）把测试时计算变成了产品能力：通过大规模强化学习训练模型「先思考再作答」，并展示了两条新的平滑缩放曲线——训练时 RL 算力增加性能平滑提升，测试时思考时间增加性能同样平滑提升。量化坐标：AIME 2024 上 o1 达到约 74%（GPT-4o 仅 12% 左右），Codeforces Elo 约 1891 进入前 11% 选手区间，GPQA 等博士级科学基准上也超过了人类专家基线。这不是基准技巧，而是缩放维度的扩容：同一个模型家族内，「想多久」成为了像「多大」一样的连续资源轴。2024 年 12 月的 o3 则把这条曲线推到新高：ARC-AGI-1 半私有集上，GPT-4o 只有约 5% 到 9%，o3 在高算力档达到 87.5%，同时在 FrontierMath 早期集上把此前所有模型不足 2% 的成绩拉高了一个数量级——代价是单任务推理成本最高达数千美元，凸显了这条曲线的经济学约束。

测试时计算的缩放定律

学术侧对第三条曲线的定量化始于两项工作。UC Berkeley 的 Snell et al.（2024）「Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters」给出核心结论：在 MATH 等基准上，小模型配自适应的测试时搜索（beam search、过程价值引导的修订），在同等 FLOPs 预算下能稳定击败约 14 倍大的模型；且不同难度的题需要不同强度的测试时投入，「按题分配算力」本身就是可学习的策略。Stanford 的 s1（Muennighoff et al.，2025）则展示了曲线的廉价启动方式：仅用 1000 条精选推理轨迹做监督微调，配合「预算强制」（budget forcing——思考超预算时强截断、不足时追加「稍等」类 token 延长思考），32B 模型在 AIME 2024 上从约 30% 提升到 57% 至 65% 区间，最高超过 o1-preview 27%。两篇工作共同确认：测试时缩放曲线真实存在、可被预算函数刻画、且起点远比预训练缩放便宜——这是它被称为「新战场」的经济学基础。

RL 后训练曲线的独立证据

测试时缩放之外，训练侧的 RL 后训练曲线也有了独立证据。DeepSeek-R1（2025）在开源语境下复现了 o1 的路径：对基座模型直接做可验证奖励的强化学习（R1-Zero）就出现了自发的反思与验证行为，加上多阶段训练后，R1 在 AIME 2024 上达到 79.8% pass@1、MATH-500 达到 97.3%、Codeforces Elo 约 2029（超过 96% 的人类选手）。值得注意的是成本结构：这份成绩的 RL 后训练算力远小于预训练，说明第三条曲线在训练侧同样便宜——性能的主要增量可以来自预训练之后。同年各家发布的推理模型在数学与代码基准上的快速爬升，与这条 RL 后训练曲线的假设一致：2024 到 2025 年间前沿模型在可验证领域的增量，大部分来自后训练与推理算力而非预训练规模的扩大。

边界与收益递减的早期证据

第三条曲线也有明确的边界。其一，天花板由基座能力决定：测试时搜索放大的是基座的潜力，基座对题目完全没有先验分布时，搜索只是在低概率区域漫游——o1 式收益集中于数学、代码这类可验证领域，开放式写作类任务上测试时缩放的收益迄今缺乏可比证据。其二，验证器瓶颈：搜索与 RLVR 都依赖答案可验证，验证手段本身（单元测试、形式化证明、裁判模型）的质量为曲线封顶，裁判模型的漏洞会转化为策略的投机空间。其三，成本曲线陡峭：测试时计算按 token 计价，长思考链的边际成本远高于批量预训练摊销后的单位成本，2025 年多家机构报告了推理缩放的收益递减迹象，算力预算开始显式地在预训练、RL 后训练与测试时计算三个池子间重新分配——「三曲线分配」取代「单曲线外推」，正是缩放理论下一阶段的核心问题。

四、三墙之下的产业走向

数据墙、算力墙与验证器瓶颈共同把行业推向三个确定性方向。第一，数据侧的「精耕」：质量过滤、合成改写与私域数据成为标配投资，数据工程岗位的稀缺度在 2025 年已超过架构研究岗。第二，算力侧的「推理优先」：过训练中小模型加测试时按需分配，把算力从一次性预训练摊销到长周期推理服务，推理感知的容量规划成为新的核心能力。第三，范式侧的「可验证领域优先」：数学、代码、科学计算等有客观奖励的领域将率先吃到三曲线叠加的红利，而奖励不可构造的领域需要先解决验证器问题才能上车。对 Scaling Law 本身而言，它没有被推翻——被推翻的只是「只有一条曲线」的隐含假设；缩放依然是这个领域最强的经验规律，只是它的自由度从一维变成了三维。

小结

缩放定律的边界问题在 2024 到 2025 年完成了从担忧到定量化的转变。数据墙有 Epoch AI 的储量账本：公共人类文本 2026 到 2032 年耗尽区间，倒逼合成数据与质量工程成为标配；算力墙有功率账本：GW 级数据中心的建设周期把缩放曲线的斜率压平，推理感知的缩放修正让「过训练小模型」成为默认配方；第三条曲线有 Snell 与 s1 的实证：测试时计算以远低于预训练的启动成本复现平滑缩放，o1 与 o3 把它推到产品级。三堵墙没有终结缩放，而是把它重构为一个资源分配问题：预训练、RL 后训练、测试时计算三个池子如何分配算力，将决定未来几年模型能力的斜率。对从业者而言，最实际的判断是：单点押注任何一条曲线都可能是次优的，可验证领域的 RLVR 与测试时计算是当前投入产出比最高的新战场，而数据质量工程是所有曲线共同的乘数项。