一篇读懂数据配比：预训练数据的「配方」怎么决定模型的能力偏向

配比为什么是预训练里最大的杠杆之一

同样的 token 预算，不同配方差距有多大

预训练里有一个几乎不花算力就能带来巨大收益的旋钮：各领域数据的混合权重。同样的 1 万亿 token 预算，代码占 5% 与代码占 20% 训出来的模型是两个物种——后者的代码能力可能翻倍，而语言理解能力几乎不掉（代码对推理能力的迁移已被多项工作证实）。反向的教训同样成立：AIGC 时代早期一些模型狂喂低质论坛文本，常见知识对了但逻辑能力明显偏科。配比的本质是能力投资组合：总预算固定，投给哪个领域多少，直接决定模型的「天赋树」。相比之下，在这个维度上多调一档的收益，常常超过同量级算力下优化其他超参的总和。

先看两份历史配方建立直觉。GPT-3（Brown 等人，2020）的 300B token 训练集是手工设计的典型：Common Crawl 加权占六成（原始质量参差，靠权重压制），WebText2 约 22%，书籍约 16%，维基百科约 3%——注意采样权重与数据量不是一回事，高质量小数据集（维基）靠重复采样多轮来提升有效占比。Llama 3（Meta，2024）则把配比工程推到工业化：15T token 的混合里代码量提升到上一代的 4 倍以上，并用按领域的分类器对全网数据打标签、按类别调整采样权重，明确报告了配比对知识型任务与推理型任务的影响是可测、可控、可迭代的。从手工配方到分类器驱动的迭代配方，这条演化线就是本文的主线。

Scaling Law 回答总量，不回答结构

标准的 Chinchilla 式 scaling law 只回答「给定算力，多少 token 最优」，对「这些 token 怎么配」保持沉默。把配比纳入 scaling law 的第一次严肃尝试是 DoReMi 论文（Xie 等人，2023，arXiv 2305.10429）的前置分析：用不同配比训练小模型，下游任务的表现差异远大于 perplexity 差异——perplexity 对配比几乎不敏感（它主要衡量通用语言建模），而下游能力极度敏感。这个发现直接否定了「用 perplexity 调配比」的朴素想法，也解释了为什么配比优化需要专门的算法：目标函数（下游能力）便宜且不可微，代理指标（perplexity）便宜但不相关，贵的真指标（跑大模型评测）只能在最后验证用。

flowchart TD
    A[候选领域池: 网页 代码 书籍 论文 等] --> B[小模型快速试炼]
    B --> C{优化路线}
    C -- 群鲁棒优化 --> D[DoReMi: 训练中自动调域权重]
    C -- 幂律拟合 --> E[Data Mixing Laws: 小模型拟合公式预测大模型]
    C -- 回归代理 --> F[RegMix: 小模型网格训练 回归预测配比]
    D --> G[产出配比方案]
    E --> G
    F --> G
    G --> H[中模型验证下游任务矩阵]
    H --> I{能力偏向符合目标}
    I -- 否 --> A
    I -- 是 --> J[全量预训练]

DoReMi：让配比在训练中自我调整

群分布鲁棒优化的构造

DoReMi（Domain Reweighting with Minimax Optimization）的核心思想是把配比变成训练目标本身的一部分。构造：一个 reference 模型先按初始配比训练（或直接用现成模型），然后主模型与它联合训练，损失是分组最小最大化——把数据按领域分组，每个领域的超额损失（相对 reference）作为该组的「遗憾值」，优化目标是最小化最差组的遗憾。训练过程中，领域权重由这个 minimax 目标自动调整：哪个领域学得最差，权重就自动上调；学的快就下调。3000 万到 3 亿参数的 proxy 模型训练几十亿 token 就能产出可用的权重方案，成本可以忽略不计。

结果验证了「配比是杠杆」的判断：用 DoReMi 自动发现的权重替代 The Pile 的手工权重，训练 1.2B 模型在下游评测上平均提升数个百分点；进一步在 65B 模型、200B token 的规模上，平均下游准确率提升 6.7 个百分点——同规模、同 token 数，只改了配比。更细的发现同样有价值：DoReMi 自动下调了某些「看起来应该多学」的领域权重（比如某些噪声大的网页类），说明人工直觉对最优配比的把握确实有系统性偏差。DoReMi 的局限也要清楚：它优化的是「均衡各领域的学习进度」，偏向稳健而非专精，如果你的目标是把某个垂直领域做到极致，它给出的配比需要再人工加码。

Data Mixing Laws 与 RegMix：两条预测式路线

用幂律外推最优配比

Data Mixing Laws（Ye 等人，2024，arXiv 2407.11751）走的是更「物理」的路线：假设模型的验证损失是各领域权重的函数，形式为 L(w) = Σ_i k_i·w_i^α_i + c（k、α 是每个领域的可拟合系数，c 是不可约损失）。用十几个不同配比的小模型训练结果拟合这条曲线，然后在权重单纯形上数值搜索最小损失点，预测出的最优配比直接用于大模型。论文验证了外推的有效性：用 100M 级模型拟合的公式，预测 1B 级模型在不同配比下的损失误差很小；进一步把「验证损失」换成「下游任务表现」，同样的框架可以优化特定能力（比如牺牲一点通用语言分换取代码分）——配比第一次变成了显式的多目标权衡问题。这条路线的实践门槛是要训十几个代理模型做拟合点，但每个都很小，总成本仍远低于一次正式预训练。

RegMix：把配比当表格数据回归

RegMix（2024，arXiv 2407.01492）的思路更朴素也更工程化：训几百个小模型覆盖不同的配比组合（每个只训 1B 级 token），把「配比向量 → 下游任务分数」当成表格回归问题丢给 LightGBM，再用回归模型在配比空间里做优化搜索，选出预测最优的配比训大模型。它验证了两个重要假设：其一，配比与下游能力的关系在模型规模间是可迁移的——小模型上学到的「哪个配比好」的排序，到大模型上大体保持；其二，某些配比维度之间存在交互效应（代码与数学的协同），线性加权模型捕捉不到，树模型可以。RegMix 的数字：用小模型网格训出来的配比，7B 模型在多项下游任务上超过手工配比基线，而整个搜索的算力开销只是一次正式预训练的零头。三条路线的共同方法论就此浮现：用小模型买信息，用大模型兑收益——配比优化是预训练里「实验成本与收益比」最高的一块。

重复采样：权重的另一个维度

配比还有一半经常被忽略：域内重复率。把维基百科采样权重设为 3%，等价于对它做约 N 个 epoch 的重复采样——「权重」和「重复次数」是同一个旋钮的两种表达。重复不是免费的：Muennighoff 等人 2023 年的数据缩放律研究（arXiv 2305.16264）系统测了重复的收益曲线——同一份数据重复 1 到 4 个 epoch，损失曲线与全新数据几乎重合（近似无损）；超过 4 个 epoch 后收益快速衰减，16 个 epoch 时多见一次数据的价值已经接近于零。这个结论给配比工程加了一条硬约束：高质量小数据集的有效占比上限由重复无损区间决定——维基百科 3% 的采样权重意味着在 300B token 预算里重复约几十个 epoch，对维基这种精洗过的语料尚可接受，对未清洗的网页语料就是灾难（重复的噪声会被放大学习）。实操上把「配比」定义成二维表更准确：每个域一个「权重 × 允许最大 epoch 数」的二元组，优化算法在两个维度上联合决策。

配比与训练课程：两阶段混合的兴起

传统的单一混合比例贯穿全程的做法正在被课程式混合挑战。最小成本的变体是两阶段训练：主体阶段用通用配方训到预算的九成，末段换成增强目标能力的混合（比如代码与数学占比翻倍）再训一成——小型实验里这种「末段强化」对目标基准有可测增益，而通用能力几乎不掉，代价是末段数据要挑得足够精，否则末日换血容易引入分布突变的回火损失。更激进的是数据课程学习：按难度或领域从简到繁安排训练顺序，目前在 LLM 预训练上的收益证据还不一致，多数严肃实验没有找到稳定优于随机顺序的排法。务实的结论：课程学习在预训练层面保持「一锅炖」是安全的默认，两阶段末段强化是低风险的可选项，值得在你的任务上花一次对照实验的成本；但任何课程实验都必须过「多 seed 对照」这一关——单次训练的课程收益常常淹没在训练方差里。

质量过滤与配比的耦合

配比之前先把每个领域洗干净

配方优化有一个前置条件经常被忽略：领域的定义本身取决于质量过滤的力度。同一个「网页」类目，FineWeb（2024，5 万亿级 token 的 Common Crawl 精洗版）与未过滤 Common Crawl 是两种完全不同的食材。FineWeb-Edu 的做法值得单独一提：用 Llama-3-70B 给网页打 1 到 5 分的「教育价值分」，用完整提示词批量标注数十万样本训练一个小分类器（Llama-3-8B 级），再全量过滤出约 1.3T 的高教育分语料——结果以小模型验证，教育分 3 分以上的子集在 MMLU、GSM8k 等基准上明显优于全量语料，证明清洗掉「配比之外的低质部分」本身就是最强的配比调整。这给出配比工程的两层结构：第一层是域内质量过滤（决定每个类目的纯度），第二层是域间权重（决定投资组合）；多数团队在第一层还有 10 倍以上的改进空间时，过早地纠结第二层是本末倒置。

给实操者的决策框架

落地时怎么选路线，取决于三个约束。算力预算：DoReMi 最便宜（一个 proxy 模型），Data Mixing Laws 与 RegMix 需要十几个到几百个小模型实验，但都以「正式训练成本的 1% 以下」为量级。目标形态：要均衡稳健选 DoReMi；要最大化单一能力或做显式多目标权衡，选 Data Mixing Laws（损失可微拟合）或 RegMix（复杂交互效应）。数据字典成熟度：领域分类器还没建好时，先复制 FineWeb-Edu 式的质量分过滤（一次标注 + 一个小分类器，性价比极高），分类体系跑稳后再上配比优化算法。最后一条纪律：任何配比方案在放大到正式训练前，必须在至少一个中间规模（正式规模的十分之一）上验证下游矩阵——小模型上的结论在关键拐点（比如代码占比超过某个阈值后收益递减）上可能失真，中间验证是防止配方在大规模上翻车的最后一道保险。

小结

数据配比是预训练里单位算力收益最高的杠杆之一：GPT-3 的手工配方到 Llama 3 的分类器驱动迭代，配比工程从玄学变成了可测量的科学。三条技术路线各有明确定位——DoReMi 用群分布鲁棒优化让权重在 proxy 训练中自动调整（65B 上验证了 6.7 个点的平均下游提升），Data Mixing Laws 用幂律公式 L = Σ k_i·w_i^α_i + c 拟合小模型实验并外推最优配比，RegMix 用小模型网格加表格回归捕捉配比维度间的交互效应；三者共享同一个方法论：用小模型买信息，用大模型兑收益。两个前置纪律决定了配比工程的天花板：perplexity 对配比几乎不敏感，必须用下游矩阵做目标；域内质量过滤（FineWeb-Edu 的教育分路线）先于域间权重——食材本身不干净时，调整菜谱比例是无用功。配比优化的终局不是找到「最优配方」，而是建立「配方假设 → 代理验证 → 中间规模确认 → 全量执行」的可迭代管线，因为数据在变、目标在变，昨天的最优配方永远是明天的基线。