总览：一条管线的六个工位
预训练数据管线把「互联网的原始混乱」加工成「训练级语料」，六个工位顺序执行。工位一：采集——网页爬取（Common Crawl 类的开源爬取库 + 自有爬虫）、书籍与论文的授权语料、代码仓库——采集的法律合规（版权、robots 协议）与覆盖面决定原料的上限。工位二：文本抽取——HTML 里抽取正文（去导航、广告、模板文字）：这项工作比听起来难（正文抽取的准确率直接影响数据纯度），成熟方案是规则 + 分类器混合。工位三：语言与格式过滤——语言识别（目标语言的语料保留）、格式规范化（Unicode 归一、空白处理）。工位四：质量过滤——本篇的重头之一。工位五：去重——另一个重头。工位六：配比与混合——按数据配方把各来源按比例混合成训练集。六个工位的总产能口径：从 PB 级原始网页到 TB 级训练语料——九成以上的原始数据在管线中被丢弃，留下的才是「预训练数据」。
质量过滤：给每一篇文档打分
质量过滤的核心是打分与阈值：每个文档获得多个维度的分数，低于阈值的丢弃。语言质量类：困惑度过滤（用一个高质量小模型给文档打分，困惑度过高 = 语言混乱或垃圾内容）、语法与流畅度规则（乱码字符比例、标点异常）。信息密度类：重复 n-gram 比例（文章内大量重复 = 水文）、符号与文字比（模板页的特征）、正文长度（太短的页面多是导航残留）。内容类别类：分类器判别广告、色情、赌博、SEO 垃圾页——分类器的训练集本身需要人工标注（数据管线里的一段「人工成本」）。教育价值类（各家黑箱最重的一环）：用「类似教科书」的标准给内容打分——打分模型本身用高质量种子数据（维基、教科书）训练。
过滤的两难：阈值太松（垃圾进训练集，模型学会垃圾模式）与太紧（数据量不足且分布偏斜——过度过滤会把「低质量但有价值」的长尾内容全部杀掉）。行业的实践是多档过滤 + 分配比：高质量档多采样、低质量档少采样或不采样——不是二值丢弃而是质量分层进入配比。
去重：从精确到模糊的三层防线
去重的必要性数据触目：互联网语料的重复率通常超过一半（转载、镜像、模板生成的页面）。不去重的代价三层：浪费算力（重复样本被反复训练）、过背（高频内容被记忆导致泛化差）、评测污染（benchmark 题目如果在训练集重复出现，评测失真——本库评测篇的污染问题源头之一）。三层防线：精确去重——全文哈希（完全相同的文档一眼识别）；模糊去重——MinHash/SimHash（局部相似的文章——转载改标题的、镜像站的）以文档指纹聚类去重；子串去重——文档内部的重复段落（模板句、复读内容）行级删除。去重的强度同样是双刃剑：过度去重会误伤 legitimately 重复的重要内容（法律条文、数学定义在无数文章里重复出现——这些是高价值数据）——实践中的平衡点是按「文档级去重 + 保留跨文档的高价值重复」。
配比与数据飞轮：管线的战略层
配比是管线的战略决策（本库预训练篇提过，这里补工艺侧）：各来源（网页/代码/数学/多语言/书籍）的比例、上采样与下采样的次数、多轮训练（同一份数据过几个 epoch）的安排——配比表由消融实验驱动（小模型上试不同配比，看各能力的损失曲线）。数据飞轮是管线的现代形态：训练出的模型反过来增强管线——用模型给数据打分（质量分类器的升级）、用模型生成/改写数据（合成数据的受控引入，本库合成数据篇）、用模型的失败案例指导采集方向（哪类知识贫乏就多采哪类）。管线从「一次性工程」变成「持续资产」：每次预训练迭代，管线里的分类器、去重参数、配比表都随上一代模型的反馈而进化——数据管线的成熟度差异，就是各家模型「同算力不同命」的最大解释变量。给想深入者的路径：开源管线（如 FineWeb 类的开源数据集与配套代码）是最好的教材——读它的过滤规则与去重参数，比读十篇论文更接近实战。
数据管线的质量锚点：种子数据与「黄金集」的运营
数据管线（正文六工位）的质量体系需要一个「锚点」：黄金集（golden set）——一份人工精心维护的高质量参考数据，它是所有自动化过滤器的校准基准。黄金集的构成：每个数据来源抽出一批「人工确认质量」的正例与负例（好文档与坏文档的样板）——质量分类器用它训练与校准（分类器的判断与人工判断的一致性是分类器的验收标准）、去重的阈值用它调参（黄金集里的「合法重复」帮助校准去重的敏感度）、配比的评估用它锚定（分层抽样的质量核对）。黄金集的运营纪律：定期更新（数据的分布会漂移——去年的「好文档」标准今年可能过时）、分层覆盖（每个来源、每种语言、每种格式都要有代表）、版本管理（黄金集的变化要记录——它的变化会连锁影响所有过滤器）。成本与规模的权衡：黄金集的人工成本高（每条都要人看），规模通常控制在千到万条——它不是训练数据，是「质检的标尺」，标尺不需要海量，需要精确与代表性。数据管线的成熟度自检：有没有黄金集（没有 = 过滤器的质量不可知）、过滤器对黄金集的一致性有没有度量（没度量 = 过滤器的效果是黑盒）、黄金集有没有版本化（没有 = 质量标准在漂移）——三问全过的数据团队，才算把数据质量从「感觉」变成了「工程」。
数据管线的自动化与迭代：从一次性工程到持续管线
数据管线（正文六工位）的长期形态是持续管线——数据不是「准备好一次」而是「持续生产与迭代」，管线的自动化与迭代机制值得展开。自动化的三个层次。层次一：工位的脚本化——六工位各自脚本化、参数化（过滤阈值、去重参数可配置），一次定义反复运行。层次二：端到端的编排——管线编排工具（数据工程的 Airflow 类）把六工位串成 DAG，新数据源接入即自动流过全管线。层次三：质量门禁——每个工位的输出有质量检查点（黄金集的一致性回归、PPL 分布的监控、去重率的异常告警），不达标的批次被拦截（本库黄金集篇的质检锚点在此成为管线闸门）。迭代的机制：数据管线的迭代由「模型反馈」驱动（本库数据飞轮）——模型评测暴露的短板（某类知识贫乏、某类任务能力弱）翻译成「数据需求」（采集方向、配比调整、合成重点），管线按需求定向生产。持续管线的组织含义：数据工程从「训练前的准备工作」变成「常设职能」——头部实验室的数据团队规模与模型团队相当；对多数团队，管线的「最小持续形态」是「脚本化 + 黄金集 + 季度迭代」三件，不必一步到位。数据管线成熟的标志：新模型版本的启动时间，被数据管线的就绪速度决定——管线即竞争力。
数据管线的合规层：版权、隐私与许可的三个闸门
数据管线（正文六工位）之外还有一道合规层——版权、隐私与许可的三个闸门，它们决定「能不能用」而不仅是「好不好用」。闸门一：版权。训练数据的版权风险（爬取内容的版权、输出「复现」训练内容的风险——本库合成数据篇的关联）——应对：来源的授权优先（授权语料市场）、公开域与许可明确的语料优先、复现检测（与训练集的比对工具）、以及保留来源台账（溯源能力是应对诉讼的基础）。闸门二：隐私。个人数据（PII）的清除——爬取文本与用户数据中的个人信息（姓名、联系方式、身份证号）的识别与脱敏（NER 模型 + 规则的自动化处理），这是各国个保法的硬要求；机器遗忘（本库持续学习篇）是「漏网数据」的事后补救——但预防（入库前脱敏）远优于补救。闸门三：许可。开源数据集与模型的许可条款（CC BY 的署名义务、某些「非商业」许可对商用产品的限制、模型许可对「用其输出训练」的约束）——许可台账与合规审查进管线（每个数据源的许可状态登记在案）。合规层的工程形态：三个闸门都做成管线的「检查点」——数据在工位间流转时自动过闸（PII 检测不过闸的拦截、无许可台账的来源拒绝入库），合规从「法律部门的事后审查」变成「管线的事前自动化」——这是数据管线的现代标配，也是企业采用开源语料的安全边际。
小结
预训练数据管线六工位：采集（合规与覆盖定上限）、抽取（正文提取的纯度）、语言格式过滤、质量过滤（多维打分分层进入配比，非二值丢弃）、去重（精确/模糊/子串三层，防过背与污染）、配比混合（消融实验驱动）。原始数据九成被丢弃，留下的才是训练语料。质量与去重都是双刃剑（松进垃圾、紧杀长尾），实践靠分层配比平衡。数据飞轮让管线成为持续资产——模型反哺管线，管线的成熟度就是「同算力不同命」的最大解释变量。下一篇看训练工程的另一个刚需：断点续训与 checkpoint 管理——几周的训练如何对抗故障。
读者留言
COMMENTS 暂无还没有留言，来说第一句？