预训练语料从原始爬取数据到能进训练管道，要过规则清洗、精确与模糊去重、质量打分、有害内容过滤几道工序；本文拆解每道工序的原理，以及流水线工程实现的幂等、留痕与成本账。

LIMA 用 1000 条精选数据就调出了能打的模型，「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比（防灾难性遗忘）、去重（MinHash 近重复）、合成（蒸馏优于自生成）、过滤（打分 + 多样性选择），给出可落地的迭代闭环。

权重文件像代码一样需要版本管理：base、微调与适配器的派生关系，模型卡与元数据，超参、指标、数据版本的实验三角，本地缓存与对象仓库的存储布局，以及企业内网模型仓库的搭建要点。

从 C4 去重的记忆化风险到 FineWeb-Edu 与 phi 系列的质量过滤，再到数据受限缩放定律，用实证数字回答「多干净的数据才值得训练」。

「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线：采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑，解释「为什么各家模型的数据管线的差异就是能力的差异」，以及数据飞轮如何让这条管线成为持续资产。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

当日涨星 906 的知识图谱项目：代码用本地 tree-sitter AST 零 LLM 额度建图，文档/图片才走语义趟；52 文件混合语料单次查询 token 降 71.5 倍，LOCOMO recall@10 0.497，每条边带 EXTRACTED/INFERRED/AMBIGUOUS 置信标签。