问题规模：故障是常态不是意外
预训练的时间尺度决定了故障的统计必然性：一次几周的训练，跑在上千张卡上——单卡的硬件故障率哪怕只有每月 1%，上千卡的集群里「某处出故障」就是每天的事件（文献里大规模训练的故障频率：数小时到数天一次中断是常态）。断电、显卡掉卡、网络抖动、存储故障、软件 bug——训练系统的设计目标不是「不出故障」，是「任何时刻断了都能继续」。这就是 checkpoint 机制（保存训练状态快照）与断点续训（从快照恢复）的意义：故障损失的只是「上次 checkpoint 之后」的进度，而不是整场训练。
Checkpoint 里存什么：完整状态的四件套
「能续训」的 checkpoint 必须保存训练的完整状态，四件套缺一不可。① 模型权重：当前的参数值——这是显而易见的一项。② 优化器状态：Adam 的动量与二阶动量、学习率调度的当前进度——最容易漏存的一项：只存权重不存优化器，恢复后优化器从零起步，动量清零会导致训练短暂「失忆」（loss 短暂回升甚至不稳定）。③ 数据加载器的位置：训练到数据流的哪个位置（epoch、step、数据集的读取游标）——漏存它，恢复后从数据集开头重读，等于「部分数据被重复训练」（数据分布偏移，虽不致命但不干净）。④ 随机数状态（RNG）：dropout 的掩码、数据增强的随机数、以及任何随机性——严格复现要求恢复 RNG 状态（大多数实用场景可以放宽这一项，接受恢复后轨迹略异）。
分布式训练（本库分布式篇）的 checkpoint 还有第五件：并行布局的元信息（TP/PP/DP 的切分方式）——恢复时的集群配置与保存时不一致（比如卡数变了）需要「重分片」（resharding）能力：把按旧布局切分的 checkpoint 重组为新布局——这是断点续训工程里最复杂的部分，现代框架（DeepSpeed/FSDP/Megatron）都内置了重分片支持，但「换拓扑恢复」仍是实践中最常出幺蛾子的环节。
保存频率与成本：写盘的经济学
Checkpoint 的保存不是免费的：大模型的完整状态动辄 TB 级（权重 + 优化器状态，本库显存账单篇的账在存储侧重现），写盘耗时数分钟——这段时间训练暂停（或用异步写入掩藏）。保存频率的权衡：存得勤，故障损失小、但写盘开销占比大；存得疏，一次故障回退几天进度。实践的组合拳：频率分层——高频保存「轻量 checkpoint」（几分钟一次，存优化器与权重的分片，用于快速恢复）、低频保存「完整归档」（每几小时或每重要节点，用于长期回溯）、异步保存（保存动作与训练重叠，用额外的内存/存储缓冲规避停顿）、异地冗余（checkpoint 写到共享存储并多副本——本机盘挂了 checkpoint 也没了等于白存）。典型的工程配置：几分钟一次轻量、小时级归档、保留最近 N 个归档（存储预算内滚动）。
恢复的正确姿势与「隐性损失」
从 checkpoint 恢复的流程看似简单（加载四件套、从数据游标继续），工程细节的坑集中在一致性：加载的必须是「同一份」四件套（权重与优化器来自同一时刻——混用不同时刻的文件是隐蔽的灾难来源）、分布式恢复要全副本同时就绪（部分卡恢复了、部分还在读——集合通信会超时或算错）。「隐性损失」也要算进账：恢复后训练轨迹与「假设没故障」的轨迹不完全一致（优化器状态的微小差异、数据顺序的重排）——业界共识是这类扰动对最终模型质量影响可忽略（短期的 loss 抖动会自愈），不必为「完美续训」过度工程。另一个被低估的实践：故障后的复盘——每次中断的根因记录（硬件型号、错误日志、恢复耗时）积累成「故障台账」，它既指导硬件采购（哪类故障最多）也指导 checkpoint 策略的调优。
Checkpoint 的进阶话题：弹性训练与自动容错的前沿
断点续训（正文）的工程前沿是弹性训练（elastic training）：不只是「断了恢复」，而是「集群规模变化时训练自动适应」——节点被抢占（云上竞价实例的常态）时，训练自动缩减到剩余节点继续；节点恢复时自动扩回。弹性训练的技术栈：弹性调度的编排层（检测节点变化、触发重配置）、重分片的能力（checkpoint 与当前集群拓扑的自动重匹配——本库断点篇的最复杂部分，弹性化的核心）、通信层的自动重初始化（集合通信的组员变化）。弹性训练的价值场景：抢占式算力（Spot 实例的价格是按需的三折，代价是随时被收回——弹性训练让「便宜的算力」可用，训练成本大幅下降）与共享集群（多团队共用的集群，资源波动常态）。当前的成熟度：主流框架的弹性支持仍属「可用但糙」（节点的动态加入/退出的边界情况多、性能波动大），头部实验室的自研弹性系统领先开源一截——弹性训练是「训练基础设施」的下一个内卷点，它把「训练的容错」从「能恢复」推向「自适应」。给团队的评估：如果训练用稳定算力（包月裸金属），传统 checkpoint 足够；如果用抢占式算力压成本，弹性训练的能力就是选型 DeepSpeed/Megatron 变体时的关键指标。容错的终极形态，是让「故障」在训练的损益表上变成一个可忽略的常数。
Checkpoint 的实践清单：一个训练项目的存储规划
断点续训（正文）落到一个具体训练项目的存储规划，清单可以直接抄。存储规划五项。项一：容量预算。checkpoint 的单体大小（权重 + 优化器状态 ≈ 训练显存的权重与优化器部分，本库账单篇——7B 全量训练的单 checkpoint 约 100GB 级）× 保留份数（最近 N 个归档）+ 高频轻量份数——7B 项目的存储预算轻松过 TB，预先申请存储配额。项二：保存节奏。轻量 checkpoint（每 100–500 步，仅本机或共享盘、供快速恢复）+ 归档 checkpoint（每数小时或每 eval 节点、多副本异地）。项三：保留策略。滚动保留最近 K 个归档 + 永久保留「里程碑」（评测峰值、阶段性节点——最好的历史模型值得永久留存，用于对比与回溯）。项四：验证机制。checkpoint 的「可恢复性」要验证——定期做一次「从最新 checkpoint 恢复并跑通 N 步」的演练（未经演练的 checkpoint 是薛定谔的保险）。项五：元数据。每个 checkpoint 附带元信息（step 数、loss、评估分数、数据游标、保存时间、代码版本）——没有元数据的 checkpoint 在回溯时无法决策「恢复到哪个」。清单的元原则：checkpoint 系统的预算约为训练总成本的 5–10%（存储与写盘时间），这笔保险费在第一次故障时就回本——按「故障必然发生」来设计，而不是按「希望不发生」。
Checkpoint 与实验追踪的联动：从存档到决策
Checkpoint（正文存档）与实验追踪（本库超参管理）的联动，把 checkpoint 从「存档」升级为「决策资产」。联动的形态：每个 checkpoint 关联它的「实验上下文」（配置、数据版本、评估分数——实验管理系统里的一条记录）——回溯某个模型时，一键还原「它是怎么来的」（数据、超参、代码的全链路）。联动的三个决策场景。场景一：回滚决策——线上模型出问题，需要回滚到某个历史版本：联动系统按「评估分数 + 时间」筛选出候选 checkpoint，回滚从考古变成查询。场景二：能力溯源——新版本的某能力退化了：联动系统对比新旧版本的「数据与配置差异」，退化的根因缩小到变更集（数据配比变了？超参动了？）。场景三：资产复用——某个中间 checkpoint 的能力恰好适合另一个任务（预训练中期的模型做领域适配更好——本库预训练篇的 checkpoint 择优）：联动系统按「能力画像」检索 checkpoint 库（「找一个数学强但对话弱的 checkpoint」——中间 checkpoint 的资产价值被激活）。联动的实现：实验追踪工具（W&B/MLflow）与存储层的元数据打通（checkpoint 的路径与元信息入追踪系统），成本是一层薄薄的集成，收益是模型资产从「一堆文件」变成「可查询的知识库」。
Checkpoint 的存储选型：本地盘、共享存储与对象存储
checkpoint 的存储选型（正文存储规划）有三个候选，各自的取舍矩阵值得列出。本地盘（训练节点的 NVMe）：写入最快（高频轻量 checkpoint 的去处），风险是节点故障连带 checkpoint 丢失——只作「快速恢复层」，重要归档必须外移。共享存储（NFS/并行文件系统）：集群内多节点可读（断点恢复的「任一节点可用」保障）、容量大；瓶颈在带宽（大 checkpoint 的写入时间，并行文件系统（Lustre/GPFS 类）缓解）。对象存储（S3/OSS）：无限容量、异地冗余、按量付费——归档层的最终归宿；写入与恢复的速度最慢（大文件的传输时间），需要异步上传的编排。分层的标准架构：高频轻量 → 本地盘；归档完整 → 共享存储 + 异步同步到对象存储；恢复的流程 = 优先共享存储（快）、兜底对象存储（全）。选型的决策变量：训练规模（checkpoint 大小）、集群拓扑（共享存储是否现成）、预算（对象存储的持续费用）、以及「恢复时间目标」（RTO——业务要求多久内恢复训练，决定存储的层级配置）。存储选型没有标准答案，有的是「RTO × 成本 × 可靠性」三角里你自己的那个平衡点。
小结
大规模训练的故障是统计必然（数千卡集群数天一次中断），断点续训是生存技能。Checkpoint 四件套：权重、优化器状态（最易漏、漏了会失忆）、数据游标（漏了会重读）、RNG 状态（可放宽）+ 分布式的布局元信息（换拓扑要重分片）。保存策略：频率分层（高频轻量 + 低频归档）、异步写入、异地冗余。恢复的一致性是坑集中区（同源四件套、全副本就绪），恢复轨迹的微小扰动对最终质量可忽略。故障台账让每次中断变成基建知识——「训练可以断，进度不能丢」是大规模训练的第一工程纪律。
读者留言
COMMENTS 暂无还没有留言，来说第一句？