一篇读懂梯度检查点与 offload：显存不够时的两板斧

背景：显存账单的弹性项与刚性项

训练显存的四项构成（本库显存账单篇）：参数、梯度、优化器状态、激活。四项的「弹性」不同：参数与梯度是刚性的（模型定了就定了，除非换 LoRA 或量化）；优化器状态半刚性（优化器选择与分片可影响）；激活是最大的弹性项——它随 batch × 序列长度线性膨胀，微调场景（长文本、小参数量）里激活常常是显存的第一大头。两板斧对付的就是激活（与部分优化器状态）：梯度检查点用「重算」换激活显存，offload 用「搬运」换非核心状态的显存。

梯度检查点：用 30% 的计算换数倍的显存

梯度检查点（gradient checkpointing / activation checkpointing）的机制：正常训练前向时保存每层的激活值（反向传播要用）；开启后只保存关键节点（如每层的入口），中间激活不保存，反向传播到需要时「重新前向计算一遍」恢复它们。代价与收益的账：显存上，激活显存从 O(层数) 降到 O(√层数)（分层分组保存的优化后形态）——数倍的下降；计算上，反向多算一遍前向，总计算量增加约 30–40%（一次额外的前向 ≈ 总计算的三分之一）。汇率评估：用 33% 的时间换 60–80% 的激活显存，是训练里最划算的交易之一——这就是「几乎无脑推荐」的理由。

工程细节三条。选择性检查点：不必对所有层开启——只对「激活特别大」的层（注意力与 FFN 的中间矩阵）开启，收益保住、开销减半；与梯度累积天然兼容（累积的是梯度，检查点影响的是激活，两者正交）；LoRA 微调的标配（LoRA 场景基座冻结，但前向的激活仍然要算——检查点对 LoRA 同样有效，是消费卡微调的必备开关）。判断要不要开的算式：你的激活显存占大头（看显存账单）且训练时间可容忍 +30% → 开；显存绰绰有余追求速度 → 关。诊断的顺序是先算账再开开关，不是默认全开。

Offload：把状态搬到更便宜的地方

offload（卸载）的机制：把暂时不用的状态搬到更便宜但更慢的存储——CPU 内存（优化器状态的经典去处：ZeRO-Offload 把优化器状态与更新计算挪到 CPU）、NVMe 硬盘（ZeRO-Infinity 的极限形态：连权重都分层卸载到硬盘）。代价的形态是PCIe/存储带宽：GPU 与 CPU 内存之间的传输带宽（几十 GB/s）远低于显存带宽（上千 GB/s）——被卸载的状态每次使用都要「搬回来算、算完搬回去」，时间代价随卸载量线性增长。offload 的适用定位：它是「显存地板的延长线」——梯度检查点与 LoRA 都用了还不够时的兜底；它的典型组合是「LoRA 微调 + 优化器 offload 到 CPU」——优化器状态小（LoRA 参数少）、CPU 承受得起，显存被解放给激活与基座权重。性能的诚实警告：offload 的性能惩罚不是线性的小数——重度 offload（权重也下 CPU）的训练速度可能慢 5–10 倍，「能跑」与「能跑得有意义」之间有距离；offload 开到什么程度，取决于你的时间预算而非技术上限。

组合使用的优先级：先便宜后昂贵

显存优化的手段有个「成本递增序列」，使用时按顺序用、用到够为止。序列：① 梯度累积（把 batch 切小，控激活的峰值——本库专篇，几乎零代价）→ ② 梯度检查点（30% 时间换激活）→ ③ 混合精度确认（BF16，账单第一笔折扣）→ ④ LoRA/量化（压缩刚性项——本库专篇）→ ⑤ 优化器 offload 到 CPU（传输换优化器显存）→ ⑥ ZeRO-3/FSDP 分片（多卡摊薄一切）→ ⑦ 权重 offload（最后手段，性能惩罚最大）。这个序列的核心思想：先用「几乎免费」的手段（累积、检查点、混合精度），再动「有代价」的（LoRA、offload），最后才上「重量级」的（分片、全 offload）——多数微调场景走到第④步就够，走到⑥⑦的通常是全量训练大模型的专业场景。以及一个反向提醒：手段堆太多会互相干扰（检查点 + 重度 offload + 分片的组合，调试复杂度远超收益）——显存优化收敛于「够用」，不收敛于「极限」。

显存优化的实战案例：一块 24G 卡上的完整微调配置

两板斧（正文）的实战收尾：一块 24G 消费卡（4090 级）上微调 7B–14B 模型的完整配置，把所有技术串成一次真实的部署。配置清单：LoRA 微调（rank 16–64，本库 LoRA 篇——可训练参数降到 0.1%）+ BF16 混合精度 + 梯度检查点开启（激活显存压到几分之一）+ 梯度累积（micro-batch 1–2、累积 8–16，等效 batch 16）+ 序列长度 2K–8K（按数据集）+ FlashAttention 开启 + 8bit 优化器（优化器状态再减半——paged_adamw_8bit 类实现）。显存的账：基座 BF16（7B ≈ 14GB / 14B ≈ 28GB——14B 需要 QLoRA：基座量化到 4bit ≈ 7GB）+ LoRA 参数与优化器（<1GB）+ 激活（检查点后 batch 1 约 2–4GB）——7B 配置约 18–20GB、14B QLoRA 约 12–16GB，24G 卡可跑且留有余量。训练时间的预期：1 万条样本、3 epoch、24G 单卡——数小时到一天量级（检查点的 +30% 时间已计入）。这个配置的边界：上下文超过 8K 时激活显存回升（检查点也压不住长序列的量级——升 QLoRA 或减 batch）；想全量微调 7B——24G 不够（回到显存账单：130GB+ 需多卡 FSDP）。配置的价值不在数值本身，在推导路径：每一项都是「账单四项中的一项 × 一板斧中的一斧」——显存优化的通用方法论就是「把账单四项逐一处理」，任何硬件 × 任何模型的组合都可以用同样的推导得出配置。二十篇大模型技术至此收束：所有看似复杂的训练与部署问题，拆开都是算术、账单与流程——这就是「读懂」的全部含义。

显存优化的工具箱：诊断与优化的实操命令集

两板斧（正文）与账单（本库显存篇）的实操收尾：一份显存诊断与优化的命令集，从发现问题到解决问题的完整工具流。诊断工具。nvidia-smi（秒级监控：显存水位、GPU 利用率——第一现场）；torch.cuda.memory_summary()（精确分配：已分配/保留/峰值的明细——碎片化一眼可见）；torch.cuda.memory_snapshot()（张量级快照：哪个调用分配了哪块显存——「显存侦探」的放大镜）。优化命令。gradient_checkpointing_enable()（检查点一行开）；torch.cuda.empty_cache()（碎片整理——治标但应急有效）；环境变量 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True（分配器策略，碎片化的根治选项）；cpu_offload 参数（DeepSpeed/offload 库的卸载开关）。优化流程的闭环：OOM 或显存告急 → memory_summary 找大头 → 对照四项账单定位（参数/梯度/优化器/激活）→ 应用对应手段（正文序列：累积→检查点→混合精度→LoRA→offload→分片）→ 重跑实测验证峰值 → 记录配置。这个流程的通用性：任何模型 × 任何硬件的组合都走同样的闭环——显存优化的工具箱 + 账单思维 + 闭环流程，构成了「大模型显存工程」的完整方法论。至此本系列二十篇收束：从预训练数据到本地部署、从损失函数到显存账单，每个专题都遵循同一个信条——把黑箱拆成账单，把玄学变成工程。

显存优化的清单化：一张可打印的速查表

显存优化（正文序列）的最终交付物：一张可打印的速查表，按「症状 → 处方」组织。症状一：训练启动就 OOM。处方：LoRA/QLoRA（压缩刚性项）→ ZeRO-3/FSDP（分片）→ 优化器 offload → 换更小模型。症状二：训练中途 OOM（越跑越满）。处方：减 batch → 梯度检查点 → 截断长样本 → 定期 empty_cache（碎片）。症状三：某个长样本触发 OOM。处方：样本长度上限 + 动态 batch（按长度分组）。症状四：显存够但速度极慢。处方：检查是否过度优化（offload 太多、检查点全开——撤掉不必要的手段）、混合精度确认开启、数据加载是否为瓶颈（dataloader 的 worker 数）。症状五：推理 OOM。处方：KV 量化、上下文限制、批大小限制、前缀缓存（共享省 KV）。表格的元规则（贴在速查表底部）：每一次优化后都要「重跑实测 + 记录配置」——速查表是起点，实测闭环是终点；以及速度与显存的守恒意识——大多数显存手段都在花时间买空间，预算内的平衡点因项目而异。二十篇大模型技术的最后一页，是一张可以贴在工位的速查表——知识服务于实践，实践验证知识，循环往复。

显存优化的边界认知：什么时候该换硬件

两板斧与全部优化手段（正文序列）用尽仍不够时，要诚实面对最后一个选项：换硬件或换方案。「该换」的三个信号。信号一：优化序列走到第六级（ZeRO-3/分片）之后速度已经慢到「训练时间不可接受」（一周变两个月——省下的显存钱被时间成本吞没）。信号二：offload 的比例超过一半（大部分状态在 CPU/硬盘上跑——PCIe 带宽成为实际瓶颈，「训练」变成「传输练习」）。信号三：反复 OOM 的调试时间超过升级硬件的差价（工程师时薪 × 调试小时数，有时真的比一张卡贵）。换的方向。方向一：升级单卡显存（同代大显存卡——最直接的解耦）。方向二：上多卡（FSDP 分片——本库分布式篇）。方向三：换方案（全量微调降级为 LoRA、70B 降级为 14B、长上下文降级为 RAG——本库决策表的思路用在硬件侧）。换与不换的决策算式：升级的硬件成本 ÷（当前方案的时间成本 + 调试成本 + 错过 deadline 的机会成本）——算式为正就换，为负就继续优化。显存优化的最后一课是承认物理极限：软件手段能把硬件的效用榨到极限，但榨不出硬件没有的东西——知道何时停下来换装备，与知道怎么优化同样专业。

小结

梯度检查点用约 33% 的额外计算换 60–80% 的激活显存（训练最划算的交易，LoRA 微调的必备开关），offload 用传输带宽换优化器/权重的显存（CPU 内存是第一去处、NVMe 是极限兜底，重度 offload 慢 5–10 倍）。组合使用的成本递增序列：梯度累积 → 检查点 → 混合精度 → LoRA/量化 → 优化器 offload → 分片 → 权重 offload——先便宜后昂贵，用到够为止。显存优化的收敛点是「够用」不是「极限」，手段堆叠过头只会换来调试地狱。至此本系列二十篇收束：从预训练到本地部署、从损失函数到显存账单——大模型技术的每一层，拆开都是可理解的工程决策。