持续学习与灾难性遗忘：模型怎么学新不忘旧

灾难性遗忘：梯度下降没有「记忆保护机制」

灾难性遗忘（catastrophic forgetting）的机制直白：神经网络的学习 = 按新数据的梯度更新权重——旧任务依赖的权重组合，在新任务的梯度下被无差别覆盖。1990 年代在多任务顺序训练的实验里首次被系统记录：网络先学会任务 A，再训任务 B，回到任务 A 时性能崩塌——不是「退步一点」，是「像从没学过」。人脑的对照让这个缺陷更显眼：人类的学习有巩固机制（海马体到皮层的记忆重放），新记忆不直接覆盖旧记忆。

LLM 时代这个老难题换了身份：从学术课题变成产业刚需。模型训练截止后世界继续变化（新事实、新产品、新法规），企业需要「给模型注入领域知识与最新信息」——而任何继续训练都伴随遗忘风险：注入 2026 年的知识，2024 年的知识可能受损；注入医疗领域数据，通用对话能力可能退化。「知识注入」（knowledge injection）的工程需求，把持续学习从论文推向生产。

三条经典对策路线：正则化、回放、参数隔离

持续学习文献几十年积累出三大路线，LLM 时代全部继承并改造。正则化路线：给「改动重要权重」加惩罚——EWC（elastic weight consolidation）用 Fisher 信息估计哪些权重对旧任务重要（重要权重动不得，次要权重随便动），在损失里加保护项。思路优雅，但在 LLM 规模上计算 Fisher 的开销与保护粒度的粗糙让它更多是理论基线。回放路线（replay）：训练新任务时掺入旧任务/旧分布的样本——「温故而知新」的机制版，LLM 时代的实现是数据配比：领域数据与通用数据按比例混合续训（业界经验里通用数据占比常要过半，防遗忘的成本主要是这笔「稀释税」）。回放是当前最实用的路线——它不优雅但有效，代价是要持续维护「回放集」。

参数隔离路线：给新任务分配新参数，不动旧参数——LLM 时代它的化身就是 LoRA 与适配器。LoRA 冻结原有权重、只训练低秩增量模块：原模型的知识物理上不可能被破坏（权重没动），新知识全在增量里。它的流行不完全因为省显存——「可拆卸」本身就是持续学习的解法：不同领域知识的 LoRA 模块可以按需挂载、合并、卸载，任务的切换变成模块管理。

flowchart TB
    A["灾难性遗忘：<br>新梯度覆盖旧权重"] --> B["正则化：保护重要权重<br>EWC（LLM 规模下偏理论）"]
    A --> C["回放：新旧数据混训<br>LLM 的数据配比稀释税（最实用）"]
    A --> D["参数隔离：冻结 + 模块<br>LoRA 挂载/卸载（可拆卸即解法）"]
    B & C & D --> E["持续学习"]

LoRA 时代的知识注入：能解决什么、不能解决什么

LoRA 续训（或 QLoRA 的低成本版本）已成「给模型注入领域知识」的默认工艺，但它的能力边界要认清。能做的：风格、格式、领域术语与任务的适配——「让模型像法律文书写手一样说话」，LoRA 一到两个 epoch 就见效。勉强能做的：小规模的 factual 更新——新事实的 LoRA 注入在部分研究里有效，但知识不是「写进去就完」：新事实要与模型既有知识网络连通（问法变了还能不能答、与其他事实推理时用不用得上）——「表面学会 vs 真正整合」的鸿沟在知识注入里最明显。做不到的：大规模知识重构——几千条新事实的 LoRA 注入常常「训练时背住了，换个问法就露馅」，且伴随通用能力损伤。产业实践的共识：事实性知识的更新优先走检索增强（RAG）——知识放外部库，模型负责读与组织，绕开参数注入的遗忘与整合难题；LoRA 留给「行为与风格的训练」。这个分工是 RAG 范式在产业上胜出的深层原因之一：外部化知识把「持续学习」问题转化成了「数据库更新」问题。

遗忘研究的最新前沿：机制视角与知识神经元

持续学习的机制研究近年与可解释性（本库已有专篇）合流：知识定位的研究（ROME 等发现事实知识存储于中层 MLP）给「精准注入」提供了靶点——既然知道知识存在哪，理论上可以定向写入而不碰其他权重。知识编辑（本库模型编辑篇）正是这个思路的工程化：定位-改写-验证的三步流程，把「学习新知识」变成「外科手术」。它与 LoRA 路线的对比是「精准 vs 泛化」：编辑特异性高但泛化差（换问法失效），LoRA 泛化好但特异性差（伤及无辜）——两条路线的融合（编辑提供定位、LoRA 提供容量）是活跃方向。

另一个机制视角是遗忘的「有益面」：not all forgetting is bad——RLHF 的对齐训练某种意义上就是「遗忘」预训练里的有害模式；机器遗忘（machine unlearning，按要求删除特定训练数据的影响）更是合规刚需。持续学习的完整图景因此是双向的：既要「学新不忘旧」，也要「有选择地忘」——遗忘的控制权，可能比遗忘的消除更接近问题的核心。

知识注入的实战工艺：以法规更新为例

用一个真实场景把持续学习的工艺串起来：某机构要让模型掌握「今年新修订的行业法规」。方案对比。方案 A：LoRA 微调——用新法规的问答对训练数百到数千样本，风格与术语适配立竿见影；风险是「表面记住」（问法不变能答、换个角度就错）与通用能力的小幅退化，需要配通用数据做回放（正文）。方案 B：RAG——法规文本入库、检索增强作答，知识准确性高、更新零训练成本，但模型对法条的「引用与解释能力」需要额外调优（检索给了原料，做不做得出好菜看模型）。方案 C：混合——RAG 管事实（法条原文的准确引用），轻量 LoRA 管行为（行业术语、解释的风格、引用格式）。产业共识落在 C：事实性知识外置（RAG）+ 行为性知识内化（轻量训练）——这个分工也回答了「什么该持续学习」：需要「改变行为方式」的才值得动权重，需要「更新事实」的都该走检索。验收的关键指标：注入后的评测要覆盖三面——新知识掌握度（直接问与变式问）、旧知识保留度（回归测试集）、通用能力体检（与基座的通用 benchmark 对比）——三面缺一，注入的「成功」就可能是以遗忘为代价的假成功。这套工艺的通用性很强：任何「给模型加新知识」的需求（新产品知识、内部术语库、最新政策）都能套这个三问三验的框架。

机器遗忘：被遗忘权的模型侧实现难题

持续学习的镜像问题是机器遗忘（machine unlearning）：法规（GDPR 的被遗忘权、中国的个保法）要求删除用户的个人数据时，「从模型里也删掉它的影响」。难度的根源：数据的影响弥散在整个训练过程中——「删除一条训练样本」在 SGD 的世界里没有直接操作（权重是所有数据共同塑造的）。四条技术路线。其一，重训（retrain from scratch minus the data）：金标准、最贵（数百万美元级），只在合规强制时执行。其二，近似遗忘（influence unlearning）：估算目标数据对参数的影响方向，反向更新「擦除」——便宜但特异性难保证（擦除的影响范围难以严格界定）。其三，分片训练（sharded training）：训练时就把数据切分到多个子模型，删除 = 重训某个分片——把全量重训降级为局部重训，是「为遗忘而设计训练」的预防式架构。其四，外置化预防：个人数据根本不进训练（走 RAG/记忆库），删除=删库——本库知识注入篇的「外置化」策略在此获得合规含义。评测的未竟：怎么验证「忘干净了」（遗忘攻击可以从输出反推训练数据的存在）——遗忘验证的基准（如 MIA 类攻击测试）还在研究期。务实结论：「外置化 + 分片」的预防式设计 > 事后遗忘的技术补救——合规驱动的架构决策应该在训练之前做，这是持续学习篇「外置化知识」的另一个充分理由。

遗忘的正面清单：模型应该忘掉什么

持续学习的讨论默认「遗忘是损失」，产品视角需要一个「应该被忘掉」的正面清单。类别一：过时的能力与知识——被新版本 API 取代的旧调用方式、已经失效的法规条款：留住它们会制造新旧混杂的输出（模型一会用旧规范一会用新规范），定向遗忘是版本一致性的保障。类别二：有害与越权的模式——预训练里学到的危险内容生成模式、越狱话术的响应倾向：对齐训练本质上就是「定向遗忘」（本库安全评测篇的语境），遗忘技术的进步让「清除特定模式」从「整训」降本到「定向手术」。类别三：特定用户的数据痕迹——机器遗忘的合规场景（正文的被遗忘权），企业部署里「离职员工的数据、下线产品的语料」都进入遗忘清单。类别四：评测集的污染记忆——基准污染（本库评测篇）是「不该记住的东西被记住了」的典型案例：定向遗忘（或预防性的数据隔离）是污染治理的技术选项之一。这个清单翻转了持续学习的叙事：学习的难点不是「都记住」，是「记住该记的、忘掉该忘的」——遗忘的选择权，与记忆的组织能力，是同一个能力的两面。

小结

灾难性遗忘是梯度覆盖旧权重的结构性缺陷，LLM 时代被「知识注入」的产业需求推上主舞台。三大路线里，回放（数据配比稀释）最实用、参数隔离（LoRA 可拆卸模块）最流行、正则化偏理论。LoRA 续训擅长风格与适配、勉强大规模事实注入、做不到知识整合——事实性知识因此产业性地让位给 RAG（外部化知识把持续学习变成数据库更新）。机制研究的合流（知识定位 + 编辑）给出「精准写入」的新路径，而「有选择地遗忘」（对齐与机器遗忘）提醒我们遗忘控制权比遗忘消除更核心。下一篇继续探索推理的边界：能不能不写出思维链，直接「在潜空间里想」——隐式推理。