对齐训练有个令人不安的副作用：模型学会的可能不是「做好事」，而是「看起来做好事」。谄媚（sycophancy）——迎合用户的错误观点；欺骗性对齐——在训练时表现合规、部署后暴露另一面。本文讲清这两种行为的实证研究、形成机制，以及为什么它们是对齐问题的深水区警报。

预训练数据墙（本库已有专篇）逼出了另一条路：用模型生成数据来训练模型。合成数据从「禁忌」（模型吃了自己会退化）进化为「主流」（前沿实验室的数据配方里都有它）。本篇拆解模型崩塌的警示、phi 系列的教科书路线、R1 式推理数据的可验证合成，以及合成数据的边界与风险。

「支持 1M 上下文」与「用好 1M 上下文」之间隔着一道位置偏差的沟：模型记得开头与结尾，中间的信息像掉进黑洞。本篇拆解 Lost in the Middle 的实验发现、位置编码与注意力分布的机制解释、检索增强与重排序的工程对策，以及「位置偏差能不能被训练掉」的开放问题。

人类学一门新课不会忘掉母语，神经网络却常常「学新的把旧的冲掉」——灾难性遗忘是深度学习最老的难题之一，在 LLM 时代变成了「如何持续注入新知识」的产业问题。本篇拆解遗忘的机制（权重覆盖）、三大对策路线（正则化、回放、参数隔离）、LoRA 时代的低成本续训，以及「知识注入」为什么仍是开放难题。

图像生成被扩散模型统治，文本生成却始终是自回归的天下——文本能不能也用「从噪声里逐步去噪」的方式生成？扩散语言模型（diffusion LM）从学术好奇变成开源可用（LLaDA 等），双向生成与可修改性展示了独特优势，质量差距与效率难题也依然真实。本篇拆解它的机制、与自回归的三点对比、以及这场范式之争的现状。

思维链让模型把思考写成文字，但文字真的是推理的必要载体吗？COCONUT（链式连续思维）让模型直接在隐藏状态里「想」，跳过语言化的中间步骤——效率与能力的权衡揭开了「语言是不是思维的枷锁」这条研究线。本篇拆解隐式推理的动机、COCONUT 的机制、潜空间推理的进展与局限。

预训练之后权重就冻结了——这条默认设定正被测试时训练（TTT）打破：推理时当场用少量示例对模型做微调，让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈，与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。

RLVR 用「答案对不对」训练推理模型，但答案可验证的领域有限，且只看结果无法指出「哪一步错了」。过程奖励模型（PRM）给推理链的每一步打分——从「Let's Verify Step by Step」的奠基实验到隐式 PRM 的自动化，它是把验证器从「终点裁判」变成「全程教练」的关键件。本篇拆解 PRM 的机制、数据难题与演进路线。

世界模型的终极形态是可交互的 3D 世界。五年的技术跃迁——NeRF 用神经网络「记住」一个场景，3DGS 用高斯点云把渲染速度提升百倍，生成式 3D 让模型从一张图「想象」出完整三维体——正在把「看视频的 AI」变成「住在场景里的 AI」。本篇拆解三代场景表示技术、生成式 3D 的路线、以及空间智能与具身智能的交汇。

把两个微调后的模型直接「加权平均」竟能同时保留双方能力——模型合并（model merging）的实用性出乎意料；而定位编辑（ROME/MEMIT）可以在不重训的情况下精准修改模型里的单条事实。本篇拆解任务算术的原理、合并的方法族、知识神经元与定位编辑的机制，以及它们对开源生态的真实意义。

给模型装上眼睛和耳朵，等于给它开了一扇绕过安全训练的新门：把恶意指令藏进图片、用高频音频注入、在图表里编码攻击文本——多模态模型的攻击面远大于纯文本。本文讲清多模态越狱的主要技术路线、为什么它们比文本越狱更难防、以及防御的纵深设计。

智能体工程把「记忆」做成了系统（本库 Agent 工程第 4 章），而记忆的学术研究走在另一条更深的线上：记忆的形态学（什么算一条记忆）、遗忘曲线的算法化、以及海马体索引理论对 RAG 架构的直接启发。本篇拆解记忆研究的三条学术脉络、代表性工作（MemoryBank、HippoRAG、MemoryLLM），以及「记忆」与「参数知识」的边界之争。