扩散语言模型：不用自回归的文本生成，走到了哪一步

范式之问：文本为什么一直是自回归的

自回归（下一个 token 预测）统治文本生成的根本原因：语言的离散性。扩散模型在图像上的成功配方——把图像加噪到纯噪声、学习逐步去噪——依赖连续的像素空间（噪声的定义与去噪的梯度都自然），而文本是离散 token，没有「加一点点噪声」的自然定义。这条鸿沟让 2021–2023 年的扩散语言模型（Diffusion-LM 等早期工作）停留在小规模玩具阶段。

转机来自两处：离散扩散的数学完善（masked diffusion：把「加噪」改成「随机掩盖 token、学习逐步填回」，把连续噪声换成离散掩码，绕开离散性障碍）与规模化的验证。2025 年初的 LLaDA（Large Language Diffusion with mAsking）是分水岭：80 亿参数、纯扩散范式预训练的模型，在多项基准上达到同规模自回归模型（如 LLaMA 3 8B）的竞争力水平——「扩散做不了大规模语言」的默认假设被打破。

机制：从「下一个词」到「逐步填空」

自回归与掩码扩散的对比可以把机制差异看得清楚。自回归：从左到右一次一个 token，每个 token 以左边全部为条件——生成顺序固定、过程是单向链。掩码扩散：从「整段全部被掩码」开始，每一步揭开（或修正）一部分 token，揭开的顺序与位置由模型动态决定——可以先生成答案的关键位置再补开头，可以全段并行揭开，甚至回头修正已揭开的 token。

flowchart LR
    subgraph AR["自回归"]
        A1["「今天」"] --> A2["+「天气」"] --> A3["+「很好」<br>严格从左到右，不可回头"]
    end
    subgraph DM["掩码扩散"]
        D1["____ ____ ____<br>全部掩码"] --> D2["__ __ 很好<br>先定关键位"] --> D3["今天 天气 很好<br>并行揭开，可修正"]
    end

三点机制差异带来三组应用差异。生成顺序自由：扩散可以先决定「答案的结构骨架」再填肉——对需要全局规划的写作（先定论点再展开）是结构优势；自回归的「想好再写」只能靠思维链外置。可修改性：扩散原生支持「改写已生成内容」（再掩码再生成），对话修订与受约束生成（如必须包含特定词、严格格式）在扩散框架里是自然操作，自回归则要靠重生成或精巧的约束解码。双向上下文：每一步的填空都以双向信息为条件（左右文都看），理论上更利于需要全局一致性的任务。

效率账：并行是双刃剑

扩散模型最被期待的卖点是并行生成（一步揭开多个 token，理论上比逐 token 快）——现实账要算两笔。质量-步数权衡：揭开的步数越少越快，但质量随步数减少下降；LLaDA 级别的模型要接近自回归质量，常用几十步揭开（每步仍生成多个 token），净加速存在但不是数量级。KV Cache 的缺失：自回归的推理成本被 KV Cache（本库已有专篇）大幅摊薄——历史算一次反复用；掩码扩散每一步的全序列条件都在变（token 被揭开/修正），缓存复用率低，单步计算反而更贵。总账：扩散语言模型的推理速度优势取决于具体实现（缓存友好的变体在研究中），「天然更快」目前是未兑现的期权，「可修改、可并行、双向」三个结构性优势反而是已兑现的部分。

现状与展望：范式之争的理性预期

对这场范式之争的理性评估。当前格局：自回归的领先是全面的——生态（推理引擎、缓存优化、量化工具全为它建）、 scaling 经验（十年积累的训练配方）、能力上限（前沿推理模型的 RLVR 训练全建立在 token 级自回归上）。扩散的真实机会在三个缝隙：超长文本的全局一致性（双向条件 + 可回改对抗自回归的「崩溃累积」）、受约束生成（格式严格的代码/结构化输出）、以及编辑式交互（写作助手的「局部重写」体验）。混合的未来最可能：主流仍是自回归，特定场景嵌入扩散模块——正如视觉领域也不是扩散消灭一切（自回归图像生成同样在卷，本库图像路线篇会讲），范式之争的常态是「按任务形态分地盘」。

值得记住的科学意义：扩散语言模型的存在本身是一次概念验证——「下一个 token 预测」不是语言智能的唯一形式。它让社区的架构想象力从「Transformer + 自回归」的单一解里松绑，无论它自己最终走多远。

扩散 LM 的实测速写：能改写的文本是什么体验

用一个思想实验把扩散语言模型的独特体验具体化。场景：让模型写一封 500 字的邮件，写到一半你要求「把第二段的观点反转，其余保持」。自回归模型的处理：重生成——从第二段开始全部推倒（或用精心设计的编辑流程「先删后补」），重写部分的上下文依赖全靠 prompt 描述。扩散模型的处理：只对第二段重新掩码、在两侧已生成文本的双向条件下重新揭开——「局部重写」是架构原生操作，不是补丁。这个体验差异在三个产品场景里有直接价值：长文写作助手（局部改写不伤全局）、结构化生成（代码重构中只改目标函数、表格生成中只改指定列——掩码指定位置的能力是自回归要靠繁琐技巧模拟的）、对话式创作（多轮的「这里改一下那里调一下」工作流）。反过来，自回归的体验优势也在场景里：流式输出（逐字出现的打字机效果天然亲和自回归）、严格因果的长上下文推理（R1 式推理链的每一步都建立在前文之上）。两条体验曲线的重叠度，就是两种模型的竞争边界——扩散 LM 的成熟路径，本质是在保住「可改写」优势的同时把「流式与推理」的体验追平。

范式竞赛的观察框架：怎么判断一条新路线「行不行」

扩散语言模型式的「范式挑战者」还会不断出现，给一套判断框架避免追风或漏看。四个检验维度。维度一：质量曲线的斜率——新范式在等量算力下的质量增长速度（scaling 行为）是否优于在位者：一次性实验的胜负不重要，斜率才决定长期。LLaDA 类工作的真正信号是「斜率不输」，而非「分数接近」。维度二：生态依赖度——新范式对在位基础设施（推理引擎、量化工具、缓存机制）的依赖与改造成本：改造小则渗透快（如 GQA 直接替换进现有管线），改造大则慢（扩散 LM 的缓存缺失）。维度三：独占能力——新范式有没有「在位者做不了或做不好」的独占场景（扩散 LM 的可修改生成、MoE 的容量扩展）：独占场景是新范式的根据地，根据地稳了才有正面战场的资格。维度四：规模化路径的清晰度——「变大变强」的路径有没有已知障碍（扩散 LM 的 RLVR 适配：强化学习的奖励信号能否接入非自回归生成，是它面对的真问题）。四维框架的用法：每季度给活跃的挑战范式打一次分，斜率与独占能力的改善是加仓信号，生态依赖的恶化是止损信号——范式投资与代码重构的决策逻辑，本质相同。

并行解码的真实账：步数、质量与缓存的三角

扩散语言模型的「并行生成」优势需要一张真实的账。账一：步数-质量曲线。掩码扩散支持任意解码步数（从「一步全揭」到「逐步全揭」），实测的质量-步数曲线显示：256 token 的文本，8–16 步解码可达自回归质量的九成以上，4 步以内明显掉——「并行是存在的，但质量折扣随并行度上升」。账二：单步成本。每步都要对全序列前向（掩码在变、KV 无法全量复用），单步成本高于自回归的单 token 步——总账 = 步数 × 单步成本，「更快」要求步数的减少幅度超过单步的增贵幅度，实测在中等长度文本上打平、超长文本上反而更贵。账三：批处理的优势区。扩散的「无缓存依赖」在离线批量任务（一次性生成大量文本，不在乎首 token 延迟）上有吞吐优势——它与自回归的「低延迟交互」形成场景分工。三角的工程结论：扩散 LM 的速度优势是场景性的（批量、可修改任务），不是普遍性的——把它当「更快的 GPT」会失望，把它当「可编辑的批量文本引擎」就恰如其分。

与视觉扩散的对话：文本扩散能学到什么

图像扩散模型七年进化攒下的工艺清单，哪些能迁移给文本扩散，哪些不能——这个对照能加速判断文本扩散的成熟速度。可迁移的工艺：步数蒸馏（图像从 1000 步压到 1–4 步的蒸馏技术成熟，文本的少步解码直接受益）、分类器引导与 CFG（条件生成的引导技术，文本的条件遵循可借鉴）、潜空间训练（VAE 压缩后再扩散，文本对应的「压缩潜空间」方向在探索）。难迁移的部分：图像的「质量」是感知连续的（差一点看不出），文本的「质量」是符号离散的（错一个 token 就是错误）——扩散的渐进去噪在连续空间的收敛逻辑，套在离散符号上天然不贴合，这是文本扩散从头到尾的核心困难；图像训练数据（图文对）的规模与多样性也远超「可验证的文本扩散数据」。对照的结论：文本扩散的成熟速度 ≈ 「离散化工艺 + 符号级质量判据」的解决速度——视觉扩散的经验能加速三成，剩下七成要靠文本自己的范式创新。跨模态的工艺迁移对照，是判断任何「新范式在 B 领域能否复现 A 领域的成功」的通用方法：列清单、分类迁移性、算余下的自研量。

小结

离散性曾把扩散挡在文本门外，掩码扩散（掩盖-填回）绕开障碍，LLaDA 的 80 亿参数竞争力验证打破了「扩散做不了大规模语言」的假设。与自回归的三点机制差异——生成顺序自由、原生可修改、双向上下文——对应三个结构性优势（全局规划、约束生成、编辑交互）；效率账上的两笔折价（质量-步数权衡、KV Cache 缺失）让「更快」仍是未兑现的期权。理性预期：自回归的生态与 scaling 优势短期不可撼动，扩散在长文本一致性、约束生成与编辑场景找地盘，混合架构是长期形态。它的科学意义大于商业意义：「下一个 token 预测」被证明不是唯一解。下一篇回到推理训练的前沿：当结果奖励不够用时，过程奖励模型怎么给每一步打分。