图像生成路线之争：扩散的统治与自回归的反攻

扩散的统治基础：从 DDPM 到 DiT

扩散模型统治图像生成的工程基础在本库扩散模型入门篇已有铺垫（噪声雕刻的逐步去噪），本篇补上架构层的关键一环：DiT（Diffusion Transformer）。早期扩散模型用 U-Net 做去噪骨干，2022 年末 DiT 论文把骨干换成 Transformer—— mattered 的原因是 scaling：Transformer 的性能随参数与计算平滑可预测地增长（Scaling Laws 的行为），U-Net 的混合结构则难规模化。DiT + 更大数据 + 更大模型 = Sora 级的视频生成与当代最强的图像模型——本库 DiT 专篇讲过视频侧的故事，图像侧同步发生：主流商业模型（Midjourney 后期版本、各家旗舰）几乎都完成了向 Transformer 骨干的迁移。

扩散阵营的核心优势是画质上限：逐步去噪的迭代精修过程在高分辨率、细节丰富的图像上表现出色；缺点同样结构化——生成是多步迭代（几十步去噪，虽已从 1000 步压缩到个位数步数的蒸馏版本）、全局构图与文本的精确控制弱（数错手指、写不对文字的经典问题，根子在扩散过程对「精确符号结构」的表达不擅长）。

自回归的反攻：理解与生成同源

自回归图像生成的老路（早期 DALL-E、Parti）曾败给扩散，2024–2025 年的反攻换了打法：把图像 token 化，塞进大语言模型的原生训练里。GPT-4o 的原生图像生成（2025 年 3 月）是标志性事件——模型不是「外挂一个图像生成器」，而是同一个 Transformer 既能理解图像（视觉输入）也能生成图像（视觉输出）：图像 token 与文本 token 在同一个序列里被统一建模。

反攻的杀手锏有三，全部源于「理解与生成同源」。文本渲染：自回归模型对文字的精确控制远超扩散（语言 token 的精确性迁移到图像内的文字）——「在图片里写一段准确的小字」从扩散模型的经典翻车点变成自回归的强项。指令遵循与上下文利用：复杂的、多轮的、依赖对话历史的图像指令（「把刚才那张图的风格改一下，保留人物」）被原生处理——生成的过程可以「引用」对话里的一切上下文。世界知识的注入：图像生成可以直接调用语言模型的知识（「画一张 diagram 解释图里的机制」），图像从「文生图的配图」升级为「推理的输出形态」。

flowchart LR
    subgraph D["扩散路线（DiT 骨干）"]
        D1["文本编码（T5/CLIP）"] --> D2["逐步去噪<br>Transformer 骨干"]
        D2 --> D3["高画质<br>迭代精修"]
    end
    subgraph A["自回归路线（LLM 原生）"]
        A1["文本+图像统一 token"] --> A2["同一模型<br>理解与生成"]
        A2 --> A3["精确指令/文字渲染<br>对话上下文"]
    end

路线的短板互换：各自在补对方的课

竞争的有趣形态是互相补课。扩散阵营补「理解」：接更强的语言编码器（T5 级文本理解）、接 LLM 做提示词改写（复杂指令先翻译成扩散友好的描述）、研究可控生成（ControlNet 的结构控制、布局控制）——本质是把「语言理解」作为外挂往扩散上装。自回归阵营补「画质」：图像 token 化的精度损失（VQ tokenizer 的重建上限）曾被诟病，更高保真的 tokenizer 与混合解码（自回归出草图、扩散做精修）在补画质短板。混合架构因此成为明牌：自回归负责「想」（规划、布局、文字），扩散负责「画」（细节渲染）——两条路线在最强的系统里合流，而不是谁消灭谁。

统一模型：Any-to-Any 的更大图景

图像路线之争嵌在一个更大的趋势里：统一多模态模型（any-to-any）——一个模型处理文本、图像、音频、视频的输入与输出。技术路径是把各模态都 tokenize 成离散序列、用同一个 Transformer 自回归建模（Chameleon 类）或「理解用编码器、生成用扩散头」的混合体。统一化的收益是深层的：模态间的知识共享（视觉推理可以用语言推理的底子）、交互形态的自由（对话中随时插入图像输入输出）、以及训练数据的协同（一个模型吃所有模态的数据）。代价是权衡：统一模型的某个模态往往不如专门模型（图像不如 SD 旗舰、语言不如纯 LLM 旗舰）——「通才 vs 专才」的权衡在模型架构层面重演。当前产品形态的折中：旗舰系统外挂专门的生成模型（理解用 LLM、生成分给最强专才模型），统一模型的追平是进行时。

对研究观察者的结论：「哪个范式赢」是错误的问题，正确的问题是「任务的最优生成形态是什么」——追求画质上限的创意生产属于扩散，追求理解与交互一致性的对话生成属于自回归/统一模型，最强产品最终都是混合体。这条结论与本库扩散语言模型篇的判断（文本侧的范式之争同理）构成一组镜像：每个模态的生成范式之争，都走向「按任务形态分地盘」。

提示词工程在图像生成里的形态变化

两条生成路线的竞争改变了「怎么写图像提示词」这门手艺。扩散时代的提示词学：扩散模型对自然语言的解析较弱，提示词演化出「关键词堆叠 + 权重语法 + 负面提示词」的独特形态——「 masterpiece, 8k, ultra detailed」这类咒语与「(-(bad hands))」的权重标记，本质是在补偿模型的语言理解短板；ControlNet 之后又加了「结构控制输入」（草图、姿态）这一维。原生多模态时代的回归：自回归/统一模型的语言理解是本行——提示词回到「自然语言的精确描述」：写得像给一个聪明但看不见的人的委托说明（主体、关系、文字内容、布局），长描述、多轮修改、对话中的增量调整都自然工作——咒语时代的技术资产大半作废。混合系统的实践策略：面对「LLM 理解 + 扩散渲染」的混合管线（正文的最强形态），提示词的最优写法是「给 LLM 的自然语言意图 + 信任管线内的翻译」——提示词工程正在从「学咒语」变回「学表达」，这对手艺人是个解放，也意味着「提示词工程师」这个职业的核心技能从记忆咒语表回归到「视觉语言的表达能力」。一个持续的观察点：两家路线的「指令遵循评测」（文本渲染准确率、多约束满足率）的分数差，是判断「提示词学习成本」的最直接仪表。

生成的版权诉讼前线：训练数据与输出两侧

图像生成的路线之争之外，一场法律战争同步进行，两条战线值得创作者与企业了解。训练侧战线：艺术家与图片社诉生成模型厂商（训练未经授权的版权作品）的案件在多法域推进——核心法律问题是「训练是否构成复制/合理使用」，美国的合理使用四要素分析、中国与欧盟的不同路径，判决将重塑训练数据的获取成本（授权分成模式——训练数据授权平台已在涌现——可能是终局）。输出侧战线：生成物「撞车」训练作品（相似风格、甚至近乎复制）的责任认定——厂商的对策（记忆化抑制：过滤与训练数据过度相似的输出）与用户的责任（商用生成内容的侵权尽调）都在成型。对企业的实务清单：商用生成图像前做反向检索（查相似作品）、重要项目留存提示词与生成记录（证明独创性投入与善意）、关注所用模型的训练数据声明与厂商的侵权兜底条款（部分厂商对用户提供赔偿承诺——这是选择供应商的新维度）。法律战争的终局大概率是「授权市场的成熟」：训练数据授权、风格授权、输出保险——生成式 AI 的内容供应链正在重演流媒体版权市场的成型过程，只是速度更快。

图像生成的「文字渲染」之战：一个能力的代际意义

图像模型「在图里写字」这个看似琐碎的能力，成为两条路线交锋的风向标，值得单独解读。为什么难：文字是精确的符号系统（每个字的笔画结构不可妥协），扩散模型的迭代去噪擅长「纹理与光影」、不擅长「符号的精确复现」——写错字、笔画粘连是扩散的经典翻车照片。为什么重要：文字渲染是「指令遵循精度」的代理指标——能把「招牌上写『欢迎光临』四个字」执行准确的模型，说明它的语言-视觉对齐精细到符号级，这个能力会泛化到一切需要精确控制的场景（UI 设计图、信息图、教育插图）。自回归的胜出与扩散的追赶：GPT-4o 原生图像的文字渲染碾压式领先（语言 token 的精确性直接迁移），扩散阵营的追赶沿两条路：tokenizer 与训练数据的文字样本增强（治标），以及混合架构（文字部分由语言模型精确生成、贴图合成——治本）。观察价值：文字渲染的基准分数（各家评测已把它列为标准项）是「路线竞争」的实时计分牌——它的收窄速度，就是扩散阵营「补理解课」的进度条。这个案例的元教训：一个看似边缘的能力，可能是范式差异最清晰的放大镜。

小结

扩散的统治建立在 DiT 的可扩展骨干与画质上限上，结构性短板是精确符号控制（文字渲染）与迭代成本。自回归的反攻以「理解与生成同源」为纲——GPT-4o 原生图像展示了文本渲染、多轮指令、知识注入三大杀手锏，根子在语言 token 的精确性与对话上下文的利用。两条路线互相补课：扩散外挂语言理解，自回归补画质 tokenizer，混合架构（自回归想、扩散画）成为最强系统的明牌。更大的图景是 any-to-any 统一模型——模态 token 化 + 单一 Transformer 的通才化，代价是各模态的专精权衡。范式之争的终局不是取代而是分工：按任务的最优生成形态分配路线。下一篇从 2D 走向 3D：空间智能——从 NeRF 到 3DGS 的场景表示革命。