一篇读懂多模态统一训练：视觉、语言、音频的联合建模前沿

语言模型的下一步必然是多模态——用户的输入已经是截图、语音、照片和文字的混合物。但「把视觉和音频接进语言模型」存在两条根本分歧的工程路线：一条把预训练好的视觉编码器当外设，用连接器插到语言模型上；另一条把图像和音频统统离散成 token，让一个统一的 Transformer 从头学会所有模态。两条路线的取舍覆盖了多模态训练的全部核心问题：数据怎么配、梯度怎么打、训练为什么炸、能力上限差在哪。本文沿这两条路线拆解联合建模的完整版图。

一、CLIP：一切现代多模态的地基

对比学习的配方

2021 年的 CLIP（Radford et al.）奠定了视觉-语言对齐的基本范式：4 亿对网络图文，图像编码器与文本编码器分别投影到共享空间，一个 batch 内所有图文两两算余弦相似度，对角线上的正样本对拉近、非对角的负样本对推远，损失函数是 InfoNCE 的对称形式。配方里最容易被低估的要素是 batch 大小：CLIP 训练用了 32768 的超大 batch——负样本越多，对比信号越丰富，这是对比学习绕不开的规模需求，也因此 CLIP 类预训练至今是资源密集型工序。温度参数控制难负样本的惩罚强度，同样是对比损失的敏感超参。CLIP 编码器至今仍是绝大多数视觉语言模型的视觉前端，它输出的不是分类标签而是一个对齐的语义空间——语言模型能直接消费这个空间，这是整个连接器路线成立的前提。

假负样本与硬样本

对比学习的隐藏缺陷是假负样本：batch 内两张不同的猫图互为「负样本」，但语义上它们本该接近。4 亿对数据里的世界多样性把这个问题稀释到可容忍，但精确度量（如计数、细粒度属性绑定）上 CLIP 的表达天花板后来被反复指出。这也是后续 VLM 幻觉问题的远因之一：视觉前端在细粒度上就丢了信息，语言侧怎么补都补不回来。

二、连接器路线：把视觉当外设插上去

LLaVA：最小可行架构

LLaVA（2023）证明了路线的可行性可以便宜到什么程度：一个冻结的 CLIP ViT-L/14 提取图像特征，一层线性投影（或两层 MLP）把特征映射到语言模型的嵌入空间，语言模型也是近冻结状态微调。训练分两阶段：先用约 56 万条图文对训练投影器（阶段一，只训投影层），再用约 16 万条 GPT-4 生成的视觉指令数据微调全链路（阶段二）。LLaVA-1.5 把投影器升级为 MLP 并加入学术任务数据后，用不到 1.5% 的训练成本在多个基准上追平了当时的重型方案。这条路线的经济学解释是：语言模型在预训练里已经学会了「推理」，你只需要教会它「读」一种新的输入语言，而读的能力可以在百万级样本内学会——远小于语言预训练的万亿级。

Flamingo：门控交叉注意力

DeepMind 的 Flamingo（2022）给出了连接器路线的另一个极端设计：不用投影到嵌入空间，而是在语言模型的每层之间插入交叉注意力层，让文本 token 直接「看」视觉特征。关键技巧是门控 tanh：新增的交叉注意力层输出乘以一个初始化为 0 的门控系数，保证训练起点上多模态层完全不干扰预训练语言能力，随后训练中门控再缓慢打开。这个「零初始化残差」思路后来被广泛复用，成为「在冻结主干上加新能力」的标准手法。Flamingo 用了 4300 万页交错图文网页（M3W）加十几亿级图文对，证明了交错多图序列（而非单图单句）对 in-context 多模态能力的重要性。

flowchart TD
    subgraph A["路线一：连接器（晚期融合）"]
        I1["图像"] --> VE["视觉编码器 CLIP ViT<br/>预训练 + 冻结/微调"]
        VE --> PJ["连接器：MLP 投影<br/>LLaVA / 或门控交叉注意力 Flamingo"]
        PJ --> LLM["语言模型<br/>预训练权重 + 指令微调"]
    end
    subgraph B["路线二：原生统一（早期融合）"]
        I2["图像"] --> VQ["图像离散化 VQ tokenizer"]
        AU["音频"] --> CO["音频 codec RVQ 离散码本"]
        TX["文本"] --> BT["文本 tokenizer"]
        VQ --> U["同一个 Transformer<br/>全模态 token 混训"]
        CO --> U
        BT --> U
    end
    A --> O1["优点：稳定、便宜、复用语言能力<br/>缺点：细粒度视觉推理受前端限制"]
    B --> O2["优点：任意模态生成、深度融合<br/>缺点：训练不稳定、数据工程极重"]

三、原生统一路线：一切皆是 token

图像与音频的离散化

原生路线的前提是把所有模态变成离散 token。图像侧用 VQ-VAE 类编码器把连续像素映射到有限码本（例如 8192 个视觉 token），图像变成一个二维 token 网格；音频侧用神经 codec（如 Meta 的 EnCodec）做残差向量量化（RVQ），音频波形变成多层量化码序列。于是文本、图像、音频共享同一个自回归目标：预测下一个 token。Chameleon（Meta，2024）是这个路线的代表作：34B 模型在约 4.4 万亿 token 的混合语料上训练，文本与图像 token 混合输入输出，真正做到「一个模型、一套权重、任意交错生成图文」。Emu3（BAAI，2024）进一步证明了纯 next-token prediction 可以同时覆盖理解与生成，不需要扩散模型辅助。

为什么早期融合的训练这么难

Chameleon 论文用相当篇幅承认了稳定性问题：训练初期反复遭遇 loss spike 与发散，最终靠两项手术稳定住——对注意力做 QK-Norm（对 query 与 key 做归一化，抑制激活爆炸），以及对 logit 施加 z-loss 约束。原因在于模态间的统计异质性：图像 token 网格没有文本序列的强局部依赖，激活分布完全不同，共享的注意力与 FFN 权重要同时伺候两种分布，梯度尺度自然打架。相比之下连接器路线把冲突隔离在连接器内部，主干永远只看「已经被驯化」的特征——这就是两条路线在稳定性上的本质差异。原生路线的另一个代价是数据工程：图像 token 网格把序列长度膨胀一个数量级，4.4 万亿 token 的混合语料里图像占了大头，算力账单远超同尺寸纯语言模型。

四、模态不平衡与数据配比

音频与视觉为什么「学不过」语言

多任务混合训练里有一个反复被观察到的现象：不同模态的损失下降速度差异巨大。语言模态因为预训练继承而起点极高，视觉与音频从零学起；如果损失简单求和，梯度会由「最欠学的模态」主导，或者反过来被语言模态的巨大梯度淹没。统一训练里的对策包括模态分组损失加权、按模态分阶段的课程训练，以及混合专家式的模态隔离。数据配比同样敏感：实践共识是「文本为主、多模态按需配平」，开源工作里多模态 token 占比通常在 20% 到 50% 之间，超出后语言能力普遍出现回退——「多模态训练损伤语言能力」至今仍是原生路线的核心税。

数据形态：图文对之外的交错文档

图文对（一张图配一句 caption）教会的是「对齐」，交错文档（网页里图文自然混排，如 OBELISC 数据集的 1.4 亿网页）教会的是「引用与推理」——让模型学会在多图长上下文里检索、对比、延续图像信息。Flamingo 与后续工作的消融一致显示：交错数据对多图推理与少样本能力至关重要，纯图文对训练的模型在多图输入上明显退化。音频侧同理：识别类配对数据（语音转写）只够训练「听写」，要获得语音中的情感、停顿、副语言理解，需要对话式音频与带情境的长音频数据。多模态数据工程的主战场已经从「攒对」转移到「攒结构」。

五、评测与前沿问题

越过 VQA 的评测

多模态评测同样在从「看图答题」进化。幻觉评测（POPE 类：图中不存在的物体，模型会不会顺杆爬说存在）暴露了语言先验压过视觉证据的问题——模型经常「用语言知识补图」，这在 OCR 与计数任务上最严重：CLIP 系前端对计数几乎失明，语言模型靠猜。细粒度属性绑定（「穿红衣服的人拿的是什么」）测试视觉 token 是否真的携带了绑定信息。音频侧的评测更不成熟，语音推理（从语气判断情绪、从上下文补全歧义发音）刚开始有基准。对工程师的实操建议是：多模态能力必须用你自己的截图、票据、界面来测，公共基准的分数与你的真实场景相关性有限。

当前前沿的三个方向

其一是 any-to-any：Unified-IO 2、NExT-GPT 等工作追求任意模态进出（文本、图像、音频、视频、动作序列互相转换），核心难点仍是统一离散化与训练稳定。其二是原生视频：把时间维引入 token 网格，长视频的 token 预算管理成为新问题。其三是与推理能力的结合：多模态链式推理（先看图、再画辅助线、再算）正在从「感知理解」走向「视觉思考」，这是下一个阶段的竞争焦点。两条架构路线的竞争远未收束：连接器路线凭借工程性价比统治了当下，原生路线凭借能力上限争夺未来——历史上「先集成后统一」的演化路径在软件业重复过太多次，多模态大概率也不会例外。

小结

多模态联合训练的知识可以压缩成三句话。第一句：CLIP 式对比预训练提供了对齐的语义空间，是所有现代 VLM 的地基，超大 batch 与温度是它的命门超参。第二句：连接器路线（LLaVA 的投影器、Flamingo 的零初始化门控交叉注意力）用最低成本把视觉接上语言模型，训练稳定但细粒度能力被前端封顶；原生统一路线（VQ 图像码本、RVQ 音频码本、Chameleon 的 QK-Norm 与 z-loss 稳定术）换来了任意模态生成与深度融合，代价是训练稳定性、算力账单与语言能力回退三重税。第三句：数据工程的主战场在交错结构与模态配平，纯图文对只能教会「对齐」，教不会「引用与推理」。看懂这三句，你就能在任何一篇新 VLM 论文里迅速定位它站在哪条路线、付了哪种税、又把哪笔账记在了数据上。