蒸馏的原点：让小模型学「概率分布」而非「标准答案」
知识蒸馏（knowledge distillation）的经典定义来自 Hinton 2015 年的论文：大模型（教师）的输出不是只有最终答案，而是一个概率分布——「正确答案 0.7、相近答案 0.2、错误答案 0.1」的软标签比「正确答案 1.0 其余 0」的硬标签携带更多信息（类与类之间的相似性结构）。小模型（学生）拟合教师的软分布，等于学到了「教师的判断结构」而不仅是答案本身。
这个原初框架在 LLM 时代被改造但精神未变。第一代：logit 蒸馏——学生直接对齐教师的 token 概率分布（KL 散度损失），预训练与继续训练都可用，是中小模型蒸馏的工业标准（很多开源小模型的数据说明书里写着「distilled from XXX」）。它的局限：学生逐 token 模仿教师的分布，但学生与教师的内部状态不同，「依样画葫芦」在长序列上会累积偏移。
CoT 蒸馏与 on-policy 蒸馏：LLM 时代的两代升级
第二代：CoT 蒸馏（数据蒸馏）。教师生成大量「问题 → 推理链 → 答案」，用这些合成数据微调（或直接继续预训练）学生——学生学的不是概率分布而是「教师的推理过程」。DeepSeek-R1 的发布策略是最著名的公开案例：开源若干基于 Qwen/Llama 的蒸馏小模型，用 R1 生成的 80 万条推理样本微调，小模型的推理能力出现「教师推理范式」的迁移——蒸馏的本质从「学概率」升级为「学生成数据的过程分布」。数据蒸馏的工程优势是教师只需推理（无需暴露权重），这让它成为闭源教师 + 开源学生的现实通道——API 蒸馏的合法性边界（服务条款是否禁止用输出训练竞争模型）由此成为产业争议点。
第三代：on-policy 蒸馏。前两代都让学生看「教师生成的序列」（off-policy——学生自己的错误从不出现在训练里），on-policy 蒸馏让学生自己生成序列，再用教师的分布（逐 token 的 KL）作为奖励信号纠正——学生从自己的错误中学习，而不是从教师的完美示范中学习。通用价值模型（如 GPT-4 时代的工艺细节）与近期开源推理模型的训练报告都在强化这条路线：「学生走自己的路、教师在旁打分」显著优于「学生抄教师的路」，尤其在长推理链上（off-policy 的误差累积问题被绕开）。蒸馏三代的演进史，就是「模仿」不断逼近「在反馈中学习」的历史。
flowchart TB
T["教师模型"] -->|"软标签 KL 损失"| G1["一代：logit 蒸馏<br>学生拟合概率分布"]
T -->|"合成推理数据"| G2["二代：CoT 蒸馏<br>学生学教师的推理链（off-policy）"]
T -->|"逐 token 奖励信号"| G3["三代：on-policy 蒸馏<br>学生自己生成、教师打分"]
G1 & G2 & G3 --> S["更强的小模型"]
压缩三件套：蒸馏之外的另两条腿
蒸馏让小模型「学得像」，压缩技术让模型「跑得动」，两者常被混谈但机制不同。量化（quantization）：把 FP16 权重压到 INT8/INT4 甚至更低——参数存储与显存占用直接减半再减半；主流方法是 GPTQ/AWQ 类的后训练量化（PTQ，不用重训）与量化感知训练（QAT，训练时就模拟量化误差）。经验规律：INT8 几乎无损，INT4 有小损失但性价比最高，再往下就要精细方法。剪枝（pruning）：删掉不重要的权重或结构——非结构化剪枝（删单个权重，硬件难受益）已被结构化剪枝（删整头、整层）边缘化，近年「层删除」研究（发现深层网络的冗余层）提供了简单粗暴的裁剪依据。低秩分解：把大权重矩阵近似为两个小矩阵的乘积——与 LoRA 的数学同源，推理优化器（如各类 speculative decoding 方案）里常见它的变体。
三件套与蒸馏的组合拳：先蒸馏「把能力装进小模型」，再量化「让小模型跑进消费级显存」——本地部署生态（几 B 参数、INT4 量化、消费级显卡可跑）的繁荣，是这条流水线的终端产物。
小模型为什么这么便宜：把账算全
推理成本正比于激活参数量与序列长度——小模型的单价优势是结构性的。但「蒸馏小模型」的真实成本账要算全：教师的生成成本（CoT 蒸馏需要海量合成数据，教师推理是最大开销）、蒸馏训练成本、以及能力上限的折价——蒸馏学生继承教师的分布，通常「在教师强项上到教师的七八成，但创造性突破与长尾泛化不如教师」。产业结构因此清晰：前沿能力的探索只能靠大模型（蒸馏只能传递已有能力），规模化应用下沉靠小模型（成本才是普及的钥匙）。两者的关系不是替代，是流水线的上下游——大模型负责「发现能做什么」，小模型负责「让所有人用得起」。理解了这个分工，就理解了为什么每家厂商的产品线都是「旗舰 + 蒸馏小杯」的双层结构，以及为什么蒸馏数据的授权与合规会成为下一个产业争议点（教师输出的版权与许可条款）。
蒸馏的合规边界：API 条款与「能力窃取」争议
蒸馏技术走到产业深处后，合规边界成为显性争议。服务条款的防线：主流模型厂商的 API 条款普遍禁止「用输出训练竞争模型」——这条款的执行依赖检测（输出水印、使用模式分析），争议案例已经出现（厂商封禁疑似蒸馏的账户）。条款能管住守法的商业用户，管不住的只有技术门槛——蒸馏的「低成本复制」能力与「模型即商业资产」的商业逻辑存在结构性张力。开源蒸馏的许可谱系：开源模型许可（Apache 2.0/MIT 类）通常允许用输出训练——DeepSeek-R1 蒸馏小模型用 Qwen/Llama 做底座且合规发布，展示的是「许可允许的蒸馏」的正常形态；对比之下，用闭源 API 输出蒸馏就是条款违规——蒸馏是否正当，取决于教师的许可与条款，不取决于技术本身。「能力窃取」的经济学：训练成本数亿美元的模型被几十万美元的蒸馏复刻七成功力——这个比例决定了前沿厂商把「防蒸馏」当作竞争壁垒（输出监测、条款约束、差异化在数据与 RL 阶段而非最终输出）。值得注意的产业分化：有的厂商主动提供官方蒸馏通道（以授权换生态，小模型市场绑定大模型家族），有的严防死守——蒸馏的合规地图因此按厂商分化，使用者逐家核对条款是基本功。
小模型的参数效率竞赛：1B 俱乐部的军备赛
蒸馏与压缩的竞赛在「小参数俱乐部」打得最激烈：1B–4B 的模型段位成为兵家必争。为什么是这个段位：手机与边缘设备的 NPU 算力/内存恰好覆盖（INT4 量化后 1B 模型约 1GB 内存量级）、推理成本对高频调用场景足够低（客服、输入法、IoT）、以及「够用的智能」的天花板在快速抬高（蒸馏配方的进步让 1B 模型做到了两年前 7B 的事）。竞赛的技术配方：强教师的大规模 CoT 蒸馏（正文的三代蒸馏）+ 高质量合成数据 + 混合专家的小型化（MoE 下沉到小模型）+ INT8 原生训练（量化感知），各家报告的配方趋同，差异在数据工程的细节。选型的实用框架：先测「任务的最小能力线」（用 prompt 简化的方式探底——很多任务根本不需要 70B 的智能），再在小模型段位找「过线且最便宜」的档位，旗舰只留给「真的需要」的环节（复杂推理、创意生成）——这个「最小够用」的选型纪律，在推理成本上通常是十倍级的差距。小模型俱乐部竞赛的终局预测：1B 段位的「智能手机内置模型」将成为 AI 交互的默认入口（如同当年的输入法引擎），旗舰模型退居「云端的重炮」——端云分工的格局正在这个段位的竞赛里定型。
蒸馏与 R1 时刻：开源小模型的推理跃迁
2025 年初的 R1 发布对小模型生态的冲击值得单独记录：官方蒸馏模型的发布把「推理能力下沉」变成了现货。R1-Distill 系列（基于 Qwen/Llama 的 1.5B–70B）用 R1 生成的 80 万推理样本微调，小模型在数学竞赛基准上的表现跃迁了一个时代（1.5B 模型做到了此前 30B+ 模型的水平）——这是 CoT 蒸馏威力迄今最公开的展示。它改变的三件事。其一，社区对「小模型上限」的预期重置：1B 级模型从「玩具」变成「能做初中数学题的实用件」。其二，推理数据的供应链显性化：推理样本的生成-筛选-蒸馏管线成为公开工艺，各家开源小模型快速跟进。其三，「教师是谁」成为小模型的核心卖点——「distilled from R1/Qwen」写在模型卡的显要位置，教师的声誉直接背书学生的能力。跃迁的另一面：蒸馏学生的能力上限被教师封顶（教师的失败模式也会遗传）、且高推理分不等于低幻觉（数学对、事实错的偏科在小模型上更明显）。R1 时刻的 Lesson 是双向的：蒸馏配方公开化了，但「教师质量决定学生上限」的铁律也更显眼了。
小结
知识蒸馏从 Hinton 的软标签（学概率分布）出发，经 CoT 蒸馏（学推理链的合成数据，off-policy）演进到 on-policy 蒸馏（学生自己生成、教师打分——从模仿走向反馈学习）。量化、剪枝、低秩分解的压缩三件套与蒸馏互补：蒸馏解决「能力装进小模型」，压缩解决「小模型跑进小显存」。小模型的经济性是结构性的，能力上限的折价也是——前沿探索靠大模型、规模化下沉靠小模型的产业分工因此稳定。下一篇讨论一个与蒸馏相邻但方向相反的话题：不增加参数，甚至不写推理链，模型能不能「在脑子里想」——隐式推理与潜空间思考。
读者留言
COMMENTS 暂无还没有留言，来说第一句？