大模型的「突然开窍」：涌现能力研究与规模效应之争

涌现：一个争论至今的规模之谜

2022 年，Google Research、斯坦福大学与 DeepMind 的研究者联名在 TMLR 发表了《Emergent Abilities of Large Language Models》，作者包括 Jason Wei、Yi Tay、Rishi Bommasani、Colin Raffel、Barret Zoph 等。这篇论文把一个此前只在个别实验里被注意到的现象正式命名：某些能力在小模型上完全测不到，却在模型规模跨过某个阈值后突然出现，而且无法用小模型的评测曲线外推预测。论文把这类能力称为涌现能力（emergent abilities），这个术语在随后的三年里成为整个行业讨论规模效应时绕不开的词。

一年多之后，斯坦福的 Rylan Schaeffer、Brando Miranda 与 Sanmi Koyejo 在 NeurIPS 2023 上发表了直接唱反调的《Are Emergent Abilities of Large Language Models a Mirage?》，并拿下最佳论文奖：他们认为绝大多数已发表的涌现案例是「度量假象」——能力其实一直在平滑增长，只是评测指标和样本量把曲线伪装成了悬崖。两篇论文构成了这场持续至今争论的正反双方，也重塑了整个行业评测大模型的方式。本文把这条证据链完整梳理一遍：涌现的定义与原始证据、反方的度量论证、支持方的机制假说，以及这场争论留给工程界的具体方法。

定义、判据与第一批证据

Wei 等人给出的定义相当克制：如果一个能力「在小模型上不存在、在大模型上存在」，并且不能从小模型的评测结果外推得到，它就是涌现的。论文给了三条可操作的判据：一是跃升性，能力曲线存在明显的不连续跳变；二是陡峭性，跳变区间的斜率远大于之前；三是不可预测性，跳变出现的规模点难以事先确定。值得强调的是，论文里的「规模」不只有参数量和训练算力两个轴——对齐训练的步数、提示方法的选择，同样被当作可度量的规模变量。

证据部分最有名的是 GPT-3 系列的算术实验。在 Brown 等人 2020 年的 GPT-3 论文里，两位数加法在八样本提示下，175B 模型达到 99.8% 的准确率，而更小的模型长期徘徊在随机水平附近；Wei 等人把这条曲线画在训练算力轴上，模型在约 10 的 22 次方 FLOPs 之前几乎测不到能力，跨过这个点之后迅速冲顶。类似的跳变还出现在三位数减法，以及 BIG-Bench 里的一批任务上：PaLM 540B 在改编模运算、国际音标转写、波斯语问答等任务上的表现，比其 8B 版本高出数十个百分点，而中间规模的模型几乎毫无起色。第三类证据来自对齐训练：TruthfulQA 的选择题分数随 InstructGPT 系模型的 RLHF 训练量突然抬升，基座语言模型则始终停在随机水平附近。

论文还按提示方法把涌现分成四类：少样本提示下的任务能力、增强提示（思维链、scratchpad）下的推理能力、指令对齐后的行为能力、以及多模型交互（如辩论）中出现的协作能力。这个分类在后来的讨论里被反复引用，因为它点明了一个关键事实：涌现不只发生在「模型变大」这一个维度上，训练方式的变化同样可能触发能力突变。

质疑方：涌现会不会只是「指标假象」

Schaeffer 等人的反击从度量理论切入。他们指出，精确匹配、多选题得分这类不连续指标，天生会把平滑的能力增长放大成悬崖：模型每多答对一道题，分数就跳一格。把同一批 GPT-3 算术预测换成 token 编辑距离或 Brier 分数这类连续指标，曲线立刻变得平滑、可外推——模型其实一直在稳步逼近正确答案，只是在某个规模点才开始「全部答对」。论文里复现的算术曲线是这场争论中被引用最多的图：同一份数据，换一个指标，涌现出现与消失。

第二击是样本量。许多涌现报告只在大模型上跑很少的评测样本（推理太贵），用 bootstrap 重采样估计出的置信区间宽得惊人，所谓「无法预测的跳变」在很大程度上是数据太少造成的统计错觉；把样本量拉够、把不确定度画出来之后，多数任务的增长趋势是平滑的。第三击是聚合方式：把几十个任务平均成一条曲线，会掩盖单任务内部的平滑变化，制造出「整体跳变」的视觉印象。

作者的立场并非否认一切相变——他们在论文里明确说，不排除存在真实的非线性能力增长——而是主张已发表的证据不足以支撑「涌现普遍存在」这个强结论，社区应当用连续指标和足够样本重新检验每一个案例。Jason Wei 方面则回应：从工程视角看，精确匹配恰恰是产品交付的口径，「几乎对的算术」对用户毫无价值；而且即便在连续指标下，仍存在无法用缩放定律外推的行为，例如多步推理中错误级联的非线性放大。这场争论没有最终裁判，但它逼着双方把「涌现」这个词拆成了两个可以分别检验的主张：能力是否平滑获取，这是度量问题；能力是否可预测，这是科学问题。

机理假说：真实的相变可能藏在哪里

如果部分涌现是真实的，它的机制在哪里？目前最有力的候选答案是回路形成。Anthropic 的 Olsson 等人在 2022 年的《In-context Learning and Induction Heads》里发现，归纳头——一组实现「模式补全」的注意力头——在训练过程中会经历一次明确的相变：模型内部突然形成这种回路，损失曲线上出现一个可观测的凸起，而这次相变与大量少样本能力在同一规模区间出现，时间上高度吻合。这是目前「真实相变」最强的机制证据，本系列下一篇文章会专门拆解它。

第二类候选是 grokking 现象。OpenAI 的 Power 等人 2022 年在《Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets》里报告：小模型在小算法数据集上会先完整记住训练集、长期过拟合，然后在训练后期突然切换到泛化解法，测试准确率从接近零直接跃到接近满分。Nanda 等人 2023 年用机制可解释性方法进一步确认，模运算任务里负责泛化的回路是在训练中后期突然成形的——这是训练时间轴上被解剖清楚的一个相变标本。第三类假说来自 Wei 等人自己的后续工作：预训练数据的多样性系数能够预测涌现出现的规模，数据越多样，能力越早涌现，说明涌现不只是规模的函数。此外还有两个「减分项」需要警惕：基准污染会让评测数据泄进预训练语料从而制造假跳变；跨任务的数据排序效应也会扰动曲线。它们提醒我们，并非所有跳变都值得兴奋。

用物理学的语言总结这场争论再合适不过：预训练损失像一个平滑变化的序参量，始终按幂律下降；下游任务指标则是研究者选择的「探针函数」，探针本身可以不连续。涌现之争的实质，是探针的跳变究竟是相变的真实信号，还是探针设计的伪影——而这个问题的答案，很可能是「两者都有」。

flowchart TD
    A["预训练损失：幂律平滑下降"] --> B["下游任务用哪种指标度量"]
    B --> C["不连续指标：精确匹配、选择题得分"]
    C --> D["曲线呈悬崖状：表象涌现"]
    B --> E["连续指标：编辑距离、Brier 分数"]
    E --> F["曲线平滑、可外推"]
    G["机制层候选：归纳头相变、grokking 回路成形"] --> H["部分能力确有真实突变"]

争论留下的工程方法

这场争论最大的产出是一套评测方法论。第一，报告能力曲线时应同时给出连续与不连续指标：精确匹配回答「产品可用吗」，编辑距离回答「模型在进步吗」，两者缺一不可。第二，样本量要给足、置信区间要画出来，「大模型跑一次太贵」不能成为跳过统计检验的理由。第三，缩放定律只对损失成立，不能拿它外推下游能力——这一点对安全论证尤其致命：如果能力无法从小模型预测，那么红队测试与危险能力评测就必须在前沿规模上做，这正是后来各大实验室把「前置评测」写进安全框架的方法论起点。

对产品决策，教训同样具体。过去几年里多个团队吃过亏：用十几 B 参数的模型验证 agent 流水线可行，换到几百 B 模型上错误模式完全不同；反方向用大模型经验预估小模型能力也多次失灵。把「涌现不可预测」当作默认假设来设计实验与灰度流程，比争论名词定义更有价值。今天的主流共识可以概括为一句话：能力在损失层面平滑获取，在下游指标层面锐利表现，少数关键回路存在真实的机制相变。

边界案例：反缩放与不可预测性的两面

涌现讨论还有一组重要的镜像证据：反向缩放（inverse scaling）。2022 年由纽约大学等机构组织的「逆向缩放大奖赛」专门悬赏「模型越大表现越差」的任务，最终获奖任务包括记忆陷阱（利用预训练语料的 n-gram 频率分布诱导模型复述高频词而非正确答案）与引用改写（模型倾向给出流行版本的引用而非题面要求的准确引用）等。这些结果与涌现互为镜像：规模不仅可能突然带来好能力，也可能突然放大坏行为，「变大就会变好」并不总成立。

进一步的反转来自 Wei 等人 2023 年的《Inverse Scaling Can Become U-Shaped》：许多反向缩放在换用更好的提示（例如补上思维链示例）之后会变成 U 型曲线——先随规模变差、再回升甚至反超。这说明「大模型变笨」往往不是能力消失，而是模型的默认行为与任务需求错配，提示工程与对齐训练可以把它扳回来。可预测性的实证谱系也支持这一判断：Anthropic 的 Ganguli 等人 2022 年系统研究了「边界涌现」任务，结论是可预测性与度量质量和数据可得性强相关——用连续指标、给足数据，很多看似突变的曲线其实可以提前预判；真正无法外推的，主要是与预训练分布结构性不同的行为，例如对齐训练带来的偏好类行为。把这三方面合起来看，「涌现不可预测」更像一个度量与数据问题，而非原则性结论——这也是今天评测基础设施大量投入的原因：用更细的探针、更大的样本量，把不可预测性的边界不断压缩。

小结

涌现能力之争表面上是一场名词之战，实质推动了两次方法论升级。度量层面，社区学会了区分「能力平滑增长」与「指标锐利表现」，连续指标加充足样本成为评测底线，「海市蜃楼」论文则用复现实验证明多数已发表的涌现曲线可以用度量选择解释。机制层面，归纳头相变与 grokking 回路给出了被解剖清楚的真实相变样本，说明「突然变聪明」在特定回路层面确实发生。对工程师而言，记住探针函数与序参量的区别——损失平滑、指标锐利、机制可能突变——比记住任何一方的结论都更重要。