测试时训练：不更新权重也能「临场学会」新任务

与两个邻居的区分：ICL 与测试时扩展

讨论 TTT 前先划清三个概念的边界，它们都在回答「不重训怎么适应新任务」。上下文学习（ICL，本库已有专篇）：把示例放进 prompt，权重完全不动——学习的载体是激活（前向计算里的模式匹配），零训练成本，能力受「不更新权重」的限制。测试时扩展（本库已有专篇）：推理时花更多算力思考（长思维链、多采样），权重也不动——提高的是「思考深度」，不是「知识或技能」。测试时训练（TTT）：推理时真的做梯度更新——用眼前的示例当场微调模型（或其一部分），权重在推理期间短暂变化。

TTT 的定位由此清晰：它是三者中唯一「真学习」的——用梯度更新换取 ICL 达不到的适应深度。代价也由此而来：需要训练管线（梯度、优化器、显存）进入推理路径，延迟与基础设施成本远高于 ICL；且「测试时改权重」带来新的安全问题（数据污染、不可复现）——这些成本决定了 TTT 只在「ICL 明显不够」的任务上值得开火。

机制：把推理变成一次微型训练

TTT 的标准流程：给定任务（少量输入-输出示例 + 测试输入）→ 构造临时训练集（示例对，有时加上测试输入的自监督变体）→ 对模型（全部或 LoRA 部分）做几步梯度下降 → 用更新后的模型解测试输入。关键设计在三个旋钮。训什么：全参数（效果最好、成本与遗忘风险最高）、LoRA（轻量适配，主流选择）、或特定的自监督头（TTT 的早期形态：训练「旋转图像复原」这样的辅助头，让内部表征适应新分布）。训多少步：几步到几十步——步数是「适应深度」的旋钮。用什么损失：任务的监督损失（有标签示例时）或自监督构造（把测试输入自己变成训练信号，如 mask 一部分让模型补全）。

flowchart LR
    T["任务：示例对 + 测试输入"] --> C["构造临时训练集<br>（示例 + 自监督变体）"]
    C --> G["几步梯度更新<br>（全参 / LoRA / 辅助头）"]
    G --> U["临时更新的模型"]
    U --> S["解测试输入"]
    S --> R["输出后：权重丢弃或保留"]
    ICL["ICL：只进 prompt，权重不动"] -.->|"更便宜但更浅"| G

实证高光：ARC-AGI 的突破

TTT 出圈的原因是ARC-AGI——这个「人类轻松、SOTA 模型挂科」的抽象推理基准（每道题是全新的网格变换规则，考察流体智力而非知识）多年击穿大模型的自尊心。2024 年的突破来自组合拳：TTT + 测试时扩展——对每道题生成大量候选程序、用示例验证筛选，同时以多种「增广形式」（变换后的题目变体）对模型做 TTT，让模型先「适应这道题的表征风格」再推理。该方案在 ARC-AGI 半私有集上的准确率大幅刷新此前纪录（结合大量并行采样，用庞大的推理预算换分）。

ARC-AGI 案例的两点启示值得记住。其一，TTT 的价值在「分布外的形式适应」：ARC 题目的规则是全新的，ICL 只能「看到」示例，TTT 能把示例「练进」模型——对全新表征形式的任务，梯度适应的深度优势是真实的。其二，它不便宜也不优雅：每道题的推理成本是普通推理的成千上万倍（海量采样 + 训练步），这个突破证明的是「上限可达」，不是「路线可用」——把 TTT 的成本曲线降下来是后续工作的主战场（更小的适配模块、更聪明的更新策略）。

与持续学习的关系：一次性 vs 累积性

TTT 与持续学习（本库已有专篇）是「推理时学习」光谱的两端。TTT：为单一任务当场适配，用完即弃（权重丢弃，不留痕迹）——无遗忘问题、无积累。持续学习：跨任务累积知识与技能，对抗遗忘是核心矛盾。两者的中间地带是活跃方向：「测试时的更新要不要留下」——留下就是持续学习（下次遇到同类任务更快），丢弃就是 TTT（干净但无积累）；「留下什么」（全量权重 vs 压缩成 LoRA 增量 vs 提炼成可检索的技能库）是连接两者的设计空间。工程直觉的预测：未来 Agent 系统会有一个「经验沉淀层」（本库 Agent 工程的经验闭环主题）——TTT 的成果经过验证后被压缩沉淀为可复用资产，而非全部丢弃或全部保留。

边界与安全注意

TTT 的边界条件诚实列出。任务适配性：需要「示例能定义任务」的场景（格式变换、风格适应、小众领域适配）——开放性理解任务没有「示例可练」。安全面：推理时更新权重意味着用户数据进入梯度（训练数据污染的推理时版本）、结果不可复现（权重状态依赖更新轨迹）、以及恶意示例可能通过 TTT 注入行为（「提示注入」的升级版：「训练注入」）——多租户服务里 TTT 的隔离与审计是尚未成熟的基础设施问题。与 RLVR 的关系：测试时扩展的成功（o1/R1 范式）某种程度上「截胡」了 TTT 的动力——用推理算力就能解决的任务，何必用训练算力；TTT 的不可替代区在「推理算力买不到的适应」（表征层面的新形式），这个区在萎缩但存在。

测试时训练的安全面：训练注入的威胁模型

TTT 把梯度更新搬进推理路径，安全威胁模型随之升级——「提示注入」（prompt injection，污染上下文）的升级版是「训练注入」（污染权重）。威胁场景：多租户的 TTT 服务（为每个用户临时适配）里，恶意用户构造的「训练示例」可以把后门写进临时更新的权重——如果适配后的模型被用于该用户的其他请求（或更糟：权重被保存复用），注入的行为就跨请求存活。与传统提示注入的对比：提示注入影响单次推理（上下文即弃）、可被输入过滤拦截；训练注入影响「本次会话内更新后的所有推理」、过滤要在「训练数据」层面做（更难——恶意不一定是文本内容，可以是统计模式的毒化）。缓解的工艺清单：训练数据的同源校验（只允许用户自己上传的示例对，不混外部内容）、更新的作用域隔离（LoRA 模块按用户/会话隔离，绝不共享）、更新后的行为快照测试（用标准探针检测行为漂移）、以及默认不持久化（TTT 的成果用完即弃——正文的默认建议在此获得安全含义）。对平台建设者的建议：TTT 功能上线前，把「训练注入」写进威胁模型——它不是假设性的，提示注入的今天就是它的明天。

推理时的学习光谱：从 prompt 到权重的一个连续统

把 ICL、测试时扩展、TTT 放到一条光谱上，能看到「推理时适应」的完整设计空间。光谱的四站。零站（prompt 工程）：改输入，零适应。一站（ICL）：示例进上下文，激活层面的模式匹配。二站（测试时扩展）：算力换思考深度，知识不变。三站（TTT）：梯度更新，表征级适应。四站（重训）：全量训练，能力级变化。成本与深度的单调交换：从零到四，适应深度递增、成本与风险递增——工程决策就是「用最浅的站解决问题」。中间形态的涌现：光谱不是离散的台阶，混合形态在站与站之间生长——「ICL + 检索」（示例是检索来的，伪微调的密度）、「扩展 + TTT」（思考过程中对关键失败做微调再继续）、「TTT + 沉淀」（TTT 的成果压缩成 LoRA 入库，光谱的三站向四站部分演化）。Agent 系统的调度视角：一个成熟的智能体平台，理想形态是自适应地选站——简单任务零站、新格式任务一站、新表征任务三站，调度信号来自「任务的陌生度评估」。这张光谱图的元价值：它把「要不要训练」从二元决策变成连续决策——多数团队的资源错配（人人抢着做四站，没人深耕一、二站），本质是没看见这条光谱的中间地带。

ARC-AGI-2 与「推理评测」的攻防加速

TTT 出圈的 ARC-AGI 基准本身也在快速演化，ARC-AGI-2（2025）的调整揭示了「推理评测」的攻防节奏。v1 被攻破的方式：测试时扩展 + TTT + 海量并行采样（正文的组合拳）用「暴力 + 适应」刷高分——但它测的「新颖网格规则推理」被证明可以用「程序搜索」的蛮力绕过（生成的候选程序大量枚举），分数的含金量被质疑。v2 的设计反制：新版本刻意增加「需要真正的抽象（无法靠枚举规则绕过）」的题目形态——评测方与模型方的博弈显性化：评测在补「防作弊」的洞，模型在找「评测外」的路线，这与大模型评测基准篇（本库）的「分数会骗人」论断形成攻防实例。对从业者的两个启示。其一，任何单一推理基准的分数都不再可信，要看「跨基准的一致性 + 训练集污染检查 + 成本口径」（同分数下推理成本差千倍的两套方案，价值天差地别）。其二，「评测的防伪设计」正在成为新学科——评测工程（benchmark engineering）从附带工作变成推理竞赛的核心资产，谁掌握「不被刷分」的考卷，谁就掌握能力测量的话语权。ARC 的攻防只是一个开始，推理时代的一切评测都将经历这个循环。

小结

测试时训练是「不重训适应新任务」三兄弟里唯一真动权重的：ICL 靠激活、测试时扩展靠思考深度、TTT 靠当场梯度。机制是「把推理变成一次微型训练」（临时训练集 + 几步更新 + 用完弃留可选），ARC-AGI 的突破证明了它在分布外形式适应上的深度优势——代价是成千上万倍的推理成本与新生的安全问题（数据污染、训练注入）。与持续学习的关系是光谱两端（一次性 vs 累积性），中间的「经验沉淀层」是工程演化方向。TTT 的不可替代区在「推理算力买不到的适应」——这个区不大，但它是「推理时学习」的完整拼图里，唯一真正动梯度的一块。下一篇把视角拉到最远处：神经科学与 AI 的双向启发——两个学科怎么互相借脑子。