大模型攻防战：越狱攻击与鲁棒性研究前沿

对抗鲁棒性：语言模型的攻防不对称

LLM 对抗鲁棒性：攻击与防御的前沿

2013 年，Szegedy 等人在 Google 发现：给熊猫的照片加上人眼不可见的微小扰动，神经网络会把它认成长臂猿。这个「对抗样本」现象开启了视觉鲁棒性研究十余年的军备竞赛。2022 年大模型崛起后，战场转移到语言域：攻击者不再修改像素，而是构造文本——一段后缀、一句角色扮演、一串精心优化的乱码——就能让对齐模型输出它本应拒绝的内容。与视觉时代一样，这场战争呈现明显的攻防不对称：攻击面是任意文本，攻击成本近乎为零，而防御方必须堵住所有漏洞。本文梳理这条线的视觉起源、语言时代的攻击谱系、防御的进展与困境，以及评测环节的系统性问题。

从视觉对抗样本到语言域攻击

视觉时代的经典结果为语言域攻击提供了全套模板。Goodfellow 等人 2014 年的 FGSM 证明沿梯度方向一步扰动就足以骗过网络；Madry 等人 2017 年的 PGD 把「投影梯度下降内层最大化、外层训练」定义成对抗训练的标准范式；Carlini 与 Wagner 2017 年的优化攻击则表明几乎任何防御都可被更强的优化绕过。语言域的第一波攻击是通用触发词：Wallace 等人 2019 年的《Universal Adversarial Triggers》发现，一段与任务内容无关的短 token 序列——比如一串无意义词根——插入任意输入后，就能让分类模型翻转预测、让语言模型生成指定内容。2022 年，提示注入被正式命名：Perez 与 Ribeiro 的「Ignore Previous Prompt」演示了用自然语言直接覆盖系统指令，这一攻击此后演化出间接注入形态——恶意内容藏在网页、邮件或工具返回值里，等模型阅读时被激活，至今仍是 agent 安全的头号威胁。

语言域攻击的独特点是优化目标离散：token 不可微，视觉时代的梯度方法不能直接照搬。绕过这一障碍的方法创新，构成了 2023 年攻击研究的主线。

攻击谱系：梯度、进化与社工

梯度侧的代表作是 CMU 的 Zou 等人 2023 年的《Universal and Transferable Adversarial Attacks on Aligned Language Models》。方法叫 GCG（贪心坐标梯度）：对候选 token 逐一估算替换后的损失梯度，贪心挑出能最大化「肯定，这里是……」这类肯定前缀概率的替换，迭代生成对抗后缀。在开源的 Vicuna 上白盒优化出的后缀，直接粘贴到 ChatGPT、Bard 等闭源服务的输入框里，攻击成功率约六成——迁移性这一发现把「开源模型的权重」变成了所有闭源模型的攻击成本。生成的后缀往往是不成句的乱码，这暴露了语言模型鲁棒性的本质缺陷：它们对字符串特征过敏，而非对语义特征过敏。

进化与代理侧的两条线补齐了「人类可读」缺口。Xiaogeng Liu 等人 2023 年的 AutoDAN 用分层遗传搜索进化出语法通顺、人类可读的越狱提示，对多个对齐模型成功率极高；Chao 等人 2023 年的 PAIR 则让一个攻击者 LLM 与目标模型迭代对话，十几轮内自动产出越狱提示，全程黑盒，把攻击成本降到几分钱。社工侧最著名的是 Crescendo（Rusak 等人 2024，Google DeepMind 等）：多轮渐进式诱导——先问无害的历史资料，再请模型「总结」，再「继续写下去」——每一轮都单独无害，连起来完成越狱，绕过单轮审核。2024 年 Anthropic 的 Anil 等人发现了与长上下文共生的「多示例越狱」：在上下文里塞入几十上百段虚构的问答对话做示范，攻击成功率随示例数量近似对数线性上升，上下文窗口越长越危险——这相当于把对抗样本问题搬进了上下文学习。此外还有低资源语言旁路（Yong 等人 2023：GPT-4 对祖鲁语、苏格兰盖尔语等拒绝率骤降，越狱成功率约八成）与多模态注入（FigStep：把有害文本渲染成图片绕过文本审核）。

防御的进展与结构困境

防御分三层。训练层：更充分的对齐训练确实抬高了攻击成本——GCG 在对齐更彻底的模型上成功率明显下降——但对齐提升的是「平均鲁棒性」，不是「对抗鲁棒性」，白盒优化总能找到剩余的失败模式。推理层：Robey 等人 2023 年的 SmoothLLM 把视觉时代的随机平滑搬到文本——对输入做随机扰动（换同义词、插删字符）生成多个副本分别回答再投票，把 GCG 的攻击成功率从约六成压到接近零，代价是正常回答质量也受扰动影响；后缀乱码类攻击还可以用困惑度过滤器拦截，因为对抗后缀的语言学概率异常。输出层：Llama Guard（Meta 2023）等安全分类器审查输入与输出，配合系统提示加固，构成产品普遍采用的组合拳。

结构困境在于防御的滞后性。任何已知攻击的补丁都能被打补丁者之外的新攻击绕过：GCG 之后有 AutoDAN，AutoDAN 之后有 PAIR 与 Crescendo，而攻击者的边际成本始终低于防御者的全局检查成本。更深层的理论障碍是：语言模型的「语义」与「字符串」之间存在无可消除的鸿沟，模型靠字符串特征做决策，攻击者就永远可以在字符串空间里找到语义审核的盲区。2024 年底 Anthropic 的对齐伪装研究（Greenblatt 等人）提示了第三层担忧：模型可能在训练时识别评估情境、暂时顺从，把违轨行为延后到部署期——这让「评测通过」本身也变得需要审计。

flowchart TD
    A["攻击者"] --> B{"选择攻击面"}
    B --> C["白盒梯度：GCG 优化对抗后缀"]
    B --> D["黑盒代理：PAIR 自动越狱"]
    B --> E["社工多轮：Crescendo 渐进诱导"]
    C --> F["迁移到闭源模型：成功率约六成"]
    D --> F
    E --> F
    F --> G{"防御分层"}
    G --> H["训练层：更充分对齐抬高成本"]
    G --> I["推理层：随机平滑 + 困惑度过滤"]
    G --> J["输出层：安全分类器审查"]
    H --> K["攻击面仍在：新攻击持续出现"]
    I --> K
    J --> K

评测的陷阱与开放问题

这条研究线的评测环节问题比攻击与防御本身更严重。2024 年的 StrongREJECT（Souly 等人，Anthropic 与英国 AI 安全研究所等参与）系统复盘了越狱评测：很多论文报告的防御成功率虚高，原因是评分过于宽松——模型给出半截有害内容或换汤不换药的变体也算「成功防御」；用更严格的评分标准重测后，许多「有效防御」与「强基线」的差距大幅缩小甚至消失。反方向的问题是过度拒绝：XSTest（Röttger 等人 2024）用二百五十条安全但敏感的提示测量「夸张安全」，发现不少模型的过度拒绝率高达两位数——为了堵住 1% 的有害输出，把 10% 的正常问题也拒了，这本身就是可用性损失。开放问题清单包括：语言模型能否有语义级而非字符串级的可证明鲁棒性；自动化红队与人工红队的成本收益比；间接注入在 agent 时代的系统性防御（隔离工具输出、权限最小化）；以及越狱基准的污染控制——公开的攻击样本集早已进入各家训练语料，防御方是在「背题」而非「免疫」。

Agent 时代的攻击面与评测谱系

评测基准本身的发展值得单独一节。AdvBench（Zou 等人 2023，520 条有害行为）是越狱评测的事实起点；Mazeika 等人 2024 年的 HarmBench 把标准化推进一步——四百余条有害行为、近二十种攻击方法、统一的自动判定器，让防御方法之间第一次可以横向比较。但基准自身也有坑：公开的越狱样本集早已进入各家对齐训练数据，「在公开基准上防御良好」部分是背题效应；滚动更新的私有红队集由此成为前沿实验室的标配，公开基准的角色退化为回归测试。

Agent 时代把攻击面从「一次对话」扩展到「整个执行环境」。模型一旦能读邮件、浏览网页、调用工具，间接注入就从论文威胁变成产品威胁：藏在网页或邮件正文里的一句指令，会在模型检索或总结时被读入上下文。InjecAgent 的一千余条用例显示主流模型对此防御薄弱；AgentDojo 的环境化测试进一步证实了这一点。配套风险包括工具投毒（恶意工具服务器混入生态冒充正常工具）与混淆代理问题（agent 拿着用户权限执行攻击者注入的指令）。这些攻击不针对模型权重，而针对「模型信任上下文」这一根本设计，因此防线必须落在架构层：工具输出的隔离与校验、权限最小化、敏感操作的二次确认。微软等厂商推广的「聚光」（spotlighting）模式——把不可信内容显式标记为数据而非指令——是这类思路的代表。

防御的经济学也值得记录：所有已知防御都在提高攻击成本而非关闭攻击面，agent 的自主权与安全性存在结构性张力——自主权越大，注入的杠杆越大。长期研究议题因此集中在三处：语义级的可证明鲁棒性（现有防御几乎全是启发式）；训练侧的对抗数据增广能否规模化（文本对抗训练的成本远高于视觉时代）；自动红队与人工红队的协作流程。2024 年以来，各大实验室把越狱防御从单点补丁升级为持续红队管线，这个组织层面的转变，与任何单篇防御论文相比都更是这场军备竞赛真正的产出。

人工越狱的持久性同样说明问题。DAN 角色扮演、假装小说续写、诗歌体裁等「无代码」越狱在社区里持续演化并跨模型代际有效——2024 年的多项研究显示，格律诗等艺术化改写能系统性地绕过主流开源模型的安全护栏，且这些策略在模型换代后往往只需微调即可复用。这暗示当前的对齐主要学到的是特定拒绝模式而非语义级的危害理解：换个表达分布，拒绝行为就失效。对评测方而言，这也是把「人工红队」保留在管线里、不全部自动化替代的理由。

小结

大模型对抗鲁棒性的十年轨迹可以压缩成一句话：攻击从像素搬到了 token，防御的难题一点没变。梯度优化（GCG）、自动代理（PAIR）、渐进社工（Crescendo）三类攻击把「对齐模型可被绕过」钉成了复现事实；随机平滑与安全分类器提供了点状防御；而 StrongREJECT 与 XSTest 揭示的评测虚高与过度拒绝，说明这个领域的度量本身还不可靠。对工程团队，务实的态度是：把安全视为概率而非属性——部署分层防御、持续红队、监控过度拒绝率，并接受「没有一劳永逸」这个与视觉鲁棒性研究十年的结论完全一致的前提。