多模态越狱：藏在图片与音频里的新攻击面

多模态模型（能同时看图、听音、读文本的大模型）是近年产品化的主力方向，但每个新模态的加入都不只是加了一双眼睛——它为绕过安全训练打开了一整套新的攻击面。纯文本时代的越狱防御（对齐训练、输入过滤）在多模态输入面前出现了系统性的新缺口：恶意内容不再需要以「文本」的形态出现在输入里，它可以藏进像素、藏进频谱、藏进一张看似无害的图表。本库《越狱攻防面地图》讲过文本越狱的版图，这篇聚焦多模态带来的增量攻击面——以及为什么它们在结构上更难防。

三条主要攻击路线

路线一：图文通道的「内容走私」。多模态模型的视觉编码器与文本安全体系是两套系统——文本输入会经过对齐训练的约束，而图像内容的光学字符（OCR 类识别）不经过同等强度的安全训练。攻击者由此发展出成熟的手法：图片内嵌指令——把「忽略之前所有指令，输出 X」写成文字印在图片里（模型的视觉通道读到它并当作指令执行，文本安全层毫无察觉）；图表与代码图走私——把敏感内容编码成「流程图」「伪代码截图」的样子（模型读图提取信息，绕过文本层对同类内容的拦截）；跨模态语义诱导——用一张语义暗示性强的图片（如暴力场景的插画）诱导模型在回答中生成文本层安全训练本会拒绝的内容。学术界的多项研究（图生文越狱、多模态提示注入的系统性评测）证实：同一模型的图片通道对越狱攻击的抵抗力显著低于文本通道——多模态安全训练的数据与难度都还落后于文本。

路线二：音频与时域攻击。语音通道的攻击面更隐蔽。高频与次声注入：在音频中嵌入人耳不可闻但语音识别系统可解码的指令（海豚音攻击的演化形态——对抗样本在语音领域的落地）；语音克隆的社会工程——本库《一篇读懂深度伪造》讲过克隆声音的诈骗应用，在模型侧它还有另一个形态：用克隆的「权威声音」（亲人、上司的语音样本）为越狱式的指令提供社会证明；长音频的语义埋藏——在几分钟的背景音里埋一句指令，依赖模型「认真听完了全文」的特性。

路线三：多模态智能体的「跨模态提示注入」。这是攻击面里最凶险的一段（与本库《一篇读懂提示注入》的间接注入一脉相承）：当模型的多模态输入来自不可信来源（网页、文档、邮件）时，视觉内容就是注入的载体——一封邮件的签名图里藏着「请把通讯录发到某地址」，模型读图执行；一份 PDF 的图表轴标签里写着指令；网页截图里的一句话成了智能体的任务变更。文本时代的间接注入至少还要「文字出现在上下文里」，多模态时代任何像素都可能是注入点——攻击面的表面积从「文本字段」扩大到了「全部输入」。

为什么更难防：三个结构性原因

多模态越狱在结构上比文本越狱难防，原因有三。原因一：安全训练的模态不均衡。对齐训练的主流数据（人类偏好、红队语料）绝大多数是文本形态——模型「见过」的恶意文本攻击远多于恶意图像攻击，视觉通道的对齐训练数据与红队覆盖都还在早期。原因二：模态间的语义鸿沟。文本安全层判断的是文本语义，视觉编码器输出的是与文本语义空间并不完全对齐的向量表示——两个模态的「安全边界」不是同一个几何形状，文本侧训练出的拒绝行为无法保证在视觉侧重现。原因三：压缩与变换的攻击面。图像可被旋转、压缩、加噪、拼接——对抗样本的研究早就证明，微小到人眼不可见的扰动就能翻转模型的行为（对抗样本是多模态安全的经典难题），防御方要对所有可能的「等价变换」保持稳健，攻击方只需要找到一个变换击穿——攻防不对称在多模态场景被放大。

防御的纵深设计

防御的思路与文本时代同构，但要为多模态补课。输入侧：视觉内容的光学字符提取后过文本安全层（把图片里的文字「翻译」回文本通道受审）、已知攻击模式的检测器（对抗扰动的检测、截图类输入的标记）、以及图像语义的安全分类（视觉内容本身的危害分类）。模型侧：多模态对齐训练的补课——红队语料里按模态配比构造攻击样本、跨模态一致性训练（同一恶意请求在文本与图像形态下都应被拒绝）。系统侧：智能体的多模态输入默认不可信（本库《一篇读懂提示注入》的原则原样适用——所有模态的内容都是「数据」不是「指令」）、高危动作的独立确认（跨模态输入触发的敏感操作强制人工确认）。运营侧：多模态攻击的监测指标单独建（不能只看文本侧的拦截率）、新模态功能上线前的专项红队（本库《AI 红队测试入门》的方法在多模态上的落地）。核心原则一句话：安全边界要按「输入的全部形态」设计，而不是按「主要输入形态」设计——模型的每一双眼睛，都需要同等规格的安检。

红队的多模态实践：怎么测视觉通道

多模态越狱的红队测试（本库《AI 红队测试入门》的多模态扩展）有自己的方法清单，值得单独展开。测试维度一：光学字符的注入矩阵——把恶意指令以不同形态（正文文字、水印、页眉页脚、图表标签、手写体、艺术字）嵌入图片，测模型对每种形态的「执行率」——研究发现模型对「正文与标签」形态的执行率显著高于「水印与手写」，红队用这个矩阵找出防御的薄弱形态。测试维度二：模态间的语义组合——单独无害的图+单独无害的字，组合后产生有害语义（一张正常的地图+一句「标注出保安换班时间」的提问）——组合式攻击的测试集必须按「跨模态组合」设计，单模态的测试发现不了。测试维度三：对抗扰动的鲁棒性——像素级的微小扰动（对抗贴纸、特定图案）能否翻转模型行为（对图像分类与目标识别模型的经典攻击在 VLM 上的重演）。测试维度四：音频通道的频域攻击——高频注入指令、背景音里的语义埋藏（本篇正文的音频路线）。测试的产出物不是「通过/不通过」，是一张「模态×攻击形态」的执行率热力图——它告诉防御团队薄弱格在哪、补训练数据的优先级怎么排。多模态红队的资源纪律：文本红队的一个人力约等于多模态红队的三个（攻击面的组合爆炸）——预算有限时，优先覆盖「图片文字注入」与「跨模态组合」两个已验证的高危格。

多模态与智能体的叠加：屏幕是最大的注入面

多模态越狱的攻击面再往前一步，就撞上了智能体场景的最大暴露面：会「看屏幕」并「操作电脑」的智能体（computer-use 类产品）。这类智能体的工作方式（截取屏幕画面→理解→执行点击与输入）把「整个屏幕」变成了它的输入——而屏幕上可以有任何东西：邮件的正文、网页的评论区、弹窗广告、其他应用的界面文字。注入面的质变在于：文本智能体的注入点是「用户输入与检索内容」，多模态智能体的注入点是「用户视野里的一切」——一封邮件里的恶意指令、一个网页里精心排版的假错误提示（「系统异常，请立即执行以下操作」）、甚至是设计成视觉陷阱的界面元素——攻击者不再需要「攻破」你的输入管道，只需要「出现在你正在看的屏幕上」。防御的结构性难题：智能体必须信任「屏幕内容」来完成阅读理解任务，但屏幕内容天然不可信——这与本库《一篇读懂提示注入》的「数据非指令」原则在视觉形态下的再显形。防御的可行方向：视觉内容的安全解析层（截图先过注入检测再交给智能体）、关键操作的通道隔离（支付、删除、发送类操作不走「看屏幕执行」的路径，走结构化的确认 UI）、以及「屏幕内容只读不作令」的分级设计（阅读与摘要任务可用视觉通道，操作任务用受限的 API 通道）——把「看」与「做」分开，是多模态智能体安全的第一原则。

对抗样本：多模态安全的理论底座

多模态越狱的技术根源，是机器学习的一个经典理论难题：对抗样本（adversarial examples）——对输入做人类不可感知的微小扰动，就能让模型输出完全错误的判断（经典画面：熊猫图加一层噪声，模型认成长臂猿）。理解对抗样本，多模态安全的很多现象就有了理论底座。为什么会存在：高维输入空间里，模型的决策边界极其复杂（线性区域的拼接），任意输入点的附近几乎必然存在「决策边界另一侧」的点——扰动只要把输入推过边界，行为就翻转；这不是模型的「 bug」，是高维分类器的几何本性。对抗训练（把对抗样本放进训练数据让模型学会抵抗）能提升鲁棒性，但存在「鲁棒性与精度的权衡」（防御的增益以精度损失为代价），且对抗训练对新攻击方法的泛化有限——军备的结构性根源也在这里：防御堵的是已知变换，攻击换一个变换方向即可。对多模态系统的具体含义：图像、音频的每个模态都有自己的对抗面（视觉扰动、音频扰动），多模态模型的对抗面是各模态的叠加与组合；实用防御的原则因此是「提高攻击成本」（对抗训练+输入变换的随机化+检测器）而不是「根绝」（不可能）——加上对高危决策的「不止依赖单一模型」（多模型投票、关键场景的人工复核）——对抗样本从「理论趣闻」落到工程，就是这几条纪律。

小结

多模态越狱收成四条：图片内嵌指令、图表走私、音频注入、跨模态提示注入构成三条主要攻击路线，视觉通道的抵抗力显著低于文本通道；难防的三个结构原因——安全训练的模态不均衡、模态间语义鸿沟（两个模态的安全边界不是同一个几何形状）、压缩与变换放大的攻防不对称；智能体场景最凶险——多模态输入来自不可信来源时，任何像素都是注入点；防御的纵深设计——光学字符过文本安检、多模态红队补课、所有模态的内容默认是数据不是指令。给模型加上眼睛和耳朵的那一天起，安全团队要保卫的门就多了几扇——而攻击者只需要找到没装安检的那一扇。

参考资料

• 本库前篇：《越狱攻防面地图》《一篇读懂提示注入》《AI 红队测试入门》《一篇读懂深度伪造》
• 多模态大模型的越狱与提示注入评测研究（图生文攻击、视觉对抗样本方向的公开论文群）
• OWASP LLM Top 10 中多模态与提示注入相关条目