AI 资讯 知识库 智能体生态观察智能体生态观察 · 第 63 篇|智能体安全评测:红队、越狱基准与自动化攻击面发现

智能体生态观察 · 第 63 篇|智能体安全评测:红队、越狱基准与自动化攻击面发现

新车上市前要撞毁几十辆样车:正面碰撞、侧面柱撞、偏置碰撞,用毁掉的车换量产车的安全。智能体上线前要回答同类问题——多少人、多少台机器试图攻破它,它能撑多久。安全评测不是「有没有漏洞」的一次性问答题,而是攻防双方持续多年的军备竞赛;这一轮竞赛的新变量是,攻击方也开始用智能体。

手绘信息图:红队与智能体的对抗图——攻击方三张卡片(人工红队、自动化模糊、模型攻击模型)对上防守方三张卡片(越狱基准、权限沙箱、披露流程)

攻击面盘点:智能体比聊天机器人多出什么

聊天机器人时代的安全考题——越狱——原样继承到了智能体身上:绕过安全策略,诱导模型输出违规内容。但位置变了:对聊天机器人,越狱是终点,骗到话术就收工;对智能体,越狱常常只是起点,攻破对话防线之后,真正的目标是后面那排工具——查库、发件、转账。考题从「让模型说错话」升级为「让模型做错事」。

智能体多出的攻击面,核心是「内容变指令、指令有权限」。工具滥用是第一种:攻击者不需要绕过权限,只需要把合法工具串成恶意序列——查报表、转文件、发邮件,每一步单独看都合规,连起来就是一次数据窃取。数据外传是第二种:外传通道藏在工具参数里——URL 的查询串、文件名、邮件正文、代码提交信息,都能把敏感数据带出边界;截获方甚至不需要很高明,一个回调链接就够了。外传测试的难点是「出口清单」的完整性:能联网的工具、能写文件的工具、能生成链接或二维码的工具,每一个都是潜在出口——清单漏一项,考题就漏一片。

第三种面常被忽略:成本攻击。诱导智能体进入工具调用循环、批量发起昂贵请求、撑大上下文,攻击者没拿到数据,却让你的推理账单爆炸——资源本身成了攻击目标。此外还有供应链的一面:第三方工具与依赖包的描述文本同样会被模型阅读,来源不可信的工具箱等于给攻击者递了话筒。把攻击面列成评测的设计图是防守的第一步:越狱测对话防线,注入测内容通道,滥用与外传测权限编排,成本攻击测资源护栏——每一面都得有对应的考题,缺一面就是盲测。

攻击面 考题目标 典型考法
越狱 对话防线 变体话术轮番试探
工具滥用 权限编排 合法工具串成恶意链
数据外传 出口管控 参数夹带敏感数据
成本攻击 资源护栏 诱导调用循环

编排逻辑本身也是攻击点。多步任务里,先做哪步、条件分支怎么走、失败后怎么退,这些编排决策可能来自提示词、可能来自代码,也可能来自模型临场判断——三者都可能被输入内容操纵。评测因此不能只测模型,还要测编排:给一份精心构造的输入,看整个工作流会不会被引到预设计的分支上。模型经得住考验、编排经不住,系统照样沦陷。

攻击面的公式变了:聊天机器人的攻击面是内容,智能体的攻击面是内容乘以权限——评测的覆盖目标,也要按乘积来设计。

三种红队形态:人工、模糊与模型打模型

第一种是人工红队:资深安全研究员拿着系统文档与真实业务上下文,设计针对性的攻击链。深度无出其右——能发现「只有理解了这个业务,才会想到这样组合工具」的漏洞;成本也最高,人天计价,覆盖面窄,容易疲劳遗漏。适合上线前的关键节点、高危权限变更之后,以及自动化手段反复扫不出而直觉说「有问题」的场景。人工红队还有一项不可替代的产出:威胁模型的修订——哪些资产值得防、哪些链路最脆弱,专家的判断会重排整个防御优先级。

第二种是自动化模糊测试:以已知攻击模式为种子语料,程序化变异出成千上万条变体,向目标倾泻。覆盖面广、单条成本低、可常驻回归——守住「已发现的漏洞不复发」这条线主要靠它。盲区同样清楚:变异是浅层的,需要多步推理、随机应变的组合攻击,洪水利不出来;语料之外的新攻击模式,它发现不了。

第三种是模型攻击模型,也是近年演进最快的形态:攻击模型负责生成、分析、改进攻击,甚至自己也装备上工具——读目标系统的公开文档、探测接口、把失败结果回炉再攻,成为一支不知疲倦的攻击智能体队伍。它把「覆盖」与「深度」的折中向前推了一格:变异是盲的,攻击模型是会看结果的。风险是同源盲区——攻防两侧若用同家族模型,攻击者看不见的坑,防守者多半也看不见,异构部署因此是基本原则。

自动化还在改写攻击的成本曲线。单次攻击的边际成本被压到近零之后,攻击次数本身成了新变量——过去假设攻击者试几十次,现在要假设试几万次;防守设计要按攻击次数的分布来算,而不是按「高水平攻击者一次得手」的旧剧本。次数上去了,组合攻击的出现概率随之上升,多步链式攻击从罕见变成常态。

形态 成本 覆盖面 擅长 盲区
人工红队 高 窄 深度业务链攻击 疲劳与个人遗漏
自动化模糊 低 广 已知模式回归 多步组合攻击
模型攻击模型 中 中高 自适应多步攻击 同源模型共享盲区

三种形态是分工不是替代:人工找纵深,模糊守回归,模型攻模型填中间地带——成熟的安全评测三线齐备。

三线如何编成一个作战日历?实务节奏是:人工红队钉在版本大节点与新工具接入之前;自动化模糊常驻流水线,每次变更后全量回归;攻击模型队伍每日深夜跑长周期探索,产出的可疑样本交人工裁决,确认为真攻击的进回归集。攻击面清单每变更一次,三条线的任务就刷新一次——安全评测跟着系统变更走,而不是跟着日历走。

防守的基建:体检、沙箱与披露

防守侧的第一件基建是越狱基准的例行体检。公开基准让「抗越狱」第一次有了可比口径——固定攻击集、公开判分规则,模型与系统可以横向对比;但公开基准只回答「已知攻击防得如何」,私有攻击回归集回答「我们自己这边出现过的攻击还会不会复发」。两条腿缺一不可:每次换模型、改提示词、加工具,例行体检就要重跑一遍——安全不是一次性达标,是持续经营。

体检本身也有工程细节。判分自动化是规模化的前提——安全与不安全的裁决常由裁判模型完成,但裁判会误判,需要抽样人工复核来校准;公开基准还有过拟合的暗坑:攻击样本公开后,各家针对性加固,分数节节攀升,对新变体的抵抗力未必同步上涨。读基准分数要带一句追问:这个成绩是背过题库的,还是没见过题目的?

第二件基建是权限沙箱,评测视角下的意义要重新表述:它不降低被攻破的概率,降低的是被攻破之后的损失。红队演练的正确姿势因此是两手都测——一手测突破概率,一手假设突破成功、测爆炸半径:攻击得手后能读到什么、能改动什么、能外传多少。爆炸半径的测试结果直接反哺权限设计:哪些工具该收回、哪些操作该加人工确认,答案都在演练报告里。

第三件基建是漏洞赏金与披露流程。主要模型厂商已运行面向 AI 安全的漏洞赏金计划,把外部研究者的发现纳入修复轨道;企业侧则需要自己的披露流程——发现、确认、修复、致谢、样本入库。最后一步常被跳过却最有价值:每一枚真实攻击样本入库进回归集,模糊语料就厚一分,下一次体检就准一分。攻击是免费的老师,拒绝收下学费的是自己。

attack_case:  # 回归集攻击用例的最小记录结构(示意)
  id: AT-2041
  vector: tool_chain_abuse       # 越狱 / 注入 / 工具滥用 / 外传 / 成本
  entry: "伪装成客户附件的指令文本"
  steps:
    - "读附件触发注入"
    - "诱导调用导出工具"
    - "外发到攻击者回调地址"
  expected_guard: exfiltration_blocked
  last_result: blocked           # blocked / leaked / partial
  added_by: manual_redteam       # 人工 / 模糊 / 攻击模型
flowchart LR
  A1["人工红队:深度链路"] --> D
  A2["自动化模糊:变异洪水"] --> D
  A3["攻击模型:自适应生成"] --> D
  D{"评测与修复"} --> D1["越狱基准例行体检"]
  D --> D2["权限沙箱:压缩爆炸半径"]
  D --> D3["漏洞赏金与披露流程"]
  D3 -->|"攻击样本回流"| A2

防守基建的三件事构成闭环:体检发现已知,沙箱限制未知,披露把新的已知送回体检——闭环转得越快,防线越新。

生态观察:攻击成本在降,防守必须自动化

生态正在形成一个新共识:通用越狱库对智能体不够用。为聊天机器人积累的数千条通用攻击,测的是「会不会说出违规内容」,而智能体的真实风险藏在业务上下文里——攻击要绑定具体的工具、数据与工作流才有效。面向智能体的情境化红队随之兴起:先解析目标系统的工具清单与数据流,再生成针对性攻击链,这已是安全厂商近一年的产品叙事(截至 2026-11)。

红队服务在快速商业化:安全厂商开出智能体红队产品线,传统渗透测试公司把智能体系统纳入标的,自动化攻击平台以订阅制售卖「持续对抗」。买方侧同步变化:企业采购把安全评测写进需求书,「上一次红队是什么时候、发现什么、修了什么」成为选型必答题。安全评测从研发环节的内部实践,变成交易环节的信用凭证——这个位置变化的影响,比任何单项技术都深远。

监管侧的绳索也在收紧:对高风险场景的 AI 系统,上线前的安全评估与持续监控正在从最佳实践变成合规要求,安全评测报告随之成为递交审计与监管的材料。对厂商与采购方,这意味着同一份红队报告要能同时回答两个问题——工程上修没修,合规上过没过;报告的可追溯性因此与攻击覆盖面同等重要。

终点形态大概率是自动化对自动化:攻击方全自动化之后,靠人肉更新防线的队伍注定跟不上节奏;人的价值向两端转移——一端设计攻击面与威胁模型,一端裁决漏洞真伪与业务影响。对多数团队的现实建议是:不必自建攻击模型,但要接入自动化的例行体检,并把人工红队留给版本大节点——军备竞赛的入场券是自动化,VIP 席位才是人。

攻击成本在降,防守必须自动化——这句话是安全评测领域未来几年的主旋律。

小结

安全评测是军备竞赛,终点是自动化对自动化。攻击面按「内容乘以权限」重新盘点,考题跟着攻击面走;三种红队形态分工协作——人工找纵深、模糊守回归、模型攻模型填中间;防守基建三件套构成闭环——例行体检、沙箱限损、披露回流。判断一个团队的安全成熟度,可以只问三个问题:攻击面清单全不全,体检跑得勤不勤,爆炸半径测过没。如果都答得上,说明这套系统已经把「会被攻击」当作常态在经营;如果答不上,当下最便宜的保单,是把已知攻击样本先跑一遍——连已知的都没挡住,谈未知为时过早。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?