结论先说:AI 安全论证的价值不在于证明“模型绝对安全”,而在于把一个有边界的判断写成可审查的理由链——针对什么系统、什么用途、什么环境,提出哪些可检验主张,凭什么证据支持,哪些假设仍未验证。它不是模型卡的改写,也不是把风险框架的清单再抄一遍;它是连接风险、控制和部署决策的论证工件。若关键前提改变,论证就必须重审,而不能靠原来的签字永久背书。

安全论证回答“在什么条件下可以接受”
所谓 assurance case(保证论证),是围绕系统某项性质建立的结构化主张、论证与证据集合。英国信息专员办公室(ICO)的 AI 指引将它描述为支持系统具备所需性质的结构化材料;NIST 的结构化保证案例报告进一步解释,顶层主张会分解成子主张,由论证说明子主张为何合起来支撑上层判断,再由证据落到具体事实。安全论证(safety case)只是面向安全性质的一种 assurance case;“论证”强调的不只是附上测试报告,而是解释报告与主张之间的推理关系。
因此,“这个模型是安全的”不是合格的顶层主张。它没有说明“模型”究竟包括什么、何种用途算安全、面对谁、在什么环境、接受何种剩余风险。可以审查的写法应类似:“版本 X 的客服 Agent,在只能读取订单且退款须人工确认的配置下,用于已认证的内部客服人员;针对错误退款、越权读取和敏感信息外发等已识别危险,现有控制与证据足以支持本次限定范围的试运行。”这仍不表示没有风险,只是把论证对象限制到可判断的情境。
边界需要覆盖的不仅是基础模型,还包括系统提示、检索索引与文档来源、应用代码、工具、权限凭据、用户类型、人工流程、下游服务和监控响应。对 Agent 来说,模型可能只生成一条工具调用建议,真正的安全边界还包括谁授权、调用前校验什么、执行后能否撤销,以及外部系统如何处理副作用。若论证只测了模型文本输出,却把生产系统的邮件发送或退款能力排除在外,结论不能外推到整个产品。
危险识别也不能停在“模型可能幻觉”。要写出具体的危险状态和因果链:例如外部知识库里的恶意指令被模型当作操作要求,Agent 继而用具有宽权限的工具向错误收件人发出包含客户资料的邮件;或者模型漏掉关键字段、操作员把生成结果当成已核实事实,造成资金误付。由此可以反推安全约束、责任边界和需要的证据。危险分析关注的是系统如何造成伤害,而不是只数模型输出里出现了多少不良词语。
一个最小的主张图可以这样表达。上下文和假设应显式挂到相关子主张上,而不是藏在文档脚注里。
flowchart TD
C[顶层主张:指定用途与环境下风险可接受] --> A[论证策略:按危险与控制分解]
A --> C1[主张:边界与危险覆盖充分]
A --> C2[主张:预防控制能限制风险]
A --> C3[主张:检测、升级和恢复可运行]
C1 --> E1[系统架构、威胁与危险分析]
C2 --> E2[权限测试、回归评测、配置审查]
C3 --> E3[告警演练、人工流程与事故记录]
X[上下文:版本、用途、用户、部署环境] -.限定.-> C
D[反例与未解决问题] -.挑战.-> A
这张图不是“证书”。它只是让审查者看见顶层主张如何被分解、每条边是否有理由,以及哪个上下文限定了结论。英国 AI 安全研究所(AISI)也强调,安全论证应针对训练或部署情境,而不是一份适用于所有模型与场景的通用声明。
把危险拆成能被证据回答的子主张
从顶层主张往下拆,常见的结构是 Claim–Argument–Evidence(主张—论证—证据,CAE)。主张是可被反驳的陈述;论证说明为何选这些证据、证据如何支持主张、推理在哪些条件下成立;证据则是可追溯的测试结果、配置、审查记录、运行数据或其他可复核材料。Goal Structuring Notation(GSN)可把主张表示为 Goal、把论证策略表示为 Strategy、把证据表示为 Solution,并用 Context、Assumption、Justification 等节点说明背景与前提。符号有助于看清结构,但画出树形图不会自动让论证有效。
以订单客服 Agent 为例,可以沿着危险链拆出三组主张。第一,系统边界和危险覆盖了外部文档、用户输入、检索内容、退款工具及人工确认点;证据可包括架构图、数据流图、危险分析和审查过的使用场景。第二,关键预防控制在所定义环境中有效;证据包括工具权限与租户隔离测试、输入输出边界案例、误操作回归测试,以及对工具参数的服务端校验。第三,残余风险被及时发现并能止损;证据包括告警演练、撤销或补救流程、值班人员可达性和事件响应记录。要支撑“人工确认确实限制退款”,不能只提交一份政策;还要证明生产配置强制经过确认、确认者有足够信息,且测试没有绕过路径。
论证中必须显式写出上下文和假设。例如:订单数据来自已认证服务;客服身份与租户映射正确;退款 API 的权限不会在服务端被放大;高风险请求能在规定时限内转交人工;运行版本与评测版本一致。每个假设都要问:若它为假,是否会使危险控制失效?是否有验证它的证据?由谁持续确认?若没有答案,就应作为开放问题或残余风险,而非写成“默认成立”。
证据至少要经过五个维度审视:
| 维度 | 审查问题 | 常见薄弱点 |
|---|---|---|
| 相关性 | 证据是否针对这条主张、这个版本和这个使用场景? | 用通用基准替代产品真实配置 |
| 覆盖性 | 测试是否触及已识别的输入、用户、工具和失效条件? | 只测平均用例,危险路径未进入样本 |
| 可靠性 | 方法、标注、测试环境和复现方式是否可信? | 测试集或评审规则不透明、结果不可复跑 |
| 独立性 | 证据是否来自独立方法或团队,还是重复同一假设? | 多份报告实际共享数据与测试脚本 |
| 时效性 | 证据是否仍对应当前模型、策略、索引和部署? | 模型更新后仍沿用旧结果 |
安全证据不只有“通过”一类。经验测试说明在给定样本和条件下观察到什么;形式化或数学论证可支持某些性质,但前提和系统边界必须明确;概念论证解释方法为什么可能有效;运维证据说明监控、权限和应急程序真实存在。负面证据同样重要:红队未能突破某项控制,只有在测试范围、攻击者能力、时间、激励和复现过程足够清楚时才有意义。AISI 指出,失败的攻击尝试本身不能证明安全,论证还需要支持“这次搜索有能力发现问题”。不同来源互相独立、覆盖互补,通常比把同一套基准重复跑很多次更有说服力。
证据强度不是文件厚度:检验反例并维护论证
常见失误是把“有证据”误当成“证据足够”。一百页测试报告也可能只覆盖狭窄样本;一个显著的通过率也可能由不代表部署情境的数据得出。NIST 的早期结构化保证案例报告把“什么证据足以支持主张”“如何评价证据质量”“拆分到什么粒度”列为仍需处理的问题。近年的 AI 安全论证研究也指出,前沿模型的能力与失效机制变化快,许多论证仍是草图而非经充分验证的安全证明。AISI 的说明明确承认,目前还不能为显著更先进模型的严重风险构建高置信完整论证;2026 年 IASEAI 的安全案例研究则呼吁提高论证对反例和证据缺口的处理能力。
所以审查不应只问“支持证据有哪些”,还要问“什么情况会推翻它”。对于“工具访问被限制”的主张,反例包括:某个角色权限继承错误、模型通过另一条 API 完成同样动作、撤销权限后已有令牌仍有效、测试环境与生产环境配置不一致。对每个反例,要么拿出反证或缓解措施,要么收窄主张并记录残余风险。可以给每项证据附上来源、生成时间、系统版本、测试配置、数据集版本、覆盖边界、负责人和失效条件,使审查者能追到原始材料,而不是仅相信汇总分数。
论证应从设计阶段开始累积,但不能被当成一次性合规作业。模型权重或服务商变化、系统提示修改、检索源扩张、工具权限增加、用户群改变、阈值调整、线上事故或漂移告警,都可能使一条子主张失效。较实用的方式是维护“变更—主张—证据”映射:每次发布先判定哪些假设受影响,再决定重跑哪些测试、更新哪些证据,最后由有决策权的人确认能否继续运行。对证据不足的部分,结果可以是限制功能、灰度试运行、增加人工确认,或者暂缓部署;不应为了让论证图闭合而把未知写成已证实。
在高速变化的系统里,论证还要有监控和复审条件。运行指标不是把离线测试搬到线上,而是检查关键假设有没有被现实打破:异常工具调用是否上升、用户与数据分布是否偏移、人工驳回是否集中于某类场景、告警是否有人响应。重要的是预先规定触发条件和处置路径。若只有仪表盘而无值班责任、停机权限和复测安排,证据链在部署后就断了。
与模型卡和安全框架分工
| 工件 | 主要回答 | 典型内容 | 不能替代什么 |
|---|---|---|---|
| 模型卡 | 这个模型如何开发、评测,适用于哪些用途? | 模型用途、评测过程、性能和限制说明 | 不能单独证明某个集成应用在具体环境中风险可接受 |
| 风险管理框架 | 组织怎样持续识别、评估和管理 AI 风险? | 治理流程、风险识别与管理活动 | 流程被执行不等于某项系统安全主张已得到证据支持 |
| 安全论证 | 为什么这个系统在限定的用途和环境下可接受? | 主张、推理、证据、假设、反例与未决风险 | 不能靠图表本身消除风险,也不自动构成认证 |
Model Cards for Model Reporting提出用模型卡披露模型的预期用途、评估情境、性能和限制,属于模型层的透明报告。美国国家标准与技术研究院(NIST)的AI 风险管理框架则是自愿采用的组织级风险管理资源。两者与安全论证可以相互提供材料:模型卡的限制和评测结果可成为证据,风险管理过程可帮助确定危险、责任和监测活动;但论证必须进一步说明这些材料为何支持“这一集成系统在这一部署情境下”的主张。
反过来,安全论证也不应被当成模型卡或风险框架的替代品。模型卡能让采购方先看模型本身的适用边界;组织框架能保证风险管理不是某个工程师的临时工作;安全论证则把某次部署决策所依赖的证据和推理留档。三者组合,才能避免“文档很多但没人知道凭什么上线”。
小结
安全论证不是“安全证明书”,而是有边界、可质疑、随系统变化更新的工程判断。主张必须具体到系统、用途与运行环境;危险分析要覆盖模型之外的工具、数据、人员和组织条件。
可信度来自主张、推理和证据的连贯,而非材料数量。要同时检验正面证据与反例,记录证据适用范围、质量和时效,把假设和未解决问题摆到台面上。
模型卡、风险管理框架和安全论证各司其职:描述模型、组织过程、部署理由不能混为一谈。任何关键变更都应触发影响分析和证据更新;当证据不足时,限制部署本身也是合理的安全决策。
参考资料
- ICO:Argument-based assurance cases — AI 场景下主张、论证、证据、上下文与生命周期治理的说明。
- NIST:Software Assurance Using Structured Assurance Case Models — 介绍结构化保证案例、GSN 及证据充分性难题。
- AISI:Safety cases at AISI — 讨论前沿 AI 安全案例的情境化证据、红队和未决不确定性。
- OpenAI:Towards safety cases for frontier AI training — 说明安全案例在前沿训练中的初步实践与适用范围。
- Mitchell et al.:Model Cards for Model Reporting — 模型卡的报告目标与内容范围。
- Feakins et al.:Clear, Compelling Arguments: Rethinking the Foundations of Frontier AI Safety Cases — 对前沿 AI 安全案例论证基础与反例处理的批评性讨论。
读者留言
COMMENTS 暂无还没有留言,来说第一句?