结论先行:先问系统怎样造成损失,再挑分析方法
AI 系统危害分析不是给模型打一个笼统风险分,也不是把治理框架里的「风险识别」换个名字。工程团队要先界定系统边界和利益相关方,再写明不可接受的损失、会导致损失的危险状态,以及系统必须遵守的约束;之后用 FMEA 找组件/流程可能如何失效,用 STPA 检查控制关系里是否出现不安全动作与反馈缺口。两者解决的问题有重叠但不相同,不能只按表格是否方便来选。
落地时需要一条可追溯的关系链:每个 hazard 都对应至少一个预防或缓解控制,每项控制都有证据、负责人、失效信号和复审条件。风险矩阵或风险优先数可以帮助团队对话和排序,却不能把缺少数据的概率变成精确事实,也不能以低分覆盖后果严重、不可逆或难以及时发现的场景。与库内 AI RMF 或安全框架文章的分工是:框架回答组织如何持续治理;本篇聚焦工程团队怎样用 FMEA 和 STPA 展开一次具体危害分析并维护控制。
建立边界:从业务损失推导危险与安全约束
安全分析先定义「分析对象」,否则风险条目会在模型、应用、员工行为和组织责任之间漂移。对 AI 系统而言,边界通常不能只画出模型 API:还要包含输入来源、提示与策略、检索索引、工具权限、用户身份、网络与存储、人工审批、日志和出错后的处置。用户、运营者、数据主体、维护者和第三方服务的职责也应画出来。边界要能回答:谁可能受损、损失发生在哪个工作流、哪个组件或交互能让危险出现,哪些部分由团队控制、哪些依赖外部供应商。
STPA(系统理论过程分析)从损失和系统层级危险开始。损失是利益相关者不希望发生的结果,例如机密信息泄漏、业务流程中断或用户遭受财务损害;hazard 是一种系统状态,若在特定环境下出现,可能导致某项损失;安全约束则描述系统必须处于什么条件、禁止什么交互,才能避免该危险。安全约束不是泛泛的「加强安全」,而是可以分配给某个控制器或流程执行的要求。
一个简化的企业知识助手例子:员工询问某项目交付进展,助手从检索库生成项目摘要,并提供邮件草稿,但不自动发送。利益相关者损失可以写成「内部商业信息向无授权收件人泄漏」;系统危险写为「助手生成并发送一份包含内部摘要、且收件人权限未经确认的邮件」;安全约束则是「外发前服务端必须检查收件人和资料权限,且未经授权的内容不能进入邮件正文;助手只可草拟,发送由员工确认」。这不是攻击复现方案,而是抽象描述一次低风险办公流程的失效状态。
在这里,policy 的执行者可能是检索服务、权限服务、邮件接口、员工审批界面或值班运营人员。每个角色需有明确反馈:权限查询失败时系统是否知道失败?员工看到的草稿是否标示来源和敏感级别?邮件发送后能否检测错误收件人?谁接收告警、能否撤回?如果没有这些反馈,团队可能把「控制存在」误当作「控制有效」。STPA 强调系统的安全来自控制关系与约束的维持,而不只是零件没有失效;它适合把人、组织流程、AI 模型和外部服务作为一个整体来分析。
FMEA 与 STPA:失效模式视角和控制结构视角互补
FMEA(失效模式与影响分析)通常从组件、步骤或功能开始,逐项问:可能怎样失效、会导致什么影响、潜在原因是什么、现有检测与控制是什么、该如何改进。对企业助手,可按「身份映射、权限查询、检索、摘要生成、收件人选择、发送确认、审计与撤回」逐行列出失效模式。它的优势是直接贴近组件和流程,能形成明确的行动清单,适合设计评审、上线清单、故障类别较清楚且责任分工明确的系统。
STPA 从高层损失、危险和控制结构出发,重点问哪些控制动作在什么情境下不安全。例如:外发动作在权限未知时被提供;一个过期的授权被当作当前授权;或者审批界面未显示摘要包含的资料范围,操作员因反馈不足而批准。它能在软件组件没有「坏掉」的情况下分析由错误时序、缺失反馈、错误控制或相互作用造成的危险;也较容易把组织流程、人的判断和信息反馈纳入分析。AI 系统的行为具有概率性且上下文丰富,STPA 的系统边界和控制链视角有助于避免只盯着模型权重或单个 API。
| 维度 | FMEA | STPA |
|---|---|---|
| 起点 | 组件、功能或流程步骤 | 损失、系统危险与安全约束 |
| 常见分析单位 | 失效模式、原因、影响、检测与行动 | 控制器、控制动作、反馈、导致不安全的情境 |
| 强项 | 结构化检查具体组件,形成行动责任表 | 捕捉跨组件、时序、组织与人机交互的危险 |
| 盲点 | 容易漏掉组件都正常但组合不安全的情境 | 需要团队理解系统控制结构,分析过程较耗时 |
| 适合搭配 | 追踪易列举的故障与本地改进 | 复杂、软件密集、运行环境影响显著的系统 |
FMEA 的「RPN」常由严重度、发生可能性和可探测性分级后相乘。乘积便于排序,但输入常是序数等级、依据不一,数值相同的不同失效模式也可能有截然不同的后果;资料稀少或新系统上,发生率更难有可靠估计。ASQ 的 FMEA 指引强调评分数据不足会使评估不可靠,建议尽早并持续应用,而不是将 RPN 解释为精确概率。AI 场景还会增加分布变化、外部数据和用户集成带来的不确定性。若一条「严重但不常见」的失效只因乘积低而排到后面,应同时使用严重度硬门槛、不可接受损失清单和专家复核,而不是只信排序。
两种方法可以组合,但不要把一份 STPA 结果机械地压成 FMEA 表。STPA 先识别危险、控制约束和不安全控制情境;FMEA 再聚焦某些硬件、软件、数据处理或运营步骤的具体失效模式;最后将控制要求映射回组件和责任人。Rismani 等人在 2024 年 PHASE 研究中用三个 AI 案例讨论如何将 STPA 用于 AI 系统,指出其系统级危险视角可覆盖组件互作、社会因素和持续监控;Mylius 等人在 2025 年对前沿 AI 使用 STPA 的研究也主张它可补充现有风险框架与评测。两者都是方法应用研究,不证明 STPA 已成为强制标准或能自动发现所有 AI 风险。
从危险到控制、证据和责任人:一个轻量分析样例
以知识助手误发摘要为例,团队可把危险拆为四条控制链,而不是只写「加强权限」。以下表格是示范工作稿:概率等级没有填入具体数字,因为没有该系统的运行数据;责任人与证据需在具体组织按真实架构指定。
| 危险情境 | 约束/控制 | 可审查证据 | 责任人和复审触发 |
|---|---|---|---|
| 检索返回跨项目的内部片段 | 检索必须继承调用者的项目和文档权限,失败时不返回内容 | 权限单元测试、跨租户测试、日志抽样 | 检索服务负责人;索引范围或身份服务变更时复查 |
| 摘要将敏感段落带入外发草稿 | 生成前后执行数据级别策略,输出标注来源与敏感级别 | 红队用例、敏感字段覆盖测试、结果审查记录 | AI 应用负责人;模型、提示、分类器或检索策略变更时复测 |
| 收件人未被授权 | 发送接口独立核验身份、收件人和项目权限,不能仅信任模型参数 | API 权限测试、审计字段验证、拒绝路径测试 | 邮件集成负责人;身份或接口权限变更时复核 |
| 操作员误以为草稿已获授权 | 界面显示摘要范围、收件人和审批状态;高风险内容需确认 | 可用性走查、审批日志和培训记录 | 业务流程负责人;审批流程或用户群变化时复查 |
控制不仅是预防,也包括检测、缓解和恢复。若错误草稿尚未发送,系统可以阻止提交并提示缺少权限;若已发送,则需要告警、事件分级、可用的撤回或补救流程、受影响人员通知和后续复盘。每个控制的证据应标注版本、环境、数据集或配置、评估日期、覆盖边界和负责人。比如「跨项目测试通过」若只在测试租户运行、与生产身份同步不同,就不能直接支撑生产安全主张。
STPA 的可操作核心是把控制动作放在情境里检查:动作是否在需要时提供?提供得太早或太晚?持续时间是否错误?动作本身是否安全?企业助手的「发送」动作若在权限服务不可用时仍可执行,就是一种不安全控制情境;「拒绝所有邮件」虽安全,却可能阻断合法业务,因而还要考虑可用性损失并设计安全替代路径。用一张控制图记录模型、权限服务、审批人、邮件工具和审计系统之间的指令与反馈,再把危险情境变成可验证的约束。
可用下图表示从问题发现到工程证据的最小闭环:
flowchart LR
L[利益相关者损失] --> H[系统级危险状态]
H --> C[安全约束与控制动作]
C --> E[测试、配置与运行证据]
E --> O[责任人、监控与复审触发]
O -->|新情境或控制失效| H
表格不应成为「填完就归档」的文书。设计评审时要让开发、产品、安全、运维、法务、用户代表或领域专家共同检查边界、损失和控制条件;每个高优先级控制要有可以验证的 owner、证据来源和失效处置。AI 系统中的某些损失并不容易用单一概率描述,如歧视性影响、隐私侵害和组织信誉损伤,应明确受影响群体、触发条件和权利后果,不要强行转成伪精确的单个风险数。
概率与框架边界:风险分数不能取代工程判断
风险评分常把严重度、发生概率、可检测性或暴露量放进矩阵,目的是帮助团队优先讨论,不是求得唯一客观答案。概率来自观察数据时,要说明数据覆盖什么用户、运行环境和时间窗;事件稀少、被低估或只在投诉中出现时,经验频率可能明显偏低。专家估计也应记录假设、依据、分歧与信心程度。对高后果但低频的危险,可设置不被总分抵消的强制审查规则;对未知频率的情形,标为「数据不足」并安排收集证据,不应擅自填一个看似精确的小数。
NIST AI RMF 1.0 提供 Govern、Map、Measure、Manage 四个组织级风险管理函数,并明确其为自愿框架,强调持续识别、评估和管理风险。它帮助确定应治理哪些情境、角色、影响和测量活动,但不替团队完成某个 API 的危险分析。危害分析工具则把系统边界、损失、危险、控制和证据变成工程层面的条目,并让框架中的「管理」工作有具象对象。反过来,FMEA 或 STPA 也不能替代组织治理:它们不会自行决定谁接受剩余风险、何种权利后果可接受,或如何为跨业务风险配置预算。
研究方法本身也有边界。STPA 需要团队充分了解控制结构和运行情境,系统图画得不完整就会漏掉关键参与者;FMEA 可能因过分组件化而遗漏整体交互。AI 领域的 PHASE 和前沿 AI STPA 研究提出了可用的方法,但验证案例有限且系统不断变化;不能将研究者的案例结论写成广泛有效性证明。可在高风险或交互复杂的系统先用 STPA 开展系统层分析,再对重点组件做 FMEA;对简单、边界清楚的组件,可先用 FMEA 列故障模式,再把跨组件假设纳入整体 hazard review。方法选择由系统和决策问题驱动,而不是追求「用了某个名词」。
小结
工程危害分析从边界、利益相关者损失、危险状态和安全约束开始,然后落到控制动作、证据、责任人与复审条件。FMEA 擅长从组件和流程步骤盘点失效;STPA 擅长检查复杂系统控制与反馈中何时会出现不安全动作。它们可以组合,但不应被压成一份无上下文的评分表。
企业知识助手误发内部摘要的例子说明,保护点既在模型输出,也在权限服务、发送接口、人工界面、监控与恢复流程。每条控制都要能被对应的测试或运行证据支撑,并随提示、模型、索引、身份、工具或用户群变化复审。概率分值帮助讨论,不证明未来概率;资料缺乏时应承认未知。
AI RMF 提供组织风险治理框架,hazard analysis 则是一组工程工具。前者不替代具体的危害链与控制设计,后者也不替代组织确定风险容忍度和接受剩余风险的责任。可靠的结果不是一张高分低分,而是一组可验证、有人维护、知道何时失效的安全约束。
参考资料
- NIST:Artificial Intelligence Risk Management Framework (AI RMF 1.0) — Govern、Map、Measure、Manage 的自愿式组织风险管理框架。
- Rismani et al.:Process-Oriented Hazard Analysis for AI Systems(PHASE,2024) — 用三个案例讨论如何将系统理论过程分析应用于 AI 系统及其局限。
- Mylius et al.:Systematic Hazard Analysis for Frontier AI using STPA(2025) — 研究 STPA 对前沿 AI 危害覆盖和可追溯性的补充作用。
- Sulaman et al.:Comparison of the FMEA and STPA safety analysis methods(2019) — 对两种安全分析方法进行定性比较。
- ASQ:What is FMEA? — FMEA 的设计/过程用途及评分数据不足的限制说明。
读者留言
COMMENTS 暂无还没有留言,来说第一句?