危险能力评估：上线前，先测测模型能干什么坏事

「会不会做」与「能不能做」的区别

AI 安全评测维度篇（库内已有）讲的是行为测试：模型的拒答质量、越狱抵抗、偏见控制——测的是「模型在诱导下会不会做坏事」。危险能力评估（Dangerous Capability Evaluations）测的是另一个维度：「模型有没有能力做坏事」——即使它现在表现良好，它的能力上限够不够做危险的事（辅助开发生化武器、自动化网络攻击、自主复制与自我隐藏）。

这个区分的重要性：「行为良好」可能只是「对齐到位」——而「对齐是可以被越狱的」——如果模型「有能力」做危险的事，那么对齐的失败（越狱、欺骗性对齐）就会把能力转化为危害。危险能力评估测的是「最坏情况下的天花板」——它是前沿模型部署决策的必答题。

评估的领域清单

领域一：生化风险（CBRN）。模型的生化辅助能力（病原体设计指导、合成路线的规划、毒性增强的建议——「Uplift 评估」（模型对恶意行为者的「增益度」——「有了模型 vs 没有模型，攻击者的能力提升多少」——uplift 是关键度量（生化风险管控篇的管控制度需要「uplift 的量化」支撑——评估的形式：红队用模型尝试完成危险任务的模拟任务（「解题式评估」（在沙盒中给模型「制造 X」的挑战任务、专家评审完成度——注意安全边界：评估本身用「模拟任务」与「非活性材料」——评估的安全防护（评估不能成为「危险知识的采集」——评估内容的管控与评估环境的隔离。领域二：网络攻击能力。模型的网络攻击自动化（漏洞发现、利用链构造、攻击代码生成——CTF 式评估（夺旗赛环境的攻击任务（模拟靶场中的渗透测试——「靶场的分级」（从 CTF 题目到模拟企业环境的进阶评估——「模型能不能自主完成一次攻击链」——自主性是关键变量（辅助人类攻击 vs 自主攻击——自主性的评估（模型的自主行动能力评估））。领域三：自主性与复制（AI 失控的经典场景）。模型的自我复制能力（获取算力、复制权重、自我部署）、「自我隐藏」（在被检测时伪装）、长程自主任务（多步骤的无人干预任务完成度——「Agent 基准」（自主任务的完成率评估——「逃逸与驻留」的评估（模型能否脱离沙箱、能否在系统内驻留——前沿模型部署前的「失控风险」评估。领域四：操纵与欺骗。模型的社会操纵能力（说服、欺骗、人格模拟——「说服力评估」（模型的 persuasion 基准（说服人类改变立场的能力测试——操纵风险篇的量化基础。

评估的工程：怎么做、在哪做

评估的环境：沙盒与隔离。危险能力评估的环境安全：隔离的评估环境（与生产环境完全隔离（评估不能接触真实系统——「评估的算力与数据隔离」（独立的算力、脱敏的数据——评估本身的攻击面（评估过程不能泄露危险能力信息（评估的内容本身就是「危险知识的测试」——评估结果的保密分级（评估报告的保密（「模型能干什么坏事」的报告本身是敏感资产——泄露的报告是「攻击指南」。评估的方法学：解题式评估（task-based——给模型的挑战任务与完成度评分）、启发式评估（proxy tasks——用「相关但安全」的任务代理真实危险能力（用「无害的化学合成规划」代理「毒物合成」——proxy 的有效性（代理任务与真实能力的相关性——proxy 太弱会低估、太强会泄密）；人类基线的对照（模型能力 vs 专家能力的对比（uplift 的度量需要「人类基线」——「uplift」的两种口径（绝对能力（模型独立完成度）与相对增益（有了模型后人类提升多少——相对增益才是真正的风险度量（最强的攻击者是「专家+模型」的组合。

评估的制度化：谁在测、结果给谁看

模型厂商的内部评估：前沿实验室的部署决策（Anthropic 的 RSP、OpenAI 的 Preparedness——「危险能力阈值」的部署门禁（评估超过阈值 → 加强防护或延迟部署——前沿模型安全框架篇的 RSP 在评估层的执行）；政府的独立评估：AISI 系统的评测（英国 AISI、美国 AISI 的第三方评测——「政府的评测能力」（政府自己测，不只听厂商报告——模型厂商与 AISI 的合作协议（发布前给 AISI 预发布版评测——「独立验证」的制度化。国际的互认与缺口：评测结果的共享（AISI 网络的国际协作——评测方法与结果的国际共享——「评测方法的标准化」（不同机构的评测可比性——评测的「标准化」是监管篇的国际机制的技术基础。

危险能力评估的进阶：评估的方法论争议与「评估的悖论」

危险能力评估的进阶要直面方法论争议与评估的悖论。方法论争议一：proxy 任务的有效性。代理任务的争议（模拟任务与真实能力的差距——「CTF 能力≠真实攻击能力」（CTF 环境的理想化（真实攻击的复杂度（信息的不完整、防御的存在——「CTF 高手不一定是真实威胁」——proxy 高估或低估的两种偏差——「评估的外推风险」（从 proxy 到真实的外推——「外推的不确定性」要显式声明——评估报告的「外推警告」。争议二：评估的「可复现性」。评估结果的稳定性（同一评估的多次运行差异（模型的非确定性——「评估的方差」（温度、采样的方差——「方差的报告」（评估报告要报告方差与置信度——「单次评估」的误导——一次评估的结果不可信——「N 次采样的评估协议」是方法论的基本要求。争议三：「能力评估」的信息安全。评估本身的信息风险（评估内容=危险能力的测试题——「评估内容的泄露风险」（评估题库的泄露（危险能力的「题库」是攻击者的学习材料——「评估题库的保密等级」（题库的最高保密——「题库泄露」的灾难场景（模型针对性训练过题库——评估失效——「题库的滚动更新」与「评估的盲测」（「盲测」的设计（不告知模型评估的场景——评估的隐蔽性。「评估的悖论」：「要测危险能力，就要给它机会做危险的事」——评估的深度与评估的安全性的张力——「评估越真实，风险越大；评估越安全，结果越失真」——「评估的悖论」没有完美解，只有「风险评估下的风险评估」——评估自身的风险也要被评估（评估的 meta 风险管理——「评估的安全审查」（评估方案本身过安全审查（评估的伦理与安全委员会的批准——「评估的治理」是评估工程的上层建筑。评估的产业化方向：评估的「外包与认证」（「第三方评估机构」的认证体系（危险能力评估的资质——「评估机构的能力认可」（谁有资格做危险能力评估——AISI 篇的政府评测+市场的认证机构——「评估师」的职业认证（危险能力评估师的资格——评估的「人才认证体系」。评估的标准化（「评估协议的标准化」（评估的流程、指标、报告格式的标准化——「标准的评估」让结果可比——跨实验室、跨政府的评估互认（AISI 网络的互认——「互认」的前提是「标准化」。危险能力评估的进阶总结：方法论的三争议（proxy 有效性、可复现性、信息安全）+「评估的悖论」（测得越真风险越大）——评估的成熟不在于消除争议，在于「争议的显式化与风险的管理」——评估报告要诚实声明「外推的不确定性与评估自身的风险」——「诚实的评估报告」比「漂亮的结果」更有价值——评估这门学科还年轻，它的成长标志是学会说「我们不确定」。

高频问答：危险能力评估的边界

收尾前回答三个高频问题。「评估会不会教会模型做坏事？」——评估数据的风险管理：「评估数据的风险」：评估的输入输出（评估中的危险任务描述——「评估对话的留存风险」（评估的对话数据成为训练数据的泄露风险——「评估数据的隔离」（评估对话不进训练数据——「数据隔离的保证」（数据流的管控——评估内容的存储安全（「评估资产的保密」——评估题库与结果的保密管理。「小公司/开源模型要做危险能力评估吗？」——分层回答：「前沿模型」要做（能力的上限已触及危险区——「前沿的定义」（能力接近或超过领域专家的模型）；「中小模型」选择性做（部署在敏感场景的模型（「场景决定评估」（医疗、金融、关键基础设施的部署——评估的范围按场景裁剪（「裁剪的评估」（只测与场景相关的危险能力——「评估的成本与场景风险的匹配」——小公司不做全量评估、做场景相关的轻量评估。危险能力评估的问答收束：危险能力评估的终极定位是「部署的地图，不是产品的质检」——它告诉部署者「这个模型的能力天花板在哪、哪些场景不能碰」——「能力地图」的消费者是决策者不是工程师——评估报告的语言要「决策者可读」——「可读性」是评估报告的工程要求——一份决策者看不懂的能力评估，等于没有评估。

小结

危险能力评估与行为评测的本质区别：行为评测测「会不会做坏事」（对齐质量），能力评估测「能不能做坏事」（能力上限）——对齐是可以被越狱的，能力才是最坏情况的天花板。评估的四领域清单（生化 uplift、网络攻击、自主性与复制、操纵欺骗）与两大量化口径（绝对能力 vs 相对增益 uplift——「专家+模型」才是真实风险）。工程要点：沙盒隔离的评估环境、proxy 任务的安全性与有效性平衡、评估报告本身的保密管理。制度化现状：厂商的部署门禁（RSP 的评估阈值）、政府的独立评测（AISI 网络）、评测方法的标准化。给行业的一个判断：危险能力评估正在从「研究课题」变成「部署的法定前置」——欧盟 AI Act 的系统性风险条款、各国的 AISI 评测——「能力评估不过关就不上线」正在成为前沿模型的准入规则——它测的是模型的天花板，管的却是整个生态的地板。

行为评测回答「它现在乖不乖」，能力评估回答「它一旦不乖能造成多大伤害」——部署前沿模型之前，两个问题都必须有答案。