安全评测中的一个分数,不能单独证明模型“安全”或“更安全”。它只描述某套系统、在特定数据、标注、配置和判定规则下观察到的结果;要把它推广到未知请求、未来攻击或真实部署,必须补上抽样假设、覆盖范围和不确定性。本文不再罗列“安全评测有哪些指标”,而是讨论这些分数能否支撑结论:抽样单位是什么、区间回答什么、罕见风险如何测、评测集是否代表部署,以及一次通过为什么不是安全证明。
先定义要估计的对象:固定题库分数不等于真实世界能力
评测前先写清楚问题,而不是先选一个方便的 benchmark。目标可能是“这版模型在固定的 500 个拒答问题上的通过率”,也可能是“它面对未来同类用户请求时拒绝有害请求的概率”,还可能是“完整应用在特定工作流中不执行未经授权操作的概率”。三者不是同一个估计对象。若关心固定题库,题目就是全部目标样本;若要推断同类新题目,题库只是从某种任务总体抽出来的一批样本;若关心生产风险,还要考虑用户、上下文、工具权限和控制链路,单测模型文本是不够的。
NIST 2026 年报告《Expanding the AI Evaluation Toolbox with Statistical Models》把前两种分开称作 benchmark accuracy 和 generalized accuracy:前者是给定固定基准上的表现,后者是对类似潜在题目总体的表现。NIST 的分析提醒,通用准确率不能由一个固定榜单分数自动推出。该报告对 22 个 API 可访问的大语言模型与三个基准进行建模,强调评测者要先定义估计目标,再决定如何估计不确定性;这并不意味着该统计模型解决了构念效度或部署外推的所有问题。
一份安全评测计划至少应明确以下项目:被测对象(模型还是含检索、策略与工具的系统)、软件和模型版本、目标用户与场景、风险定义、样本来自哪里、每个样本的判定规则、抽样单位、结果如何聚合,以及希望外推到的请求总体。比如“拒答率”可能只计明确违法请求,也可能把教育、新闻和防御研究问题纳入边界案例;标签范围变了,分数就不再可直接比较。把评测集中的攻击样本比例人为调高以便分析是合理的,但这个比例不能直接当成生产中攻击流量的比例。
flowchart LR
Q[决策问题与部署情境] --> E[定义估计对象与风险事件]
E --> S[抽样:题目、用户、环境、重复试验]
S --> M[测量并估计区间]
M --> V[覆盖、污染、标注与假设检查]
V --> D[阈值决策:上线、限制、补测或暂停]
D --> R[监控新分布并触发复评]
这条链的关键是“评测结论的适用边界”。一套拒答测试可以支持“模型对这些题目有某种行为”,却不能直接支持“该模型对所有恶意用途都安全”。
抽样与置信区间:不确定性有不止一个来源
同一模型面对不同题目,难度会变;同一道题在不同采样、随机种子、系统负载或解码设置下,输出也可能变。因此至少要分辨题目抽样变异和模型输出/试验变异。只对每题跑一次再算平均,通常无法估计重复生成的波动;把同一道题重复十次并当成十道独立题,又会虚增样本量。应记录每个题目、每轮试验的对应关系,分析时按实际抽样结构建模或重抽样,而不是把所有输出扁平化。
置信区间应回答“在这些假设下,目标参数有多不确定”,不是说“有 95% 概率模型安全”,也不是把未覆盖的风险装进区间。NIST AI 800-3 指出,题目有难度差异、模型有能力差异,而且题目可能代表一个更大的题目总体;若评测设计要对这个总体作推断,区间必须考虑题目抽样及重复试验的层级结构。报告只给一个总体均值,可能掩盖某一类高风险题目表现差,也无法告诉读者不同模型的分数差是否大于测量误差。
实际做法可以从分层抽样开始:按风险类型、语言、请求长度、对话轮数、工具路径和用户背景划分层,再在每层抽取案例;对关键案例做重复运行,记录解码参数与版本。随后报告总体估计和区间,也报告重要分层的样本量、事件数和区间。若样本间存在同一模板、同一攻击家族或同一对话链的相关性,应以家族或任务为重抽样单位,不能把高度相似的提示当作完全独立证据。NIST 报告对 LLM 评测中 item 聚类与多次尝试的影响作了专门分析,并展示混合效应模型在其设定下如何分解题目差异与试验差异;实践者应把它视为可用工具之一,而非不经检验套用的公式。
低基率风险特别容易被整体准确率掩盖。下面是一个纯算术示例,不是某项研究结果:假设生产中每 10 万次请求有 100 次真正危险,分类器召回率为 90%,对正常请求的误报率为 1%。它会找出约 90 次危险请求,同时误拦约 999 次正常请求;被拦截的请求中真正危险的比例约为 8.3%。若只报告“总体准确率约 99%”或“危险样本召回率 90%”,运维团队都可能误判成本。上线决策还需报告基率假设、精确率、漏检数、误报数及各自区间,并说明人工复核的承载量。若生产基率未知,应做多个基率情景分析,而不是从人为平衡的测试集直接估计。
对零次漏检也要克制。测试了有限样本而没有观察到失败,只能说明当前样本没发现失败;它不等于漏检概率为零。样本数、抽样方式、测试强度和标签质量决定“没看到”能提供多少信息。对罕见但后果严重的风险,通常需要把统计测试与机理分析、渗透测试、权限约束和事故响应等证据并列,而非单靠一个比例。
覆盖率与污染:样本代表什么,没代表什么
评测覆盖不是“收集了多少题”这么简单。一个数据集即使很大,若集中在短文本、英文、单轮对话或已知越狱模板,也可能没有触及长上下文、间接指令、多模态输入、不同文化语境、工具调用和真实工作流。覆盖度应按风险模型分层盘点:哪些危险、攻击者能力、输入形式、任务阶段和失败后果进入测试;哪些只测试了代理任务;哪些完全未知。用例数量能说明规模,不能单独说明风险空间覆盖全面。
测试案例还会因历史使用而失去新颖性。Dong 等人在 ACL 2024 论文《Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models》中把数据污染描述为训练数据显式或隐式包含基准测试数据,指出这会使基准分数难以区分泛化与记忆。后续综述将污染区分为从语义相关、信息线索、测试输入到输入和标签同时暴露等层次;字符串重合检测有助于发现直接重复,却难覆盖改写、语义近似或数据来源不可见的情况。不同层级的污染检测并不等价,未发现精确重复不能证明没有间接暴露。
安全测试有自己的污染机制:公开越狱提示可能进入模型训练或微调集;模型厂商、红队和基准作者也可能围绕相同公开题库优化;使用同一批提示反复调策略,最后测得的可能是对已知模板的适应。缓解办法包括保留秘密集、滚动更新案例、按攻击家族分组隔离调参与验收数据、设计程序化变体,并在允许条件下检查训练语料来源。但每种方法都有代价:私有集不便外部复核,动态集削弱跨期比较,合成样本会继承生成器的盲区,训练语料不可见时直接审计有限。评测报告应披露能披露的来源、构造时间、泄漏检查和潜在污染局限。
覆盖也需要基于部署而非想象。以企业报销 Agent 为例,离线题库可能有“不得超额报销”的直接问题,却漏掉供应商邮件里嵌入的指令、跨轮次修改收款账户、工具返回部分失败、人工审批人不在岗等条件。每个测试案例都应能追到一个危险、控制或运行假设;反过来,每个高优先级危险也应有至少一种可观察的验证证据。将此映射公开到团队内部,可以暴露“测了很多,但没有测到最可能造成损害的路径”。
重复试验、多重比较与阈值选择
当模型有采样随机性时,重复试验能估计同一道题的输出波动;当我们只想推断固定题目上的确定配置,反复采样回答的统计意义则不同。报告必须写清“试验”是重复生成、重新抽样题目、不同提示版本,还是不同模型/策略配置。比较两个版本时,尽可能使用相同样本和配对分析;将不同样本的均值直接相减会把样本组成差异混入模型差异。
若评估者尝试很多阈值、模型、攻击模板或安全类别,然后只公布最有利的结果,就会出现多重比较问题:即使每一次检验都按常规错误率控制,检验次数增加也会提高偶然“显著”结果的机会。Dror 等人在 ACL 2018 的统计显著性测试指南强调,测试方法应根据任务、实验设计、指标及样本依赖性选择,并特别讨论多重比较。可操作的做法是预先登记主要假设和主指标,区分探索性与确认性分析,对同一测试集上的成批比较采用适当的校正或分层报告,并保留未筛选的完整结果。对高风险安全评测,失败样本的定性审查不可被“显著性”替代。
阈值不是从数据里自动长出来的客观真理,而是把错误成本写进系统的决策。拒绝阈值调严,漏拦可能下降,误拦和人工复核负担可能上升;调松则相反。先明确可以接受的漏检、误报、延迟和人工复核容量,再在独立验证集上选阈值,最后在未参与调参的留出集上确认。若阈值在同一数据集上被反复试到表现最好,最终分数会偏乐观。不同语言、风险类别和用户群的阈值效果也不应被总体平均掩盖。
把“单分”升级成“置信与不确定性”可以用一张简明报告表:
| 项目 | 最低报告内容 | 支持的判断 |
|---|---|---|
| 估计对象 | 固定基准或目标请求总体、系统版本与场景 | 结果适用范围 |
| 抽样设计 | 层、样本来源、题目与重复试验数、依赖单位 | 误差结构是否匹配 |
| 结果 | 点估计、区间、分层样本量、错误类型 | 精度及差异是否稳健 |
| 阈值 | 主要阈值、选择集、漏拦与误拦成本 | 门禁如何映射到行动 |
| 敏感性 | 基率、污染、判定规则或分布改变后的结果 | 结论对假设有多脆弱 |
界面上不要只显示“安全分 0.97”。更诚实的表达是:哪种风险、在哪个数据集和版本、多少个独立案例、漏检和误报分别是多少、区间有多宽、哪些切片证据不足,以及未测试范围。分数可以服务决策,但不能代替决策者说明可接受风险的理由。
小结
安全评测的统计有效性,首先取决于估计对象是否说清楚:固定题库表现、相似题目总体表现和生产系统风险不能混为一谈。置信区间只在明确的抽样与模型假设下表达不确定性,不会自动涵盖未测风险。
低基率可能让看似很高的准确率对应大量误拦或漏检;覆盖面和训练污染则决定题库对真实风险的代表性。要把测试按危险和部署条件组织,保留未参与调参的验证材料,并披露无证据的区域。
重复试验、配对比较和多重比较需按设计处理;阈值是错误成本的选择,不是自然常数。可靠报告应同时提供分数、区间、分层结果、假设敏感性和采取行动的门槛,避免“测过即安全”的跳跃。
参考资料
- Keller et al.:Expanding the AI Evaluation Toolbox with Statistical Models(NIST AI 800-3) — 区分固定基准准确率与泛化准确率,并分析 LLM 评测的层级抽样和不确定性。
- Dror et al.:The Hitchhiker’s Guide to Testing Statistical Significance in NLP — 根据任务依赖结构选择显著性测试并处理多重比较。
- Dong et al.:Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models — 讨论污染检测与可信评估。
- Benchmark Data Contamination of Large Language Models: A Survey — 汇总污染类型、检测办法及其限制。
- Google:Evaluate models and systems for safety — 建议结合常规基准与贴近自身应用的数据评估系统安全。
读者留言
COMMENTS 暂无还没有留言,来说第一句?