AI 公平性审计不是“算出一个公平分数”,而是查清系统针对谁、在什么决定上产生了何种差异,这些差异来自样本、标签、代理变量、模型还是流程,并验证修复后是否有新伤害。没有适用于所有场景的单一公平指标:不同指标保护的价值不同,在群体基准率不同时还可能彼此冲突。实务审计要先定义决策与受影响群体,再做分群分析、检查标签和选择机制、建立申诉与人工复核路径,最后验证缓解措施的副作用并留存版本、证据和整改记录。
从“公平”问题开始,而不是从一个比例开始
公平是一种需要放进具体社会场景解释的价值判断,不是模型里天然存在的一个可观测量。比如招聘排序要保护哪些申请人免受不合理排除?信贷审核关注的是获得机会、错误拒贷还是违约风险?医疗分诊想保证的是同等疾病需要获得同等关注,还是预测精度在不同人群中接近?不同问题会导向不同的标签、群体划分和评价方式。若团队跳过问题定义,直接选方便计算的统计指标,很可能把“可量化”误当成“应追求”。
NIST 的《Towards a Standard for Identifying and Managing Bias in Artificial Intelligence》(SP 1270)明确提醒,AI 偏差不能缩减为训练数据问题。该报告将偏差放进社会技术系统中讨论,区分 systemic(系统性)、statistical(统计性)和 human(人为)偏差:制度与历史结构可能决定机会和数据记录;抽样、测量或建模选择可产生统计偏差;开发、部署和使用者认知也会带来人为偏差。三类相互作用,单独修平衡数据未必解决流程中的不平等。
审计前先确定四项边界:决策单位是谁,系统在哪个流程节点影响结果,输出如何被人或其他系统使用,受影响者能否申诉或纠正。随后说明目标群体及限制:敏感属性、交叉群体、样本是否足够,以及不可收集属性如何处理。年龄、性别、地区、语言、残障和教育机会可能交叉;只按单一字段分组会遮住小群体错误。群体定义应由领域知识、受影响者意见和适用要求共同决定,而非看完结果再挑有利切法。
审计问题可写成一条闭环:
flowchart TD
A[界定决策、用途与受影响人群] --> B[检查数据来源、标签与选择机制]
B --> C[按群体与交叉切片测量差异]
C --> D[解释差异及基准率、错误成本]
D --> E[选定缓解措施与责任人]
E --> F[重测效能、公平与副作用]
F --> G[申诉、人工复核与整改记录]
G --> H[上线监测并设复审触发条件]
H --> C
每一步都要留下“为什么”:为何这些群体与标签适当,数据为何能代表目标人群,使用哪种指标及其道德含义,接受了哪些取舍,谁批准剩余风险。指标是审计证据的一部分,不是价值裁决本身。
群体差异、基准率与选择标签偏差
按人群切片报告结果,不仅看总体准确率。可比较正向结果率(selection rate)、真阳性率、假阳性率、假阴性率、精确率、校准和错误代价;选择取决于决策后果。样本量与不确定性也要报告,尤其交叉群体样本少时比例波动会大。总体表现优秀不代表每组都安全;观察到差异也不自动等于模型歧视,仍要结合数据生成过程、决策目的和制度背景解释。
基准率(base rate)是不同群体在目标结果上的实际比例或先验发生率。它会影响预测值与错误率之间的关系,因此同一阈值在不同群体中可能对应不同的假阳性率、假阴性率或阳性预测值。Chouldechova 在再犯风险预测研究中分析了群体基准率不同的情形,说明若要求概率预测校准,同时要求各组错误率平衡,在一些现实条件下不能同时满足。Pleiss 等人对校准与 equalized odds 的张力进一步进行了形式化分析。这个“不可能同时满足”的结果不是公平性无从谈起,也不是可以任意选择指标的许可;它表示审计必须明确所保护的公平目标及其代价,并结合决策权力与受影响者意见给出理由。
常见指标可以这样理解:
| 指标 | 大致关注点 | 主要局限或冲突 |
|---|---|---|
| 人口统计均等(demographic parity) | 各组得到正向预测的比例接近 | 忽略基准率与结果标签差异,不能单独说明机会公平 |
| 机会均等(equal opportunity) | 在真实正例中,各组被正确识别的比例接近 | 只关注正例召回,可能容忍假阳性差异 |
| 均等化赔率(equalized odds) | 各组真阳性率和假阳性率都接近 | 与不同基准率下的校准或预测值平衡可能冲突 |
| 校准(calibration) | 同一预测分数在各组对应相近实际结果概率 | 不保证各组错误率或正向选择率相同 |
| 个体/反事实公平 | 相似个体或合理反事实下结果不应任意不同 | 相似性定义及反事实假设本身需要论证 |
这些定义只是统计操作化,不等于法律认定或完整伦理判断。Fairlearn 的指南也强调,公平是复杂且有争议的概念,群体公平分析可以暴露差异,但无法替代个人经历、程序正义或社会语境判断。审计报告应讲明指标在哪些假设下有意义、无法回答什么,而非只列图表。
选择性标签(selective labels)也常被忽视:只有部分人有结果记录,且“谁有标签”并非随机。获批贷款者有还款记录,拒绝者的反事实还款情况却不可直接观察;只有被送医者有诊断结果。把已观察标签当作全体真值,会把过去的选择机制带进评估。类似地,消费额、医疗费用、投诉数、逮捕记录或绩效评分可能反映资源可及性、执法强度或管理偏见,而非目标中的需要、危害或能力。
Obermeyer 等人对美国医疗资源分配算法的研究提供了经典例子:系统用医疗成本代理健康需要,然而在相近需要下,黑人患者历史医疗支出较低,算法因此低估其健康需要。作者报告若改用疾病负担相关指标而非支出预测,更多黑人患者会被识别为需要额外照护。关键教训不是“删掉种族字段”就足够,而是审计标签和代理目标:模型训练目标究竟代表什么,谁曾被低估或无法进入样本,测量误差在不同群体是否相同。
从差异发现到因果诊断与申诉复核
观察到差异后,沿数据和流程追查:标签指南是否一致、结果是否准确、缺失是否集中于特定群体;哪些人能进入训练与评测,筛选门槛是否已经排除一部分人;邮编、消费、教育、设备、语言或服务记录是否成为敏感属性的代理;差异来自模型排序、阈值、数据漂移、错误成本还是上游流程;人工能否推翻结果,是否只对部分人追加审查或提供补充材料机会。
若数据里没有足够的可信标签,不能用更复杂的模型“补出真相”。审计应记录哪些结论无法从现有数据识别,寻找独立样本、人工审查、随机化试点或外部权威依据,并谨慎控制对个体的影响。相似人群有差异时,研究设计要考虑混杂因素与选择偏差;将相关性写成模型造成差异的因果证明,会过度推断。必要时,采用外部审计、受影响群体访谈与定性调查补充量化数据。
申诉既能纠错,也能暴露审计盲点。受影响者应知道模型参与了哪项决定、怎样异议、由谁复核、如何纠正记录及能否再次申诉。人工复核不能只是忙碌人员重复确认模型结果;复核者需看到原始证据、了解标准,并有权改变决定。记录版本、依据、人工结论和纠正动作,同时保护隐私。某些群体少申诉不等于受害少,也可能因为通知不足、流程复杂或缺乏信任。
以招聘筛选为例:模型整体提升了简历匹配率,却对某交叉群体产生更多假阴性。团队应先检查样本量、区间、岗位标签形成过程、历史排除、代理字段及面试机会是否由模型排序决定,而非先调阈值“调平”。之后提供申诉与补充材料入口,抽查未通过者,比较修正后的其他群体错误、招聘质量和流程变化。若标签“过去被录用”含历史偏好,模型学到的就未必是岗位能力。
沟通同样重要:管理层和工程团队需要版本、差异与整改记录;审核者要知道何时复核或转人工;受影响者应有可理解的解释与申诉渠道。保护隐私、防止操纵不能成为隐瞒纠错流程的理由。
缓解措施的选择及其副作用
缓解可落在数据、模型或决策环节:补样、修正标签、更换代理目标、调整训练目标、后处理或分组阈值,也可增设人工核验或取消自动决定。方法没有通用解。分组阈值也许改善机会指标,却带来校准差异、争议或小样本不稳定;重平衡可能改变总体性能;删除敏感属性既不能清除代理信息,也会削弱差异监测。
Fairlearn 的公平性指南明确提醒,公平指标只能编码部分目标,选择敏感属性、目标变量和约束必须考虑现实问题与社会背景;缓解工具优化了被指定的指标,不会自动决定该指标是否适合。另一个反方提醒来自方法学:公平指标之间的冲突有时被称为“公平不可能定理”,但 Bell 等人关于实践应用的讨论主张,不要将理论条件未经审查就套用到每个实际场景。实际数据可能不满足定理假设,决策阈值、随机化、标签测量和效用目标也会改变结果。严谨审计既不能把理论冲突说成不可行动,也不能假装所有标准都可以一次满足。
将缓解作为受控产品变更:预定目标与取舍,记录基线,在独立留出数据上评估总体性能、分群错误、校准、延迟、流程成本、申诉和可逆性。核问收益落在谁身上、新错误由谁承担、是否出现代理变量、结果是否靠改标签或删难例、复核量是否超载、边界待遇是否突变。必要时加入敏感性分析、灰度和停止条件。
一份可执行的审计整改表可以包括:
| 项目 | 记录示例 | 责任 |
|---|---|---|
| 发现 | 某交叉群体假阴性偏高,证据范围与不确定性已列明 | 审计团队 |
| 根因假设 | 历史标签缺失与代理特征共同作用,尚待核验 | 数据负责人、领域专家 |
| 缓解方案 | 修正标签采集流程,增加低置信样本人工复核 | 产品与运营 |
| 副作用检查 | 比较群体错误率、校准、总效能、复核等待和申诉结果 | 独立评估方 |
| 验收门槛 | 预先定义切片、区间、回滚条件和审批人 | 风险负责人 |
| 上线后监控 | 月度漂移、缺失标签、申诉处理时效与严重事件 | 运营与治理 |
缓解方案应允许失败。若在独立评估中造成新的重大差异,应回滚或重新设计,不要通过修改切片定义来宣布成功。对影响就业、信贷、教育、医疗等个体机会的高影响用途,团队还应让领域专家、法律合规人员和受影响群体代表参与目标与取舍讨论;具体法律义务因辖区和用途而异,本文不提供个体化法律建议。
留痕、复审与持续问责
公平性审计应建立版本化证据包:用途与边界、数据来源和日期、标签定义、群体划分理由、缺失与选择机制、指标局限、分层样本量和不确定性、缓解实验、申诉纠正、审批、剩余风险及监控计划。敏感数据须遵循隐私和最小化原则;复现可用受控访问、加密映射或汇总统计,无需向所有团队开放原始属性。
模型、数据、目标、阈值、部署人群或外部环境改变,申诉集中或出现严重误判,都应触发复审。跨期结果须标注模型、数据、标签和流程版本,才能分辨模型效果、样本变化与测量变化。持续监控还要看流程:人工覆盖是否集中于某群体、谁更常被要求补证、申诉是否及时处理、哪些人更缺标签。
高影响系统的关键结论应由有权限、资源和方法能力的独立审查者挑战,并留存审计范围、样本、指标与发布记录。审计也可能被“洗白”:只报有利指标、过度切细不利群体、拒供数据来源或包装成一次性认证。报告应揭示不可访问数据、未覆盖群体、冲突指标、未解决投诉及审计者关系。
发现须转成有负责人和期限的整改任务,写明影响对象、独立验收数据与失败处置。到期复测、保留申诉,并在不达标时能暂停或撤回,才形成治理闭环。
小结
AI 公平性审计要从决策语境、受影响群体和目标标签开始,而不是从一个通用指标开始。总体性能会掩盖分群差异;基准率、样本选择和标签代理也可能让模型学到历史流程中的不平等。
指标彼此可能冲突,差异需要与后果、数据生成过程和权力关系一起解释。检查标签和选择机制,提供真实可用的申诉与人工复核,并让缓解措施接受独立、分群和副作用评估。
留存数据、标签、模型、指标、审批、申诉和整改版本,设置变更与漂移触发的复审。公平性不是一次审计的通过标志,而是持续发现、解释、修正、复测并在失败时回滚的过程。
参考资料
- NIST:Towards a Standard for Identifying and Managing Bias in Artificial Intelligence(SP 1270) — 从系统性、统计性和人为偏差出发讨论 AI 偏差治理。
- Chouldechova:Fair prediction with disparate impact — 分析不同群体基准率下风险预测公平准则的冲突。
- Pleiss et al.:On Fairness and Calibration — 研究校准与错误率平衡之间的条件性张力。
- Obermeyer et al.:Dissecting racial bias in an algorithm used to manage the health of populations — 展示以医疗成本代理健康需要造成群体差异的案例。
- Fairlearn:Fairness in Machine Learning — 解释群体公平指标的边界、语境依赖和缓解注意事项。
- Google:Evaluating for bias — 说明整体指标可能掩盖小群体表现并建议进行分组评估。
读者留言
COMMENTS 暂无还没有留言,来说第一句?