AI 科研的可复现性与不确定度报告:让结果能够被检查

一句话结论:可复现不是上传代码,不确定度不是万能的置信分数

科学机器学习结果应能回答四个问题:使用了什么数据与代码、运行环境和模型版本是什么、结论对不确定因素有多敏感、独立研究者能否用新数据检验它。可复现性通常关注在相同数据、计算步骤和分析条件下重算能否得到一致结果;独立复现则以新的数据回答同一科学问题。FAIR 原则提升数据与工具的可发现、可访问、可互操作和可重用性,但并不自动保证正确性、完整性或实验结果重现。

对模型而言,还需说明适用域和不确定度。深度网络可能存在模型不确定性和数据不确定性,某些方法能估计或校准它们,却不保证在分布外任务中可靠。Microsoft MatterSim 官方仓库对特定模型适用范围、评估流程与硬件注意事项的说明,展示了为什么“权重能下载”与“结果可复现、可泛化”并非同一件事。

计算复现与独立复现:先把术语说清

National Academies 2019 年报告采用的定义中,可复现性(reproducibility)是用相同输入数据、计算步骤、方法、代码和分析条件得到一致结果;可重复性/独立复现(replicability)是不同研究使用自己的数据、以回答同一个科学问题而得到一致结果。该报告也指出术语在不同领域有不同使用习惯,因此论文应主动声明本研究采用的含义,避免把“脚本成功运行”说成“独立证实了科学结论”。

对计算研究,可复现通常需要代码、数据或获取方式、预处理、依赖版本、硬件/数值设置、随机种子与评估脚本。即使这些都公开,不同 GPU、BLAS、浮点精度或并行归约顺序也可能造成小数值差异;研究者应设定合理容差,并区分数值确定性与结论稳定性。相同模型分数复现出来,也不必然说明科学假设正确。

独立复现的难度更高。需要新的样本、不同批次或不同实验室,重新检验相同科学命题。若两个研究沿用相同数据集、共享相似模型和同一种测量偏差,它们之间的相关错误可能不会在独立复现中被发现。新数据能检验外部有效性,但对复杂科学系统,结果差异也可能来自材料差异、设备条件或测量噪声,而非原研究“错误”。独立复现必须保留条件差异与不确定性解释。

FAIR:数据可重用的治理原则

FAIR 的四个字母分别指 Findable(可发现)、Accessible(可访问)、Interoperable(可互操作)和 Reusable(可重用)。其核心关注数字资源的描述、标识、访问协议、元数据和可机器处理能力,使研究数据、工具、词汇与基础设施更容易被人和机器找到并使用。FAIR 不是某个具体软件产品,也不是给数据质量打分的认证,更不意味着材料样品或实验过程可以被任何人完全重复。

在科研 AI 场景,可发现要求数据有持久标识、可索引元数据和清晰引用;可访问要求说明获取协议、许可和访问限制,即使数据受限也要明确如何申请;可互操作要求使用可解释的格式、标准单位、受控词汇和明确 schema;可重用要求有来源、许可、测量方法、处理步骤、质量说明和适当的使用条件。缺少单位的数值表格即使能下载,也很难重用;公开一组模型权重却不说明训练数据和许可,也不足以满足科研复用需求。

FAIR 与开放科学相关,但并不等同。受隐私、商业、国家安全或伦理限制的数据,仍可能通过受控访问和丰富元数据变得可发现、可访问;开放下载也不保证元数据完备。实际报告应把数据开放状态、访问条件、伦理限制和责任主体分开写,并确保安全与许可要求优先。

不确定度分类:模型与数据都可能成为误差来源

Gawlikowski 等人的深度神经网络不确定度综述区分可约化的模型不确定性与不可约化的数据不确定性,常与 epistemic 与 aleatoric 两类概念对应。前者通常关联知识不足、训练数据覆盖不足或模型参数不确定,理论上可以通过增加数据、改进模型或更好的训练减少;后者可能来自观测噪声、测量随机性或数据本身的模糊性,即使模型更复杂也未必消除。不同领域对术语的细节使用不完全一致,应用时应明确操作性定义。

常见的不确定度估计手段包括深度集成、贝叶斯神经网络、测试时增强、预测分布与校准等。集成模型在同一输入上的分歧可作为模型不确定度的近似,但若模型成员共享训练数据、结构与偏差,分歧会低估真实风险;单个网络也可能对陌生输入给出过度自信的预测。概率输出经过校准只说明在特定校准分布和方法下,预测频率与观测频率相符,不代表分布外时仍成立。

报告不确定度时需要说明:它是预测置信区间、模型间分歧、实验重复方差、测量误差、参数区间还是结构误差;如何计算;在哪个验证集上校准;覆盖率、分辨率和区间宽度分别如何;缺失或异常值如何处理。只给一个“置信度 0.9”而不说明其语义与校准样本,不能让读者判断这个数字是否适合科学决策。

机器学习原子势的可复现清单

原子势涉及数据生成、结构预处理、训练过程、分子动力学积分和物理量后处理。最低限度的记录包括:参考计算程序与版本、交换-关联泛函、赝势、基组/截断、k 点、收敛条件、磁态、单位约定;结构文件来源、原子顺序、周期边界、去重规则、训练/验证/测试划分和随机种子;网络架构、cutoff、训练超参数、损失权重、精度和硬件;模型权重哈希、推理代码版本、积分步长、温压控制器及后处理版本。

只公开总能量误差还不足以复现材料结论。若报告扩散系数,需要保存轨迹长度、平衡时间、有限尺寸、采样温度、统计误差和拟合区间;若报告稳定性,需要注明能量参考、竞争相数据库、结构弛豫、容差与计算泛函;若报告弹性性质,需要说明应变设置和拟合方法。模型预测与参考 DFT 的误差、MD 轨迹的统计误差和实验测量不确定度是三类不同问题,最好分别报告。

数据切分也是复现信息的重要部分。随机拆分可能让高度相似的局域环境同时出现在训练与测试中;按组成、原型、温度、轨迹或时间留出则测量不同泛化问题。报告“测试误差”时,描述划分规则比单独给一个数字更有解释力。推荐开源固定数据清单和拆分索引,不能开源数据时至少提供可审计的获取与访问说明。

MatterSim:模型说明中的适用域提醒

Microsoft MatterSim 官方仓库将 MatterSim-v1 描述为适用于不同元素、温度和压力范围的深度学习原子模拟模型,同时特别指出其模型设计面向块体材料原子模拟。README 对表面、界面或受长程作用显著影响的性质保持谨慎:预测可以提供定性参考,但未微调时不建议直接做定量分析。这个限制不是对所有此类任务的数学否定,而是对模型训练与验证范围的具体警示。

仓库提供不同规模的预训练模型,并建议报告时指出确切版本和 checkpoint。README 也说明,仓库模型权重经过再训练,可能与论文中的模型不同;仓库评估脚本默认使用 MatterSim 预测,其结果可能与 DFT 不同,重要结果建议用 DFT 确认。换言之,同名模型的论文表格、仓库 checkpoint、当前评估实现是三种不同的实验条件。复现论文应使用论文对应权重与协议;用当前仓库做新应用,则要按 README 与目标任务重新验证。

这类官方使用说明值得被视为适用范围元数据,而非宣传之外的脚注。对于想研究表面反应的人,关键问题不是模型是否“支持运行”,而是训练数据是否覆盖表面、是否显式处理长程作用、关键性质对哪些相互作用敏感、与 DFT 的误差如何、是否能用实验数据确认。若这些信息不充分,应将模型结果作为筛选提示,而非定量结论。

可执行的实验记录与结果摘要

下面示例展示一个精简 JSON 记录格式,要求每次评估同时记录模型、数据、计算设置和指标。它是示意结构,不是特定数据库标准;实际项目可以用 YAML、JSON、HDF5 或实验数据平台,但字段含义必须稳定且具备 schema 校验。

import json
from datetime import date

# 这是结构示意,不代表真实运行或实验结果。
run = {
    "run_date": date.today().isoformat(),
    "model": {
        "name": "示例模型名",
        "checkpoint": "填入不可变版本标识",
        "weight_sha256": "填入真实权重文件的 SHA-256",
    },
    "data": {
        "dataset_id": "填入持久数据集标识",
        "split": "填入实际拆分规则",
        "units": {"energy": "eV/atom", "force": "eV/Angstrom"},
    },
    "evaluation": {
        "reference": "填入实际 DFT 协议标识",
        "metrics": {"energy_mae": None, "force_mae": None},
    },
}

required = (run["model"]["checkpoint"], run["data"]["dataset_id"], run["evaluation"]["reference"])
assert all(required), "请补齐模型版本、数据集标识与评估协议"
print(json.dumps(run, ensure_ascii=False, indent=2))

代码里的占位符刻意触发校验失败,提醒使用者不能把模板原样当作有效记录;实际运行前需填入真实校验值、数据 ID、评估协议和数值。数据访问受限时,可用受控标识和申请步骤替代公开文件路径,但不能省略来源与条件。应避免把缺失指标写成零,避免把占位字符串混入正式报告。

报告不确定度并把它连接到行动

好的不确定度报告不止给图和区间,还说明什么行动会由它触发。例如原子势委员会分歧超过校准阈值时,暂停模拟并请求 DFT 标签;实验测量不确定性过大时,安排重复测量;模型在分布外构型上无校准覆盖时,拒绝给出定量结论。阈值应由目标风险和验证实验确定,不能因为便利而写死一个任意数字。

还应报告负结果和失败。某模型在某些构型上无法收敛、某种数据格式无法读取、某些候选超出训练域,都是复用者需要知道的信息。只保留成功跑通的命令和最佳随机种子,容易造成选择偏差。若结果对 seed、超参数、软件版本或数据预处理敏感,应提供敏感性分析;若资源不足只执行一部分实验,要明确未完成部分。

可复现研究的目标不是强求所有重复结果逐位相同,而是让研究者理解差异从哪里来,判断差异是否影响科学解释。计算复现确保过程透明,独立复现检验结论稳健,FAIR 提高资源可用性,不确定度报告揭示证据强弱;四者互补但不可互相替代。对于 AI 科学系统,最负责任的结果往往不是最自信的输出,而是给出明确边界、可追溯记录和下一步验证方案。

参考资料

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?