先说结论:数据契约不是多加几列元数据
分子机器学习的训练表看起来往往很简单:一行分子结构,一列活性或物性标签。但一个数值只有在“测的是什么、怎么测、对什么化学实体测、用什么单位、经历了哪些处理”都明确时,才可能被另一个团队正确解释。缺少这些上下文,模型或许仍能拟合,但研究者无法判断它学到的是目标性质、实验室差异,还是数据整理流程留下的痕迹。
本文把科学数据契约作为工程上的工作概念:一组在记录、交换和使用数据前必须满足的语义与质量约定。它不是某一篇论文定义的标准,也不意味着所有学科都必须采用同一套字段。它的目标是让最重要的假设显式化,并让违反假设的记录能在模型训练前被发现。
Wilkinson 等人提出 FAIR(Findable、Accessible、Interoperable、Reusable)原则,关注数据能否被发现、取得、组合和再利用;BIPM 的 SI Brochure 规定国际单位制的框架;JCGM 100(GUM)提供测量不确定度的评估与表达指南。三者解决的是相互关联但不同的问题:可管理、可比较,不等于测量准确;可下载,也不等于可解释。
一条分子记录至少包含三种身份
化学实体身份:结构字符串不是完整身份
SMILES、InChI、分子图和指纹都是表示化学结构的方式,不能把一个字符串简单等同于“这个化合物在所有实验中的身份”。同一物质可能有不同的序列化字符串;质子化状态、互变异构体、立体化学、盐形式和混合物处理,也会影响记录如何对应到实验样品。结构标准化可以让检索与去重更一致,却可能折叠本来需要区分的化学状态。
因此契约应保留原始表示和派生表示,并说明解析器、标准化规则及版本。若项目选择去盐、规范化电荷或选定互变异构体,规则应能复跑;无法判定的记录不应靠静默“修好”。还需把化学实体标识与测量记录标识分开:一个实体可对应许多批次、试剂形式和测定结果,同一批测量也可能被不同数据库重复收录。
这些不是要求每个项目都建立完整化学本体,而是避免两种相反错误:把表示不同误判为两个新实体,或把实验上不同的实体过度合并。数据契约至少应写下本研究的实体粒度与标准化边界,并让模型评估在同一规则下执行去重和切分。
被测量身份:标签名不够
“活性”“毒性”“溶解度”都是过宽的标签。契约需要解释具体的被测量或操作性终点:例如测的是哪种靶点、细胞系或物理化学属性,采用何种测定方法,结果以连续值、区间、分类还是删失值记录。对 IC50、Ki、Kd 等看似相近的数值,不能只因都与效力有关就混成同一列;它们对应的实验定义与条件不同。
条件也应当进入记录或可查询的关联表:缓冲液、温度、pH、孵育时间、浓度范围、仪器、批次、物种、实验室及协议版本,哪些必需取决于测量任务。若用“低于检测限”表示一个结果,就要保留不等号和检测限,而不是把它当成零或把阈值直接当作精确值。把连续读数阈值化为阳性/阴性时,阈值、单位、方向及边界等号都要明确。
这类描述让团队区分“数据缺失”和“实验得到的特殊结果”。空值可能代表尚未测量、未报告、质控失败或不适用,彼此不是一回事。契约可采用受控缺失原因,而不必让一个 null 承担所有语义。
测量身份:结果必须连着来源与过程
同一分子、同一终点在不同批次或实验条件下得到的观测,应先作为独立测量保存,再由明确规则汇总。只有最终均值、却丢掉重复数、离散程度和异常值规则,会使后续使用者无法判断差异来自化学结构还是测量过程。若记录来自公开数据库的二次整理,还应保留原始数据集或文献标识、来源行号、导入时间和转换版本。
来源链可以表示为“原始记录 → 清洗与结构标准化 → 单位换算 → 标签聚合 → 训练切分”。每一步都应说明输入、输出和代码或规则版本。这样当模型表现改变时,研究者能把变化归因到数据版本、化学处理、标签计算或模型,而不是只比较最后的分数。Bird 与 Frey 对化学信息分享的 e-Research 讨论,为把化学信息基础设施和可复用数据视为研究能力的一部分提供了背景;实际项目仍需按自己的领域标准定义字段。
FAIR 如何变成可操作检查
FAIR 是关于数据管理与复用的指导原则,不是“必须把所有数据无条件公开”的同义词。Accessible 强调有标准化方式通过标识符取得数据或元数据;在需要时,访问可以经过认证与授权。是否公开、谁可访问、许可是否允许训练,仍是独立的治理决策。受限数据也可以把可公开的元数据、申请流程和责任主体写清楚。
| 原则 | 分子数据中的可检查问题 | 常见误解 |
|---|---|---|
| Findable,可发现 | 记录与数据集是否有稳定标识符、可索引的描述和可搜索入口? | 文件名可读就等于能长期找到 |
| Accessible,可访问 | 用什么协议、接口或权限流程取回记录?数据撤下时元数据怎样处理? | Accessible 必然等于匿名、免费、无门槛 |
| Interoperable,可互操作 | 单位、终点、化学标识和词表是否有明确语义,关联是否可机器解析? | CSV 能打开就代表语义互通 |
| Reusable,可复用 | 是否提供来源、处理历史、许可、实验上下文与领域约定? | 下载成功或有 DOI 就能安全复用 |
这里的“可检查”要落到字段和测试上。数据集级元数据可记录题名、创建者、版本、发布日期、标识符、许可证、数据字典和来源;记录级元数据则描述化学实体、测量协议、单位、质量标记与原始来源。关联关系也很重要:模型结果要能回指训练数据版本,派生表要能回指输入表,标注或结构标准化工具要有版本。DOI 可以标识某个发布版本,却不会自动保证内容正确、记录不重复或许可证适合商业使用。
可互操作性通常需要共享词表和语义约定,而不仅是统一列名。例如两个表都用 value,一个表示摩尔浓度,另一个表示 pIC50;即使列名完全一致,合并也会制造错误。反之,不同词表只要提供明确映射、单位和版本,也可以有条件地转换。契约的任务不是消灭所有差异,而是把差异暴露出来,禁止未经说明的静默转换。
SI 与 GUM:单位回答“多少”,不确定度回答“有多确定”
BIPM 的 SI Brochure 是国际单位制的规范性参考出版物,包含 SI 单位、定义与相关实践资料;其第九版于 2019 年发布,官网提供更新后的英文文本。对机器学习数据而言,SI 单位或明确可转换的单位有助于比较,但单位必须绑定到被测量。只存 5 而没有 5 µmol/L、5 mg/L 或其量纲,数值不可正确解释;把质量浓度转换成物质的量浓度,还需分子量和明确的换算过程。
JCGM 100:2008(GUM)标题为《测量数据的评定——测量不确定度的表示指南》,旨在给出评估和表达测量不确定度的一般规则。指南区分两种评估途径:Type A 基于观测值的统计分析,Type B 基于其他信息来源评估。它们是评估方法的分类,不是把结果简单分成“随机误差”和“系统误差”。测量结果的不确定度要结合测量模型、输入量及相关性考虑;组合标准不确定度可按相应传播规则评估,扩展不确定度则通过覆盖因子表示。
不确定度不是误差的同义词,也不是“结果肯定落在某个范围”的保证。它描述在给定评估模型和信息下与测量结果相关的分散程度。不同实验室是否使用同一种方法、是否覆盖同一误差来源,决定了不确定度能不能直接比较。机器学习数据表若只保留一位平均值,会丢掉这类信息;若确实没有可用的不确定度估计,应标明“未提供”,而不是误称为零。
一个可以审查的记录契约
下面是字段草图,不是实际实验数据,也不是强制通用标准。项目可以用 JSON、数据库表或其他格式实现;关键是能表达关系、单位、来源和处理,而不依赖未写明的口头知识。
{
"record_id": "stable-measurement-id",
"entity": {
"raw_structure": "original representation",
"format": "SMILES",
"standardization": {
"method": "workflow name and version",
"status": "reviewed"
}
},
"measurement": {
"endpoint": "defined measurand and protocol",
"value": null,
"unit": "declared unit",
"qualifier": "exact, interval, below-limit, or above-limit",
"conditions": "linked protocol and assay context",
"uncertainty": "estimate, method, or not reported"
},
"provenance": {
"source": "persistent dataset or literature identifier",
"transformation": "versioned processing history",
"license": "reuse terms"
}
}
草图的 endpoint 不应只放一个任意短名;实际系统最好把终点定义、协议和受控术语拆成可引用实体。uncertainty 也不能只存一个无法解释的数字:需要说明标准不确定度或其他统计量、单位、估计方法、样本数及覆盖范围。类似地,qualifier 必须让解析器能区分“精确读数”和“测量边界”。
最低限度的质量闸门可以分为三层:语法检查确认类型、必填项和标识符格式;语义检查确认单位、终点方向、结构格式、缺失值原因及分类阈值;领域复核确认实验协议、标准化与数据许可证适用于计划任务。通过 schema 校验仅表示记录满足约定,不代表实验本身正确。质控失败和有争议的记录可隔离并附解释,而不是无痕删除。
从数据契约到可信模型评估
契约必须贯穿模型流程,而不止停在数据下载页面。首先固定并标记数据版本和许可证;随后按已声明规则解析结构、处理盐型与重复、转换单位、保留删失值和测量上下文;再按化学实体、测量来源或时间等目标条件构造切分。最后,模型报告需记录训练数据标识、特征与软件版本、随机种子、评估指标和切分定义。若测试集也参与了标签清洗、阈值选择或模型选择,就应说明这种接触,避免把它伪装成完全独立的最终评估。
flowchart LR
A[原始化学与实验记录] --> B[标识符、单位、来源核验]
B --> C[带版本的结构和标签处理]
C --> D[按目标用途构造切分]
D --> E[训练、评估与误差分析]
E --> F[模型结果回链到数据版本]
B -.发现问题.-> G[隔离记录并保留原因]
C -.规则更新.-> H[重新生成派生数据]
H --> D
这一流程的价值在于把“可重复”拆成能定位的环节:同一原始数据能否重建同一派生标签?单位变换是否守恒?原始实体和标准化实体的对应是否可追溯?相同切分是否能重现?若模型在两个数据版本间分数变化,是否能说明变化是标签更新、结构合并还是切分分布改变?这些问题比“数据文件能否读入 Python”更接近研究复现。
契约也需要边界与治理
要求越多,不代表数据越好。高成本的字段如果无从可靠采集,可能只产生一堆看似完整的占位值。应把字段分为必需、条件必需、推荐和未知,并给每种缺失设可解释原因;对模型用途而言重要的条件,可先限定在一个任务或数据集,而不必一次设计覆盖所有药物发现流程的全域 schema。
也要避免把不确定度字段当作自动质量分数。不同实验设计下的估计方法、覆盖范围和单位不同,不能仅按数字大小筛掉记录。模型不确定性、测量不确定度、标签异质性和分布外风险相关,却并不相同;数据契约应记录各自能支持的信息,不应将其压成一个“可信度”栏。
最后,数据可访问和可复用仍受隐私、商业机密、专利、伦理审查与许可限制。FAIR 鼓励让数据和元数据更可发现、更可互操作,并没有免除这些责任。合理实践可以是公开数据字典与来源说明、对敏感数据设申请流程、明确允许的分析和再分发范围。契约的目的不是承诺数据完美,而是说明哪些结论可由这些数据支持、哪些尚不能支持。
小结:把假设留在数据旁边
可复用的分子数据需要同时说明“是什么结构”“测的是什么量”“如何获得结果”和“经过什么处理”。FAIR 帮助组织发现、访问、互操作与复用;SI 让单位表达有共同参照;GUM 提供测量不确定度的评估和表达框架;化学信息实践则要求把结构、实验和来源连接起来。它们不会代替实验质量控制,却能让错误更早暴露、让差异被正确解释。
因此,建模前不妨把数据契约写成一组可执行问题,而非一份装饰性元数据模板:实体规则是否可复跑?标签和单位是否唯一可解释?删失与缺失是否区分?来源和许可是否清楚?若答案是否定的,模型仍可能产出数字,但数字背后的科学主张就需要降低强度。

参考资料
- Wilkinson 等,《The FAIR Guiding Principles for scientific data management and stewardship》,Scientific Data(2016) — FAIR 原则的提出与阐释。
- BIPM,《The International System of Units (SI Brochure)》,第九版(2019,官网提供更新文本) — SI 体系、单位定义及相关实践的权威入口。
- JCGM 100:2008,《Evaluation of measurement data — Guide to the expression of uncertainty in measurement》 — 测量不确定度评估与表达的一般指南。
- Colin L. Bird 与 Jeremy G. Frey,《Chemical information matters: an e-Research perspective on information and data sharing in the chemical sciences》(2013) — 化学信息管理与研究数据共享的 e-Research 视角。
读者留言
COMMENTS 暂无还没有留言,来说第一句?