先给结论:不确定性不是预测旁边的一枚“可信度”徽章
分子性质模型往往同时交付一个预测值和一个不确定性分数。筛选人员很容易把后者读成“这个数有多大概率正确”,但这个解释只有在不确定性定义明确、经适当校准、并且评测条件接近真实应用时才站得住脚。模型分歧、标签噪声、预测误差、区间覆盖率、化学空间新颖度和实验决策价值,是彼此相关但不等价的对象。
模型间分歧通常是认知不确定性的代理信号,不是实际误差的直接测量;一个校准良好的区间描述的是一类预测在指定分布下的覆盖行为,不保证每个样本都恰好拥有区间所暗示的概率;分布移位则意味着训练和应用的样本生成方式发生变化,即使模型在旧测试集上校准过,也不能保证旧校准继续成立。最后,筛选决策还要考虑活性阈值、实验成本、误报和漏报代价,以及剩余的实验预算。
因此,目标不是寻找一个适用于所有项目的“最佳不确定性指标”,而是建立一条可审计的链路:说明信号在估计什么,用与应用相符的数据评估它,检查校准和分布变化,再按决策后果选择验证、优先级或拒绝策略。相关论文为这条链路提供了不同证据,但没有一种方法能够替代整个链路。
先把五个问题分开
点预测和真实误差
对一个分子给出的点预测,只有在实验测量或高质量参考标签可得后,才能计算该样本的真实误差。预测时尚未观察到标签,所谓“本样本不确定性”只能是模型根据输入、训练数据和假设生成的估计。两者不是同一量:可以在同一测试分布上研究估计值是否与误差相关,但不能把相关性当成逐分子误差已被精确知道。
这一点也影响筛选统计:只给被选中分子做实验,会使误差和命中率仅代表被测子集。需保存候选池、选择规则及未测状态,避免把选择偏差或“无结果”误当成模型性能或阴性标签。
模型分歧和认知不确定性
集成方法训练多个模型,对各自预测取均值作为点估计,并用模型间散布作为分歧信号。成员模型若在训练数据之外的区域作出不同预测,分歧可能提示可用证据不足或模型选择不稳定。不同随机初始化、训练子样本、架构或数据视图能提供不同程度的多样性;若所有成员共享同一偏差、相似的数据泄漏或相同的表示盲点,成员一致并不构成独立验证。
集成方差并非认知不确定性的普适真值,只反映特定模型族、训练流程与成员构造下的分歧。单一模型的 softmax 分数、方差头或表征距离也不可未经检验就与它等同。
标签噪声和偶然不确定性
偶然不确定性(aleatoric uncertainty)通常指由测量噪声、样本固有变异或观察条件差异造成、无法仅靠更多同分布训练样本彻底消除的变化。在分子数据里,重复测量差异、实验室与批次差异、端点定义差别、样本质量和结构登记问题都可能进入标签散布。把它们笼统归到“分子天生不确定”会掩盖可通过实验设计或数据清洗处理的问题。
认知不确定性(epistemic uncertainty)描述模型知识有限所带来的不确定性,可能随有代表性的新数据下降。两者的行动后果不同:标签噪声可能需要重复测量或检查实验协议;训练支持不足则可能需要补充新化学系列。分解结果仍是模型估计,需实验核验。
校准区间和单个样本解释
预测区间试图给出一个带有覆盖目标的范围。校准关注的是:在与校准数据相符的一批样本中,所声称的覆盖水平是否得到经验支持。它不是单个分子“落在区间内”的概率自动成真,也不表示区间内所有值同样可能。对点估计附加一个看起来合理的标准差,若没有验证覆盖行为,就还不是校准。
总体校准可能掩盖不同骨架、活性区间、分子大小或实验来源间的差异。筛选若关注阈值附近候选,需重点检查该局部区域;新项目若来自特定靶点或系列,也应按子群查看。子群样本太少时,结论应标为证据有限。
模型分歧:有用的警报,不是准确率的替代量
Hirschfeld 等人对分子性质预测中的神经网络不确定性量化方法进行系统比较,在多种回归数据集上以多种指标评估。论文摘要报告:没有一种方法在所有数据集上始终占优,也没有方法能在多个数据集上可靠地把预测错误排序。[1] 这个结果不是说不确定性信号没有用,而是提醒使用者不要从一个数据集的排序效果推断另一个数据集的普遍可靠性。
排序能力、数值误差和区间覆盖并不等价:不确定性可以排出较难样本,却未量化风险;总体覆盖达标的区间也可能无法区分高活性尾部。评估前要说明用途是排序复核对象、给预测区间、估计阈值概率,还是控制拒绝预测后的风险。
一致不等于正确:集成成员可能在共同盲点上同时出错,近重复样本泄漏也会让分歧显得过小;分歧过大则可能源于训练随机性或模型族差异。只有验证它与独立测试误差或决策后果相关,才能把分歧用作风险信号。
系统可记录集成均值、成员散布、近邻信息、预测区间与输入质量,但不应直接相加成“总置信度”。综合评分须用代表性验证数据训练或校准,并保留原始信号以便模型更新后审计。
Evidential learning 与原子级不确定性:解释粒度变细,证据责任不变
Soleimany 等人提出用于分子性质预测的 evidential deep learning,将不确定性估计写入模型输出层和训练目标,而不是只靠重复采样获得分散预测。其回归形式预测 Normal–Inverse-Gamma 分布相关参数,尝试在一次前向计算中同时表达预测和不确定性;论文还展示了在分子性质预测、数据选择和筛选场景中使用这些信号的评估。[2] 这条路线的优势是推理流程可较为直接,并能把“预测值”和“模型认为证据有多充分”放入同一参数化框架。
名称中的“evidence”不代表证据强度已被外部实验认证。训练目标与应用分布错配时,区间或证据强度仍可能不合适。该研究结果限于其论文评估设置,部署前要用目标项目独立数据检查误差排序和区间校准。
Yang 与 Li 将分子不确定性延伸到原子粒度,提出分别表示偶然与认知不确定性的原子级量化方法,并提出对集成模型进行事后校准,以改善置信区间估计。[3] 作者报告,原子级不确定性在其研究中可帮助检测未见化学结构和可能与显著噪声相关的化学物种,并为分子结构中哪些局部成分贡献较多不确定性提供分析线索。对于化学家而言,这种分解可能比单个整分子分数更容易检查。
原子级热图不是因果解释:高亮局部只表示模型归因较高,不能证明它在实验机制中导致不确定性;结果也依赖表征、模型和归因定义。应将其作为检查类似物、实验来源和结构处理的线索,而非化学机制结论。
校准必须对准部署分布,也要暴露分层失败
校准需用训练集之外、与用途相符的数据,先确定要校准的预测区间或阈值概率,再检查整体及重要子群表现。若校准集是随机拆分,而部署面对新骨架、新实验室或新靶点,旧覆盖率不能直接担保新场景。校准是模型、数据分布与评估流程的联合性质。
分子任务尤其需要把结构相似的类似物、重复记录和系列信息纳入数据切分审计。随机切分有时让相近分子落在训练与测试两侧;在这种情况下,模型可能利用系列内相似性取得良好结果,却未必能迁移到新化学空间。更严格的骨架或时间切分可以回答不同问题,但没有哪一种切分天然代表全部实际应用。切分方案要与部署目标相符,并且被明确记录,而不是只挑能让模型分数最好看的方案。
应按活性区间、分子系列、结构新颖度和实验来源检查局部覆盖;失准子群可降低自动化等级或单独收集数据。细分会减少样本、增加估计不稳,故须报告样本量;证据不足时标注“尚未验证”。
分布移位与信息泄漏:旧测试集不能替未来担保
分布移位是训练与应用数据在结构、标签或实验条件上的变化。应区分输入新颖度、标签生成机制、仪器条件与候选选择等来源;笼统称“域外”会掩盖可修复的数据问题。
信息泄漏是评估中使用了训练或模型选择阶段不应可得的信息,导致测试成绩虚高。近重复跨分区、全数据特征筛选或用测试标签挑阈值都可能造成泄漏。它不等同于分布移位:评测可无泄漏但与部署不同,也可因近重复而过于乐观。
Joeres、Blumenthal 与 Kalinina 提出的 DataSAIL 将减少泄漏的数据切分表述为组合优化问题,证明该问题为 NP-hard,并提出基于聚类和整数线性规划的可扩展启发式算法;论文报告了它对生物医学机器学习评估的实证影响。[4] 这项工作支持把“怎么切分”视为模型评估设计的一部分,而不是运行一次随机数生成器的附属步骤。其目标是更现实地评估预期用于分布外场景的模型。
DataSAIL 的切分不能自动证明外推能力,也不消除标签偏差或测量差异。研究者仍需明确要检验系列内新分子、新骨架、未来样本还是跨实验来源,再选取并记录相应切分,检查结果对划分的敏感性。
让不确定性真正服务于筛选决策
虚拟筛选是用有限资源决定下一步实验,而非排分数。只选高分可能集中于同一系列,只选高不确定则未必改变决策。策略应结合活性、阈值概率、信息增益、结构多样性、成本与失败后果,并预先说明目标是命中率、化学空间覆盖还是模型改进。
若决策取决于是否超过活性阈值,应检查阈值附近的概率表现而非只看整体 RMSE。假阴性代价高时重召回,假阳性昂贵时重精确率;高不确定样本可送审,也可优先补标。最优阈值取决于项目效用。
主动学习按不确定性选样后,观察到的是策略筛过的标签而非随机候选。应保留选择概率与候选池,避免把选择偏差当作模型进步;新一轮更新后重新检查校准和候选分布。
Soleimany 等人报告了 evidential 不确定性用于分子数据选择和抗生素筛选等场景的实验评估。[2] 这些结果说明不确定性信号可以进入实际筛选策略,而非只作为论文附表中的诊断指标;但它们仍是特定数据、模型、选择流程和评估设计下的论文自报结果。应用者应自行复现对照,比较“只按预测值选”“预测加不确定性”“加入多样性或人工复核”等策略在目标项目上的增量价值,并验证被筛出的分子确实改善了实验决策,而不只是改变了模型分数。
一个可落地的质量门:预测、校准、漂移与行动
操作上,可以把决策门拆成连续几步。先检查分子结构是否成功标准化、是否存在盐型或立体化学异常,以及查询对象与训练记录是否有重复或近重复关系。再生成预测及原始不确定性信号,记录模型版本、训练数据快照和端点条件。然后按验证数据上确定的方案计算区间或风险层级,检查当前输入是否落在这些校准证据支持的范围。最后把预测与不确定性映射到实验决策:自动通过、人工复核、补充测量,或暂缓输出。
flowchart TD
A[接收候选与目标端点] --> B[结构质量与数据谱系检查]
B --> C[模型输出预测及原始不确定性]
C --> D[按目标验证集检查校准与误差]
D --> E[监测结构及实验分布变化]
E --> F{证据与决策风险是否可接受}
F -->|可接受| G[按效用规则排序和选择]
F -->|证据不足| H[人工复核 补测或拒绝自动判断]
G --> I[记录选择规则与实验结果]
H --> I
I --> J[更新数据并重新验证模型]
门控日志应保留原始预测、分歧、校准结果、输入质量和最终行动,并区分模型因证据不足而拒绝,与业务因资源或效用决定暂缓实验。
小结:不确定性要经验证才有决策含义
分子机器学习里的不确定性不是单一数字,而是一组有条件的估计:集成分歧刻画模型族间意见差异,偶然不确定性指向测量和样本内变异,预测区间需要校准,适用域与漂移需要独立检查,筛选还要以实验代价和目标效用为准。Hirschfeld 等人的比较明确提醒没有一种神经网络不确定性方法能在所有数据集和排序任务上稳胜;Soleimany 与 Yang 等人的工作扩展了 evidential、原子级与校准方法;DataSAIL 则强调评测切分本身会影响我们对泛化能力的判断。[1][2][3][4]
面向应用,可信的做法不是隐藏差异、合并成一个未经验证的“置信度”,而是分别报告信号的定义和证据,检验它与目标错误和决策结果的关系,并在分布改变时重新评估。只有当不确定性改变了实验选择,且这种改变在独立、目标相符的评价中带来可复现的价值,它才真正从模型输出变成筛选工具。
参考资料
- Lior Hirschfeld et al., “Uncertainty Quantification Using Neural Networks for Molecular Property Prediction,” Journal of Chemical Information and Modeling, 60(8), 3770–3780 (2020) — 比较分子性质回归中的神经网络不确定性方法及其跨数据集表现。
- Ava P. Soleimany et al., “Evidential Deep Learning for Guided Molecular Property Prediction and Discovery,” ACS Central Science, 7(8), 1356–1367 (2021) — 将 evidential uncertainty 用于分子预测、数据选择和筛选研究。
- Chu-I Yang and Yi-Pei Li, “Explainable uncertainty quantifications for deep learning-based molecular property prediction,” Journal of Cheminformatics, 15, 13 (2023) — 原子级不确定性分解及集成模型事后校准方法。
- Roman Joeres, David B. Blumenthal, and Olga V. Kalinina, “Data splitting to avoid information leakage with DataSAIL,” Nature Communications, 16, 3337 (2025) — 将泄漏减少型数据切分表述为组合优化,并提出聚类与整数线性规划启发式方法。
读者留言
COMMENTS 暂无还没有留言,来说第一句?