先给结论:适用域问的是“可否外推”,不是“模型有多自信”
分子性质模型给出一个数值,并不自动意味着这个数值在当前化学对象上可靠。适用域(applicability domain,AD)试图回答:对指定端点、训练数据和建模流程而言,哪些查询对象仍处于有证据支持的推断范围?它是关于“这次预测与训练经验之间的关系”的判断,不是模型输出旁边天然附带的置信度,更不是一个脱离任务的“模型熟悉度”分数。
这一区分会改变使用方式。模型在训练集附近也可能因标签噪声、活性悬崖或错误的化学结构标准化而预测失准;与训练分子结构较远的对象,也可能因保留了决定端点的关键机制而预测有效。距离可以提供警报,却不能单独充当准确率证明。适用域需要绑定到明确的化学表示、端点、训练程序、验证集和决策代价。
因此,适用域的实用产物不应只是一个“域内/域外”标签。更有用的是给出判断依据、证据强弱、可能的失效原因,以及系统下一步是正常报告、追加复核、实验补标还是拒绝预测。本文围绕一个原则展开:把适用域作为模型使用边界来验证,而不是把某个距离阈值当成普遍安全线。
OECD 的验证原则提供框架,不提供万能阈值
OECD 的(Q)SAR 验证指南把“定义适用域”列为模型验证原则之一,并与端点定义、明确的算法、拟合与预测能力的适当度量,以及在可能时给出机制解释并列。[1] 它们共同强调模型主张必须可解释、可复核:研究者需要说清模型预测的是什么、算法如何由结构得到结果、以及结论适用于哪一类化学空间。
这里的“定义”很重要。适用域不能只写成“结构相似时可用”,还要说明相似性是在哪种表示空间衡量,标准化和盐型处理怎样影响结构,参考集合来自何种实验条件,模型服务的是分类还是回归。比如两个模型都预测某种活性,一个使用二维分子指纹,另一个使用三维构象描述符,它们所说的“邻近”并不相同;即使输入结构相同,若标签来自不同测定体系,训练经验也未必可互换。
OECD 指南提供验证原则,不等于替所有模型规定一个统一的数值门槛。Sahigara 等人比较多种基于描述符的适用域方法时指出,不同方法以不同方式刻画训练空间中的插值区域,阈值选择会显著影响哪些测试对象被视为外推。[2] 这正是不能把固定阈值写成自然定律的原因:门槛依赖数据、描述符、端点和方法目标,必须有与当前用途相符的验证依据。
“域内”也不等于“预测正确”。它表示模型对该对象有一定程度的训练支持,不消除标签误差、测量偏差、模型偏差或训练/测试流程问题。反过来,“域外”也不是实验事实上的“不活性”或“绝对错误”;它表示现有证据不足以把常规预测可靠性沿用到这里。适用域判定应该影响信任与复核策略,而不是替代真实标签。
化学空间不是一张只有距离的地图
分子可以由多种方式表示,域判断也就至少包含数种不同含义。二维指纹近邻关注子结构重叠;描述符空间距离关注属性向量差异;图表示或神经网络潜空间关注模型编码后的邻近;三维表示还会受到构象采样、质子化状态和构象对齐方式影响。它们可能给出不一致的邻居。选择哪个空间,实质上是在陈述“哪些相似性可能使当前模型可迁移”的假设。
距离型方法通常先为训练分子计算描述符,再测量查询分子与训练样本或训练集合的距离。最近邻距离直观、便于画图,能提示新骨架或稀疏区域;但不同描述符的尺度和密度不同,维数上升后距离也可能失去区分力。固定半径若没有基于当前数据校准,可能把稀疏但有结构支持的区域误判为域外,也可能让包含局部空洞的区域看起来整体“在域内”。
杠杆值一类诊断依赖模型的特征空间和统计假设,更适合解释线性或近线性模型的训练空间覆盖。它不直接测量结构相似,也不能不加检验地迁移到任意非线性模型。局部密度方法关注查询点周围有多少相似训练记录;若邻域成员标签噪声很高,密度仍可能给出“有数据、却无可靠规律”的错觉。潜空间距离同样取决于表征如何训练:两个分子靠近,只说明编码器把它们放近,不自动说明端点机制相同。
集成分歧也常被当作域外线索,但它与结构距离不是同一件事。模型集成对某分子意见不一,可能是训练信息不足,也可能是模型本身不稳定;多个模型一致也可能源于共同的训练偏差、共同的数据泄漏或共同忽略了某类化学机制。因而应将分子表示覆盖、邻域标签表现、模型分歧和任务校准分开记录,而不是将几个指标混成一个看似精确的“AD 置信分”。
从整体边界到局部可靠性:方法为何会给出不同答案
Sahigara 等人的比较提醒我们,AD 算法之间不是换个公式计算同一条边界。它们可能有不同的插值定义、距离度量和外推阈值;同一测试集在方法甲看来较靠近训练域,在方法乙看来却已超出边界。[2] 比较算法时,应同时问两个问题:它实际把哪些化学对象纳入“可用”范围?纳入之后,预测表现是否真的改善?仅仅边界画得紧或松,不是方法更好的证据。
Aniceto 等人提出可靠性密度邻域(reliability-density neighbourhood,RDN),目标不只是给整个数据集画一条硬边界,而是在化学空间中映射不同区域的预测可靠性。[3] 其思路是依据训练实例附近的预测可靠性调整邻域,再观察邻域扩展时外部测试对象的预测表现如何变化;研究把 RDN 与密度 k 近邻、核密度估计和集成标准差等方法比较,并在多个 QSAR 数据集上评估。作者报告 RDN 能识别局部低可靠区域,也能发现集成分歧较小却存在系统性误预测的对象。
这类局部映射带来重要启发:域判断的重点不一定是单一边界,而可能是可靠性随局部邻域变化的剖面。但 RDN 的表现也依赖数据集、特征选择与评价方式。论文报告的比较中,对 P-gp 任务和另一些基准任务,适用域评分对方法的偏好并不一致;作者也指出 P-gp 数据存在小样本、噪声等问题,并讨论邻域半径设置的可调性。[3] 因此它不是可以对所有任务照搬的优胜算法,而是一个“适用域需要针对模型与端点评估”的例子。
Deng 等人对分子性质预测关键要素进行系统研究,强调分子表示、数据规模与活性悬崖等因素都会影响模型结果。[4] 它对适用域讨论的价值在于提醒我们:所谓外推能力,很可能同时受到数据切分方式、表示选择和标签结构影响。测试分子看似新颖,若随机切分把高度相似的类似物分散在训练集和测试集,测试成绩可能更多反映近邻插值;一个总体分数也可能掩盖局部活性悬崖上的失败。单看模型架构或平均误差,不能回答模型究竟在哪些局部化学区域可信。
建立一个可复核的适用域判断流程
适用域分析应从预测问题本身开始,而不是先挑一个方便的距离公式。第一步固定端点定义:化学实体如何标准化,活性标签的类别界限是什么,实验条件和单位是否一致,重复测量如何处理。数据源合并、盐型去除、互变异构体归一化和立体化学处理都可能改变“同一个分子”的含义。若这些规则在训练集与查询端不一致,距离计算再精细也无济于事。
第二步说明模型真正使用的表示。记录指纹、描述符、图编码或三维输入的版本和预处理;若模型是集成或多视图系统,分别保存结构空间与模型内部空间的支持度。不要把训练预处理之后的向量与查询端未经同样变换的数据直接比较。若结构标准化会合并或拆分实体,需把这种映射也纳入审计记录。
第三步在具有代表性的验证数据上检验域指标与误差的关系。至少比较域指标分层后的误差、覆盖率、偏差和局部样本量,并关注误差是否随离域程度增大。阈值选择可被视作风险预算:在既定的漏报代价、误报代价或人工复核能力下,选择能达到目标表现的运行区域。不同预测端点、模型版本与使用场景需要重新验证;不能从另一个数据集的最佳阈值继承一个看似方便的数字。
第四步设计“不确定”的出口。若多个域指标冲突,如最近邻距离显示新骨架而局部标签密度尚可,系统应输出原因并转入人工审查,而非简单平均。对外报告可将对象分为“支持较充分”“证据有限,需复核”和“超出已验证范围,拒绝自动判定”等操作状态;这些状态是治理策略,不是自然界的客观类别。新结构可进入优先补测队列,获得真实标签后再决定是否扩展模型的已验证域。
flowchart TD
A[明确端点与用途] --> B[标准化分子和实验标签]
B --> C[选择并记录表示空间]
C --> D[计算近邻密度分歧等域证据]
D --> E[在独立验证集检查域内误差]
E --> F{证据是否满足用途要求}
F -->|满足| G[报告预测与适用条件]
F -->|不足或冲突| H[复核 补测或拒绝自动判断]
H --> I[标签回流后重新验证]
为什么“固定阈值”会让模型看起来比实际更可靠
假设一个团队规定“指纹相似度超过某数值就算域内”,然后把这条规则用于所有药物端点。问题不在于阈值必然无用,而在于这个数值没有说明相似的是哪种结构特征、邻域的训练标签是否一致、实验噪声有多大、模型是否在这类分子上校准过。一个足以支撑某个粗粒度分类端点的相似度,不一定足以支持另一种细微活性回归;局部结构类似但活性相差很大的活性悬崖,更说明结构近邻不是答案本身。
阈值还可能带来虚假的二分感。距离刚好在阈值两侧的两个分子并不会突然从“有证据”跳到“完全没证据”。若使用硬切分,应说明它服务于哪个具体的操作决策,并同时保留连续的距离、邻域样本数、标签散布和校准误差等原始诊断量。这样下游审阅者才看得到边界附近的不稳定性,而不是只看到一个绿色或红色标记。
更棘手的是,训练数据本身可能覆盖不均。一片样本密集的化学空间可以包含重复实验、同骨架高度相似分子或来源相同的偏差;密度大并不必然代表证据独立。相反,某些新骨架可能只有少量样本,却保留了端点相关的关键相互作用。对域内的判断因此要连同样本谱系、重复性、标签噪声和数据切分方式一起解释。
面向实际使用的报告清单
一个可审计的模型卡或预测记录,至少应能回答以下问题:端点与数据来源是什么;训练和验证采用了何种结构标准化与切分;域指标使用什么表示和距离;门槛如何在当前用途下验证;域指标与真实错误、校准或筛选结果的关系如何;遇到冲突或无支持的分子时采取什么措施。若只报告“90% 的分子在域内”而不说明域的定义和该判断与误差的对应关系,这个比例没有可移植的解释。
对研究者而言,最重要的是报告适用域方法的失败案例和覆盖—风险权衡,而不只是被判为域内的样本表现。过窄的域可能只保留最容易的近邻、失去筛选价值;过宽的域则把难以验证的外推伪装成常规预测。应用侧还要记录真实流程中的新颖度、人工复核率和补测结果,定期评估模型更新是否改变域边界。模型、数据和预处理一旦改变,旧阈值就不是自动继承的保证。
最后,适用域不是让模型“知道自己不知道”的魔法。它是把训练证据、模型表示与失败风险显式接起来的一组方法和政策。OECD 的原则要求定义模型适用的范围;QSAR 方法比较与局部可靠性研究则说明,范围如何刻画、如何评价,都有任务依赖性。[1][2][3] 对分子 AI 更稳妥的承诺不是“所有预测都给出可信度”,而是对每个预测说明证据来自哪里、何时应该暂停自动化,以及如何用新的实验事实来修正边界。
参考资料
- OECD,《Guidance Document on the Validation of (Quantitative) Structure-Activity Relationship [(Q)SAR] Models》,OECD Series on Testing and Assessment No. 69,ENV/JM/MONO(2007)2 — (Q)SAR 验证原则及适用域要求的来源。
- Faizan Sahigara et al., “Comparison of Different Approaches to Define the Applicability Domain of QSAR Models,” Molecules, 17(5), 4791–4820 (2012) — 比较描述符型适用域方法,并讨论插值空间与阈值选择。
- Natália Aniceto et al., “A novel applicability domain technique for mapping predictive reliability across the chemical space of a QSAR: reliability-density neighbourhood,” Journal of Cheminformatics, 8, 69 (2016) — 局部可靠性密度邻域方法及跨数据集评估。
- Jianyuan Deng et al., “A systematic study of key elements underlying molecular property prediction,” Nature Communications, 14, 6395 (2023) — 讨论分子表示、数据规模与活性悬崖对性质预测评估的影响。
读者留言
COMMENTS 暂无还没有留言,来说第一句?