活动悬崖不是少数离群点那么简单
药物化学中的一个直觉是:结构相近的分子往往有相近的性质。但这个趋势会遇到尖锐例外——两个分子只在局部结构上有小差异,测得的生物活性却相差很大。这类局部结构—活性断裂通常称为活动悬崖(activity cliff)。它们可能指向结合模式改变、关键相互作用、构象或溶解性差异,也可能来自测量条件、标签整理或化学实体映射的问题。
活动悬崖是机器学习的特殊泛化挑战。基于“相似结构有相似标签”的平滑偏置,模型可能把悬崖两侧预测得过近;但测量噪声或重复标签冲突也可能造成假断裂。整体指标无法显示模型是否识别局部反例,一次失败也不必然证明模型无用,关键在于它是否影响目标决策。
Deng 等人对分子性质预测的系统研究比较多种表示、模型和数据集,报告活动悬崖会显著影响模型预测,并指出数据集规模、表示和评估元素都可能改变表现。[1] 因此,活动悬崖应进入评估设计,而不是被当成模型平均误差之外的化学轶事。
先明确什么算“悬崖”
结构相似和活性差异都需要定义
活动悬崖不由标签差异单独决定。需先指定结构表示和相似度度量,再定义终点与活性差异尺度。常见做法是将满足预定结构相似度和效力差异阈值的分子对标为候选悬崖。指纹、阈值及活性变换都会改变检出的配对;不存在对所有系列与任务都适用的唯一阈值。
指纹 Tanimoto 可筛查局部近邻,但表示的是特定指纹的共享特征,不等于三维构象或结合机制相同。活性差异也依赖终点;IC50、Ki、Kd 与细胞活性即使都取对数,语义仍不同。只有目标相同、协议相容且条件可比的结果,才构成较强悬崖证据;否则应分层或标记异质性。
因此,研究者应把悬崖检测规则写在评估之前:活性数据如何规范化、单位如何统一、重复测量如何合并、结构标准化如何处理、相似度如何计算、阈值如何确定。若阈值根据当前模型表现调整,那么悬崖集就已参与模型选择,不能再声称它是独立测试。
真实断裂、标签噪声与协议差异要分开
巨大的标签差异可能是真实结构效应,也可能来自不可比记录:盐型、质子化或立体化学未对齐;细胞系、靶点构建体、温度、孵育时间或检测方案不同;单位换算或阈值处理出错;或单次观测波动较大。算法仅看结构与标签,无法自动识别原因。
把所有差异都叫“噪声”同样危险:真实悬崖可能是药物设计要理解的局部效应,平滑或删掉会让模型忽略关键取代变化。应保留测量来源、核查可疑配对,并利用重复或独立测量做敏感性分析。证据不足时,标记为候选悬崖或标签冲突,不宣称发现了确定机制。真实断裂、标签噪声和协议差异都可能提高误差,却分别指向模型局部效应、数据不确定性和跨域泛化问题;不宜一概归咎于架构。
为什么均值会隐藏局部失败
若测试集多数是容易预测的系列,仅少数相似分子标签相反,全体 ROC-AUC、PRC-AUC、MAE 或 RMSE 会掩盖误差集中位置。模型可在常见区域排序良好,却在悬崖附近低估差异,整体分数仍可能不错。药化决策有时关心的正是取代变化是否显著改变活性,而非常见类似物的平均误差。
Deng 等人的系统评估强调,模型表示、数据集与评估选择都会影响分子预测结果,且活动悬崖会显著影响模型预测。[1] 其结论不意味着任何单一模型必然无法处理活动悬崖,也不能据此捏造一个统一的性能惩罚比例。更谨慎的解释是:活动悬崖需要被显式识别和单独分析,否则整体性能不足以揭示模型在局部 SAR 断点处的行为。
平均分与局部案例应互补。平均指标用于描述总体预测任务,悬崖子集或局部误差分析则检验有针对性的压力点。两者不能相互替代:只报告悬崖会夸大其在全体数据中的比重,只报告平均分则会掩盖高价值局部失败。结果可以按悬崖与非悬崖样本分层,同时报告每个分层的样本量、构造规则和数据覆盖。
切分规则决定悬崖是否被真正测试
若悬崖两侧随机分入训练与测试,模型可能在训练中见过其近邻,测试就未必检验未知断点。将整组配对或系列留在同一分区可减少直接泄漏,但 scaffold 切分不保证这一点:两侧可能被分开,也可能跨骨架高度相似。
MoleculeNet 对多种切分方式的整理说明,随机、scaffold 和时间切分各自对应不同问题,应该根据数据集与任务选择,而不是把某一种视为万能。[2] Wallach 与 Heifets 讨论分类基准中训练和验证样本相似性带来的记忆偏差,提醒研究者检查结构冗余。[3] Guo 等人针对虚拟筛选指出,scaffold 切分可能高估所研究条件下的筛选性能,与更严格的相似度聚类切分相比表现可能更乐观。[4] 这些研究共同支持“评估结果取决于测试样本与训练集的关系”,但不能推成 scaffold 切分在所有场景都无效。
可将关联分子对或系列作为组,避免同一悬崖跨集合,也可专门留出候选悬崖,测试模型能否预测未见断点。分组会改变类别平衡、系列分布和覆盖度,需与普通测试并列报告;若配对关系重叠,还要避免组间串漏。时间评估则检验过去数据对未来系列的预测,但日期不准或协议变化会混入实验流程漂移。选择切分应先定义目标,不应把“更难”当作科学性的代理。
| 评估安排 | 活动悬崖相关问题 | 适合支持的结论 | 关键注意事项 |
|---|---|---|---|
| 随机留出 | 悬崖配对两侧是否可能跨集合? | 相近总体中平均预测如何 | 检查近重复和配对泄漏 |
| 系列或配对分组 | 同一局部 SAR 关系是否完整留出? | 对未见关系或系列的表现如何 | 组定义、组间重叠和样本量 |
| Scaffold 留出 | 指定骨架隔离后悬崖表现如何? | 对骨架分组变化的敏感性 | 不能视为零相似度保证 |
| 相似度约束 | 跨集合近邻关系如何控制? | 低相似度条件下的悬崖预测 | 相似度表示和阈值依赖 |
| 时间留出 | 未来悬崖或后续系列能否预测? | 过去数据对未来批次的能力 | 测量协议与来源随时间变化 |
指标应反映要做的决定
分类任务的 ROC-AUC 关注正负样本排序;正例稀少时,PRC-AUC 更直接呈现精确率—召回率权衡,但会随正例比例变化。若按预算挑选候选,可评估该预算下的早期富集或命中表现。回归的 MAE 与 RMSE 汇总误差的方式不同,RMSE 对大误差更敏感;选择取决于任务、单位、误差成本和数据质量。
可在预先定义的悬崖对上检查模型是否预测出方向和幅度合适的差异,也可比较系列内预测排序与实测排序。指标需按标签和决策预先确定;报告应同时给出普通与悬崖样本的表现、误差分布和样本量。
测试集不能用于反复选阈值、调校准或挑模型,否则分数会偏乐观。阈值应在训练或验证数据确定,再到隔离测试集评估;若决策依赖概率,还应检查校准。排序、分类、回归和候选选择是不同任务,单一流行指标不足以代表全部证据。
测量噪声会伪造或遮蔽悬崖
实验标签并非绝对真值:重复测定会有波动,数据库也可能汇集不同实验室、协议、靶点构建体和数据变换。单次读数可能低估或高估分子差异;不同来源先统一阈值再筛悬崖,阈值附近的分类翻转也可能被误当作真实断裂。
处理标签噪声不只是“删除异常值”。首先要保留原始数值、单位、测量条件、来源和重复次数;然后区分测量不确定度、协议差异、结构映射不确定性和录入错误。若重复结果存在,可报告中心估计与离散程度;若标签是删失值,则保留界限而不是强行当作精确值;若无法核验,就将不确定性写进结论。模型的预测方差不能替代实验重复,也不能解释标签冲突源头。
Deng 等人报告不同数据集、表示与评估元素会影响模型表现,并指出活动悬崖对预测有显著影响。[1] 这让标签审计成为评估的一部分:若悬崖集里大量配对来自异质实验,那么模型在这个子集上的差分数值混合了结构难度与标签不确定性。应提供未经筛选的主分析,同时给出经协议匹配或高置信筛选后的敏感性分析,避免只保留最支持某个结论的样本。
一套可复现的活动悬崖分析流程
实际工作可以按以下顺序执行,而不是先算一个相似度阈值再解释结果:
- 固定任务和实体粒度:明确靶点或表型、测量终点、单位、实验条件、分子结构标准化规则及预测目标。
- 审计测量记录:保留原始值、重复、来源、实验条件、删失状态和处理历史;将不兼容终点分开或明确映射规则。
- 定义悬崖检测:选定结构表示、相似度度量、活性尺度和阈值;记录版本与选择依据,检查阈值变化对配对集合的影响。
- 检查数据支持度:统计重叠配对、重复测量、标签冲突和系列覆盖;将候选悬崖与证据不足的异常记录区别对待。
- 构造与用途相关的切分:确定是否要将配对、系列、骨架、来源或时间整体留出,并计算跨分区近邻诊断。
- 预先确定主要指标:按排序、阈值决策、回归精度或候选预算选择评价指标;把悬崖分析设为辅助或共同主要终点。
- 分层报告误差:在全体数据、悬崖对、非悬崖对及必要的来源/活性分层上报告结果和样本量。
- 做稳定性检查:改变合理的结构相似度和活性差异阈值、切分种子与数据筛选规则,报告结论是否改变。
下图总结的是一条分析流程,不是说所有步骤都能由一个自动工具决定。尤其是结构标准化、实验可比性与目标指标,通常需要领域判断。
flowchart TD
A[定义终点、实体与部署目标] --> B[核查结构、来源、单位和重复测量]
B --> C[预先固定悬崖判定规则]
C --> D[构造全体与悬崖子集]
D --> E[按系列、结构、时间或来源设计切分]
E --> F[选择与任务对应的指标]
F --> G[报告整体表现和悬崖局部误差]
G --> H[阈值、切分和标签敏感性分析]
流程的核心是把模型失效转化为可解释问题:是模型表示没捕捉到关键差异,训练样本未覆盖相似化学变化,标签来自不兼容实验,还是测试切分与应用场景不同?如果这些因素没分开,仅凭一个误差数字很难给出结构优化建议。
从基准到药化决策:什么结论能站得住
活动悬崖分析能帮助识别模型在哪些局部结构变化上过度平滑,也能帮助药化团队安排后续实验。但它并不会自动告诉研究者为什么活性发生变化,更不能仅凭模型解释推断结合机制。要主张结构差异导致生物机制变化,还需要实验、结构生物学或其他支持证据;模型预测只负责提出可检验假设。
Deng 等人的系统研究提供了一个重要的评估警示:分子性质预测的表现受多个因素影响,表示学习模型在所研究数据上的能力并不一致,活动悬崖可以显著影响预测。[1] 该研究比较大量模型和数据集,但它不是对所有化学任务、所有标签方案或未来模型的最终判决。MoleculeNet 的基准工作则提醒,任务、表示、划分和指标必须具体对应数据集。[2]
因此,负责任的报告可以这样表述:“在按已说明结构与标签规则识别的悬崖对中,模型的局部差异预测表现为某种程度;结果对切分与阈值的敏感性是某种情况;由于哪些数据限制,尚不能将其解释为具体机制或普遍筛选能力。”这样既不抹去模型的价值,也不把有限基准分数包装成可直接指导所有药物设计的保证。
小结:让尖锐的例外进入评价
活动悬崖揭示分子预测中的一个张力:局部结构相似往往有助于插值,但真正有科学与药化价值的差异恰可能出现在相似结构的局部断点。整体指标、随机切分或单一骨架切分都无法单独回答模型是否能处理这类关系。评估需同时考虑配对与系列如何划分、结构相似定义、标签噪声、实验上下文以及任务对应的指标。
将悬崖集合从平均分中单独拿出来,不是为了追求更严苛的排行榜,而是为了让模型能力边界更清楚。先核实标签,再定义结构关系,按部署场景切分,最后报告总体与局部表现,才能把“模型预测不准”进一步拆解成可行动的实验与数据问题。
参考资料
- Jianyuan Deng 等,《A systematic study of key elements underlying molecular property prediction》,Nature Communications(2023) — 比较分子预测中的模型、表示和评估因素,并讨论活动悬崖影响。
- Zhenqin Wu 等,《MoleculeNet: A Benchmark for Molecular Machine Learning》,arXiv:1703.00564(2017) — 分子任务基准、数据切分和指标选择的参考。
- Izhar Wallach 与 Abraham Heifets,《Most Ligand-Based Classification Benchmarks Reward Memorization Rather than Generalization》,Journal of Chemical Information and Modeling(2018) — 训练—验证相似性冗余与分类评估偏差的分析。
- Qianrong Guo、Saiveth Hernandez-Hernandez 与 Pedro J. Ballester,《Scaffold Splits Overestimate Virtual Screening Performance》,arXiv:2406.00873(2024) — 比较虚拟筛选中 scaffold 与其他结构切分的评估差异。
读者留言
COMMENTS 暂无还没有留言,来说第一句?