分子机器学习的切分不是排行榜开关,而是外推声明

先问部署问题,再决定怎样切分

分子预测论文里,一个测试集分数常被当成“模型泛化能力”的代名词;但所谓泛化,必须指向某个未来对象:新测一批随机化合物、筛选新骨架、进入未来实验批次,还是接触与训练数据整体相似度较低的候选物?这些未来样本的形成机制不同,适用的评估切分也不同。没有脱离用途的“最佳切分”,只有与目标应用相匹配或不匹配的测试设计。

随机切分、骨架切分、时间切分、聚类切分和相似度约束切分,都是对训练—测试关系施加不同限制。更严格的限制可能更接近某种外推场景,却未必更贴近所有真实筛选流程;更容易的随机测试也不必然无价值,它可以测量已知化学空间中的插值和实验重复场景。切分的强度不应作为排行榜开关,更不应把不同切分下的分数直接当作同一指标的高低比较。

本文把切分解释为外推声明:研究者应说明测试分子和训练分子可能共享哪些结构、来源、时间或实验信息,哪些共享被刻意阻断,以及这个安排对应什么使用场景。论文中的结果是对该声明的证据,不是对所有未来药物发现任务的保证。

切分改变了模型实际要回答的问题

随机切分:估计同分布抽样下的预测能力

随机切分通常对记录或分子随机分配训练、验证和测试子集。在数据没有明显重复、批次效应、标签泄漏且记录近似独立同分布的理想条件下,它提供一个直接的留出评估:训练集和测试集来自同一总体时,模型对类似样本的平均预测能力如何?当实际使用也是从同一总体抽取新候选、且训练数据覆盖该化学区域时,这种问题可能很有意义。

然而,化学数据中的样本并不总是相互独立。系列化合物、近重复结构、同一测定批次或同一文献来源可能同时进入训练和测试。模型可能利用局部结构相似性,或者利用来源与实验批次的共同痕迹,获得好分数。Wallach 与 Heifets 的研究指出,若训练—验证间的相似性冗余未被控制,分类基准的表现可能更多反映记忆而非对新化学结构的泛化;他们提出 AVE 来考察训练和验证中活性与非活性分子的冗余关系。[2]

这并不意味着随机切分永远无效。它测量的是给定采样机制下的性能,可能回答“下一批相似数据的预测能否复现”之类问题。若要把它解释成对新骨架、未来时间段或低相似度候选的能力,研究设计必须另给证据。更好的做法是报告结构相似性和来源重叠诊断,并把随机切分命名为随机留出,而不是笼统标成“泛化测试”。

Scaffold 切分:隔离一类骨架,不自动消除相似性

Bemis–Murcko scaffold 通常抽取分子骨架中的环与连接框架,将具有同一骨架的化合物放入同一分区。MoleculeNet 将 scaffold 切分作为评估结构推广的一种方式,并对多个数据集给出按数据性质选择切分的建议。[1] 它的核心约束是让指定的骨架标识不跨训练、测试分区,而不是保证分子在全部结构层面彼此遥远。

因此,“测试骨架未见”不等于“测试分子与训练集不相似”。不同骨架仍可能共享片段、相似取代基或相近指纹;Scaffold 的定义也可能把化学上相似的分子分在不同组。Guo、Hernandez-Hernandez 与 Ballester 在虚拟筛选研究中比较 scaffold、Butina 和 UMAP 聚类切分,报告 scaffold 切分得到的评估可能高估虚拟筛选性能,并建议选择更贴近目标化学空间距离的切分。[4] 这项研究有特定数据、模型和聚类方案,不能单独推出所有药物化学任务都应弃用 scaffold。

Scaffold 切分仍可用于回答“以特定骨架为单位隔离之后,性能会怎样变化”,特别是当项目决策确实关注骨架家族的可迁移性。重要的是报告 scaffold 的具体计算方式、组分大小、分区策略、跨分区最近邻相似度,而不能只写一个方法名称就把测试集称作“真正分布外”。

时间切分:模拟未来记录,但小心时间混杂

时间切分按日期将较早的记录用于训练、较新的记录用于验证或测试,适合评估“只用过去数据训练、预测未来数据”的部署情境。MoleculeNet 对 PDBbind 使用时间切分的建议体现了这种任务逻辑:当数据库版本对应的记录有时间顺序时,时间轴本身可能是研究问题的一部分。[1]

但时间并不只改变化学结构。测定技术、实验室、项目优先级、标准化流程与化合物选择都可能随时间变化。若训练集是某一来源、测试集是另一来源,时间外推分数可能同时反映实验分布变更;若数据库只保存最后更新日期,而非测定日期,切分甚至无法准确模拟“未来”。时间测试的价值不是因为它总比随机切分更严格,而是它把部署中“未来批次的信息不可用”这一约束明确写入设计。

聚类与相似度约束:从“不同标签”走向“不同近邻结构”

聚类切分先依据某种距离或相似度把分子分组,再将簇分配到不同集合;相似度约束切分则直接限制跨分区近邻关系,例如要求测试分子与训练分子之间的最大或分位相似度低于某阈值。它们意图控制训练—测试结构重叠,但结果依赖指纹、距离、降维、阈值、聚类算法和组大小。不同表示对“相似”的定义不同;阈值不能脱离目标筛选流程被当成自然常数。

Guo 等人的文章考察 scaffold、Butina 聚类与 UMAP 聚类等方案,并报告其所测虚拟筛选任务中 UMAP 切分的模型表现明显更差。[4] 这意味着在该研究条件下,模型成绩对测试集结构距离非常敏感;并不代表 UMAP 天生是所有化学任务的正确切分,或者它在任意数据集都能更忠实地复现真实部署。DataSAIL 则把降低生物数据切分的信息泄漏表达为组合优化问题,使用聚类与整数线性规划启发式方法,目标是构造面向分布外评估的低泄漏切分。[3]

切分方式 主要控制的关系 可回答的问题 需披露的边界
随机 记录随机留出 相似总体中新样本如何预测 系列、近重复、批次和来源重叠
Scaffold 指定骨架不跨集合 未见骨架组表现如何 骨架定义、跨骨架相似性、组大小
时间 较早与较新记录分区 对未来记录或批次预测如何 时间字段、协议与来源漂移
聚类 按结构距离簇分区 分离簇的结构如何预测 表示、算法与簇大小
相似度约束 限制跨集合近邻 低相似度时表现如何 指纹、阈值与覆盖率

MoleculeNet 提供模板,不是普遍许可

MoleculeNet 汇集分子数据集、评估指标、分子表示和学习方法,覆盖量子力学、物理化学、生物物理和生理相关的回归与分类任务。[1] 它采用随机、scaffold、分层及 PDBbind 时间切分等方案,并按数据集特点给出建议;回归可用 MAE 或 RMSE,分类可用 ROC-AUC 或 PRC-AUC。[1]

它的价值不是为所有任务指定同一协议,而是让协议与数据条件对应。论文还讨论小样本、类别不平衡和过拟合,指出可学习表示并非始终占优,物理或结构先验对某些任务可能更关键。[1] 新终点、实体定义或部署目标仍可能需要新切分,不能只凭引用基准名称就沿用旧协议。

Wallach 与 Heifets 更进一步提醒研究者检查数据冗余。[2] 他们提出的 AVE 关注训练和验证数据中活性与非活性分子的相似性结构,并分析分类任务性能与偏差指标之间的关系。该工作支持的结论是:基准分数会受到训练—验证化学相似性影响,需要检查这种影响;它不是证明所有随机分数都是假的,也不是声称一个去偏指标能完整代表前瞻性筛选。

评测报告应记录数据版本、结构标准化流程、分组单位与算法、随机种子、组大小、标签比例和跨区相似度,方便区分模型变化与测试集难度变化。分数随切分下降,正是有关目标分布的信息。

DataSAIL 与切分优化:少泄漏不等于零泄漏

DataSAIL 的目标是帮助生物数据构造面向分布外场景、降低信息泄漏的切分。论文将寻找此类切分形式化为组合优化问题,指出该问题为 NP-hard,并提出基于聚类和整数线性规划的可扩展启发式方法;作者通过实证实验展示 DataSAIL 对生物机器学习评估的影响。[3]

这类工作把切分变成可设计对象。其“低泄漏”仍依赖定义:哪些实体参与聚类、泄漏度如何计算、集合大小与标签组成如何约束。优化需在训练规模、测试覆盖与相似度隔离之间权衡。若目标场景本来就包含常见近邻,过度压低相似度反而会让测试集代表另一个问题。评价算法也要检查测试集是否异常集中、标签是否仍有信息、训练集是否保留足够结构多样性。工具可以构造切分,却不能替研究者决定要模拟哪种部署。

结构外推不是唯一的分布外

分布变化不只有结构距离,还可能来自靶点、细胞类型、物种、实验平台、实验室、时间或标签范围。只隔离 scaffold、却让同一批次或来源横跨训练与测试,不能证明对所有外推都稳健。反过来,若实际任务是在同一靶点和协议下扩展局部类似物,随机留出可能更贴近决策。

评估计划应按需拆分这些轴:随机留出可作相近分布基线;骨架或相似度切分检验结构隔离;时间、来源或批次留出则模拟对应变化。每项回答不同问题,不应合并平均以掩盖差异。

这些切分可构成评估矩阵,但不必每项都做。优先选择与决策最相关的测试,再加一两个诊断性评估。若不同切分下排名反转,应说明优劣依赖情境,而非挑最有利的结果当“真成绩”。

flowchart TD
    A[明确部署时将遇到的未来样本] --> B{主要变化轴是什么?}
    B -->|相同化学空间新记录| C[随机留出并查重复与来源]
    B -->|新骨架或低结构相似度| D[scaffold、聚类或相似度约束]
    B -->|未来批次或未来数据| E[按测定日期时间切分]
    B -->|新实验室或协议| F[按来源、批次或协议留出]
    C --> G[报告测试集边界与覆盖]
    D --> G
    E --> G
    F --> G
    G --> H[只对目标场景作结论]

标签与指标也会改变切分的含义

切分决定样本间的可见关系,标签定义目标,指标决定计分,三者需一并说明。标签若来自不同实验、阈值或单位,差异可能混入协议变化;只保留聚合值会丢失测量变异。删失结果、重复测量和不确定数据不应伪装成精确真值。

指标也要贴合任务。MoleculeNet 将 MAE、RMSE 用于回归,将 ROC-AUC 与 PRC-AUC 用于分类任务,并讨论在类别不平衡情形下 PRC-AUC 的适用性。[1] ROC-AUC 衡量排序能力,不等于候选物的绝对命中率;PRC-AUC 对正例稀少时的精确率—召回率权衡更敏感,但会受到正例比例影响。回归的 MAE 和 RMSE 对异常误差的权重不同,且若标签单位或变换不同,数字也不宜直接比。

虚拟筛选要帮助挑选实验候选,除总体 AUC 外,可按预算考察早期富集、校准、实验命中率或候选多样性,具体取决于资源与决策风险。概率阈值决策需关注校准和成本,纯排序则侧重排序质量;应预先指定主要指标,避免事后挑选。

如何写出不过度外推的结论

结论应交代测试样本来源、训练测试可共享的信息、结构相似度算法、标签处理和测试集是否参与模型选择。缺少这些信息时,应限于“在所用数据和切分上的留出表现”。

可写明:“我们按某规则构造测试集,并检查跨区结构相似性与来源关系;结果支持限定的应用假设,未评估其他分布变化。”这比笼统排行榜结论更便于判断证据边界。

比较模型时,应使用同一数据版本、切分、预处理和模型选择预算,并用其他切分作稳健性检查。反复试出最好看的测试划分,等于让测试集参与选择;应固定切分或隔离模型选择,并报告重复试验的变化。

小结:分数的第一行应该是切分定义

随机切分估计相近抽样条件下的留出预测;scaffold 切分隔离所定义的骨架;时间切分模拟未来记录;聚类与相似度约束切分尝试控制指定结构关系。它们不是从“宽松”到“严格”的通用阶梯,而是不同的外推声明。MoleculeNet 展示任务化选择切分与指标的价值,Wallach 与 Heifets 提醒相似性冗余会影响基准,DataSAIL 将低泄漏切分形式化,Guo 等人则展示虚拟筛选中的切分敏感性。

模型成绩真正可用的前提,是读者知道它能支持哪种决策。把切分、标签、指标和部署场景放在一起报告,才能避免把一个留出集上的数字包装成对“分子泛化”的普遍结论。

本文手绘信息图

参考资料

  1. Zhenqin Wu 等,《MoleculeNet: A Benchmark for Molecular Machine Learning》,arXiv:1703.00564(2017) — 分子基准、数据集、切分与评估指标的系统整理。
  2. Izhar Wallach 与 Abraham Heifets,《Most Ligand-Based Classification Benchmarks Reward Memorization Rather than Generalization》,Journal of Chemical Information and Modeling(2018) — 讨论分类基准的训练—验证冗余与 AVE 偏差。
  3. Roman Joeres、David B. Blumenthal 与 Olga V. Kalinina,《Data splitting to avoid information leakage with DataSAIL》,Nature Communications(2025) — 将低泄漏生物数据切分建模为组合优化问题。
  4. Qianrong Guo、Saiveth Hernandez-Hernandez 与 Pedro J. Ballester,《Scaffold Splits Overestimate Virtual Screening Performance》,arXiv:2406.00873(2024) — 在所研究虚拟筛选设置中比较不同结构切分方案。
← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?