分子自监督预训练:增强视图是否保留了化学语义

先给结论:自监督学习的难点是定义“什么可以变”

分子标签往往需要昂贵实验或高精度计算,而无标签分子结构相对容易积累。自监督预训练希望先从结构本身学习可复用表示,再用有限标注适配性质预测等任务。关键不在于盲目增加预训练数据,而在于训练目标默许了哪些变化不重要:对比学习把两种增强视图拉近,复原式目标要求模型从受扰输入找回被遮蔽的信息,二维—三维预训练则借几何视图帮助图表示。

MolCLR 在二维分子图上对原子特征、键和子图做增强;GraphMVP 利用二维拓扑与三维几何之间的对应关系;Uni-Mol 直接在三维构象上学习原子类型、距离和坐标相关任务。它们展示了不同的自监督信号,却不保证任何预训练都能改善任何性质。化学语义取决于目标:一个变化对分子身份无关紧要,却可能决定手性活性、结合能力或构象能量。增强策略必须与要预测的物理或化学量相容,收益也必须在目标切分上单独验证。

从无标签结构到可迁移表示

监督学习用分子结构预测溶解度、活性或量子性质,但标签的数量、质量与测量条件有限。自监督则从无标签结构构造代理任务,如遮蔽后恢复、预测结构要素,或判断两个视图是否来自同一分子;预训练编码器再微调或用于表示抽取。

这不等于得到“普适化学大脑”。模型主要编码能降低预训练损失的信息:恢复原子类型强调局部环境,几何任务强调构象,对比任务强调视图共性。若下游依赖被代理目标压掉的差异,就可能没有收益甚至负迁移。因此,自监督损失是一种有选择的信息压缩,也隐含了哪些结构变化可忽略的假设,不是中性的“免费标签”。

MolCLR:用图增强构造分子正样本

Wang 等人提出 MolCLR(Molecular Contrastive Learning of Representations via Graph Neural Networks),在大规模无标签分子图上进行对比式预训练。每个分子经图编码器得到表示,再由随机增强产生两个相关视图。训练目标鼓励同一分子的两个表示接近,并让不同分子的表示相对区分。论文介绍了三种分子图增强:原子掩码、键删除和子图移除;预训练后将图编码器用于分子性质分类和回归。MolCLR 论文

图增强 输入层面做了什么 可能保留的线索 可能破坏的化学语义
原子掩码 把选定原子的属性替换为掩码表示 图的节点位置与整体连接骨架仍在 被遮蔽的元素、价态、芳香性、电荷或手性,可能正是目标线索
键删除 从图视图中移除选定边 未受影响区域的原子与局部结构 键连通、环系、官能团边界,甚至分子是否连通
子图移除 随机选择并遮蔽或移除一块局部结构 未被选择的其余图区域 药效团、反应位点、带电中心或决定性质的完整片段

表中的“保留”和“破坏”是增强操作的结构后果,不是普适统计结论。图增强是在输入上构造训练视图,并非模拟有效、可合成的化学反应;删键图可作模型扰动,却不代表有实验意义的新化合物。

对比损失隐藏着一条语义假设

对比目标通常以一个视图为锚,将同一分子的另一视图作正样本、批次中其他分子作负样本,拉近前者并区分后者。这隐含两项假设:增强变化不影响所需语义,不同分子值得分开;但分子身份相同不等于任务标签相同。表中三种扰动的风险也不同:掩码保留骨架,却可能遮住杂原子、电荷或立体中心;删键改变拓扑、环系和共轭;子图移除可能抹去药效团。扰动越强,越难记住精确结构,也越可能把标签相关因素当噪声。

MolCLR 在多项性质基准上报告预训练结果并比较增强,但效果随数据集和端点而变:图破坏可能正则化某些任务,也可能损害依赖局部结构的任务。不能据此认定三种增强叠加更好,或把平均表现外推为普适最优;基准结果不是普遍化学规律。

负样本也有化学上的歧义

批次中其他分子常被作负样本,但不同结构未必有不同性质:类似物可能活性相近,微小取代变化也可能形成“活性悬崖”。把所有其他分子都推远,可能分开本应接近的类似物;相同分子的多个构象若分开处理,也须明确任务上应区分还是靠近。这些是假负样本或正样本定义不准。相似性加权、属性多视图、显式化学等价关系或无大量负样本的目标都可探索,但会增加结构、标签或计算需求。关键是判断拉近、推远关系是否符合下游任务。

GraphMVP:让二维图从三维几何中学习

GraphMVP(Graph Multi-View Pre-training)针对一个常见现实:三维构象对化学建模有信息,但很多下游场景只提供二维连接图,或推理阶段不想依赖昂贵构象生成。它把每个分子的二维拓扑和三维几何看作相互关联的两个视图,用跨视图的对应与一致性开展自监督训练。其目标是让二维图编码器从三维视图中吸收几何相关信息,之后可在仅有二维输入的下游任务中使用。GraphMVP 论文

论文框架包含跨视图对比与表征重建类目标:一类学习分子二维与三维视图的对应关系,另一类要求从一个视图的表示预测或重建另一个视图的表示。概念解释:对比目标强调“这两个视图对应同一分子”,重建或一致性目标强调“二维和三维表示之间含有可预测的共同结构”。多个目标可以互补,但具体效果依赖编码器、预训练数据和优化权重。二维图并不会因此真的变成三维坐标;它获得的是在训练中学到的几何相关统计表示。

GraphMVP 的设计利用了“特权信息”想法:训练阶段可见而推理阶段不可见的额外信息,帮助主模型学到更好的表示。三维视图可以在训练时提供构象和距离线索,最终使用时却只保留二维分子图。对下游部署而言,这种训练—推理差异可能很有吸引力。限制也很清楚:二维结构和三维构象必须可靠对应;构象生成误差或构象集合偏差会进入监督信号。若同一分子有多个生理相关构象,单个构象与二维图的“正对应”并不一定覆盖真实结构分布。

跨视图目标还要区分坐标系变化与构象变化:刚体旋转、平移不改标量性质,内坐标变化却可能影响性质、结合或反应。把所有构象压成单一身份表示会丢失构象敏感信号;反过来,要求二维拓扑恢复唯一坐标也不合理,因为它通常无法确定构象。目标应对齐可预测的共有信息,而非臆造不可推断的几何。

Uni-Mol:把原子、距离和坐标直接纳入预训练

Uni-Mol 是 Gengmo Zhou 等人在 ICLR 2023 发表的三维分子表示学习框架。其分子模型在分子三维构象上预训练,使用基于 SE(3) Transformer 的架构。论文描述的预训练信号包括:从受扰输入恢复坐标、预测原子对距离,以及恢复被掩蔽的原子类型。这样的目标分别鼓励模型利用几何位置、相对几何和局部化学组成。Uni-Mol 官方论文页面

坐标恢复训练模型处理受扰构象与局部几何,距离预测编码原子间相对位置,原子类型恢复则利用邻域和几何上下文推断元素。坐标目标需处理整体平移与旋转自由度,距离目标天然不受坐标原点和整体朝向影响;原子类型预测仍依赖训练数据的化学与构象分布。多目标可以形成三维表示,但不等于学会普适物理定律。

Uni-Mol 论文还包含面向蛋白口袋的另一套预训练模型,服务于分子—蛋白结合相关任务;本文讨论的是分子构象模型,避免将两个训练语料与任务混为一谈。作者报告将该框架用于分子性质预测及构象、结合姿态等三维空间任务。这里不复述榜单数字:实验结论只能按论文对应的任务、数据与协议解释,不能据此断言任何性质都因三维预训练受益。

与 GraphMVP 的一个区别是,GraphMVP 的核心主张是训练时利用三维几何增强二维图表示,允许下游只使用二维图;Uni-Mol 则以三维构象为直接输入来学习三维表示,具体下游使用方式要看任务和模型流程。前者更像“借助三维教师强化二维学生”,后者更像“用三维数据训练几何感知的表征”。这只是概念比喻,不代表两者所有实验条件都可直接比较。

三条路线的差异:不要把目标混成“预训练”

方法 预训练视图 自监督信号 下游信息依赖 典型风险
MolCLR 增强后的二维图视图 同分子视图对比,区分其他分子 主要使用二维分子图 增强或负样本可能破坏标签相关差异
GraphMVP 二维拓扑与三维几何 跨视图对比与表征重建/一致性 目标图编码器可用二维图 构象对应和二维可推断性有限
Uni-Mol 三维分子构象 坐标恢复、距离预测、掩码原子类型恢复 三维任务通常需按协议提供几何输入 构象来源、几何分布与坐标处理影响表示

表格比较的是公开论文的基本方法设计,而不是性能排位。MolCLR 的增强学习视图不一定是合法构象;GraphMVP 的三维信息可在预训练后不出现在推理输入中;Uni-Mol 直接围绕三维构象形成训练目标。因为数据、模型和下游任务不完全相同,不能把各论文的分数直接横向排序,亦不能把“自监督”当作统一可比的算法标签。

化学增强的原则:保持目标相关信息,而不只是图能解析

讨论增强时,常有人问生成图是否“仍然是一个有效分子”。这是重要问题,却不是唯一标准。对比学习更根本的条件是:构造的正样本对是否应该对目标保持相同语义。某个删键图即使能被软件解析,也不代表它保留原分子的活性;反过来,掩码图不完整或无法作为真实化合物,也可能是合理的预训练扰动,因为模型任务是从不完整输入中恢复信息。有效性、身份一致性、标签一致性是三个不同概念。

先把任务依赖写出来

对总体标量性质,刚体旋转、平移和原子记录顺序变化不应改变量;带方向的偶极或力则应随坐标系旋转。手性翻转可能生成不同化学对象,能否把对映体视为同类由任务决定,不能把反射无条件当作安全增强。

构象同样依目标而异:平衡性质可考虑聚合多个构象,单构象能量或结合姿势则把特定构象作为状态。用不同构象作正样本可能学到构象不变的身份,也可能抹去能态差异。数据标注的是指定构象能量、最低能量、溶液测量还是复合物状态,会改变增强的合理性。

逐级做增强,并检查反事实

先以保守扰动建立基线,再逐项加入结构性变化:先测原子特征掩码,再试删键或移除子图,并按原子类别、环、官能团和标签敏感结构分层。比较弱、中、强增强的剂量曲线,观察训练损失改善而下游验证开始变差的位置;单看平均分会掩盖语义受损环节。

还要做反事实抽查:官能团依赖任务检查关键基团是否常被遮蔽或删除;手性任务检查镜像是否误合并;构象任务检查不同能态是否被压成同一身份。依赖领域规则的增强应显式记录,不能默认为全体分子适用。这些是通用实验建议,不是三篇论文报告的额外实验结果。

收益依赖任务与切分:预训练不是免检的捷径

预训练能否带来迁移,取决于预训练数据与下游任务共享哪些规律。若两者都依赖局部原子环境和分子拓扑,图表示可能受益;若目标与三维构象、方向或空间互补性相关,几何预训练可能更合适;若预训练目标恢复的信息与标签无关,模型即使学得很好也未必改善预测。小数据任务可能更需要迁移,但噪声、分布不一致或外部数据污染也可能抵消收益。标注规模不是唯一决定因素。

切分方式会改变“泛化”一词的含义。随机切分可能让结构相似分子同时出现在训练和测试集合,测到的是对已见化学区域的插值;按分子骨架切分会更强调新骨架上的迁移;时间切分则贴近较晚发现的分子能否预测。任何一种都不是对全部实际场景的完美替代,评估要选择与部署问题对应的切分,并报告结构相似性或时间信息如何处理。

预训练数据需要做重叠审计。若下游测试分子本身或高度相似结构进入了无标签预训练语料,模型可能已经见过其结构;这未必构成标签泄漏,但会改变“全新分子泛化”的解释。应尽量记录数据来源、去重和标准化规则、预训练与评估集结构交叠,以及训练期间是否使用了测试标签。外部数据越多,数据治理与切分透明度越重要。

比较预训练方法时,应将架构、预训练语料规模、微调预算、超参数搜索和随机种子尽量控制一致。至少需要同架构从头训练基线,才能将提升归因于预训练而非更大模型;再比较不同增强或目标,才知道哪种训练信号有贡献。分类与回归任务也要使用合适指标,并考虑类别不平衡、测量误差与重复实验差异。只报告最有利的一次运行或单一随机切分,会让偶然性伪装成表征优势。

小结:增强规则就是化学假设,收益必须逐任务验证

MolCLR 通过图增强和对比目标学习二维分子表示;GraphMVP 在训练时借助三维几何帮助二维图编码器;Uni-Mol 直接从坐标、距离和原子类型相关任务学习三维表示。三者使用的视图和代理目标并不相同,因此不应被简化成一个笼统的“分子预训练技术”。

增强并不只要求生成数据结构形式上可处理,更要判断它是否保留了下游目标的化学语义。遮蔽、删键、去子图、跨构象配对都有可能合理,也可能破坏活性中心、手性或能量状态。最终是否受益,需要在明确的数据来源、预训练重叠、任务标签、模型基线与结构切分上实测;没有一种自监督目标能替代这些评估。

参考资料

  1. Yuyang Wang 等,《Molecular contrastive learning of representations via graph neural networks》(2022) — MolCLR 的分子图增强与对比预训练。
  2. Shengchao Liu 等,《Pre-training Molecular Graph Representation with 3D Geometry》(2021) — GraphMVP 的二维—三维跨视图预训练。
  3. Gengmo Zhou 等,《Uni-Mol: A Universal 3D Molecular Representation Learning Framework》(ICLR 2023) — Uni-Mol 的三维分子与几何预训练任务。该论文的官方记录在 OpenReview;arXiv:2210.03629 实为 ReAct,非 Uni-Mol。
← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?