先把问题说清:学表示与造序列是两件事
蛋白质序列由氨基酸残基组成。语言模型的一个有用类比是:把残基当作离散符号,让模型从大量序列中学习符号与上下文的统计关系。但这个类比只帮助解释建模方式,并不意味着蛋白质像自然语言一样有可互换的“句法”,也不意味着模型已经掌握了生物机制。
讨论这类模型时,至少要拆开三个对象。第一是预训练目标,例如遮住序列中的一部分残基,再让网络恢复它们。第二是表示,模型在预测过程中为每个残基或整条序列计算的向量。第三是下游任务,研究者把向量交给分类器、回归器、检索算法或结构预测模块,检验它对某个具体问题是否有用。表示是信息的编码,不是实验结论;下游预测也不自动等于设计。
与表示学习相对,逆折叠以蛋白质骨架为条件,输出候选氨基酸序列。即使某个语言模型的表示可用于预测结构或突变效应,也不能仅凭这些结果声称它能生成指定功能的蛋白。生成、结构预测和实验验证是不同环节,文章后续会分别讨论。
遮蔽预测为何能学到上下文
Rives 等人在 2021 年的研究将无监督学习扩展到大规模蛋白质序列。论文报告训练语料覆盖约 2.5 亿条序列、约 860 亿个氨基酸,并以掩码语言模型为核心:随机遮蔽一些残基,利用两侧上下文预测其身份。与只给每种氨基酸分配固定向量不同,Transformer 的上下文表示会随残基所在的序列环境变化。同一氨基酸处于不同家族、片段或邻域时,模型得到的表示并不必然相同。
这种训练任务没有直接告诉模型“这里是活性位点”或“这个变异会致病”。然而,大量序列中的共变、保守性和上下文规律可能在内部表示中留下可供读取的信号。所谓“可能”很重要:模型学到的向量不是被标注过的生化属性表,某个方向也未必能唯一解释为稳定性、功能或结构。研究者必须指定后续任务,并用独立样本验证解释。
一个常见分析单位是残基表示。研究者可以从序列的每个位置取向量,用于二级结构或残基接触预测;也可以聚合为整条蛋白的向量,用于家族识别、相似性检索或分类。前者保留位置差异,后者压缩全序列信息,适合不同问题。若将残基向量简单平均后再预测局部位点性质,就可能抹掉位置和上下文;若只用单个位置向量,又可能遗漏远距离关系。因此,表示方法本身也属于实验设计的一部分,而非可以忽略的实现细节。
论文证据怎样读
Rives 等人评估了表示中的信息能否迁移到同源识别、二级结构、残基接触以及突变效应等任务。结构相关任务使用明确的测试划分,包含按蛋白家族、超家族或折叠组织的评估;这类划分比把相近序列随机分到训练与测试两侧更能检验模型面对远缘对象时的泛化。论文也比较预训练规模与表示来源,并研究将语言模型特征与既有序列或结构特征组合后会发生什么。
必须注意,评测结果的语义取决于下游训练方式。论文中的突变效应研究包含基于深度突变扫描标签的微调或监督训练;这种结果不能简写成“模型零样本准确预测任意突变”。模型在某些特定蛋白上适应新适应度景观的实验,也是在明确数据集和留一蛋白设置下完成。它说明迁移学习值得研究,不等于任意新蛋白、新实验条件都能复现同等效果。
用监督介入程度排列证据
把论文中的任务按监督介入程度分层,比把表格里的指标排成一条排行榜更有解释力。
- 无监督检索:远缘同源识别可直接按嵌入距离找近邻,不额外拟合任务标签分类器。它考查表示空间的排序是否符合基准定义的同源关系;向量邻近仍不是进化树,也不自动揭示功能机制。
- 冻结表示与线性探针:固定预训练编码器,只训练线性映射,检验指定标签能否从嵌入中读出。成功说明表示包含对该任务有用、且能被此读出器提取的信息;不说明模型把概念存成可单独解释的维度,也不意味着模型没有借助下游标签学习决策边界。
- 监督预测头与特征融合:更复杂的预测头可以利用非线性关系;若再加 profile 或 MSA 特征,指标反映的是组合系统而非单独的语言模型表示。应分别报告语言模型特征、对齐特征和传统基线,才能判断提升来自何处。
- 微调表示:用变异实验标签更新编码器后,模型已经适配特定任务。Rives 等人既评估突变效应,也考察借助其他蛋白数据适配新适应度景观的设置;这类证据说明监督迁移值得评估,不应称作“零样本”,更不是生成新序列并实验确认其功能。
这几层回答的问题不同。探针越简单,越容易检查预训练表示里是否有可读信号,但它的表达能力有限;更深的头或微调可以利用标签中的任务结构,同时也使最终表现更依赖监督数据。比较论文时,至少要逐项注明编码器是否冻结、训练头的复杂度、是否融合外部特征、测试对象如何隔离。一个统一的性能数字无法概括这些差别;同一表示在一种任务上表现出色,也不能推出它在另一层级上同样有效。
还要把“预测已有实验标签”和“验证新设计”分开。突变效应评测针对预先测得的变体读数,检验模型是否能预测或排序该测量体系中的效应;它不是候选序列的前瞻性功能实验。要声称新序列具备目标功能,仍需独立制备候选,按目标选择实验读出并与适当对照比较。不同实验的标签和条件并不自动处于同一尺度,因而单个数据集上的预测不能直接转写成跨蛋白通用的活性值。
2023 年 ESM-2 工作进一步展示了从蛋白质一级序列直接推断三维结构的系统。这里仍要分辨预训练语言模型与结构预测流程:ESM-2 提供序列模型,结构推断依赖相应的结构预测方法,而不能把每个残基嵌入本身说成完整结构。论文的结构预测结果拓展了序列模型的应用范围,却没有把“表示里包含信息”变成“语言模型已设计出具有目标功能的新序列”。
表示好,不等于答案对
表示质量不能只看向量图是否漂亮。把不同蛋白投影到二维空间,看到家族聚类或相似性,只能说明所选距离与投影保留了某种结构;它不能证明模型正确识别了进化关系,更不能证明聚类对应某种因果机制。投影还可能因降维参数而改变局部邻近关系,因而应回到原始表示、任务指标和对照方法核查。
下游性能同样需要明确问题边界。若任务是家族分类,模型可能主要利用序列相似度;若是结构预测,结果取决于标签质量、划分方式以及下游预测头;若是突变效应,测量实验的读出、背景蛋白和培养条件也会影响目标标签。一个模型在单一任务上表现较好,不足以说明其表示在所有生物学任务上都更“懂”蛋白质。更稳妥的说法是:在给定数据集、划分和指标下,某种表示提高了某个预测任务的可用信息量。
评估还应检查数据泄漏与序列同源。若测试蛋白与训练集高度相似,即使标签没有直接重叠,模型也可能从近邻序列获得帮助。实际报告应说明去冗余方法、家族划分和测试集来源;突变任务还应防止同一蛋白或同一实验系列的变体同时出现在训练与测试集。没有这些信息,表面上的高分不容易解释为新颖泛化。
表示与设计之间的边界
语言模型可以提供候选序列的嵌入、似然或突变后概率变化,但这些分数只是建模量。一个候选序列的似然较高,表示它符合训练语料中的统计模式;这不保证它能表达、折叠成目标构象、达到溶解性要求或执行目标功能。相反,低似然也不必然意味着候选无效,因为天然序列数据并不覆盖所有可行序列空间。
设计任务通常还需要明确条件:目标骨架、结合界面、稳定性或功能约束。逆折叠模型从结构输入生成序列,ProteinMPNN 等方法则直接把主链几何作为条件;这与只用序列预训练得到表示有不同的输入输出定义。设计完成后,结构预测可作计算筛选,仍然不能替代实验。将“模型能区分序列”写成“模型能造出功能蛋白”,正是这类报道最应避免的跨越。
如何把表示学习做成可复核的实验
一个严谨的工作流可以先固定问题,再选择表示与评估。比如,明确要预测的是同源关系、结构标签、功能类别还是某种实验测得的变异效应;之后决定使用残基向量还是序列向量,是否冻结预训练模型,是否训练下游头,以及怎样划分家族或实验批次。比较时应包括不使用语言模型的基线,避免把训练数据规模与表示收益混为一谈。
以下伪代码只表达分析接口,不包含实验数据、测量值或性能结论。实际研究必须将 train_split、heldout_split 和标签替换为可追溯且按家族隔离的数据;输出分数也不能直接解释为实验活性。
# 示意:从蛋白序列提取上下文表示,再单独评估一个预先定义的任务
sequences = load_sequences_from_audited_source()
labels = load_task_labels_with_provenance()
train_split, heldout_split = split_by_protein_family(sequences, labels)
encoder = load_pretrained_protein_language_model()
train_features = encoder.residue_or_sequence_embeddings(train_split.sequences)
test_features = encoder.residue_or_sequence_embeddings(heldout_split.sequences)
probe = fit_task_specific_predictor(train_features, train_split.labels)
report_metrics_only_for_defined_task(probe, test_features, heldout_split.labels)
报告中还应写清版本、预训练权重、序列清洗规则、标签定义、训练/测试关系和不确定性。若目标是设计,另需报告候选生成规则、结构约束、筛选门槛、合成与实验验证;这不是上述探针分类实验的自然延伸,而是需要额外证据的新研究。
小结
蛋白质语言模型的核心贡献之一,是从大规模序列中得到可迁移的上下文表示,并在若干指定任务中检验其信息价值。读论文时要追问:表示是怎样产生的,下游是否训练了新模型,测试集是否按家族隔离,结果是零样本还是经过监督适配。表示学习可以支持结构和功能研究,但它本身不等于序列设计;计算得分不等于折叠,预测不等于实验功能。
参考资料
- Rives A. et al. Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences. PNAS, 2021. DOI: 10.1073/pnas.2016239118
- Lin Z. et al. Evolutionary-scale prediction of atomic-level protein structure with a language model. Science, 2023. DOI: 10.1126/science.ade2574
- Hsu C. et al. Learning inverse folding from millions of predicted structures. ICML / PMLR, 2022. 论文页面
- Dauparas J. et al. Robust deep learning-based protein sequence design using ProteinMPNN. Science, 2022. DOI: 10.1126/science.add2187
读者留言
COMMENTS 暂无还没有留言,来说第一句?