DNA语言模型与基因组调控:从k-mer到长上下文

基因组建模先要问:模型看见多少序列

DNA语言模型常把碱基串视为符号序列,从预训练目标中学习上下文,再将所得表示用于启动子、增强子、剪接或染色质相关任务。这个框架与文本语言模型有相似处,但生物序列的长度和功能依赖关系带来不同技术问题:模型一次能看多长,输入如何切分,训练语料是一个参考基因组还是多个个体、多个物种,都直接影响结果能够回答什么。

基因调控不是仅由基因附近的一小段序列决定。转录因子结合、染色质状态和远端调控元件可能与目标基因相隔较远;另一方面,许多预测基准又将窗口限制在局部序列。若一个模型的输入覆盖数百个碱基,另一个模型覆盖数十万碱基,那么同一数据集上的指标差异,不能只归因于“模型更懂DNA”。上下文范围、训练目标、标签来源和评测划分必须一起比较。

下文介绍四种互有关联但不应混为一谈的路线:DNABERT 以k-mer构造输入 token;Nucleotide Transformer系统性比较不同数据来源的DNA基础模型;HyenaDNA强调单核苷酸级别的超长上下文;Enformer则是面向基因组轨迹预测的监督模型,并非同一意义上的自监督DNA语言模型。它们共同展示了基因组序列建模的技术方向,也暴露了长程信号与数据可比性的难点。

DNABERT:把重叠k-mer当作词元

Ji 等人在 2021 年提出 DNABERT,将DNA序列切成重叠的k-mer,再以BERT式掩码预测进行预训练。论文针对多个k值训练模型,主要任务是在随机遮蔽连续k-mer片段后预测缺失内容。这样的设计把相邻核苷酸组合成类似“词元”的单位,便于沿用Transformer编码器与掩码语言建模。

预训练后,研究者可以把模型微调用于启动子分类、转录因子结合位点识别和剪接位点预测等任务。作者还展示了序列片段和注意力可视化等分析。这里的证据主要是特定任务上的分类与功能元件预测:模型从人类基因组序列预训练,再在数据集上用标注进行适配。预测与实验功能确认不同,注意力可视化也不应被直接当作已验证的调控机制。

k-mer对上下文的表示有明显优点,也有取舍。它能把连续短序列作为模型输入,但固定k值意味着长DNA窗口需要经过更多 tokenization 规则;k值变大与变小会改变序列粒度和词表。重叠k-mer还带来共享碱基与边界处理问题。因而选择k值不是纯粹的工程细节:它会影响输入长度、潜在的局部模式以及后续模型成本。原始论文报告了标准BERT长度约束与长序列分段处理,不能把k-mer模型的有效上下文简单等同于完整基因组尺度。

Nucleotide Transformer:三类语料,三种问题

Dalla-Torre 等人的 Nucleotide Transformer 论文评估了不同规模的基因组基础模型,并把数据语料分成了人类参考基因组、1000 Genomes(1000G)人群数据以及多物种序列等类别。三类数据不是一个可随意相加的单一集合,尤其应避免把1000G的个体基因组数量与多物种序列总量混写。

人类参考基因组语料对应参考基因组本身。1000G语料来自3202个高覆盖度人类基因组,论文原文称其合计约 20.5万亿个核苷酸(英语原文“20.5 trillion nucleotides”)。这是围绕不同个体变异的语料,反映人类群体序列多样性;它不是“3202个物种”,也不是多物种语料。另一独立语料收集了850个物种,总计约1740亿个核苷酸。多物种模型有助于探索跨物种基因组信号,但不能与1000G语料的数量或生物学问题混为一谈。

论文采用掩码语言建模,并评估多类基因组任务。主要基准由18项任务组成,覆盖染色质相关特征、调控元件与剪接等预测。论文报告了在该任务组中微调和表示探测的结果,也通过另外的分析研究染色质谱、剪接位点和增强子活性。所有数字与结论都需要连同对应的语料、训练规模、输入窗口和测试设计理解。不同预训练语料的模型并不只差数据量,还差物种覆盖、个体变异和序列分布。

与 Enformer 的比较该怎样写

Nucleotide Transformer论文还把Enformer的模型主体用于其基准比较。需要加上上下文:Enformer原本是监督学习模型,在染色质轨迹和基因表达任务上训练;相关论文输入约196,608 bp DNA序列,按128 bp输出人和小鼠的基因组轨迹。Nucleotide Transformer的作者把Enformer主体作为一个可供比较的已训练模型使用,同时说明这不是Enformer原论文的标准用途或推荐用法。因此,它是有价值但不完全同任务定义的对照。

由于Enformer监督训练数据与某些下游基准可能在来源或任务上有关系,数据重合是值得审查的潜在问题;但现有来源并未证明发生了测试泄漏,不能写成“已证实数据泄漏”。准确表达应是:比较须考虑Enformer的监督训练背景及其与评测数据可能存在的重合,原论文没有证明泄漏。也应避免只凭基准分数判定自监督模型或监督模型在所有基因组问题上的总体优劣。

HyenaDNA:单核苷酸和长序列

HyenaDNA针对标准自注意力在长序列上的计算成本问题。它将DNA碱基逐个作为token,使用Hyena长卷积与输入相关的门控替代标准自注意力机制,并通过下一核苷酸预测进行自回归预训练。论文在单个人类参考基因组上训练,探索最长约百万个token的输入上下文。这个上下文是模型在特定设置下可处理的序列长度,不等于覆盖整个约数十亿碱基的人类基因组。

论文把HyenaDNA用于多类序列任务,包括调控元素分类、增强子或启动子相关预测、染色质特征及跨物种分类等。长上下文建模的价值在于允许模型在一次输入中纳入较远序列,而单核苷酸token又保留了碱基级粒度。它与k-mer模型的切分方式不同,也与Enformer以监督轨迹预测为目标的架构不同。论文基准能够显示特定任务中的表现,但不能推断更长输入在所有任务上必然优于短输入,也不能说明模型已掌握基因组调控机制。

Enformer:长程基因表达预测是另一类任务

Enformer是监督式深度模型,不是以遮蔽碱基自监督为主要训练目标的DNA语言模型。它从196,608碱基输入中提取序列特征,通过卷积降采样与Transformer模块整合长距离信息,并预测人类和小鼠的多种基因组轨迹。输出包括转录因子结合、染色质修饰、可及性和转录活动相关信号,分箱分辨率为128 bp。作者在保留的基因组区域上进行评估,并通过增强子扰动、遗传变异及饱和突变相关实验数据分析模型预测。

Enformer可用于理解长程依赖如何帮助序列到表达或调控信号的预测。它的监督任务和训练标签与掩码DNA语言模型不相同;拿它与自监督模型比较时,应该说明这一差异。若把其输出直接称为单个基因真实表达水平,也可能超出任务定义,因为模型预测的是经过特定实验平台与基因组轨迹编码的目标信号,而非所有细胞状态下的生物学表达全貌。

“长上下文”不是免费信息

扩展上下文有机会纳入远端调控信息,但也同时增加计算和评估复杂度。标准Transformer自注意力对序列长度的成本增长很快;HyenaDNA通过不同算子尝试降低长序列计算负担,Enformer则采用降采样与注意力整合长距离信号。即使模型能读入更长的序列,训练数据、硬件成本、批次规模、位置分辨率和输入窗口选择也会影响实际可用性。超长上下文的可计算性与其生物学收益需要分别验证。

同一基因组区间可能有多类标签,标签也可能来自不同细胞类型、组织、测序平台或实验条件。训练与测试如果沿着碱基窗口随机切分,还可能让近邻区间、同一基因或同一实验样本落在两侧,使模型在测试中看到类似上下文。更稳妥的设计可以按染色体区域、基因、实验批次或物种划分,并说明任务是否预测一个已知轨迹、一个功能标签,还是变异效应。

语料对比不能偷换成物种对比

1000G的3202个个体代表人类内部遗传变异,多物种语料则跨不同物种聚合。两类输入为模型提供的进化与遗传信号不同。若模型在某些调控任务上表现不同,原因可能与训练集大小、样本多样性、物种距离、标签可得性、序列长度和模型容量共同相关。简单说“物种越多,模型越好”或“人群数据比单个参考基因组更强”,都需要对应实验支持,不能由语料描述直接推出。

评估研究还要检查预训练语料与测试数据之间的重叠。公开参考基因组和注释数据常被多个工作重复使用;若没有明确的去重、隔离或数据谱系,模型可能在预训练期间见过与测试高度相似的序列或标签来源。这里并不是说某篇指定论文必然泄漏,而是强调应把潜在重合列入方法审计,尤其在规模极大的预训练语料中。论文报告的benchmark成绩只能在其数据处理规则下解释。

示例:审计基因组任务划分

下面的代码是伪代码,用于展示如何审计任务中不同来源的序列与标签。没有合成数据或虚构测量值;实际研究需使用论文公开的元数据与原始记录,并对每一步保存可复现日志。若不能确认预训练数据谱系,应在结果中说明未知,而不是假定完全无重叠。

# 示意:不生成生物数据,只检查真实数据的切分和来源
records = load_genomic_task_records(sequence_file, label_file, metadata_file)
records = attach_fields(records, ["chromosome", "gene_id", "assay_id", "species"])

train_ids, test_ids = split_by_group(records, group_key="chromosome_or_gene_id")
assert not shares_group(records, train_ids, test_ids, key="chromosome_or_gene_id")

pretrain_manifest = load_pretraining_data_manifest_if_available()
overlap_report = compare_sequence_provenance(pretrain_manifest, records[test_ids])
write_audit_log(train_ids, test_ids, overlap_report, label_definition=task_metadata)

下游预测代码也不应把输出分数直接解释为调控机制。模型给出的分类概率或轨迹值只有在具体训练标签和测试分布下才有意义;功能因果需要扰动实验、报告基因实验、CRISPR干预或其他与假设相配的验证。若是研究非编码变异,预测其影响与证明其在真实细胞中的调控作用亦是不同结论。

小结

DNA语言模型的关键对比维度是token粒度、上下文范围、训练语料和目标任务。DNABERT用重叠k-mer和掩码学习;Nucleotide Transformer区分人类参考、1000G个体与850物种的独立语料,并在18项基因组任务上评测;HyenaDNA以核苷酸级输入和长卷积建模超长上下文;Enformer则是长窗口上的监督式基因组轨迹预测模型。对比时不能混淆语料规模、训练范式和测试任务;Enformer与基准数据潜在重合值得核查,但没有证据时不应声称已经发生数据泄漏。

参考资料

  1. Dalla-Torre H. et al. Nucleotide Transformer: building and evaluating robust foundation models for human genomics. Nature Methods, 2025. DOI: 10.1038/s41592-024-02523-z
  2. Ji Y. et al. DNABERT: pre-trained Bidirectional Encoder Representations from Transformers model for DNA-language in genome. Bioinformatics, 2021. DOI: 10.1093/bioinformatics/btab083
  3. Nguyen E. et al. HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution. arXiv:2306.15794, 2023. 论文
  4. Avsec Ž. et al. Effective gene expression prediction from sequence by integrating long-range interactions. Nature Methods, 2021. DOI: 10.1038/s41592-021-01252-x
← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?