把“细胞当作文本”当作建模比喻,而不是生物学结论
单细胞RNA测序给出细胞与基因构成的表达矩阵。基础模型把每个细胞编码成token或向量,再用Transformer学习统计规律;“细胞像句子、基因像词”只是比喻。基因没有通用线性语法,测序深度、稀疏性、组织来源和批次都会影响观测值。
讨论单细胞模型时,最重要的比较入口不是参数量或摘要中的“foundation”标签,而是输入编码。模型是否将基因按表达排序?是否保留表达值,若保留,使用分箱还是连续值?零表达如何表示?每个基因是否固定对应一个token?预训练时模型究竟要重建哪些内容?这些决定了模型看到的细胞状态,也决定了可以把学到的表示解释成什么。
本文聚焦三个常被并列讨论的模型:Geneformer、scGPT和scFoundation。它们都利用大规模单细胞数据进行预训练,但token化方式和任务目标不同。不能仅凭相同的Transformer架构家族就说三者在同一输入上学习,也不能将各自论文中不同任务、数据集与指标的结果拼成一张总排行榜。模型提出的细胞嵌入是一种可供分析的表示,不是一个已被证明理解细胞全部状态和机制的“虚拟细胞”。
Geneformer:先按细胞内相对表达排序
Geneformer把单细胞转录组表示成按相对表达排序的基因token序列。论文中的rank-value编码会先比较基因在当前细胞中的表达与该基因在语料中非零表达中位数,再依据标准化后的量对基因排序。随后模型以排序后的基因序列作为输入,而不是把每个表达计数以原样连续数值传入。Geneformer的词表对应基因标识,训练过程使用掩码基因预测等自监督目标学习基因和细胞表示。
这类输入选择有特定优点:细胞内部表达相对突出的基因更容易进入模型关注的序列上下文;对跨数据集的表达尺度差异,按相对量级转换可能提供某种归一化效果。但排序也会丢失信息。两个表达数值差异很大的基因可能只体现为先后次序,排序不再保留完整的定量距离。低表达或检测缺失的基因还会受到测序深度和预处理规则影响。因此,Geneformer的嵌入不能被解读为保留了每个细胞所有原始分子计数。
Geneformer论文使用从多个公开来源整理的人类单细胞数据建立预训练语料。作者报告Genecorpus-30M收集约2990万个人类细胞,质控后约2740万个细胞通过筛选;语料纳入液滴式测序,排除恶性细胞与永生化细胞系等特定类型,并应用基因数和线粒体读数等过滤规则。这个过程体现了基础模型训练数据不是天然中性的:语料中纳入与排除哪些细胞,会影响后续模型可学到的细胞类型和状态分布。
作者将Geneformer迁移到多个具体问题,例如转录因子剂量敏感性、基因调控网络、疾病相关基因优先级和细胞类型分析。其研究重点之一,是通过微调或计算扰动分析推断网络层面的关系,并报告部分候选后续实验验证。这样的证据属于“模型在特定任务中提供假设或预测”,而不是证明其内部表示掌握了完整的细胞因果图。对于每个实验验证案例,也应限定到相应的细胞背景、扰动和测量设计。
scGPT:基因身份与表达值共同建模
scGPT以基因为离散标识,同时对表达值进行表示。预印本报告其预训练语料超过3300万个细胞,汇集多组织和多研究数据;模型通过基因token、表达值编码和Transformer学习细胞与基因表示。表达值在相应方案中按细胞内分布分箱,模型训练目标围绕基因表达建模和未提供表达的预测展开。对于多组学或扰动任务,还可加入与模态、批次或扰动有关的条件信息。
这种方案与Geneformer的排序编码有显著差异。Geneformer主要把基因按相对表达排序后作为序列;scGPT则保持基因身份token,同时把表达值以分箱或任务相关方式编码为附加信息。前者突出表达排序,后者把基因身份和表达水平更显式地组合在模型输入中。两者都需要处理零值和稀疏性,但实现方式与预训练任务并不相同。将模型的输出向量直接当作可以无损还原原始表达矩阵的编码,也不准确。
scGPT的发表论文和预印本应区分。用户要求涉及的“3300万细胞”及多项下游任务描述,来源于scGPT论文的预印本及后续文章对相关工作的报告;预印本声称评估了细胞类型注释、多批次与多组学整合、遗传扰动预测、基因网络推断等。本文把这些作为该预印本报告的任务,不把每项效果写成独立复现或临床可用结论。不同任务分别使用不同的标签和数据集,不能把某一任务的优势外推为“模型普遍理解所有细胞”。
scFoundation:尽量保留连续表达值
scFoundation采用与前两者不同的输入组织。论文报告模型覆盖约19,264个基因,使用基因嵌入和连续表达值嵌入表示细胞,而非将表达值先统一离散成有限的表达箱。模型建立在xTrimoGene的不对称编码器—解码器架构之上,利用稀疏性:编码部分处理非零基因等输入,解码部分面向掩码或目标基因重建表达。其预训练方案还引入read-depth-aware modeling(RDA),通过对读深度差异建模并重建被遮蔽表达,尝试减少不同测序深度对表达比较的影响。
该论文报告scFoundation约1亿参数,并在超过5000万个人类单细胞RNA测序表达谱上预训练,数据来源覆盖多类组织。其任务展示包括读深度增强、聚类、药物反应预测和基因扰动响应等。需要注意的是,其中一些下游研究使用预训练嵌入并训练任务专用模型,而非在每个任务上对基础模型本身进行同一种端到端微调。作者对不同任务的结果应连同相应数据与模型适配方案理解。
连续值编码有机会保留更细的表达幅度差异,但也要求模型处理读深度、测序噪声、归一化与零膨胀等问题。RDA是作者为此设计的训练思路,不表示所有实验平台的偏差都被消除。像Geneformer和scGPT一样,scFoundation的训练语料覆盖多种公开数据,也不能自动保证对未收录组织、物种、病理状态或测量平台有效。
三类输入的取舍并不相同:排序保留相对次序但丢失表达幅度,分箱折叠箱内数值,连续编码则更依赖归一化与读深度。细胞向量用于状态比较,基因向量可用于关系任务,二者不能互相替代;应说明输入时哪些信息被截断或转换。
大语料也不代表每个基因都充分覆盖。低表达或组织特异基因可能稀少,基因注释和同源映射也随版本变化。公共数据合并还可能有重复细胞或共享供体;若只按细胞随机拆分,近邻样本可能跨越训练与测试。比较应按研究、患者或批次隔离,并审查预训练语料与评测集的来源;无法确认时需列为局限。
三种模型的差别是建模假设,不是排行榜
| 维度 | Geneformer | scGPT | scFoundation |
|---|---|---|---|
| 输入重点 | 按细胞内相对表达编码的基因排序序列 | 基因身份token与表达值编码共同进入模型 | 基因嵌入与连续表达值,利用稀疏编码结构 |
| 表达处理 | 排名/相对值转换,突出次序 | 预印本所述方案包含表达分箱与条件信息 | 连续表达值嵌入,另建模读深度差异 |
| 预训练思路 | 掩码基因预测等自监督目标 | 生成式表达建模与被遮蔽表达预测 | 掩码表达重建与RDA读深度感知训练 |
| 论文聚焦的任务例子 | 调控网络、剂量敏感性、疾病相关基因分析 | 注释、整合、扰动和基因网络等预印本任务 | 读深度增强、聚类、药物响应和扰动预测 |
| 解释注意事项 | 排名不保留所有原始表达幅度 | 不同下游结果依赖任务适配和预印本设置 | 连续输入不等于消除平台、深度和采样偏差 |
这个表格是概念性对照,不是统一benchmark。论文使用的细胞语料、基因词表、预处理、下游标签、训练/验证切分、基线和评价指标可能都不同。若要比较模型谁更好,应把模型置于同一批真实数据上,统一预处理、训练预算、划分方式与评测任务,并审查训练语料是否包含测试样本。模型预训练规模越大,数据谱系核对越重要。
一项预测任务需要明确训练层级
单细胞模型的下游证据至少有几种:冻结预训练表示后训练一个探针;端到端微调预训练参数;在细胞或基因嵌入上另训任务专用网络;根据模型分数提出候选,再进行实验验证。它们回答的问题不同。冻结表示上的高分说明已有表示可供该读出器利用;端到端微调说明在下游标签上适配后能预测;独立实验验证则检验某些预测是否在实验系统中成立。不能把这几种结果统称为“模型零样本发现了规律”。
同样,训练集和测试集如何隔离至关重要。若同一研究的细胞或同一供体同时进入两侧,模型可能利用共同的批次与实验特征;如果细胞类型标签来源相同,随机拆分也可能让近邻样本跨界。按供体、研究、批次或组织划分可以回答更严格的外推问题,但并非每篇论文都使用相同策略。报告指标时应将拆分粒度和数据来源一并说明。
读深度、批次与因果解释
单细胞表达的零值并不都表示生物学上的“关闭”。它可能源于基因真实不表达、转录本抽样不足、测序深度有限、捕获效率变化或表达矩阵预处理。模型若把这些零值都当成同一种状态,就会把技术性缺失与生物状态混淆。Geneformer通过语料统计与排序转换表达,scGPT使用表达分箱或条件输入,scFoundation尝试以RDA处理读深度差异;这些方案体现的是不同应对策略,而非某个已普遍解决的问题。
批次效应也不只是一种数学噪声。不同实验可能来自不同组织解离、建库方法、细胞筛选、测序平台和患者群体。模型在随机划分上的表示或分类性能,可能同时反映真实细胞类型和批次线索。需要依据研究问题设计数据切分:若目标是同一平台内分类,随机留出或许合适;若目标是新研究、新患者或新平台上的迁移,则应按来源隔离并明确这是更严格的泛化测试。
从相关性走向因果,证据要求还会提高。模型可以在嵌入空间中观察基因共现,也可在计算分析中模拟基因删除、激活或扰动;这些操作给出的是模型对输入变化的响应。只有当预测随后在实验扰动体系、合适对照与独立测量中得到支持,才能把特定候选提升为实验结论。一个基因在模型中影响其他基因表示,并不自动证明它在细胞中具有对应的因果调控作用。
示例:对真实矩阵做输入审计
下面的伪代码只描述如何读取已授权、可追溯的表达矩阵并记录预处理,不构造示意实验数值。真实研究要保存来源、供体、研究批次、基因列表与预训练模型版本;由于三种模型输入不同,应针对每个模型使用其官方编码器,并将生成的token或值映射作为审计产物,而非手工创造一种共同编码。
# 示意:对可追溯的真实单细胞矩阵做模型输入审计,不生成或伪造测量值
matrix, obs, var = load_anndata_from_audited_source(dataset_path)
record_provenance(obs, var, source_manifest, preprocessing_version)
for model_name in ["Geneformer", "scGPT", "scFoundation"]:
encoder = load_official_preprocessing(model_name, checkpoint_version)
encoded = encoder.transform(matrix, obs_metadata=obs, gene_metadata=var)
save_encoding_manifest(model_name, encoded.token_policy, encoded.value_policy)
verify_gene_mapping_and_zero_handling(encoded, var)
真正的benchmark还要固定下游任务、标签定义和拆分方式,确保每个模型可以访问的训练数据一致。可报告不同数据集与切分的结果、适用范围和失败案例,而不只给一个聚合分数。若论文中的某项下游实验来自预印本,应在引用与正文中注明;引用版本差异也是可复核性的一部分。
不要把“基础模型”变成全能承诺
“基础模型”表示模型预训练后可以适配多个任务,或研究者希望它成为通用的初始化与表示资源。这个名称本身不证明模型获得了全细胞尺度的因果机制、能准确模拟真实细胞受扰动后的完整轨迹,也不保证跨组织、疾病、物种与平台的泛化。论文中多个任务的实验展示的是能力范围的一组证据,不能替代对新任务的独立验证。
更具体地说,细胞类型注释是分类任务,批次整合是表示对齐问题,基因调控网络推断是关系预测,扰动响应是反事实或干预预测,药物反应是与实验条件相关的结局。它们的标签与成功标准都不相同。一个模型可能在注释上表现良好,却不能预测药物扰动;另一个可能在某个细胞系的扰动数据上给出有用排序,却不适用于原代组织。按任务逐项陈述,比笼统说“理解细胞”更准确。
小结
Geneformer、scGPT和scFoundation都从大量单细胞转录组中学习,却分别强调基因相对表达排序、基因身份与表达值共同建模、以及连续表达值和读深度感知的掩码重建。它们的表示与预测能力受语料构成、token化、零值处理、预训练目标、任务适配和数据划分共同影响。比较模型要使用共同benchmark并核查数据泄漏;报告具体下游能力要注明证据来自哪一版本、哪种训练层级。基础模型提供可迁移表示与研究工具,不等于通用细胞理解或实验因果证明。
参考资料
- Theodoris C. V. et al. Transfer learning enables predictions in network biology. Nature, 2023. DOI: 10.1038/s41586-023-06139-9
- Cui H. et al. scGPT: toward building a foundation model for single-cell multi-omics using generative AI. Nature Methods, 2024. DOI: 10.1038/s41592-024-02201-0
- Cui H. et al. scGPT: Towards Building a Foundation Model for Single-Cell Multi-omics Using Generative AI. bioRxiv preprint, 2023. DOI: 10.1101/2023.04.30.538439
- Hao M. et al. Large-scale foundation model on single-cell transcriptomics. Nature Methods, 2024. DOI: 10.1038/s41592-024-02305-7
- Gong J. et al. xTrimoGene: An Efficient and Scalable Representation Learner for Single-Cell RNA-Seq Data. NeurIPS, 2023. 论文页面
读者留言
COMMENTS 暂无还没有留言,来说第一句?