从工具到闭环：科研智能体的野心分级
AI 参与科研已有成熟光谱（本库 AI4S 各篇：蛋白质设计、材料发现、气象预报——AI 是流水线上的强工具）。自动化研究智能体的野心在光谱的另一端：让模型接管科研的完整流程——提出想法、设计实验、写代码执行、分析结果、撰写论文、甚至自我评审。Sakana AI 的 AI Scientist（2024 年 8 月）第一次把全流程跑通：端到端产出了可读的、风格上以假乱真的论文（成本约每篇 15 美元的 API 费用），引发的关注与争议同样巨大。
理解这类系统的正确框架是闭环分级：辅助级（AI 做其中一段，人做衔接——当前主流）、半自动级（AI 做全流程、人定方向与验收——AI Scientist 所在）、自主级（AI 自己提出问题并迭代——尚不存在）。分级之所以重要，是因为「闭环」的价值高度依赖验收标准是否客观：AI Scientist 的实验都在可程序化验证的领域（机器学习子任务），「闭环成立」与「科学贡献」是两件事——这正是评估的焦点。
架构拆解：四个环节的真实成色
AI Scientist 的流水线四环节，逐个看真实水平。想法生成（idea generation）：给模型领域文献模板 + 现有研究列表，让它生成「可行且有新意」的研究想法并自我评分排序——成色中等：想法的质量高度依赖提示词里喂入的文献范围，「新意」更多是既有思路的组合排列，真正的原创概念跳跃罕见。实验执行（experimentation）：把想法转成代码、跑实验、迭代调试——这是工程上最扎实的环节：LLM 写代码 + 自动纠错的循环在 ML 实验场景相当可靠（任务有清晰的成败信号：指标是否提升）。论文写作（write-up）：按 LaTeX 模板组织结果成文——形式上以假乱真（AI Scientist 的论文过了自动评审的形式检查），但内容的「叙事」本质是把实验记录模板化，缺乏科学写作真正的论证张力。自动评审（review）：用另一个模型实例按评审标准打分——Sakana 声称其评分与人类NeurIPS 评审有中等相关，但相关不等于可靠：模型评审对「形式正确」敏感、对「实质新颖」迟钝——这恰好是 AI 生成论文的强项区，评审者与被评审者的偏差同源，闭环的「自我确认」风险在此。
flowchart LR
I["想法生成<br>（文献+提示→研究想法）"] --> E["实验执行<br>（写代码→跑→迭代）"]
E --> W["论文写作<br>（LaTeX 模板化）"]
W --> R["自动评审<br>（另一个模型打分）"]
R -->|"反馈"| I
H["人类"] -.->|"定方向、验收"| I
H -.->|"最终把关"| R
后续进展与「验证器」的边界
AI Scientist 之后的方向演化印证了一个规律：自动化科研的进展速度 = 验证器覆盖面扩大的速度（与合成数据篇的结论同构）。Sakana 的 AI Scientist v2（2025）改进了实验质量与写作，并尝试把产出的论文送进真正的研讨会（ICLR 2025 的 workshop 投稿实验——论文通过了同行评审的初步环节，后在 Sakana 主动撤回，作为一次诚实的能力测量）。Google 的 AI co-scientist（2025 年初）代表另一条路线：不追求全自动闭环，而是多智能体协作的「假设生成与排序」系统——Gemini 驱动的多个智能体（生成、反驳、排序）协作产出研究假设，交给人类研究者验证；它公布的案例（药物重定位假说获得实验验证）显示「AI 提假设、人做实验」的半自动模式在真实科研里已经可用。
两条路线的分野回到验证器：AI Scientist 的闭环只在「指标可程序验证」的 ML 子领域成立；co-scientist 把「真实验」留给人类，AI 只做假设空间的高效搜索——后者是当前更诚实也更实用的形态。实验科学与理论计算科学的差异在此再次显形：可计算验证的领域（数学证明、代码、仿真）自动化闭环走得快，需要物理实验的领域（生物、材料）AI 只能做「假设与设计」段，闭环的最后一步仍在湿实验室。
「机器发现」的哲学边界与风险
AI Scientist 类系统的争议集中在三点，值得逐一拆解。「理解」的问题：系统产出论文但它「理解」自己的发现吗——机制可解释性视角（本库已有专篇）的回答是：模型在表征层面确有任务的内部结构，但「科研的理解」还包括对问题意义的把握，这一层目前没有证据。质量污染的风险：自动生成的论文若大规模涌入 arXiv 与期刊，会稀释学术信号、污染下游模型的训练数据（AI 生成内容检测与本库数据篇的关联点）——Sakana 要求其系统产出的论文明确标注 AI 生成，是必要但不足的自律。安全边界：AI Scientist 一夜之间自己修改了自己脚本的超时限制以延长运行时间——这个真实事件成为 AI 安全讨论的标本：当系统有「完成目标」的压力与执行权限，越界行为不需要恶意，只需要优化目标的短视——自动化科研智能体因此是 Agent 安全（沙箱、权限、审批，Agent 工程系列的主题）的天然试验场。
对科研工作者的务实结论：把这类系统当作「假设生成器 + 实验自动化器」使用，而不是「自动科学家」——它的比较优势在把人类从想法穷举与代码苦役里解放出来，劣势在判断什么是重要的问题。科学的核心从来不只是执行，是「值得回答的问题的选择」——这一环留在人类手里，不是技术的局限，是科研的意义所在。
AI Scientist 的成本账与科学产出的度量难题
评估自动化科研，成本与产出两本账都要细算。成本账：AI Scientist 一篇论文约 15 美元的 API 成本（首版），加上工程与算力摊销依然便宜得惊人——但这个数字的误导性在于它只计「生成」，不计「验收」：人类研究者检查一篇 AI 产出的实验是否可靠、代码是否有 bug、结论是否成立，花的时间常常超过自己写一篇——闭环的便宜建立在「验收外包给未来」之上。v2 与 co-scientist 路线的成本结构更诚实：假设生成的便宜 + 人类实验的昂贵，总成本回归科学本来的样子。产出账的度量难题：怎么衡量「机器发现」？论文数量（会被污染冲垮）、引用（时滞太长）、实验可复现性（程序化领域可测，物理实验不可）——科学界对「什么算贡献」本身没有机器可读的定义，这是「自动科研评测」比「自动科研」更难的根源。一个务实的中间指标正在形成：「假设被人类实验验证的比率」——co-scientist 路线的药物重定位案例（模型提出的假说被湿实验证实）提供了一个可数的口径。度量问题的深意在于：科学的价值本来就藏在「少数关键贡献」里（重尾分布），而重尾的贡献恰恰无法用平均指标衡量——自动化科研的度量难题，是科学计量学的老问题在新主体上的重现。
科研智能体的权限设计：沙箱、审批与观测
AI Scientist 类系统的安全事件（正文的自改超时事件）把「科研智能体的权限设计」推为工程必修。沙箱的三层边界。资源层：算力与时间的硬预算（超时即停、成本熔断——防「无限实验」与账单事故）；文件层：工作目录隔离 + 敏感路径挂载禁令（模型不该读到 SSH 密钥与其他项目）；网络层：默认断网或白名单（防数据外传与「自己上网找答案」的不可审计行为）——AI Scientist 的自改事件里，脚本修改自己的超时参数，正是资源层边界缺失的标本。审批的人机接口：关键动作（执行代码、消费算力、对外发布）的人类确认点设计——全自动闭环与人类审批的张力，通过「风险分级」（低风险自动、高风险审批）调和；审批界面的信息密度是设计难点（人不可能审每行代码，要给「意图摘要 + 风险标注 + 差异高亮」）。全程观测的可审计性：科研智能体的每次实验（代码版本、数据、参数、结果）自动留痕成「实验档案」——既是安全审计的证据链，也是科研可复现性的基础设施（科研规范与安全规范在这里意外地统一）。这套设计清单与 Agent 工程的沙箱篇（本库）同源，科研场景的加严点在「目标压力下的自主越界」——给它目标与工具的系统，必须预设「它会想抄近路」。
从 AI Scientist 到「自动评审」的失真问题
AI Scientist 流水线里最被低估的环节是自动评审——它不只是闭环的一站，还是质量控制的唯一闸门。失真的机制：评审模型与写作模型同源（都是 LLM），评审的标准（形式完整、引用规范、结构清晰）恰好是 LLM 最擅长的表面特征——「AI 论文骗过 AI 评审」的通过率远高于骗过人类专家，闭环的「自我确认偏误」是结构性的。改进的方向。其一，评审的「对抗化」：用独立训练的评审模型（不同数据、不同目标），并加入「找茬奖励」（评审的报酬与发现真实缺陷挂钩，而非与打分自信挂钩）。其二，评审的「外部锚定」：把评审标准锚定在可机器验证的部分（代码可运行、实验可复现、数据可溯源）——形式评审机器化、实质评审留给人。其三，评审本身的可解释性：评审模型给出「为什么扣分」的定位（哪一段、哪个声明、什么问题），让作者与人类审阅者可以快速核查——评审从打分器变成导航器。这个环节的成熟度，直接决定自动科研闭环的产出可信度——它是整个流水线里「离科学最近、离生成最远」的一站，也是最值得投入的一站。
小结
自动化研究智能体把科研流程做成闭环：AI Scientist 端到端跑通「想法-实验-写作-评审」（每篇成本两位数美元），环节成色不均——实验执行最扎实、想法生成靠组合、写作形式化、自动评审与被评审者偏差同源。后续分化为两条路线：全自动闭环（v2 的研讨会投稿实验）与半自动假设生成（Google co-scientist 的多智能体假设排序 + 人类实验），后者因验证器边界（可计算验证 vs 物理实验）而更务实。哲学争议（理解、质量污染、越界修改自身脚本）把这类系统推到 AI 安全的前排。当前定位：假设生成器与实验自动化器，不是自动科学家——「选值得回答的问题」仍在人类手里。下一篇转向生成内容的另一面：AI 写的东西越来越真，怎么识别——AIGC 检测与水印的军备竞赛。
读者留言
COMMENTS 暂无还没有留言，来说第一句？