搜索:科学基准

共命中 50 条(服务端检索)
科学基准、数据污染与外部有效性:答对题不等于做出发现
SciBench、GPQA 和 PaperBench 分别评测大学科学题、研究生级科学问答与论文复现代理任务。它们能揭示特定设置下的能力与失败模式,却不能直接证明模型可独立完成科学发现。本文比较任务目标、评分方法和污染风险,解释基准分数的有效性边界,并给出更接近真实研究的分层评测思路。
研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
科学基础模型与通用语言模型:交集而非包含关系
科学基础模型与通用语言模型并非上下位关系:前者按科学任务与数据领域界定,后者按语言建模与适配范围界定。对照 Bommasani 等人的基础模型框架与 Subramanian 等人的 PDE 迁移实验,可以看清两者共享的预训练—迁移机制、真正的交集,以及科学模型不能被语言能力替代的应用边界。
研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
鹭羽* 2026-11-14 17:58:22 来源:量子位 斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 不ber,现在的基准测试都进化到酱婶了??? 这回不刷题了,就直接给AI…
研究前沿 量子位 · 11-14 阅读 32·访客 32
Einsia AI 发布行业首个多智能体编排基准 WorkflowArena:145 项长程任务考验智能体协作
Einsia AI 旗下 Navers Lab 发布行业首个多智能体编排基准 WorkflowArena,包含 145 项长程任务,结果显示当前大模型在多智能体协作编排上仍有很大提升空间。
智能体 凤凰网科技 · 11-12 阅读 36·访客 36
谷歌联合 Artificial Analysis 推出 MKA 基准测试:Gemini 4 Carbon 多模态知识工作测试获第二,任务成本仅为第一名六分之一
IT之家 11 月 11 日消息,当地时间 11 月 10 日,谷歌宣布联合 AI 模型评测机构 Artificial Analysis 推出多模态知识智能体基准测试 MKA(Multimodal Knowledge Agent),用于评估…
智能体 IT之家 · 11-11 阅读 35·访客 35
SWE-bench 兴衰记:一个代码基准是怎么被建起来、刷上去、又亲手关掉的
2024 年 8 月,OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified;2026 年初,还是 OpenAI,宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷,且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相,以及读代码基准分数的正确姿势。
研究前沿 精选 · 原创 · 10-8 阅读 630·访客 584
一篇读懂基准失效:饱和、污染与刷分——一个评测基准的一生
每个 LLM 基准都逃不过同一条生命周期曲线:出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点,并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。
一叶一世界 精选 · 原创 · 10-8 阅读 857·访客 844
从 FAIR 到可追溯测量:分子科学数据需要什么契约
FAIR 原则不能替代实验质量,SI 单位也不能单独说明测量含义。分子机器学习若要复用数据,需把化学实体、被测量、实验条件、单位、不确定度、处理步骤与权限连接成可检验的数据契约,让模型输入和科学结论都能追溯到原始证据。
研究前沿 精选 · 原创 · 昨天 阅读 3·访客 3
公开基准的局限:RAG 榜单分数的参考边界
公开基准测的是组件在通用分布上的能力,不是你的系统在你的语料上的效果。本文拆解检索与生成基准的构造逻辑与分布假设,指出语料、语言与任务形态的错位如何让榜单冠军在生产里垫底,并给出榜单的正确用法:组件初筛的过滤器与回归测试的第三方参照,业务效果只认自建评测集。
后端技术 精选 · 原创 · 3天前 阅读 14·访客 14
神经科学与 AI 的双向启发:两个学科怎么互相「借脑子」
2024 年诺贝尔物理学奖颁给神经网络先驱不是终点:神经科学与 AI 正处在史上互动最密的时期——AI 借大脑的机制(注意力、预测编码、位置细胞),神经科学借 AI 的工具(把网络当模型大脑做实验)。本篇梳理双向启发的真实案例、已证伪的天真类比、以及「大脑作为架构参考」的开放清单。
研究前沿 精选 · 原创 · 11-3 阅读 75·访客 75
问止中医开源中医 AI 评测基准 TCMQA:3.8 万题附执业中医师参考基线
问止中医发布含执业中医师参考基线的 3.8 万题中医评测基准 TCMQA,论文登上 arXiv 并全量开源,为中医 AI 提供行业中立标尺。
研究前沿 深圳新闻网 · 10-22 阅读 58·访客 57
大模型评测基准的坑:Leaderboard 分数为什么会骗人
Leaderboard 分数与真实体验错位,主要来自四类坑:数据污染(考题漏进训练数据)、面向榜单的针对性刷分(Goodhart 定律)、评测方法本身不稳(提示词、判分与统计方差)、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制,并给出读榜时的 7 条防坑检查清单。
大模型 精选 · 原创 · 10-7 阅读 640·访客 607
Ponytail 深度解析:120 行 Markdown 让 AI 编程智能体「少写代码」,14 万星背后的 7 级阶梯与三次基准对撞
拆解 GitHub 14.4 万星开源技能 Ponytail(MIT,2026-06-12 创建):7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程,以及官方 agentic 基准(−54% 代码 / 100% 安全)与 JetBrains 80 组配对实测(−15.4% 代码 / −10.3% 成本,p=0.004)的三次基准对撞;附设计系统、小模型、指令层三大边界与 6 条落地清单。
开源项目 精选 · Ponytail 官方仓库/基准 + 社区独立评测(原创整合) · 9-22 阅读 327·访客 315
AI 数学能力到底怎么测:基准、污染与「会考试不等于会研究」
FrontierMath 发布时最好的模型不到 2%,一年半后最高分冲到约 52%;可同一时期,GSM1k 证明部分模型的高分有背题成分,FrontierMath v2 修正了四成多题目,25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波,以及 2026 年评测范式向证明题与开放问题的转向。
研究前沿 精选 · 原创 · 10-10 阅读 937·访客 891
晶体图网络与材料基准:从 CGCNN、MEGNet 到 Matbench
晶体图神经网络把原子、近邻与周期结构变成可学习表示,CGCNN、MEGNet 与 ALIGNN 分别展现不同的结构编码思路。论文上的误差不能直接比较,除非数据、切分、目标与指标一致。本文梳理三种架构,并用 13 项任务的 Matbench 讨论基准能回答什么、不能回答什么。
研究前沿 精选 · 原创 · 昨天 阅读 10·访客 10
用牛蛙骨骼肌实现“机械飞升”,中国科学院沈阳自动化所研制无线光控类生命蝠鲼机器人
IT之家 9 月 9 日消息,中国科学院沈阳自动化研究所机器人学研究室科研团队受蝠鲼游动机制启发,研制出一款基于牛蛙离体骨骼肌的无线近红外光控“类生命蝠鲼机器人”。 该研究将生物组织直接用作执行器,属于类生命机器人领域的前沿探索。相关成果刊…
研究前沿 IT之家 · 9-9 阅读 44·访客 42
中国科学院与合工大解锁薄板“漩涡操控”新技术,实现无电子调控的跨尺度物体精准操控
IT之家 9 月 26 日消息,据央视新闻报道,不用任何电子设备,仅靠一块提前设计好的普通薄板,就能让大小不一的颗粒、构件自动旋转、绕行、定点停留。 近日,中国科学院声学研究所联合合肥工业大学的科研团队,攻克新型物体操控技术,**实现了无电…
研究前沿 IT之家 · 9-26 阅读 53·访客 53
智能体生态观察 · 第 60 篇|评测数据集的经济学:构造成本、污染与保鲜
评测集是行业的隐形基建,决定谁看起来强,也决定谁真的强。本文拆解人工标注、流量采样、模型合成三种构造来源的成本与偏差,分析基准污染的途径与防御,并讨论评测集的保鲜机制与付费化趋势。
智能体 精选 · 原创 · 3天前 阅读 20·访客 20
AMD 以 82 亿美元收购李飞飞创立的 World Labs,李飞飞将出任 AMD 首席科学家
AMD 宣布以约 82 亿美元全股票收购李飞飞创立的世界模型公司 World Labs,李飞飞将出任 AMD 执行副总裁兼首席科学家,交易预计 2026 年底前完成。
行业动态 东方财富/东西问 · 9-29 阅读 384·访客 384
Anthropic 宣布成立生命科学团队和实验室,Claude 自主发现新型酶系统
IT之家 9 月 24 日消息,当地时间 9 月 23 日,Anthropic 宣布成立生命科学研究团队及自有分子生物学实验室,并公布了一项由 Claude 参与生物学研究取得的早期成果。 在人类科学家仅提供宏观研究方向的情况下,Claud…
研究前沿 IT之家 · 9-24 阅读 57·访客 57
智能体生态观察 · 第 63 篇|智能体安全评测:红队、越狱基准与自动化攻击面发现
安全评测回答一个问题:多少人多少机器试图攻破它,它能撑多久。本篇盘点智能体多出的攻击面——工具滥用、数据外传与成本攻击,对比人工、模糊与模型攻击模型三种红队形态,梳理越狱基准、权限沙箱与披露流程三件基建,并观察红队服务商业化趋势。
智能体 精选 · 原创 · 3天前 阅读 23·访客 23
视频理解研究:多模态视频理解的研究进展与基准
从 Kinetics 到 Video-MME 的基准演进、视频编码器到 VLM 的模型迭代、token 瓶颈与帧采样难题:多模态视频理解的进展全景与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 58·访客 58
B站举办2026超级科学晚,脑机接口、人造太阳等前沿科技齐亮相
量子位的朋友们* 2026-11-03 10:02:05 来源:量子位 10月31日,2026年bilibili超级科学晚(以下简称“B站科学晚”)在北京如期举行。 10月31日,2026年bilibili超级科学晚(以下简称“B站科学晚…
行业动态 量子位 · 11-3 阅读 20·访客 20
哭声免疫的百年账:婴儿睡眠训练的科学
「哭声免疫法」一百年前流行过,后来被依恋研究推翻;今天循证共识落在中间地带——规律的睡前程序与适龄的安抚策略有效,且没有可靠证据显示科学的睡眠训练伤害依恋。本文讲清睡眠训练的历史教训、行为法的真实证据、以及家长最关心的「哭了到底要不要抱」。
一叶一世界 精选 · 原创 · 11-2 阅读 104·访客 104
定义了软件工程的计算机科学家 Margaret Hamilton 去世,享年 90 岁]
阿波罗登月计划期间担任 MIT 仪器实验室软件工程部主管的计算机科学家 Margaret Hamilton 于 9 月 30 日去世,享年 90 岁。美国总统奥巴马(Barack Obama)在 2016 年向她颁发了总统自由勋章,表扬她定…
行业动态 Solidot · 10-9 阅读 31·访客 31
2026年诺贝尔化学奖授予法日科学家,表彰不对称有机合成中非线性效应与自催化现象研究
法国科学家Henri Kagan和日本科学家硖合宪三因在手性分子形成机制方面的贡献获2026年诺贝尔化学奖:Kagan发现操控化学反应产生更大镜像过剩量的新方法,硖合宪三展示了仅生成单一镜像构型的反应。
研究前沿 Solidot · 10-7 阅读 35·访客 35
Google 开源 RRSI:让智能体在冻结 LLM 上递归自改进 harness,同时防止基准过拟合
Google 联合多校开源 RRSI 框架,在冻结 LLM 前提下自动进化智能体 harness,并用正则化抑制基准过拟合,8 项基准最高提升 14.1 分。
研究前沿 arXiv · 10-1 阅读 179·访客 176
科学家在碲化锰观察到交替磁性证据]
科学家在碲化锰中观测到一种被称为“手性交替磁振子”的集体自旋运动,为交替磁性这一新型磁态提供了关键实验证据,也意味着未来芯片和信息存储技术有了新的可能。交替磁性被认为是介于铁磁与反铁磁之间的第三类磁有序。普通磁铁内部电子自旋像一排同向排列的…
行业动态 Solidot · 11-10 阅读 30·访客 30
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型 精选 · 原创 · 11-4 阅读 56·访客 56
MIT 巴齐莱与柯林斯因 AI 抗生素发现获 Pritzker 科学卓越奖
MIT 教授 Regina Barzilay 与 James Collins 因 AI 赋能抗生素发现的工作获得 Pritzker AI 与科学研究卓越奖。
研究前沿 MIT News · 11-3 阅读 27·访客 27
前 OpenAI 科学主管创办 Warp Sciences:携 2.15 亿美元融资,用 AI 和机器人加速药物化学研发
前 OpenAI 科学负责人 Kevin Weil 与前 Meta AI 高管 Manohar Paluri 创办的 Warp Sciences 走出隐身,完成 2.15 亿美元融资,用 AI 与机器人自动化加速药物化学研发。
行业动态 Business Wire · 10-23 阅读 42·访客 41
科学家记录到产下死婴后伤心欲绝的雌鲸]
一项罕见的观察显示,座头鲸母亲在幼鲸死亡后可能会悲痛欲绝。2025 年科学家在 Gold Coast 南部观察到一头雌性座头鲸在产下一头推测已死亡的幼鲸后,与另一头伴游鲸鱼在一起。她陪伴幼鲸长达数小时,甚至可能持续了数天。齿鲸曾被观察母亲会…
研究前沿 Solidot · 9-20 阅读 42·访客 42
深度学习的数学基础:我们知道它能用,却说不清为什么
2017 年 Ali Rahimi 领奖时说「机器学习变成了炼金术」,LeCun 当场反驳;八年过去,模型能力涨了几个数量级,「为什么泛化」的数学解释仍然是一堆可解模型里的定理。本文盘点深度学习数学基础的现状:随机标签实验、双下降、NTK、grokking、scaling laws 各自被解释到了哪一步,哪一步仍然卡住,以及 2026 年「学习力学」的学科宣言算不算转折点。
研究前沿 精选 · 原创 · 10-10 阅读 597·访客 595
AI 科研的可复现性与不确定度报告:让结果能够被检查
科学 AI 的一个分数或一条模拟轨迹,只有在数据、代码、模型版本、计算设置和误差来源可追溯时才有解释力。本文区分 National Academies 定义下的计算可复现与独立复现,介绍 FAIR 数据原则和深度网络不确定度分类,并以 MatterSim 官方说明为例,讨论开源权重、模型适用域与外部验证之间的差异。
研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
Prompt 的科学研究:提示词对模型行为的影响机制
提示词不是玄学而是可测量变量:FormatSpread 的 76 点波动、指令模板不稳定性、贝叶斯机制解释、软提示与自动提示优化、注入攻击与工程规范。
研究前沿 精选 · 原创 · 11-9 阅读 60·访客 60
智能体生态观察 · 第 7 篇|智能体评测的榜单生态:谁在给智能体打分
智能体的能力测量已经长成一个独立生态:学术基准(SWE-bench、GAIA、WebArena)、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象,以及企业选型时「信谁的分数」的实用框架。
智能体 精选 · 原创 · 11-3 阅读 70·访客 69
材料科学智能体MatOS正式开源!大幅提高材料研发任务成功率
思邈* 2026-11-17 14:09:40 来源:量子位 筛材料、找配方、开发新模型…拿下多项科研任务 允中 发自 凹非寺 量子位 | 公众号QbitAI 大模型智能体已经能够检索文献、调用模拟软件,甚至与自动化实验室协同工作。但要让…
智能体 量子位 · 5天前 阅读 9·访客 9
谷歌迄今最强模型 Gemini 4 Carbon 登场:主打复杂编程、科学研究与网络安全
IT之家 11 月 11 日消息,当地时间 11 月 10 日,谷歌宣布正式开放 Gemini 4 Carbon 模型,面向开发者、企业、科研人员和消费者提供服务。 谷歌高级副总裁、DeepMind 首席 AI 架构师 Koray Kavu…
智能体 IT之家 · 11-11 阅读 29·访客 29
打闹游戏的独特价值:被误解最深的「粗野玩耍」
孩子骑到爸爸身上、两个人在客厅摔跤、笑声尖叫掀翻屋顶——传统眼光里的「闹」,在游戏科学里是一门有严格规则的课程:它教的是情绪调节、力量控制与社交分寸。而它有一套判定真假的协议。
一叶一世界 精选 · 原创 · 11-5 阅读 107·访客 106
一篇读懂评测污染:你的 Benchmark 分数可能是个假象
GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法,以及动态基准的军备竞赛。
大模型 精选 · 原创 · 11-9 阅读 69·访客 69
音频理解:大模型怎么「听懂」ASR 之外的声音世界
转写成文字只是「听见」,音频理解的野心是「听懂」:环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方(音频编码器 → 语义 token → LLM)、开源代表 Qwen 系与评测基准 MMAU/AudioBench,以及它正在替代的旧管线。
研究前沿 精选 · 原创 · 10-7 阅读 863·访客 856
Scientific Agent Skills(K-Dense-AI/scientific-agent-skills):把 177 门科研工序写成智能体技能,常驻上下文只占 7.1%
K-Dense 开源的科研智能体技能库:177 个覆盖基因组、药物发现、临床证据等领域的 SKILL.md,遵循 Agent Skills 开放标准,Claude Code、Cursor、Codex、Gemini CLI 都能直接安装。本文拆解它的渐进加载架构、上下文成本账本、分发与安全流水线,并给出五类落地场景与真实评测数字。
开源项目 精选 · 原创 · 10-16 💬 1 阅读 176·访客 168
使用政策的设计:拒答边界是一门产品科学
每个大模型产品都有一份「使用政策」——禁止用模型做什么。它看起来是法律文件,实际是对齐的产品化:拒答边界的每一毫米划在哪里,都同时影响安全、可用性、合规与用户体验。本文讲清使用政策的设计维度、头部厂商的演进轨迹,以及「拒答边界」为什么是 AI 产品最难的产品决策。
行业动态 精选 · 原创 · 11-3 阅读 65·访客 65
RuleTrek:复杂场景下的智能体规则推理基准
该论文提出跨领域基准 RuleTrek,通过结构化规则图与增量组合子场景的构建流程,评估智能体在信息分散于多文件场景中的规则识别与应用能力。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 43·访客 43
SwarmRSI:通过进化的科学智能体群实现递归自我改进
SwarmRSI 是一个让科学智能体群实现递归自我改进的框架,提出反馈引导的群体变异(Feedback-Guided Swarm Mutation)来利用其他智能体的实验反馈修正假设与实现,并引入互补群体重组(Complementary Swarm Recombination)复用对其他智能体有用的组件。
智能体 HuggingFace Daily Papers · 10-14 阅读 80·访客 80
CLASHarness:通过可控可验证的生成流程对多智能体冲突进行基准测试
提出 CLASHarness 框架,用于评估视觉语言模型驱动的多智能体系统在信息不一致、指令矛盾等冲突场景下的处理能力,弥补现有基准多假设协作一致环境的不足。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 37·访客 37
LLM-to-Flow Distillation:让大模型向科学生成器传授自然语言目标
提出LLM-to-Flow Distillation(LFD)方法,用冻结的大模型作为自适应教师,将特定领域的流/扩散生成器对齐到自然语言科学发现目标,无需显式代理奖励。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 33·访客 33
ProbabilityBench:提供精确真实不确定度的模型评估与校准基准
研究者提出ProbabilityBench基准,通过显式定义数据生成过程,在同行评审、隐蔽信息传递和信用风险三个模拟文本域中解析计算出精确的类别概率与贝叶斯误差,从而可基于KL散度直接衡量模型报告概率的质量。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 32·访客 32
APEX-Harm:评估共享专业工作区中智能体安全的基准
APEX-Harm 基准针对在包含百余文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具的大型共享工作区中执行金融、咨询、法律任务的长程智能体,评估六类提示注入与脚本注入攻击的安全性。
研究前沿 HuggingFace Daily Papers · 10-9 阅读 32·访客 32
RoboQuest:面向目标导向具身探索的通用物理智能体基准
RoboQuest 是一个具身探索基准,要求智能体在陌生环境中通过物理交互主动获取任务相关信息,据此调整后续行动并自主决定何时完成任务,包含十个移动操作任务。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 34·访客 34