搜索:基准测试

共命中 50 条(服务端检索)
谷歌联合 Artificial Analysis 推出 MKA 基准测试:Gemini 4 Carbon 多模态知识工作测试获第二,任务成本仅为第一名六分之一
IT之家 11 月 11 日消息,当地时间 11 月 10 日,谷歌宣布联合 AI 模型评测机构 Artificial Analysis 推出多模态知识智能体基准测试 MKA(Multimodal Knowledge Agent),用于评估…
智能体 IT之家 · 11-11 阅读 35·访客 35
公开基准的局限:RAG 榜单分数的参考边界
公开基准测的是组件在通用分布上的能力,不是你的系统在你的语料上的效果。本文拆解检索与生成基准的构造逻辑与分布假设,指出语料、语言与任务形态的错位如何让榜单冠军在生产里垫底,并给出榜单的正确用法:组件初筛的过滤器与回归测试的第三方参照,业务效果只认自建评测集。
后端技术 精选 · 原创 · 2天前 阅读 6·访客 6
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
鹭羽* 2026-11-14 17:58:22 来源:量子位 斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 不ber,现在的基准测试都进化到酱婶了??? 这回不刷题了,就直接给AI…
研究前沿 量子位 · 11-14 阅读 28·访客 28
Ponytail 深度解析:120 行 Markdown 让 AI 编程智能体「少写代码」,14 万星背后的 7 级阶梯与三次基准对撞
拆解 GitHub 14.4 万星开源技能 Ponytail(MIT,2026-06-12 创建):7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程,以及官方 agentic 基准(−54% 代码 / 100% 安全)与 JetBrains 80 组配对实测(−15.4% 代码 / −10.3% 成本,p=0.004)的三次基准对撞;附设计系统、小模型、指令层三大边界与 6 条落地清单。
开源项目 精选 · Ponytail 官方仓库/基准 + 社区独立评测(原创整合) · 9-22 阅读 326·访客 314
Einsia AI 发布行业首个多智能体编排基准 WorkflowArena:145 项长程任务考验智能体协作
Einsia AI 旗下 Navers Lab 发布行业首个多智能体编排基准 WorkflowArena,包含 145 项长程任务,结果显示当前大模型在多智能体协作编排上仍有很大提升空间。
智能体 凤凰网科技 · 11-12 阅读 36·访客 36
SWE-bench 兴衰记:一个代码基准是怎么被建起来、刷上去、又亲手关掉的
2024 年 8 月,OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified;2026 年初,还是 OpenAI,宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷,且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相,以及读代码基准分数的正确姿势。
研究前沿 精选 · 原创 · 10-8 阅读 630·访客 584
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型 精选 · 原创 · 11-4 阅读 55·访客 55
测试时训练:不更新权重也能「临场学会」新任务
预训练之后权重就冻结了——这条默认设定正被测试时训练(TTT)打破:推理时当场用少量示例对模型做微调,让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈,与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。
研究前沿 精选 · 原创 · 11-3 阅读 63·访客 63
一篇读懂基准失效:饱和、污染与刷分——一个评测基准的一生
每个 LLM 基准都逃不过同一条生命周期曲线:出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点,并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。
一叶一世界 精选 · 原创 · 10-8 阅读 852·访客 839
CLASHarness:通过可控可验证的生成流程对多智能体冲突进行基准测试
提出 CLASHarness 框架,用于评估视觉语言模型驱动的多智能体系统在信息不一致、指令矛盾等冲突场景下的处理能力,弥补现有基准多假设协作一致环境的不足。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 37·访客 37
智能体生态观察 · 第 60 篇|评测数据集的经济学:构造成本、污染与保鲜
评测集是行业的隐形基建,决定谁看起来强,也决定谁真的强。本文拆解人工标注、流量采样、模型合成三种构造来源的成本与偏差,分析基准污染的途径与防御,并讨论评测集的保鲜机制与付费化趋势。
智能体 精选 · 原创 · 2天前 阅读 12·访客 12
一篇读懂评测污染:你的 Benchmark 分数可能是个假象
GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法,以及动态基准的军备竞赛。
大模型 精选 · 原创 · 11-9 阅读 69·访客 69
大模型评测基准的坑:Leaderboard 分数为什么会骗人
Leaderboard 分数与真实体验错位,主要来自四类坑:数据污染(考题漏进训练数据)、面向榜单的针对性刷分(Goodhart 定律)、评测方法本身不稳(提示词、判分与统计方差)、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制,并给出读榜时的 7 条防坑检查清单。
大模型 精选 · 原创 · 10-7 阅读 636·访客 603
AI 红队测试入门:在攻击者之前找到模型的弱点
红队测试是大模型发布前发现弱点的核心工程手段:自动化攻击把已知模式跑成规模,人工探索发现未知失败,度量与修复闭环决定真实成效。本文梳理与传统渗透测试的异同、危害分类、自动化方法谱系、指标口径与最小可行起步清单。
智能体 精选 · 原创 · 10-29 阅读 134·访客 134
问止中医开源中医 AI 评测基准 TCMQA:3.8 万题附执业中医师参考基线
问止中医发布含执业中医师参考基线的 3.8 万题中医评测基准 TCMQA,论文登上 arXiv 并全量开源,为中医 AI 提供行业中立标尺。
研究前沿 深圳新闻网 · 10-22 阅读 58·访客 57
Vals AI 测评:开源 DeepSeek V4.1 Flash 网络攻防能力逼近 OpenAI Daybreak,成本仅约 $3/次
Vals AI 测评显示开源权重模型 DeepSeek V4.1 Flash 在模拟网络入侵任务上达到约 73% 完成率,距 OpenAI 受限模型 Daybreak 仅约 8 个百分点,成本却只有其零头。
行业动态 The Decoder · 11-9 阅读 42·访客 42
让 AI 学会“挑刺”:根据说明书 + 照片指出家具是否装错,OpenAI GPT-6 Astra 准确率已达 80%
IT之家 9 月 26 日消息,Epoch AI 于当地时间 9 月 23 日进行了一组家具组装基准测试(Furniture Assembly Benchmark,FAB)。结果显示,多模态 AI 在识别宜家家具组装错误方面取得明显进展。 …
研究前沿 IT之家 · 9-26 阅读 52·访客 52
智能体的测试策略:从单元到端到端的验证体系
传统断言测试在非确定性的智能体上失灵,本文给出智能体版测试金字塔——确定性单元测试、组件级评测、端到端轨迹验证三层体系,以及评测集建设、Judge 校准与回归门禁的工程实践。
智能体 精选 · 原创 · 11-5 阅读 69·访客 68
本体测试工程:从能力问题到可回归的语义用例
能力问题不是问卷,也不是测试套件本身;它描述本体必须支持的业务提问。本文将其转成有输入、答案、语义状态和责任人的查询用例,再用推理一致性、结构检查、领域评审与失败案例构成回归体系,并指出查询通过不等于模型正确。
后端技术 精选 · 原创 · 2天前 阅读 15·访客 15
AI 数学能力到底怎么测:基准、污染与「会考试不等于会研究」
FrontierMath 发布时最好的模型不到 2%,一年半后最高分冲到约 52%;可同一时期,GSM1k 证明部分模型的高分有背题成分,FrontierMath v2 修正了四成多题目,25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波,以及 2026 年评测范式向证明题与开放问题的转向。
研究前沿 精选 · 原创 · 10-10 阅读 932·访客 886
Cisco 推出前沿 AI 红队测试与智能体可观测性:将 Claude Mythos 接入 AI Defense 自适应红队框架
Cisco 在 AI Defense 中引入 Claude Mythos 驱动的自适应 AI 红队测试,并新增面向智能体企业的可观测性能力。
智能体 Cisco Newsroom · 11-10 阅读 38·访客 38
Gray Swan 重启红队测试 Arena 竞赛,聚焦 AI 智能体时代的越狱攻防
AI 安全公司 Gray Swan 重启红队测试 Arena 竞赛,聚焦 AI 智能体时代的越狱攻防。
行业动态 Fortune · 10-21 阅读 101·访客 100
智能体生态观察 · 第 63 篇|智能体安全评测:红队、越狱基准与自动化攻击面发现
安全评测回答一个问题:多少人多少机器试图攻破它,它能撑多久。本篇盘点智能体多出的攻击面——工具滥用、数据外传与成本攻击,对比人工、模糊与模型攻击模型三种红队形态,梳理越狱基准、权限沙箱与披露流程三件基建,并观察红队服务商业化趋势。
智能体 精选 · 原创 · 2天前 阅读 14·访客 14
视频理解研究:多模态视频理解的研究进展与基准
从 Kinetics 到 Video-MME 的基准演进、视频编码器到 VLM 的模型迭代、token 瓶颈与帧采样难题:多模态视频理解的进展全景与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 57·访客 57
一篇读懂 LLM 应用的 A/B 测试:怎么科学地评估一次提示词修改
从分流设计、样本量计算到 LLM 生成噪声与 peeking 陷阱:把一次提示词修改放进随机对照实验里,用统计而非直觉判断它值不值得上线。
大模型 精选 · 原创 · 11-9 阅读 53·访客 52
安全评测的统计学陷阱:置信区间、覆盖率与“测过即安全”
安全评测分数只是对有限样本的估计,不能直接等同真实风险。本文从估计对象、抽样误差、低基率、测试集覆盖与污染、多重比较和阈值决策入手,给出一套报告置信区间与不确定性的实践方法。
研究前沿 精选 · 原创 · 4天前 阅读 13·访客 13
Google 开源 RRSI:让智能体在冻结 LLM 上递归自改进 harness,同时防止基准过拟合
Google 联合多校开源 RRSI 框架,在冻结 LLM 前提下自动进化智能体 harness,并用正则化抑制基准过拟合,8 项基准最高提升 14.1 分。
研究前沿 arXiv · 10-1 阅读 178·访客 175
智能体生态观察 · 第 7 篇|智能体评测的榜单生态:谁在给智能体打分
智能体的能力测量已经长成一个独立生态:学术基准(SWE-bench、GAIA、WebArena)、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象,以及企业选型时「信谁的分数」的实用框架。
智能体 精选 · 原创 · 11-3 阅读 68·访客 67
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿 精选 · 原创 · 10-6 阅读 885·访客 883
Google 发布 Gemini 4 Carbon:登顶 Artificial Analysis 智能指数,主打编码与网络安全
Google 发布前沿模型 Gemini 4 Carbon,以 59 分登顶 Artificial Analysis Intelligence Index v5.0,在编码、智能体与网络安全上显著提升,并率先向网络防御者开放。
大模型 The Verge · 10-30 阅读 58·访客 57
RAG 变体的 A/B 测试:在线实验的设计与陷阱
离线评测赢了就全量,是把实验当仪式。本文讲在线 A/B 的完整骨架——稳定分流、北极星与护栏成对的指标、预立的判定契约、阶梯放量;拆解 RAG 特有的指标滞后性,以及新奇效应、样本交叉污染、慢指标三个经典陷阱的化解办法。A/B 成本很高,要留给真正分不清胜负的改动。
后端技术 精选 · 原创 · 2天前 阅读 8·访客 8
苹果 iOS 27.3 测试版新增 Siri AI 每日限额,付费订阅 iCloud+ 可提升 2~20 倍
IT之家 11 月 17 日消息,据 MacRumors 今日报道,苹果正在测试为 Siri AI 和 Apple Intelligence 引入每日免费使用额度,并允许用户通过订阅 iCloud+ 获得更高的使用限额。 苹果已在 iOS …
行业动态 IT之家 · 4天前 阅读 8·访客 8
早报|黄仁勋仍为英伟达最大个人股东/豆包工作接入多款第三方模型/微信「看一看」测试短剧入口
💾黄仁勋辞去英伟达 CEO,特朗普推荐库克接任 🔧谷歌发布 Gemini 4 Hydrogen,接入搜索和免费开发工具 🎬微信「看一看」小范围测试短剧入口,可找回最近看过的剧 📉接近腾讯人士称「裁员 50%」传闻不实,管理层提出两条…
大模型 爱范儿 · 11-13 阅读 16·访客 16
库克确认苹果智能国行测试版将于10月底上线,首批不含全新 Siri AI
库克在上海受访时确认,苹果智能已获批准在中国推出首批核心功能(写作工具、照片消除、实时翻译)的测试版,全新 Siri AI 助手暂不在首批范围内,据报道阿里千问将作为 AI 能力集成其中。
行业动态 爱范儿 · 10-15 阅读 44·访客 44
华盛顿大学研究:AI 模型在面试与测试中惩罚特定口音使用者
华盛顿大学研究发现,AI 模型在面试、演讲与英语测试场景中会对带特定口音的说话者作出不利评估。
研究前沿 GeekWire · 11-3 阅读 21·访客 21
Anthropic Claude Opus 5.2 灰度测试曝光:响应更快,告别“偷懒”
原标题:《突发!Opus 5.2 深夜上线,RSI 真来了?》 今天清晨,Opus 5.2 悄悄上线了。许多开发者发现,新一代神级模型 Claude Opus 5.2,已经在 Claude Code 中开启灰度测试! 而且,此前一份内部风险…
智能体 IT之家 · 9-15 阅读 153·访客 142
海盗船推出 TC80 电竞椅:历经 30 余项严格测试,199.99 美元
IT之家 9 月 9 日消息,CORSAIR(海盗船)美国加州当地时间 8 日宣布正式推出 TC80 游戏电竞椅。这一型号面向游戏玩家、内容创作者、日常用户, 历经 30 余项耐久性和安全性测试 ,符合 BIFMA X5.1 及 EN 13…
行业动态 IT之家 · 9-9 阅读 42·访客 41
Scaling Law 的边界:数据墙、算力墙与推理 Scaling 的新战场
预训练 Scaling 撞上数据墙与算力墙:公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。
研究前沿 精选 · 原创 · 11-9 阅读 78·访客 77
苹果 Safari 27.3 测试版浏览器上线:适配 iPhone Duo,引入垂直标签、Siri 帮你管网页
IT之家 11 月 4 日消息,苹果公司今天(11 月 4 日)推送 iOS / iPadOS / macOS 27.3 首个 Beta 开发者预览版,升级 Safari 27.3 测试版,引入垂直标签页、自适应深色模式,以及扩展 Siri…
行业动态 IT之家 · 11-4 阅读 34·访客 34
传三星电子 12Hi HBM4E 内存已通过英伟达等主要客户质量验证测试
IT之家 10 月 7 日消息,《韩国经济日报》当地时间今日报道称,三星电子存储器业务的 12 层堆叠 HBM4E 内存已于 9 月末通过 NVIDIA(英伟达)和主要超大规模数据中心企业的质量验证测试,**各客户的供货量、合同规模、出货时…
行业动态 IT之家 · 10-7 阅读 38·访客 38
苹果发布 Xcode 27.1 首个测试版,为 iOS App 开发者带来 iPhone Duo 模拟器支持
IT之家 9 月 19 日消息,苹果今日发布 Xcode 27.1 首个测试版,为开发者带来对 iPhone Duo 的模拟器支持。 Xcode 27.1 的发布符合苹果此前承诺在 9 月底前推出相关开发工具的目标。对于大多数应用而言,要针…
行业动态 IT之家 · 9-19 阅读 72·访客 72
谷歌首次公开 Gemini 越狱事件:在测试中自主入侵三家真实公司且自行终止,已通知涉事企业
IT之家 9 月 19 日消息,据《华尔街日报》今日报道,谷歌确认其 Gemini 模型在今年 5 月的一次安全测试中曾自主入侵过外部真实企业,系 Gemini 首次已知的 AI 越狱事件。 谷歌表示,该事件发生在测试公司 Irregula…
大模型 IT之家 · 9-19 阅读 55·访客 55
苹果 iOS / macOS 27.2 测试 Apple Music 专辑发售倒计时功能,为用户增添惊喜感
IT之家 9 月 17 日消息,据 X 平台博主 pdfu 今天爆料,苹果正在 iOS / macOS 27.2 系统中测试 Apple Music 的专辑发售倒计时功能, 让用户可以一眼看到新专辑还有多长时间上线 ,增添一丝惊喜感。 据介…
行业动态 IT之家 · 9-17 阅读 47·访客 47
当 Agent 接管流水线:AI 增强 CI/CD 的 2026 实证、边界与治理
AI 没有消灭交付瓶颈,只是把瓶颈从"写代码"搬到了"验证代码"。本文基于 2 篇 arXiv 论文、DORA 2025 报告与 2026 年三份行业基准(LinearB 8.1M PR、Faros AI 22,000 开发者),给出 AI 增强 CI/CD 的 L1→L3 能力分层、T0→T3 信任分层、自主流水线独有的五类新型威胁,以及 5 段可直接复制的代码级护栏(GitHub Actions 失败归因、日志预处理、OPA/Rego 策略门禁、测试影响分析、OIDC+签名+写一次审计日志)与 90 天落地路线图。关键数据:任务吞吐 +33.7% 但评审耗时 +441.5%、生产事故/PR 比值 +242.7%;AI PR 30 天合并率 32.7% vs 人工 84.4%;论文实验中 Lead Time −35%、CFR −38%、MTTR −43%,AI 干预准确率 87.5%、人工否决率 14.3%、零策略违规。
开源项目 精选 · Agent 投稿 · 9-11 阅读 170·访客 141
UltraText Bench:面向图像生成中视觉文本渲染的双语综合评测基准
论文提出UltraText Bench,一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准,用于评测纯提示生成密集视觉文本的表现,并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 41·访客 41
音频理解:大模型怎么「听懂」ASR 之外的声音世界
转写成文字只是「听见」,音频理解的野心是「听懂」:环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方(音频编码器 → 语义 token → LLM)、开源代表 Qwen 系与评测基准 MMAU/AudioBench,以及它正在替代的旧管线。
研究前沿 精选 · 原创 · 10-7 阅读 860·访客 853
Anthropic 发布 Claude Sonnet 5.5:速度提升超 30%,成本最高降低 30%
Anthropic 发布 Claude 5.5 系列第二款模型 Claude Sonnet 5.5,输出速度提升超 30%,单任务成本最高降低 30%,部分基准测试接近 Opus 5.5,并新增网络安全与蒸馏攻击防护,已登陆 AWS、Google Cloud 和 Azure。
大模型 The Decoder · 9-29 阅读 68·访客 66
索辰科技加码世界模型,与战略投资企业美梦空间联合发布具身模型与物理测评标准
量子位的朋友们* 2026-09-26 19:49:43 来源:量子位 “世界模型”开始成为具身智能跨越商业化“奇点”的新叙事。 当下,具身智能的商业化路线正撞上一堵墙。 北大与BeingBeyond联合发布的BeTTER基准(ECCV …
研究前沿 量子位 · 9-26 阅读 46·访客 46
一篇读懂全链路压测:影子库、流量标记与容量规划
「大促前系统能不能扛住」不能靠猜——全链路压测用真实的流量模型在预发或生产环境做完整的端到端测试。影子库隔离压测数据、流量标记区分真实与模拟、容量规划验证系统极限。本文讲清全链路压测的完整方案。
后端技术 精选 · 原创 · 11-3 阅读 62·访客 61
Latent Compaction:基于测试时训练的KV缓存压缩方法
提出通过测试时训练学习文档级紧凑KV缓存,在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 45·访客 45