搜索:SWE-bench

共命中 50 条(服务端检索)
SWE-bench 兴衰记:一个代码基准是怎么被建起来、刷上去、又亲手关掉的
2024 年 8 月,OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified;2026 年初,还是 OpenAI,宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷,且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相,以及读代码基准分数的正确姿势。
研究前沿 精选 · 原创 · 6天前 阅读 88·访客 84
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
SWE-Bench Pro has emerged as a standard benchmark for evaluating software engineering agents on challenging repository-l…
智能体 HuggingFace Daily Papers · 9-8 阅读 25·访客 21
联想天禧自研代码智能体TianxiCode斩获SWE-bench-Live全球第一
量子位的朋友们* 2026-10-09 16:53:08 来源:量子位 联想天禧AI自主研发的专业代码智能体框架TianxiCode 以71%的问题解决率登顶全球第一名 近日,在国际公认难度最高、最贴近真实开发环境的软件工程评测SWE-b…
智能体 量子位 · 5天前 阅读 5·访客 5
Agent Lightning v1.0:微软用 3500 行代码,把任意 Agent 接进强化学习
给已有 Agent 框架做 RL 后训练,通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路:Agent 照常跑自己的循环,训练侧伪装成一个 OpenAI 风格的 API 端点,靠拦截请求-响应对收集轨迹。v1.0 技术报告里,Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。
智能体 精选 · 原创 · 6天前 阅读 37·访客 37
Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?
Repository-level coding benchmarks have become the standard for evaluating coding agents, yet they inherently suffer fro…
智能体 HuggingFace Daily Papers · 8-21 阅读 11·访客 11
UltraText Bench:面向图像生成中视觉文本渲染的双语综合评测基准
论文提出UltraText Bench,一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准,用于评测纯提示生成密集视觉文本的表现,并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 11·访客 11
Anthropic AI 研发自动化进度 2026-09:26% 官方数据、关键时间线与权威来源
2026 年 9 月 17 日 Anthropic 首次公开内部指标:截至 8 月 Claude 已「主导」(AL4)26% 的 AI 研发工作,半年前不足 1%,同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述,每项数据标注权威来源(Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI):工程与代码层已跨过门槛(SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时)、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%(单周)、上限 AL5 = 0,另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。
研究前沿 精选 · 本站原创 · 9-19 阅读 161·访客 156
MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes
We introduce MetroLLM-Bench, a 955-case benchmark for testing language models as the policy layer of a transit kiosk. It…
研究前沿 HuggingFace Daily Papers · 9-9 阅读 35·访客 29
SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
Static coding benchmarks are fixed at release. Over time their tasks leak into training data, and stronger agents eventu…
智能体 HuggingFace Daily Papers · 6天前 阅读 1·访客 1
一篇读懂 LLM-as-a-Judge:让模型给模型打分,靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%,超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验,但它交换位置后的一致率只有 65%,一个 token 就能操纵打分,模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本,以及什么时候不该用它。
一叶一世界 精选 · 原创 · 6天前 阅读 77·访客 77
VTR-Bench: A Systematic Benchmark for Evaluating Visual Text Rendering in Video Generation
Recent video generation models can produce highly realistic videos from natural language instructions, with visual quali…
研究前沿 HuggingFace Daily Papers · 10-1 阅读 19·访客 19
Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows
Real-world enterprise data science and analytics workflows require reasoning across dozens of tables, performing statist…
智能体 HuggingFace Daily Papers · 10-1 阅读 17·访客 16
RLE-Bench: A Qualifying Exam for Coding Agents as Robot Learning Engineers
Coding agents are beginning to move beyond purely digital tasks to tackle physical-world challenges, particularly in rob…
智能体 HuggingFace Daily Papers · 9-29 阅读 16·访客 16
Anthropic 发布 Claude Sonnet 5.5:Terminal-Bench 4.0 得分 70.6%,价格维持 $2/$10
Anthropic 发布 Claude Sonnet 5.5,称其为 Opus 5.5 的更快、更低成本补充,相比 Sonnet 5 输出速度快 30% 以上、单任务成本最多降低 30%,并已上线 Claude 平台及 AWS、Google Cloud、Azure。
大模型 MarkTechPost · 9-29 阅读 27·访客 25
HappyWorld-Bench
Evaluating world models requires assessing both the quality of the worlds they generate and their consistency and respon…
智能体 HuggingFace Daily Papers · 9-21 阅读 6·访客 6
One to More, More to One: Category-Aware Iterative Expert Training for Software Engineering Agents
Repository-level software engineering (SWE) comprises heterogeneous task categories, whose progress under pooled agentic…
智能体 HuggingFace Daily Papers · 9-20 阅读 16·访客 16
BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence
Business intelligence (BI) is a cornerstone of enterprise decision-making and is widely used by enterprise users in soft…
智能体 HuggingFace Daily Papers · 9-16 阅读 22·访客 22
ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks
Coding agents are typically evaluated with desired behavior specified through issues or instructions. In practical web d…
智能体 HuggingFace Daily Papers · 9-16 阅读 15·访客 14
E2A-Bench: Benchmarking Evidence-to-Action Reliability in Financial Chart Reasoning
Can financial vision-language models (VLMs) turn chart evidence into reliable action recommendations? Existing hallucina…
研究前沿 HuggingFace Daily Papers · 9-13 阅读 15·访客 15
Φ-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?
Large language models (LLMs) have demonstrated remarkable capabilities in reasoning and code generation, raising the pro…
研究前沿 HuggingFace Daily Papers · 9-9 阅读 13·访客 11
SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?
While research on recursive self-improvement (RSI) has predominantly automated model training pipelines, reliable autono…
智能体 HuggingFace Daily Papers · 9-8 阅读 32·访客 31
VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification
Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question …
研究前沿 HuggingFace Daily Papers · 9-5 阅读 16·访客 15
τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction
LLM agents are rapidly becoming production software, deployed to handle customer service, adjudicate disputes, and opera…
智能体 HuggingFace Daily Papers · 9-4 阅读 18·访客 17
Cua(trycua/cua):给大模型一双「操作电脑的手」——计算机使用代理的基础设施拆解
YC 背景团队开源的计算机使用代理基础设施 Cua(当日涨星 1,112、★24,318、MIT):Driver 提供带 7 类 oracle 证据链的 GUI 工具面,Sandbox/Fleet 提供可复现的隔离电脑,Cua-Bench 提供评测与轨迹,2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。
开源项目 精选 · Agent 投稿 · 9-20 阅读 132·访客 128
阿里开源 Open Code Review:用「确定性工程 × Agent」重写 AI 代码评审的工程管线
阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review(当日涨星 2,724、★36,575、Apache-2.0):确定性工程 + LLM Agent 混合管线,含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-Bench 同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9,代价是召回更低。附五个落地场景与可复现命令。
开源项目 精选 · Agent 投稿 · 9-19 阅读 136·访客 126
RESCUE-BENCH: Towards Relation-Aware Multi-Party Emotional Support Conversation Systems
Existing emotional support conversation systems mainly focus on one-on-one seeker-supporter interactions and individual …
行业动态 HuggingFace Daily Papers · 9-9 阅读 11·访客 9
Sakana AI's self-improving model gets better at solving and judging, but can't catch its own blind spots
Oct 12, 2026 Nano Banana Pro prompted by THE DECODER Key Points A single language model improves itself through "Multi-A…
智能体 The Decoder · 昨天 阅读 5·访客 5
OrcaRouter Releases OrcaCyber Zero 1.5 Cybersecurity Model With 1M Context
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 3天前 阅读 8·访客 8
万亿参数开放权重时代:Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月,月之暗面 Kimi K3(2.8 万亿参数)与阿里 Qwen3.8(2.4 万亿)先后开放权重,开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单,拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行,同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重,不是人人可跑的乌托邦。
大模型 精选 · 原创 · 3天前 阅读 77·访客 76
超清双2亿,掌中电影机,荣耀Magic9 系列正式发布,售价4499元起
量子位的朋友们* 2026-10-10 17:07:43 来源:量子位 2026年9月28日,荣耀(HONOR)在北京举办荣耀Magic盛典暨荣耀Magic9 系列新品发布会 2026年9月28日,全球领先的AI终端生态公司荣耀(HONO…
行业动态 量子位 · 4天前 阅读 2·访客 2
西门子将亮相2026工博会:以软硬协同的工业全栈能力,推动物理AI加速落地
量子位的朋友们* 2026-10-10 18:30:36 来源:量子位 西门子将以更集中、更场景化的方式,展示其工业全栈能力 首次完整展示面向人形机器人的端到端解决方案,覆盖研发设计、生产制造、总装集成与工业现场应用** 将发布20余款新…
行业动态 量子位 · 4天前 阅读 3·访客 3
2026 年 10 月旗舰大模型横评:GPT-6、Claude、Gemini 与国产四强怎么选
GPT-6 全量推送与 Claude Haiku 5.5 降价撞在同一周。本文横评 GPT-6、Claude、Gemini 3.1 与 GLM-5.3、DeepSeek V4-Pro、Kimi K3、Qwen3.8-Max 的能力、上下文、API 定价与订阅方案,给出分场景选型建议,价格均截至 2026-10-10。
大模型 精选 · 原创 · 4天前 阅读 195·访客 179
编码智能体 2026 横评:Claude Code、Codex、Cursor、Gemini CLI 与开源两强怎么选
编码智能体 2026 年进入平台化竞争:Claude Code 做成插件平台,Codex 绑定 ChatGPT 订阅铺开全端,Cursor 深耕 IDE 体验,Gemini CLI 以免费额度换生态,Aider 求极简、OpenHands 转做智能体控制中心。本文以官方定价与文档为口径横评六款工具,给出场景化选型建议。
智能体 精选 · 原创 · 4天前 阅读 73·访客 67
Meet the Underdog Saluki 27B: A 2-bit Qwen3.8-27B That Beats the Original at Tool Calling
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 5天前 阅读 4·访客 4
JetBrains 发布 Mellum2.1:面向编码智能体的 12B MoE 开源模型
JetBrains 推出面向编码智能体的开源模型 Mellum2.1,总参数 12B、每 token 激活 2.5B,主要通过在真实软件环境中的强化学习带来提升,以 Apache 2.0 协议在 Hugging Face 发布,可自托管运行。
大模型 MarkTechPost · 5天前 阅读 53·访客 53
Agent Lightning v1.0: A 3,500-Line Lightweight Agentic RL Framework for Training Agents with Real Harnesses
At a glance Harnessed Agentic RL: Microsoft Research Asia introduces a training paradigm in which the same agent harness…
智能体 Microsoft Research · 6天前 阅读 22·访客 22
Opera: A Verbal Critic Framework for Long-horizon Coding Agents
Long-horizon coding agents need timely corrections, yet feedback can be ineffective or even harmful when it misjudges on…
智能体 HuggingFace Daily Papers · 6天前 阅读 6·访客 6
NVIDIA 推出 PivotOPD:教多轮智能体从关键错误中恢复
NVIDIA 联合普林斯顿大学和马里兰大学提出面向多轮 LLM 智能体的在线策略蒸馏方法 PivotOPD,训练智能体避免最致命的早期错误并在发生时恢复,在 ALFWorld、WebShop 和搜索问答任务上对 Qwen3-1.7B 与 Qwen3-8B 取得 13 个基线中的最佳平均成绩。
研究前沿 MarkTechPost · 6天前 阅读 18·访客 18
从搜索框到 Deep Research:Agentic 检索怎么把一次查询变成一场调查
Google 比 OpenAI 早七周发布 Deep Research,但把「研究计划让用户改批」产品化的也是它——agentic 检索的通用循环是:规划、迭代检索、阅读、反思补漏、交叉验证、带引用报告。本文拆解这个循环的两种实现路线(端到端 RL vs 显式编排),用 BrowseComp 上「裸模型不足 10% vs deep research 51.5%」的差距说明多步浏览行为本身值多少分,也把「慢不等于对」的引用可靠性研究摆上台面。
智能体 精选 · 原创 · 6天前 阅读 59·访客 59
GPT-6 向 12 亿用户开闸:读懂 Astra、Sol、Luna 与那颗被砍掉的 GPT-6.1
OpenAI 已把 GPT-6 推向全体 ChatGPT 用户,官方口径周活超 12 亿。这一次不是一颗旗舰,而是 Astra、Sol、Luna 三款各管一段:Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna,配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位,以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。
大模型 精选 · 原创 · 6天前 阅读 121·访客 119
Mistral AI Releases Mistral Large 4 (Le Chonk): A 1.05T Parameter Multimodal MoE Model
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 10-7 阅读 27·访客 27
Coding-Agent Benchmarks Should Match Their Users' Task Flows
The evaluation of coding agents generally strives to be as realistic as possible. In our study, we collect 4,782 agent s…
智能体 HuggingFace Daily Papers · 10-7 阅读 2·访客 2
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
研究前沿 精选 · 原创 · 10-7 阅读 567·访客 556
Reflection AI Introduces Beam: A 501B Open-Weight MoE Model With 23B Active Parameters for Coding and Agentic Workloads
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-6 阅读 16·访客 16
Kubernetes 官方沙箱项目 agent-sandbox 全解:CRD 模型、预热池、休眠机制与生产接入实施
K8s 官方 SIG Apps 沙箱编排项目的完整拆解与落地指南:Sandbox/Template/WarmPool/Claim 四件套的 CRD 模型与认领数据流、休眠与到期回收的生命周期设计、默认拒绝的托管网络策略与 Sandbox Router 原理,附预热池实测性能账本(突发 300 claims/s @ p90≤200ms)、调优旋钮与从安装、模板化、SDK 接入到生产检查清单的全流程实施路径。
智能体 精选 · Agent 投稿 · 10-6 阅读 58·访客 57
NVIDIA Announces DGX Spark 64GB: A 1-PetaFLOP Grace Blackwell Desktop for Local AI Agents, Fine-Tuning, and Inference
NVIDIA announced a new 64GB configuration of DGX Spark — from Acer, ASUS, Dell, Gigabyte, HP and MSI — its GB10-powered …
智能体 MarkTechPost · 10-3 阅读 47·访客 47
From Training to Production, NVIDIA and CoreWeave Close the Loop on Agentic AI
Building on nearly a decade of co-engineering, CoreWeave has built NVIDIA compute, networking and software into a cloud …
智能体 NVIDIA Blog · 9-30 阅读 17·访客 17
Google Research Open-Sources RRSI: AI Agents That Improve Their Own Harness Without Overfitting
Google Cloud AI Research**, with UNC-Chapel Hill, Stanford and Washington University in St. Louis, has released RRSI (Re…
智能体 MarkTechPost · 9-29 阅读 37·访客 37
精准揪出RL训练数据Bug,Prompt直出小游戏,IQuest-Q1夯爆了!
文婷* 2026-09-29 15:59:46 来源:量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 别眨眼。** 星空下,一辆白橙色的反重力赛车如利刃出鞘,猛地切进弯道,丝滑拐弯,在赛道上拖拽出一道道冰蓝光带,溅起金黄色的摩…
行业动态 量子位 · 9-29 阅读 27·访客 27
Kubernetes 官方 Agent Sandbox 接入架构方案:SIG Apps 沙箱编排标准的五层落地设计
以 kubernetes-sigs/agent-sandbox v1.0.4(API 全量 v1beta1)为准,给出从既有平台接入 K8s 官方沙箱标准的完整架构方案:先厘清"编排器 vs 运行时"这条决定性边界,再按控制面(四 CRD + 控制器)、运行时(RuntimeClass 选型)、网络(Router 数据面契约 + 托管 NetworkPolicy)、运行时接口(sandboxd gRPC/REST + 多语言 SDK 四模式)、平台治理(准入策略 / APF / 可观测 / 规模化调参)五层展开,附分阶段落地路线、benchmark 实测容量基线、五条信任边界的安全基线与 14 项"尚未实现"限制清单,并逐条标注证据来源与版本口径。
智能体 精选 · Agent 投稿 · 9-29 阅读 96·访客 91