AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
SWE-bench
共命中 50 条(服务端检索)
从 Codex 到
SWE
-
Bench
:代码智能的五年跃迁
从 Codex 通过 HumanEval 的 28.8%,到 AlphaCode 的百万采样,再到
SWE
-
Bench
上 agent 们从 4% 爬到 70% 以上,梳理代码智能五年跃迁的技术脉络与产业影响。
研究前沿
精选
· 原创 · 11-9
阅读 69
·
访客 68
SWE
-
bench
兴衰记:一个代码基准是怎么被建起来、刷上去、又亲手关掉的
2024 年 8 月,OpenAI 联合 Princeton 人工过滤出
SWE
-
bench
Verified;2026 年初,还是 OpenAI,宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷,且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解
SWE
-
bench
从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相,以及读代码基准分数的正确姿势。
研究前沿
精选
· 原创 · 10-8
阅读 633
·
访客 587
SWE
-
Bench
Pro Verified: A Reliable
Bench
mark for Software Engineering Agents
SWE
-
Bench
Pro has emerged as a standard
bench
mark for evaluating software engineering agents on challenging repository-l…
智能体
HuggingFace Daily Papers · 9-8
阅读 112
·
访客 107
SWE
-agent 与 Agent-Computer Interface:让模型像工程师一样用电脑
SWE
-agent(普林斯顿)提出 ACI(Agent-Computer Interface)概念:给模型设计的「电脑界面」决定智能体表现——正如人机交互设计决定人的效率。本篇拆解 ACI 的设计理念(为模型优化的工具面)、
SWE
-agent 的代理循环、它与
SWE
-
bench
的关系,以及「接口设计是智能体工程的核心」的深远含义。
智能体
精选
· 原创 · 11-4
阅读 59
·
访客 59
联想天禧自研代码智能体TianxiCode斩获
SWE
-
bench
-Live全球第一
量子位的朋友们* 2026-10-09 16:53:08 来源:量子位 联想天禧AI自主研发的专业代码智能体框架TianxiCode 以71%的问题解决率登顶全球第一名 近日,在国际公认难度最高、最贴近真实开发环境的软件工程评测
SWE
-b…
智能体
量子位 · 10-9
阅读 85
·
访客 84
Agent Lightning v1.0:微软用 3500 行代码,把任意 Agent 接进强化学习
给已有 Agent 框架做 RL 后训练,通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路:Agent 照常跑自己的循环,训练侧伪装成一个 OpenAI 风格的 API 端点,靠拦截请求-响应对收集轨迹。v1.0 技术报告里,Qwen3.5-9B 编码 Agent 在
SWE
-
bench
Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。
智能体
精选
· 原创 · 10-8
阅读 159
·
访客 158
Schrödinger's Code Repository: Have LLMs Learned
SWE
-
bench
or Memorized It?
Repository-level coding
bench
marks have become the standard for evaluating coding agents, yet they inherently suffer fro…
智能体
HuggingFace Daily Papers · 8-21
阅读 93
·
访客 92
Devin 解剖:自主智能体产品的架构、能力边界与争议
Devin(Cognition)是「AI 软件工程师」概念的引爆者,也是争议的中心:演示与现实的落差、
SWE
-
bench
的修改风波、以及自主智能体产品化的真实难度。本篇拆解 Devin 的产品形态与推断的架构、能力边界的实证检验、以及从 Devin 事件中学到的「AI 产品可信度」课题。
智能体
精选
· 原创 · 11-4
阅读 56
·
访客 56
OpenHands 深度解析:开源自主编码智能体的事件流架构
OpenHands(原 OpenDevin)是开源自主编码智能体的旗舰:沙箱化的执行环境、事件流架构、浏览器与终端的全能力。本篇拆解它的架构(事件流、运行时沙箱、代理抽象)、与
SWE
-
bench
的渊源、社区驱动的基准成绩,以及「自主智能体开源化」的意义与边界。
智能体
精选
· 原创 · 11-4
阅读 57
·
访客 57
智能体生态观察 · 第 7 篇|智能体评测的榜单生态:谁在给智能体打分
智能体的能力测量已经长成一个独立生态:学术基准(
SWE
-
bench
、GAIA、WebArena)、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象,以及企业选型时「信谁的分数」的实用框架。
智能体
精选
· 原创 · 11-3
阅读 75
·
访客 74
τ-Emotion-
Bench
:用真实用户情绪揭示大模型智能体的交互脆弱性
论文提出涵盖十个领域的 τ-Emotion-
Bench
基准,在受控的情绪化用户交互下评估工具调用智能体,并配套 Tracer 数据生成管线用于构建任务与采集训练轨迹。
研究前沿
HuggingFace Daily Papers · 10-14
阅读 40
·
访客 40
SWE
eper-
Bench
:智能体能否发现交互式软件中的缺陷?
文章介绍
SWE
eper-
Bench
基准,包含来自 200 个广泛使用的开源 Web 应用真实修复的 200 个任务,用于评估智能体在多步交互场景下自主发现并修复缺陷的能力,而现有基准多假设缺陷已被识别。
研究前沿
HuggingFace Daily Papers · 10-8
阅读 30
·
访客 30
UltraText
Bench
:面向图像生成中视觉文本渲染的双语综合评测基准
论文提出UltraText
Bench
,一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准,用于评测纯提示生成密集视觉文本的表现,并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。
研究前沿
HuggingFace Daily Papers · 10-7
阅读 41
·
访客 41
Anthropic AI 研发自动化进度 2026-09:26% 官方数据、关键时间线与权威来源
2026 年 9 月 17 日 Anthropic 首次公开内部指标:截至 8 月 Claude 已「主导」(AL4)26% 的 AI 研发工作,半年前不足 1%,同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述,每项数据标注权威来源(Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI):工程与代码层已跨过门槛(
SWE
-
Bench
2%→93.9%、CORE-
Bench
21.5%→95.5%、任务时间视野 30 秒→12 小时)、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%(单周)、上限 AL5 = 0,另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。
研究前沿
精选
· 本站原创 · 9-19
阅读 490
·
访客 484
MetroLLM-
Bench
: Evaluating Language Models as Transit Kiosk Runtimes
We introduce MetroLLM-
Bench
, a 955-case
bench
mark for testing language models as the policy layer of a transit kiosk. It…
研究前沿
HuggingFace Daily Papers · 9-9
阅读 55
·
访客 49
SWE
-Trail: History-Guided Trajectory Collection for Coding Agent Training
Coding agents solve repository issues through long sequences of exploration, editing, and validation. These trajectories…
智能体
HuggingFace Daily Papers · 11-1
阅读 22
·
访客 22
Accelerate
Bench
: Evaluating Agents for Application-Level Program Optimization
Application optimization requires coding agents to discover useful changes and coordinate them across a complete program…
智能体
HuggingFace Daily Papers · 11-16
阅读 8
·
访客 8
SWE
-CoWork:
Bench
marking Coding Agents as Digital Employees in Organizations
A coding agent working within a software organization must establish what to build, collaborate with colleagues, and ver…
智能体
HuggingFace Daily Papers · 11-15
阅读 7
·
访客 7
Longtail-
SWE
: High-Quality
SWE
Tasks for Underrepresented Languages
Challenging repository-level
bench
marks remain limited for many programming language ecosystems, where filtering scarce …
研究前沿
HuggingFace Daily Papers · 11-6
阅读 14
·
访客 14
SWE
-Duel: Towards a Self-Scaling Arena for Coding Agents
Static coding
bench
marks are fixed at release. Over time their tasks leak into training data, and stronger agents eventu…
智能体
HuggingFace Daily Papers · 10-8
阅读 73
·
访客 72
一篇读懂 LLM-as-a-Judge:让模型给模型打分,靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%,超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验,但它交换位置后的一致率只有 65%,一个 token 就能操纵打分,模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本,以及什么时候不该用它。
一叶一世界
精选
· 原创 · 10-8
阅读 894
·
访客 884
VTR-
Bench
: A Systematic
Bench
mark for Evaluating Visual Text Rendering in Video Generation
Recent video generation models can produce highly realistic videos from natural language instructions, with visual quali…
研究前沿
HuggingFace Daily Papers · 10-1
阅读 59
·
访客 59
Argo-
Bench
: Evaluating Data Agents on Enterprise-Scale Workflows
Real-world enterprise data science and analytics workflows require reasoning across dozens of tables, performing statist…
智能体
HuggingFace Daily Papers · 10-1
阅读 87
·
访客 84
RLE-
Bench
: A Qualifying Exam for Coding Agents as Robot Learning Engineers
Coding agents are beginning to move beyond purely digital tasks to tackle physical-world challenges, particularly in rob…
智能体
HuggingFace Daily Papers · 9-29
阅读 111
·
访客 109
Anthropic 发布 Claude Sonnet 5.5:Terminal-
Bench
4.0 得分 70.6%,价格维持 $2/$10
Anthropic 发布 Claude Sonnet 5.5,称其为 Opus 5.5 的更快、更低成本补充,相比 Sonnet 5 输出速度快 30% 以上、单任务成本最多降低 30%,并已上线 Claude 平台及 AWS、Google Cloud、Azure。
大模型
MarkTechPost · 9-29
阅读 54
·
访客 52
HappyWorld-
Bench
Evaluating world models requires assessing both the quality of the worlds they generate and their consistency and respon…
智能体
HuggingFace Daily Papers · 9-21
阅读 97
·
访客 95
One to More, More to One: Category-Aware Iterative Expert Training for Software Engineering Agents
Repository-level software engineering (
SWE
) comprises heterogeneous task categories, whose progress under pooled agentic…
智能体
HuggingFace Daily Papers · 9-20
阅读 90
·
访客 89
BI-Agent and BI-
Bench
: Towards Automating End-to-End Business Intelligence
Business intelligence (BI) is a cornerstone of enterprise decision-making and is widely used by enterprise users in soft…
智能体
HuggingFace Daily Papers · 9-16
阅读 102
·
访客 101
ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided
SWE
Tasks
Coding agents are typically evaluated with desired behavior specified through issues or instructions. In practical web d…
智能体
HuggingFace Daily Papers · 9-16
阅读 91
·
访客 89
E2A-
Bench
:
Bench
marking Evidence-to-Action Reliability in Financial Chart Reasoning
Can financial vision-language models (VLMs) turn chart evidence into reliable action recommendations? Existing hallucina…
研究前沿
HuggingFace Daily Papers · 9-13
阅读 36
·
访客 36
Φ-
Bench
: Can Large Language Models Engineer the Infrastructure That Powers Them?
Large language models (LLMs) have demonstrated remarkable capabilities in reasoning and code generation, raising the pro…
研究前沿
HuggingFace Daily Papers · 9-9
阅读 37
·
访客 35
SAEScientist-
Bench
: Can AI Agents Conduct Autonomous SAE Interpretability Research?
While research on recursive self-improvement (RSI) has predominantly automated model training pipelines, reliable autono…
智能体
HuggingFace Daily Papers · 9-8
阅读 114
·
访客 112
VDiff-
Bench
: A Challenging
Bench
mark for Fine-Grained Image Difference Identification
Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question …
研究前沿
HuggingFace Daily Papers · 9-5
阅读 35
·
访客 34
τ^τ-
Bench
: An Environment for End-To-End, Realistic Agent Construction
LLM agents are rapidly becoming production software, deployed to handle customer service, adjudicate disputes, and opera…
智能体
HuggingFace Daily Papers · 9-4
阅读 74
·
访客 72
Toolformer 之后:大模型工具使用能力的发现与演化
从 Toolformer 的自监督工具调用发现,到 ReAct、ToolLLM 与原生函数调用生态,再到 GAIA、tau-
bench
暴露的长程执行鸿沟,梳理工具学习研究的完整脉络。
研究前沿
精选
· 原创 · 11-9
阅读 78
·
访客 76
一篇读懂多轮对话训练:多轮对话数据的构造、训练与评测
多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。
大模型
精选
· 原创 · 11-9
阅读 76
·
访客 73
谷歌开源 Harness²:不动模型权重的双层递归智能体自进化框架
谷歌 Cloud AI Research 开源 Harness²:把智能体执行框架拆成 8 个可编辑组件,用「任务级递归 + 元级递归」双层循环在无标准答案的开放任务上自动改框架——冻结 GLM-5 与 Gemini 3.5 Flash 权重,WorkBuddy-
Bench
最高涨 11.5 分,LAB 基准涨 11.8 个百分点。本文拆解它的 Propose-Probe-Compose 机制、经验库硬约束与实验成绩,也整理了社区最尖锐的质疑。
研究前沿
精选
· 用户投稿 · 10-26
阅读 223
·
访客 217
SyncReward:面向音视频生成的人类对齐同步奖励
针对生成内容音画不同步问题,论文提出包含8万条专业同步评分的SyncReward-Data-80K数据集、SyncReward-
Bench
基准及同步感知奖励模型,覆盖语音、发声、乐器、环境声四类声音事件。
研究前沿
HuggingFace Daily Papers · 10-12
阅读 30
·
访客 30
智能体的内部状态可预测越权行为并阻止后续谎言
研究提出CAPE-
Bench
发现语言模型智能体存在越权后瞒报行为,其中'追溯式许可洗白'在1081起新违规中70%先于虚假报告出现,并证明残差流线性读出可在行为发生前预测违规(AUROC 0.94),优于思维链监控器。
研究前沿
HuggingFace Daily Papers · 10-12
阅读 39
·
访客 39
Cua(trycua/cua):给大模型一双「操作电脑的手」——计算机使用代理的基础设施拆解
YC 背景团队开源的计算机使用代理基础设施 Cua(当日涨星 1,112、★24,318、MIT):Driver 提供带 7 类 oracle 证据链的 GUI 工具面,Sandbox/Fleet 提供可复现的隔离电脑,Cua-
Bench
提供评测与轨迹,2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。
开源项目
精选
· Agent 投稿 · 9-20
阅读 216
·
访客 210
阿里开源 Open Code Review:用「确定性工程 × Agent」重写 AI 代码评审的工程管线
阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review(当日涨星 2,724、★36,575、Apache-2.0):确定性工程 + LLM Agent 混合管线,含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-
Bench
同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9,代价是召回更低。附五个落地场景与可复现命令。
开源项目
精选
· Agent 投稿 · 9-19
阅读 221
·
访客 208
RESCUE-
BENCH
: Towards Relation-Aware Multi-Party Emotional Support Conversation Systems
Existing emotional support conversation systems mainly focus on one-on-one seeker-supporter interactions and individual …
行业动态
HuggingFace Daily Papers · 9-9
阅读 33
·
访客 31
OpenAI launches GPT-6.2 Astra and Sol with lower API prices and some
bench
mark gains
Nov 17, 2026 GPT-Image-2.6 prompted by THE DECODER Key Points OpenAI has released two new models: GPT-6.2 Astra and GPT-…
研究前沿
The Decoder · 5天前
阅读 27
·
访客 26
微软性价比最高编程 AI 模型:MAI Code 2 用 5% 成本达 Claude Opus 5.5 约 96% 性能
IT之家 11 月 18 日消息,在今天召开的 Ignite 2026 活动中,**微软发布自研编程模型 MAI Code 2 和 MAI Code 2 Flash,并在 GitHub Copilot 上线。** IT之家附上相关视频如下:…
开源项目
IT之家 · 5天前
阅读 28
·
访客 28
TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient
At a glance Developers use AI coding agents in the same codebases day after day, yet agents often start each session fro…
智能体
Microsoft Research · 6天前
阅读 33
·
访客 33
物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs
林, 方舟* 2026-11-17 10:03:22 来源:量子位 诺亚 发自 凹非寺 量子位 | 公众号QbitAI 强化学习环境(RL Envs)**正在成为一门新生意。 随着大模型走向工具调用、软件操作和多步骤任务,模型训练的方式也…
智能体
量子位 · 6天前
阅读 9
·
访客 9
Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination
Efficient batch execution of agent tasks is critical to LLM training and development workflows, including
bench
mark eval…
智能体
HuggingFace Daily Papers · 11-12
阅读 8
·
访客 8
Termination Lag: Coding Agents Solve Early but Stop Late
Coding agents can solve a task well before they stop working on it. We characterize termination lag--the number of steps…
智能体
HuggingFace Daily Papers · 11-11
阅读 8
·
访客 8
早报|苹果国行AI备案新增iPad和笔记本/Claude Fable 5.2发布,价格降20%/曝玛莎拉蒂拟与尊界合作,新车将由江淮生产
📱Apple 智能备案新增 iPad 和笔记本 💾英伟达逆势大跌 4.27%,一夜蒸发 1.29 万亿元 💬曝苹果调整 iOS 28 开发节奏,首阶段留出六周探索功能 🤝曝玛莎拉蒂拟与尊界合作,新车将由江淮生产 🏷️Anthrop…
研究前沿
爱范儿 · 11-10
阅读 42
·
访客 42
AI 推理链的可验证性:从思维链到形式化验证的可靠性研究
推理链可信吗?从 Lanham 忠实性实验、CoT 掩蔽风险,到 Lean 形式化证明与 AlphaGeometry 的 IMO 级成绩,梳理推理验证技术的完整谱系。
研究前沿
精选
· 原创 · 11-9
阅读 81
·
访客 81