2024 年 8 月，OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified；2026 年初，还是 OpenAI，宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷，且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相，以及读代码基准分数的正确姿势。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

We introduce MetroLLM-Bench, a 955-case benchmark for testing language models as the policy layer of a transit kiosk. It…

SWE-Bench Pro has emerged as a standard benchmark for evaluating software engineering agents on challenging repository-l…

给已有 Agent 框架做 RL 后训练，通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路：Agent 照常跑自己的循环，训练侧伪装成一个 OpenAI 风格的 API 端点，靠拦截请求-响应对收集轨迹。v1.0 技术报告里，Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。

量子位的朋友们* 2026-10-09 16:53:08 来源：量子位 联想天禧AI自主研发的专业代码智能体框架TianxiCode 以71%的问题解决率登顶全球第一名 近日，在国际公认难度最高、最贴近真实开发环境的软件工程评测SWE-b…

Recent video generation models can produce highly realistic videos from natural language instructions, with visual quali…

Real-world enterprise data science and analytics workflows require reasoning across dozens of tables, performing statist…

Coding agents are beginning to move beyond purely digital tasks to tackle physical-world challenges, particularly in rob…

Anthropic 发布 Claude Sonnet 5.5，称其为 Opus 5.5 的更快、更低成本补充，相比 Sonnet 5 输出速度快 30% 以上、单任务成本最多降低 30%，并已上线 Claude 平台及 AWS、Google Cloud、Azure。

Evaluating world models requires assessing both the quality of the worlds they generate and their consistency and respon…

Business intelligence (BI) is a cornerstone of enterprise decision-making and is widely used by enterprise users in soft…

Can financial vision-language models (VLMs) turn chart evidence into reliable action recommendations? Existing hallucina…

Large language models (LLMs) have demonstrated remarkable capabilities in reasoning and code generation, raising the pro…

While research on recursive self-improvement (RSI) has predominantly automated model training pipelines, reliable autono…

Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question …

LLM agents are rapidly becoming production software, deployed to handle customer service, adjudicate disputes, and opera…

Repository-level coding benchmarks have become the standard for evaluating coding agents, yet they inherently suffer fro…

澜起科技宣布其 CK01P 客户端时钟驱动器量产，支持 9200 MT/s 数据传输速率，面向 DDR5 CUDIMM 等下一代客户端内存模组。

YC 背景团队开源的计算机使用代理基础设施 Cua（当日涨星 1,112、★24,318、MIT）：Driver 提供带 7 类 oracle 证据链的 GUI 工具面，Sandbox/Fleet 提供可复现的隔离电脑，Cua-Bench 提供评测与轨迹，2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review（当日涨星 2,724、★36,575、Apache-2.0）：确定性工程 + LLM Agent 混合管线，含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-Bench 同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9，代价是召回更低。附五个落地场景与可复现命令。

根据发表在《科学》期刊上的一项研究，朝鲜在万塔山（Mt. Mantap）进行的地下核试验对该地区周边地壳产生了持久且延迟的影响，引发了在核爆结束后持续数年——甚至不断加剧——的地震活动。朝鲜位于万塔山下的丰溪里（Punggye-ri）核试验…

Existing emotional support conversation systems mainly focus on one-on-one seeker-supporter interactions and individual …

Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

Instruction-based image editing has achieved strong performance in single-turn settings, yet practical editing is often …

把"模型发布"当成一类可度量的事件冲击来研究。本文拆解发布影响股价的四条传导链，提出发布密度指数（RDI）、代际落差（GenGap）、预期偏离（Surprise）、领先半衰期（LHL）四个可计算变量，给出事件研究法（AR/CAR）的完整操作步骤与横截面回归式，并用 DeepSeek R1 冲击英伟达、Gemini 3 拉动 Alphabet、GLM-5.2 把智谱送上万亿、Kimi K3 两日击落智谱 42%、GLM-5.3"更强却更跌"、GPT-6 Astra 引发"硬件跌停应用涨停"等 7 个正反面样本做复盘。

★62,973、AGPL-3.0 的本地语音平台 VoiceStudio：把 20 个 TTS 与 8 个 ASR 引擎收敛成可插拔编排层，覆盖 646 语言 TTS/99 语言转写，含配音流水线、MCP 与 OpenAI 兼容 API。拆解引擎子进程隔离、自适应批宽、操作次数性能预算，以及模型许可与 Pro 边界。

Oct 12, 2026 Nano Banana Pro prompted by THE DECODER Key Points A single language model improves itself through "Multi-A…

Oct 12, 2026 Meta Key Points Meta's two new models, Muse Wonder and Muse Wonder Full, close the gap to the leading front…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

“IT早报”时间，大家好，现在是 2026 年 10 月 12 日星期一，今天的重要科技资讯有： 1. 国家安全部揭秘为何接陌生来电先沉默三秒，称数秒语音样本可能被不法分子用于 AI 声纹克隆 近期，一条“接到陌生来电先沉默三秒”的提醒在社…

Oct 11, 2026 AI agent teams deliver almost no better results than single agents, research finds.** Evals company Vals AI…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。

量子位的朋友们* 2026-10-10 17:07:43 来源：量子位 2026年9月28日，荣耀（HONOR）在北京举办荣耀Magic盛典暨荣耀Magic9 系列新品发布会 2026年9月28日，全球领先的AI终端生态公司荣耀（HONO…

量子位的朋友们* 2026-10-10 18:30:36 来源：量子位 西门子将以更集中、更场景化的方式，展示其工业全栈能力 首次完整展示面向人形机器人的端到端解决方案，覆盖研发设计、生产制造、总装集成与工业现场应用** 将发布20余款新…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

GPT-6 全量推送与 Claude Haiku 5.5 降价撞在同一周。本文横评 GPT-6、Claude、Gemini 3.1 与 GLM-5.3、DeepSeek V4-Pro、Kimi K3、Qwen3.8-Max 的能力、上下文、API 定价与订阅方案，给出分场景选型建议，价格均截至 2026-10-10。

编码智能体 2026 年进入平台化竞争：Claude Code 做成插件平台，Codex 绑定 ChatGPT 订阅铺开全端，Cursor 深耕 IDE 体验，Gemini CLI 以免费额度换生态，Aider 求极简、OpenHands 转做智能体控制中心。本文以官方定价与文档为口径横评六款工具，给出场景化选型建议。

Visual representations are largely developed for understanding, yet what makes them useful for generation remains unclea…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

JetBrains 推出面向编码智能体的开源模型 Mellum2.1，总参数 12B、每 token 激活 2.5B，主要通过在真实软件环境中的强化学习带来提升，以 Apache 2.0 协议在 Hugging Face 发布，可自托管运行。

Long-horizon agents compact their history to continue within a finite context window, but a textual summary alone may no…

Black-box optimization (BBO) arises in many scientific and engineering problems where objective evaluations are expensiv…

Single-image, multi-image, and video deep research require different visual operations but share a workflow of visual gr…

At a glance Harnessed Agentic RL: Microsoft Research Asia introduces a training paradigm in which the same agent harness…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…