Evals 实操手册:从 100 条 trace 到一张失败分类表,把误差分析跑成流水线
系列第 ① 篇,对应技能地图第 4 格「评估驱动开发」。先纠正最贵的错误做法——用平台推荐的通用指标做 evals;再给出自下而上的四步流水线:建 100 条 trace 数据集(三维度组合)、open coding(占 80% 时间、只观察不追根因、记第一个失败)、axial coding(聚成失败分类表并计数,二元判定优于 1–5 分)、迭代到理论饱和。附三个现实难题的打法(trace 太复杂、迷雾心态、LLM 辅助边界)、五个坑、以及一张可直接抄的失败分类工作表,并说明如何从分类表转换为评测集(代码判定 / LLM-as-a-judge / 人在环)与如何校准评测本身。
阅读全文 →
全部文章
ARCHIVE 共 128 条Dynin-Robotics: Omnimodal Unified Diffusion Vision-Language-Action Model
Visual goal and dynamics prediction can provide language-conditioned robot policies with both a target outcome and a rep…
办公协作平台 Slack 升级 Slackbot AI 助手,可快速创建交互式报告 / 网站等内容
IT之家 9 月 11 日消息,办公协作平台 Slack 发布公告,宣布为旗下 Slackbot AI 助手引入一项 Slackforce Surfaces 功能,用户只需告诉 Slackbot AI 助手自己的需求,即可利用自己先前的对话…
全球首款 AI 智能体手机,努比亚 NaviX Ultra 将搭载 2 亿像素主摄
IT之家 9 月 11 日消息,全球首款 AI 智能体手机努比亚 NaviX Ultra 将于 9 月 16 日发布,现已在各大电商平台开启预约。 据官方预热,这款新品搭载 2 亿像素主摄,旗舰三摄系统;星河冷控散热系统,7100m㎡立体均…
智能体时代的移动计算,Arm 通过一场大会给出自己的答案
9 月 8 日,Arm 在上海举办年度旗舰活动 Arm Everywhere China,并在会上发布了第二代移动终端计算子系统 CSS for Mobile 2。 这是一个面向智能体 AI 与 AI 原生图形的计算平台,集成了 Arm C…
GPT-6 爆火 3D 案例被扒出「用了现成素材」,这次我们真做了一个
GPT-6 + Hyper3D MCP 最强3D创作搭档 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
OpenAI Agents API 开放公测:支持代码执行、工具调用和跨上下文任务运行,为开发者提供云端智能体基础设施
IT之家 9 月 11 日消息,OpenAI 于当地时间 9 月 10 日宣布推出 Agents API 公测版,允许开发者通过 API 调用由 OpenAI 管理的云端 AI 智能体运行环境。 该服务复用了 Codex 背后的智能体执行框…
Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models
Robot foundation models achieve strong in-distribution performance but often degrade under visual distribution shifts. W…
ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search
In this work, we present ZGCM-1, a fully open 7B dense foundation model trained from scratch with extreme data, system, …
Root-Cause Attribution Is a Search Problem: Continual Search for Long-Horizon Agent Failures
The increasing deployment of AI agents in long-horizon tasks yields massive execution logs. Diagnosing failures within t…
商汤科技 AI 办公智能体“小浣熊”移动端 App 上线,提供苹果 iOS / 安卓版本
IT之家 9 月 11 日消息,商汤科技宣布 AI 办公智能体“小浣熊”移动端 App 正式上线,提供苹果 iOS 和安卓版本,用户提交 App 反馈问卷,可获 1000 积分。 官方表示,移动端“小浣熊”支持使用自然语音快速对话操作,用户…
Agent as Policy for Robotic Manipulation
We demonstrate that a general-purpose agent can directly drive a physical robot throughout task execution without any ta…
这个新开源的世界模型只有1.3B,单卡就能实时跑!
轻量版LingBot-World 2.0]