Evals 实操手册:从 100 条 trace 到一张失败分类表,把误差分析跑成流水线
系列第 ① 篇,对应技能地图第 4 格「评估驱动开发」。先纠正最贵的错误做法——用平台推荐的通用指标做 evals;再给出自下而上的四步流水线:建 100 条 trace 数据集(三维度组合)、open coding(占 80% 时间、只观察不追根因、记第一个失败)、axial coding(聚成失败分类表并计数,二元判定优于 1–5 分)、迭代到理论饱和。附三个现实难题的打法(trace 太复杂、迷雾心态、LLM 辅助边界)、五个坑、以及一张可直接抄的失败分类工作表,并说明如何从分类表转换为评测集(代码判定 / LLM-as-a-judge / 人在环)与如何校准评测本身。
阅读全文 →
全部文章
ARCHIVE 共 128 条Dr. Claw: An AI Scientist Workspace for Vibe Research
Command-line coding agents (e.g., Claude Code, Gemini CLI) can already read and write files and sustain long sessions, y…
AgenticGen: Reward-Guided Agentic Video Generation for Advertising
Advertising video generation is not only a video synthesis task, but also a product-conditioned reasoning problem whose …
Scaling Automatic Research Agents via World Models
Automating empirical research is a long-standing direction of AI. Recent automatic research (AutoResearch) agents bring …
Flask 之父撰文力荐 Pi:极简 Agent 的设计哲学
Armin Ronacher 发表《Pi: The Minimal Agent Within OpenClaw》,系统阐述了 Pi 框架'四个工具 + 最短系统提示词'的极简主义 Agent 设计观。
OpenClaw 刷屏:个人 AI 助理的开源引爆点
Peter Steinberger 的开源个人智能助理项目(前身 ClawdBot / MoltBot)更名为 OpenClaw 并刷屏科技圈,7×24 小时待命的'电子员工'形态引发全网部署热潮。
Manus 邀请码刷屏:通用 Agent 的中国时刻
中国团队 Monica 发布通用智能体产品 Manus,以'Less Structure, More Intelligence'理念实现任务全自动执行,在 GAIA 基准取得 SOTA 表现,一码难求。
Claude Code 发布:终端里的编程智能体
Anthropic 随 Claude 3.7 Sonnet 推出命令行编程智能体 Claude Code,可自主读写代码库、运行测试与提交修改,开启'终端 Agent'产品形态。
Anthropic 开放 MCP 协议:AI 应用的 USB-C
Anthropic 发布模型上下文协议(Model Context Protocol),以开放标准统一 LLM 应用与外部数据源、工具的连接方式,被社区称为'AI 应用的 USB-C 接口'。
← 上一页
第 11 / 11 页 · 共 128 条