Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

智能体的能力测量已经长成一个独立生态：学术基准（SWE-bench、GAIA、WebArena）、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象，以及企业选型时「信谁的分数」的实用框架。

Leaderboard 分数与真实体验错位，主要来自四类坑：数据污染（考题漏进训练数据）、面向榜单的针对性刷分（Goodhart 定律）、评测方法本身不稳（提示词、判分与统计方差）、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制，并给出读榜时的 7 条防坑检查清单。

准确率之外评测模型还该看什么：维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性，以及一套可落地的评测基建。

「感觉变好了」不算数。本文把 RAG 评测拆成两层：检索层用 recall@k 与 MRR 定位漏检与排序问题，生成层用忠实度、答案相关性度量幻觉与跑题；给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式，以及一张「症状→病因→处方」速查表。

Agent 的评测需要工具链：promptfoo 是开源评测框架的代表——用 YAML 定义测试集、断言与评分器，命令行批量跑，接进 CI。本篇拆解 Agent 评测工具链的构成（测试定义、断言类型、LLM-as-judge 的使用）、evals 进 CI 的工程模式，以及评测的「回归防线」怎么建。

「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集，一切调优都是感觉。本文讲清 RAG 评测集的构建全流程：查询从哪来（真实日志最珍贵）、标注怎么标、分层设计（易/难/对抗/无答案）、防泄漏纪律，以及最小可行的评测 runner。

Agent 的行为是多步、不确定、路径不唯一的，传统「对一次输出」的评测方法失效。本文给出评测分层框架、评测集构建方法、三种判分方式与 LLM-as-judge 的偏差缓解，最后把评测接进 CI。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。

模型对高频任务对答如流、对稀有任务频频翻车：幂律数据的统计根源、tokenization 不公平、知识存取瓶颈，以及数据、训练、推理三个层面的干预手段。

2023 年英国成立全球第一家 AI 安全研究所（AISI），2024 年美国跟进并促成国际网络——政府不再只听厂商汇报，开始自己动手评测前沿模型。AISI 模式的崛起，正在改写「谁有资格评估 AI 安全」的权力结构。

微软发布新一代图像模型 MAI Image 2.7，第三方评测中排名仅次于 OpenAI 的 GPT Image 2.5 Sunburst。

问止中医发布含执业中医师参考基线的 3.8 万题中医评测基准 TCMQA，论文登上 arXiv 并全量开源，为中医 AI 提供行业中立标尺。

GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法，以及动态基准的军备竞赛。

每个 LLM 基准都逃不过同一条生命周期曲线：出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点，并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。

IDC《中国企业级通用Agent产品技术评估》让中国电信 TeleAgent 以 6.85 分位列第三。本文把这篇 PR 稿拆成可验证事实：核查九维度评测与反应试规则、追溯"一周内五个用户数口径"的传播链、指出三个被集体回避的盲区，并落到一条可迁移结论——企业级 Agent 的胜负手已从模型转向 Agent Harness 工程。

多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。

Google 在 Cloud Next 2026 开源的官方技能目录：近 200 个 SKILL.md 覆盖 GKE、BigQuery、Gemini API 等产品线，主张「MCP 优先」，用 CI 加提交评测加每周回归守住质量。本文拆解其目录结构、防幻觉机制与五类可复现场景。

IT之家 9 月 21 日消息，AI 评测机构 Vals AI 利用游戏《我的世界（Minecraft）》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试，全程在 Twitch 直播，总测试时长达到 141 小时。…

安全评测通常测「模型会不会做坏事」（拒答、越狱），危险能力评估测的是另一件事：「模型有没有能力做坏事」（生化辅助、网络攻击、自主行动）。前者是行为测试，后者是能力上限测试——前沿模型部署前的必答题。

FrontierMath 发布时最好的模型不到 2%，一年半后最高分冲到约 52%；可同一时期，GSM1k 证明部分模型的高分有背题成分，FrontierMath v2 修正了四成多题目，25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波，以及 2026 年评测范式向证明题与开放问题的转向。

传统断言测试在非确定性的智能体上失灵，本文给出智能体版测试金字塔——确定性单元测试、组件级评测、端到端轨迹验证三层体系，以及评测集建设、Judge 校准与回归门禁的工程实践。

2024 年 8 月，OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified；2026 年初，还是 OpenAI，宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷，且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相，以及读代码基准分数的正确姿势。

看榜单选 embedding 模型经常翻车，因为榜单是通用语料，你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表，五十条真实问题即可完成一次有依据的决策。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

OpenAI 已把 GPT-6 推向全体 ChatGPT 用户，官方口径周活超 12 亿。这一次不是一颗旗舰，而是 Astra、Sol、Luna 三款各管一段：Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna，配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位，以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。

转写成文字只是「听见」，音频理解的野心是「听懂」：环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方（音频编码器 → 语义 token → LLM）、开源代表 Qwen 系与评测基准 MMAU/AudioBench，以及它正在替代的旧管线。

9月16日，稳准智能联合清华大学发布新一代数据大模型 LimiX-2，模型参数规模提升至400M。]

红队测试是大模型发布前发现弱点的核心工程手段：自动化攻击把已知模式跑成规模，人工探索发现未知失败，度量与修复闭环决定真实成效。本文梳理与传统渗透测试的异同、危害分类、自动化方法谱系、指标口径与最小可行起步清单。

系列第 ① 篇，对应技能地图第 4 格「评估驱动开发」。先纠正最贵的错误做法——用平台推荐的通用指标做 evals；再给出自下而上的四步流水线：建 100 条 trace 数据集（三维度组合）、open coding（占 80% 时间、只观察不追根因、记第一个失败）、axial coding（聚成失败分类表并计数，二元判定优于 1–5 分）、迭代到理论饱和。附三个现实难题的打法（trace 太复杂、迷雾心态、LLM 辅助边界）、五个坑、以及一张可直接抄的失败分类工作表，并说明如何从分类表转换为评测集（代码判定 / LLM-as-a-judge / 人在环）与如何校准评测本身。

智能体的非确定性和多步执行让传统调试手段失效，本文梳理 tracing 标准化、主流观测工具生态、生产监控的关键指标体系，以及从坏 case 到回归评测集的闭环实践。

★27,270、Apache-2.0 的 AI Agent 独立审计器 iFixAi：用「夹具即公司」把业务规则变成模拟环境，60 项检查、五支柱加权、跨厂商判分与三项一票否决，补上能力榜之外的治理审计空白。拆解 structural 探针、零容差否决、manifest 可复现性与真实边界。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

Agent 工程系统学习第 4 章：记忆系统解决跨会话问题。给出四类记忆分类学（工作/情景/语义/程序性）及两类常见分类错误，三种实现模式（文件式 / 向量式 / 结构化式）的取舍与组合建议，写入-召回-遗忘-巩固的完整生命周期设计，五类记忆失败模式与防御表，以及三层评测指标体系。

困惑度（Perplexity）是语言模型最老的指标——「模型平均在多少个候选里犹豫」。它便宜、客观、无处不在（模型卡的 loss 就是它），却也最容易被误读。本篇拆解困惑度的定义与直觉、它与交叉熵的关系、什么时候它能信、什么时候它会骗人，以及它在评测生态里的正确位置。

提示词不是玄学而是可测量变量：FormatSpread 的 76 点波动、指令模板不稳定性、贝叶斯机制解释、软提示与自动提示优化、注入攻击与工程规范。

AI 安全的岗位需求在爆发，但这个领域的职业地图还没有被好好画过——企业侧的红队与安全工程师、实验室的对齐研究员、政府的评测分析师、独立社区的研究者——四类角色、四条路径、四种修炼。

智能体应用与底层模型之间，正在长出一个中间件层：网关、记忆服务、沙箱、评测与观测——它们把「每个智能体应用都要造一遍的轮子」收敛成共享基础设施。本篇观察这个中间件层的构成、它与历史上其他基础设施层的相似节奏、以及哪些抽象会沉淀、哪些会消失。

窗口从 8K 涨到千万级，「RAG 已死」论再起。但评测数据显示有效上下文远小于宣称窗口，长输入的成本与延迟也要另算一笔账。本文用论文与定价证据拆解两者分工：小库精读交给长窗口，大库「找得到、读得起」仍靠检索。

K-Dense 开源的科研智能体技能库：177 个覆盖基因组、药物发现、临床证据等领域的 SKILL.md，遵循 Agent Skills 开放标准，Claude Code、Cursor、Codex、Gemini CLI 都能直接安装。本文拆解它的渐进加载架构、上下文成本账本、分发与安全流水线，并给出五类落地场景与真实评测数字。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

OpenAI宣布GPT-6 Luna和Sol开始向ChatGPT免费及付费用户推送，并推出Intelligent UI功能，使聊天界面可根据问题生成图表、交互工具，同时发布安全报告，显示GPT-6在青少年情感依赖评测中得分从上一代的0.927降至0.734。

「GPT 比 Claude 高 20 分」是怎么算出来的？Elo 等级分用一场对局的期望胜率换算积分涨跌，Bradley-Terry 模型再把它升级成全量数据的联合估计——Chatbot Arena 2023 年底悄悄完成了这次换引擎。本文拆解两代算法的数学，以及排行榜置信区间的正确读法。

DeepSeek弹性计算团队以一篇技术分享代替岗位JD开启新一轮招聘，其DSec沙盒基础设施每天服务约300万个沙盒，支撑从V3.2到V4的Agent训练、评测与数据预处理，计划将Agent运行环境数量和种类扩充成百上千倍。

YC 背景团队开源的计算机使用代理基础设施 Cua（当日涨星 1,112、★24,318、MIT）：Driver 提供带 7 类 oracle 证据链的 GUI 工具面，Sandbox/Fleet 提供可复现的隔离电脑，Cua-Bench 提供评测与轨迹，2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。

从分流设计、样本量计算到 LLM 生成噪声与 peeking 陷阱：把一次提示词修改放进随机对照实验里，用统计而非直觉判断它值不值得上线。

从 RAG 与 REALM 的奠基到 Self-RAG、GraphRAG 与 RL 检索智能体，梳理检索增强生成的学术演进、与长上下文的对比结论及四大开放问题。

从 Wei 等人的涌现能力论文到「海市蜃楼」质疑，再到归纳头相变与数据多样性假说，梳理大模型能力随规模突变这一争论的完整证据链与工程含义。

从 ChartQA 的图表问答到 MathVista 的图文数学推理，再到「视觉盲」测试暴露的底层缺陷，梳理视觉推理评测五年演进与当前真正的技术瓶颈。