准确率之外评测模型还该看什么：维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性，以及一套可落地的评测基建。

Agent 的评测需要工具链：promptfoo 是开源评测框架的代表——用 YAML 定义测试集、断言与评分器，命令行批量跑，接进 CI。本篇拆解 Agent 评测工具链的构成（测试定义、断言类型、LLM-as-judge 的使用）、evals 进 CI 的工程模式，以及评测的「回归防线」怎么建。

Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

Agent 的行为是多步、不确定、路径不唯一的，传统「对一次输出」的评测方法失效。本文给出评测分层框架、评测集构建方法、三种判分方式与 LLM-as-judge 的偏差缓解，最后把评测接进 CI。

「感觉变好了」不算数。本文把 RAG 评测拆成两层：检索层用 recall@k 与 MRR 定位漏检与排序问题，生成层用忠实度、答案相关性度量幻觉与跑题；给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式，以及一张「症状→病因→处方」速查表。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集，一切调优都是感觉。本文讲清 RAG 评测集的构建全流程：查询从哪来（真实日志最珍贵）、标注怎么标、分层设计（易/难/对抗/无答案）、防泄漏纪律，以及最小可行的评测 runner。

Leaderboard 分数与真实体验错位，主要来自四类坑：数据污染（考题漏进训练数据）、面向榜单的针对性刷分（Goodhart 定律）、评测方法本身不稳（提示词、判分与统计方差）、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制，并给出读榜时的 7 条防坑检查清单。

每个 LLM 基准都逃不过同一条生命周期曲线：出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点，并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

2023 年英国成立全球第一家 AI 安全研究所（AISI），2024 年美国跟进并促成国际网络——政府不再只听厂商汇报，开始自己动手评测前沿模型。AISI 模式的崛起，正在改写「谁有资格评估 AI 安全」的权力结构。

智能体的能力测量已经长成一个独立生态：学术基准（SWE-bench、GAIA、WebArena）、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象，以及企业选型时「信谁的分数」的实用框架。

微软发布新一代图像模型 MAI Image 2.7，第三方评测中排名仅次于 OpenAI 的 GPT Image 2.5 Sunburst。

问止中医发布含执业中医师参考基线的 3.8 万题中医评测基准 TCMQA，论文登上 arXiv 并全量开源，为中医 AI 提供行业中立标尺。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。

传统断言测试在非确定性的智能体上失灵，本文给出智能体版测试金字塔——确定性单元测试、组件级评测、端到端轨迹验证三层体系，以及评测集建设、Judge 校准与回归门禁的工程实践。

转写成文字只是「听见」，音频理解的野心是「听懂」：环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方（音频编码器 → 语义 token → LLM）、开源代表 Qwen 系与评测基准 MMAU/AudioBench，以及它正在替代的旧管线。

GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法，以及动态基准的军备竞赛。

系列第 ① 篇，对应技能地图第 4 格「评估驱动开发」。先纠正最贵的错误做法——用平台推荐的通用指标做 evals；再给出自下而上的四步流水线：建 100 条 trace 数据集（三维度组合）、open coding（占 80% 时间、只观察不追根因、记第一个失败）、axial coding（聚成失败分类表并计数，二元判定优于 1–5 分）、迭代到理论饱和。附三个现实难题的打法（trace 太复杂、迷雾心态、LLM 辅助边界）、五个坑、以及一张可直接抄的失败分类工作表，并说明如何从分类表转换为评测集（代码判定 / LLM-as-a-judge / 人在环）与如何校准评测本身。

从分流设计、样本量计算到 LLM 生成噪声与 peeking 陷阱：把一次提示词修改放进随机对照实验里，用统计而非直觉判断它值不值得上线。

多模型的统一接入、路由、限流与成本核算——开源 LLM 网关（LiteLLM 为代表）把 API 网关的成熟模式搬进 LLM 世界。本篇拆解 LLM 网关的核心能力（统一接口、路由策略、重试降级、成本追踪）、LiteLLM 的架构形态，以及「自建网关 vs 商业平台」的选择。

Dify 是最流行的开源 LLM 应用平台：可视化编排工作流、内建 RAG 管线、Agent 节点、模型管理与企业治理。本篇拆解它的产品分层（Chatflow/Workflow/Agent）、内建 RAG 的工程取舍、插件与模型接入体系，以及「低代码平台 vs 代码框架」的适用边界。

SSE 是 LLM 应用做打字机效果的主流方案。本文讲透 text/event-stream 协议细节与 OpenAI 兼容流格式，给出本地跑通的 Express 转发端点与 fetch + ReadableStream 解析器，并盘点 nginx 缓冲、gzip、连接超时、断线续传、连接数管理五个生产坑。

Large language model (LLM)-based multi-agent systems (MAS) coordinate specialized agents to solve complex tasks, turning…

Modern LLM agents can retrieve information from accessible documents, and then disclose a sensitive conclusion assembled…

LLM routing dynamically selects and coordinates heterogeneous language models across diverse tasks. However, existing ap…

论文提出AgentSafeEvo，通过攻击者-防御者博弈的协同进化强化学习，提升LLM智能体在多轮工具调用中抵御恶意内容操纵的安全性。

提出LLM-to-Flow Distillation（LFD）方法，用冻结的大模型作为自适应教师，将特定领域的流/扩散生成器对齐到自然语言科学发现目标，无需显式代理奖励。

Power sampling improves large language model (LLM) reasoning at test time by sampling from a sharpened version of the ba…

Architect Financial Technologies 发布 Liquid Inference，一个 LLM 推理市场路由器，每次请求通过实时拍卖由各供应商报价竞价，买方支付满足规则中的最低报价，开发者只需替换 base URL 即可让供应商在价格上竞争。

Developers can build LLM agents by adapting third-party models through benign post-training. We study a supply-chain thr…

Agent 工程系统学习第 1 章：从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器（含 tool_calls 分块拼接）、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。

Evaluations of LLM systems routinely average over small prompt sets and report models as a ranked table. We ask how much…

Nokia’s applied research team has open-sourced AnyJev, a Python library that turns an open LLM into a decision model. It…

LLM agents are increasingly deployed in collaborative settings, yet long-term interaction may give rise to undesirable c…

LLM assistants are widely used for daily social advice, yet evaluating their social reasoning in such consultation setti…

Large language model (LLM) trading agents can combine market data, news, and executable analysis, but their behavior is …

Skills extend an LLM agent beyond its parametric knowledge, and the gain they promise rests on picking the right one. De…

Large language model (LLM) agents allocate test-time compute adaptively as they revise solutions, use tools, explore alt…

Concurrent local LLM serving on unified-memory desktops must preserve memory headroom and output fidelity, which speed-o…

We study scheming in LLM agents, in which agents covertly pursue misaligned goals. Our focus is to understand how schemi…

Large language model (LLM) agents increasingly rely on external skills, but routing user requests over large skill regis…

We study adaptive routing of prompts to large language model (LLM) experts to maximize response quality in an online set…

We present a systems-security case study of a two-node split-LLM training system whose privacy evaluation passed while l…

Multi-agent LLM systems commonly use an orchestrator to decompose a task for a team of workers and then improve through …

Quantization has been widely adopted in LLM training and inference to reduce cost and improve efficiency. However, low-b…

AI-powered search products such as ChatGPT search, Google's AI Overviews, and Perplexity provide LLM-synthesized answers…

多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。

Google 在 Cloud Next 2026 开源的官方技能目录：近 200 个 SKILL.md 覆盖 GKE、BigQuery、Gemini API 等产品线，主张「MCP 优先」，用 CI 加提交评测加每周回归守住质量。本文拆解其目录结构、防幻觉机制与五类可复现场景。

IT之家 9 月 21 日消息，AI 评测机构 Vals AI 利用游戏《我的世界（Minecraft）》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试，全程在 Twitch 直播，总测试时长达到 141 小时。…