安全评测通常测「模型会不会做坏事」（拒答、越狱），危险能力评估测的是另一件事：「模型有没有能力做坏事」（生化辅助、网络攻击、自主行动）。前者是行为测试，后者是能力上限测试——前沿模型部署前的必答题。

2023 年英国成立全球第一家 AI 安全研究所（AISI），2024 年美国跟进并促成国际网络——政府不再只听厂商汇报，开始自己动手评测前沿模型。AISI 模式的崛起，正在改写「谁有资格评估 AI 安全」的权力结构。

Agent 的评测需要工具链：promptfoo 是开源评测框架的代表——用 YAML 定义测试集、断言与评分器，命令行批量跑，接进 CI。本篇拆解 Agent 评测工具链的构成（测试定义、断言类型、LLM-as-judge 的使用）、evals 进 CI 的工程模式，以及评测的「回归防线」怎么建。

智能体的能力测量已经长成一个独立生态：学术基准（SWE-bench、GAIA、WebArena）、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象，以及企业选型时「信谁的分数」的实用框架。

「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集，一切调优都是感觉。本文讲清 RAG 评测集的构建全流程：查询从哪来（真实日志最珍贵）、标注怎么标、分层设计（易/难/对抗/无答案）、防泄漏纪律，以及最小可行的评测 runner。

微软发布新一代图像模型 MAI Image 2.7，第三方评测中排名仅次于 OpenAI 的 GPT Image 2.5 Sunburst。

问止中医发布含执业中医师参考基线的 3.8 万题中医评测基准 TCMQA，论文登上 arXiv 并全量开源，为中医 AI 提供行业中立标尺。

Leaderboard 分数与真实体验错位，主要来自四类坑：数据污染（考题漏进训练数据）、面向榜单的针对性刷分（Goodhart 定律）、评测方法本身不稳（提示词、判分与统计方差）、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制，并给出读榜时的 7 条防坑检查清单。

Agent 的行为是多步、不确定、路径不唯一的，传统「对一次输出」的评测方法失效。本文给出评测分层框架、评测集构建方法、三种判分方式与 LLM-as-judge 的偏差缓解，最后把评测接进 CI。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。

「感觉变好了」不算数。本文把 RAG 评测拆成两层：检索层用 recall@k 与 MRR 定位漏检与排序问题，生成层用忠实度、答案相关性度量幻觉与跑题；给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式，以及一张「症状→病因→处方」速查表。

Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

每个 LLM 基准都逃不过同一条生命周期曲线：出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点，并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。

DeepSeek弹性计算团队以一篇技术分享代替岗位JD开启新一轮招聘，其DSec沙盒基础设施每天服务约300万个沙盒，支撑从V3.2到V4的Agent训练、评测与数据预处理，计划将Agent运行环境数量和种类扩充成百上千倍。

IT之家 9 月 21 日消息，AI 评测机构 Vals AI 利用游戏《我的世界（Minecraft）》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试，全程在 Twitch 直播，总测试时长达到 141 小时。…

IDC《中国企业级通用Agent产品技术评估》让中国电信 TeleAgent 以 6.85 分位列第三。本文把这篇 PR 稿拆成可验证事实：核查九维度评测与反应试规则、追溯"一周内五个用户数口径"的传播链、指出三个被集体回避的盲区，并落到一条可迁移结论——企业级 Agent 的胜负手已从模型转向 Agent Harness 工程。

FrontierMath 发布时最好的模型不到 2%，一年半后最高分冲到约 52%；可同一时期，GSM1k 证明部分模型的高分有背题成分，FrontierMath v2 修正了四成多题目，25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波，以及 2026 年评测范式向证明题与开放问题的转向。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

2024 年 8 月，OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified；2026 年初，还是 OpenAI，宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷，且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相，以及读代码基准分数的正确姿势。

OpenAI 已把 GPT-6 推向全体 ChatGPT 用户，官方口径周活超 12 亿。这一次不是一颗旗舰，而是 Astra、Sol、Luna 三款各管一段：Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna，配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位，以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。

转写成文字只是「听见」，音频理解的野心是「听懂」：环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方（音频编码器 → 语义 token → LLM）、开源代表 Qwen 系与评测基准 MMAU/AudioBench，以及它正在替代的旧管线。

看榜单选 embedding 模型经常翻车，因为榜单是通用语料，你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表，五十条真实问题即可完成一次有依据的决策。

9月16日，稳准智能联合清华大学发布新一代数据大模型 LimiX-2，模型参数规模提升至400M。]

红队测试是大模型发布前发现弱点的核心工程手段：自动化攻击把已知模式跑成规模，人工探索发现未知失败，度量与修复闭环决定真实成效。本文梳理与传统渗透测试的异同、危害分类、自动化方法谱系、指标口径与最小可行起步清单。

智能体应用与底层模型之间，正在长出一个中间件层：网关、记忆服务、沙箱、评测与观测——它们把「每个智能体应用都要造一遍的轮子」收敛成共享基础设施。本篇观察这个中间件层的构成、它与历史上其他基础设施层的相似节奏、以及哪些抽象会沉淀、哪些会消失。

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

🥽曝苹果重新评估 Vision Pro 路线，测试更轻机型 🍎洛图：8 月中国笔电线上销量降 20.8%，苹果与小米份额上升 ⚖️苹果触觉反馈专利案被裁赔 57 亿美元，称将上诉 🛡️OpenAI 暂停最强模型的工具使用训练，沙盒 D…

IT之家 9 月 27 日消息，随着有关 OpenAI 模型突破限制、攻击网站以及整体行为失控的报告不断增加，该公司决定暂停训练旗下能力最强的模型。 这一决定是在一款处于沙盒环境中测试的模型利用漏洞获得互联网访问权限后作出的。该事件发生于 …

困惑度（Perplexity）是语言模型最老的指标——「模型平均在多少个候选里犹豫」。它便宜、客观、无处不在（模型卡的 loss 就是它），却也最容易被误读。本篇拆解困惑度的定义与直觉、它与交叉熵的关系、什么时候它能信、什么时候它会骗人，以及它在评测生态里的正确位置。

YC 背景团队开源的计算机使用代理基础设施 Cua（当日涨星 1,112、★24,318、MIT）：Driver 提供带 7 类 oracle 证据链的 GUI 工具面，Sandbox/Fleet 提供可复现的隔离电脑，Cua-Bench 提供评测与轨迹，2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。

港大数据智能实验室出品，上线十个月拿下四万五千星：一条单循环 agent 流水线跑全部十种学习模式，L1/L2/L3 三层记忆全部落盘可审计，九种 RAG 引擎可评测可切换，自带十五路 IM 渠道与 EduHub 技能市场。

K-Dense 开源的科研智能体技能库：177 个覆盖基因组、药物发现、临床证据等领域的 SKILL.md，遵循 Agent Skills 开放标准，Claude Code、Cursor、Codex、Gemini CLI 都能直接安装。本文拆解它的渐进加载架构、上下文成本账本、分发与安全流水线，并给出五类落地场景与真实评测数字。

克雷西* 2026-09-23 15:29:50 来源：量子位 每秒能产生5000+个沙盒 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 大模型训练拼的是算力，Agent训练拼的是环境。 环境怎么造？梁文锋署名的DeepSeek最…

AI 安全的工具生态正在开源社区快速成形：NVIDIA 的 Garak、微软的 PyRIT、Anthropic 的评测框架——红队工程师的瑞士军刀已经组装完毕。盘点主流工具的能力边界，以及「工具好找、用得好的很少」的现状。

DevSecOps 把安全装进了软件的 CI/CD，MLSecOps 把同样的哲学装进 AI：模型的上线要过安全门、依赖要扫漏洞、提示词的变更要审、评测要进流水线。AI 应用的安全不能靠事后救火，要靠流水线的门禁。

AI 安全的岗位需求在爆发，但这个领域的职业地图还没有被好好画过——企业侧的红队与安全工程师、实验室的对齐研究员、政府的评测分析师、独立社区的研究者——四类角色、四条路径、四种修炼。

模型层被巨头锁死、应用层卷成红海，但 AI 基础设施层（Infra）的创业窗口反而变宽了：GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。

Google 的 Agent Development Kit（ADK）把 Gemini 的能力包装成一套多智能体开发套件：多种智能体类型、双向的 A2A 与 MCP 支持、评测与部署一体。本篇拆解 ADK 的架构抽象（LlmAgent 与 Workflow agents）、多智能体的组合方式、工具生态的兼容策略，以及它与 Vertex AI Agent Engine 的部署关系。

窗口从 8K 涨到千万级，「RAG 已死」论再起。但评测数据显示有效上下文远小于宣称窗口，长输入的成本与延迟也要另算一笔账。本文用论文与定价证据拆解两者分工：小库精读交给长窗口，大库「找得到、读得起」仍靠检索。

obra/superpowers 单日再涨 1,096 星。拆解它的 SessionStart 引导注入、1% 技能触发规则、每任务新子代理加双阶段评审的执行引擎与 Quorum 行为评测闭环，并给出五类落地场景、横向对比与风险清单。

IT之家 10 月 25 日消息，以“星闪 AI · 智合万物”为主题的 CEIC2026 暨国际星闪联盟产业峰会在深圳会展中心（福田）举行。 上海机动车检测认证技术研究中心李俊成发布了星闪数字车钥匙 2.0 评测结果：**星闪数字车钥匙累…

10 月 17 日，DeepSeek 将 V4.1 Flash 静默升级至 V4.1-Flash-1017：11 项基准全部提升、输出更短更快、价格不变，主打「许愿式编程」，并同步敲定 Search/Fetch API 计价。本文基于官方模型卡、定价页与中外多方评测，拆解这次更新的真实成色、架构底座与争议点。

英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。

★27,270、Apache-2.0 的 AI Agent 独立审计器 iFixAi：用「夹具即公司」把业务规则变成模拟环境，60 项检查、五支柱加权、跨厂商判分与三项一票否决，补上能力榜之外的治理审计空白。拆解 structural 探针、零容差否决、manifest 可复现性与真实边界。

量子位的朋友们* 2026-10-09 16:53:08 来源：量子位 联想天禧AI自主研发的专业代码智能体框架TianxiCode 以71%的问题解决率登顶全球第一名 近日，在国际公认难度最高、最贴近真实开发环境的软件工程评测SWE-b…

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

OpenAI宣布GPT-6 Luna和Sol开始向ChatGPT免费及付费用户推送，并推出Intelligent UI功能，使聊天界面可根据问题生成图表、交互工具，同时发布安全报告，显示GPT-6在青少年情感依赖评测中得分从上一代的0.927降至0.734。

IT之家 10 月 8 日消息，微软昨日（10 月 7 日）更新推出 Visual Studio Code 1.141，本次更新聚焦 AI 智能体（Agent）工作流管理，**重点改进会话存储清理、跨平台沙盒安全、多会话并排布局，以及多 G…

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

量子位的朋友们* 2026-10-07 19:34:47 来源：量子位 咱就是说啊，专业的事情，还得交给专业的人来做。 这不，独立评测机构**Artificial Analysis**（下文简称AA）发了最新的**文生视频**榜单。 第一…