SkillEvaluator(NVIDIA/SkillEvaluator):用配对对照给「智能体技能」称重

一、导读

2026 年 11 月 16 日,NVIDIA 的 SkillEvaluator 以当日涨星 953 冲上 GitHub 日榜第三。它回答的是一个几乎所有团队都在假装已经解决的问题:给编码智能体装上一个「技能」(Skill)之后,智能体到底变好了多少? 它不是又一个技能库,而是一套「技能评估器」——先用静态检查判断技能写得规不规范、安不安全,再用真实智能体做一次「装技能 / 不装技能」的对照实验,把差值叫作 Skill Lift(技能增益)。核心结论:它最有价值的贡献不是那 300 多个技能的评测数字,而是把「技能有用」这句口头声明,变成了一次可复现、可证伪、可设阈值的测量。

二、项目速览

项目 内容
仓库 NVIDIA/SkillEvaluator
归属 NVIDIA Corporation(官方开源)
主语言 Python(requires-python >=3.12,<3.15)
Star 总数 2,585(2026-11-16 抓取)
当日涨星 953(2026-11-16 日榜第 3)
Fork 数 355
License Apache-2.0
首次发布 仓库创建于 2026-06-24
最新版本 v0.9.0(2026-11-13 发布)
代码规模 1,295 个文件(tests 621 / src 403 / ci 113 / docs 61)
支持级别 Experimental(社区支持、尽力而为、无 SLA)

SkillEvaluator 是 NVIDIA「Verified Skills 流水线」的一环,评测通过后的技能会发布到 NVIDIA/skills 目录(★4,021)。它的支持级别被官方明确标为 Experimental:社区支持、尽力而为、无 SLA——这一点在评估其生产可用性时很重要。

三、为什么是它:问题背景与定位

过去一年,「Agent Skills」成了扩展智能体的主流方式:把一个领域的操作说明、示例与工具用法打包成 SKILL.md,智能体判断适用时按需加载。Claude Code、Codex、Cursor、Hermes、OpenClaw 都支持这套格式,技能市场与共享技能库正在快速膨胀。

但膨胀带来一个新问题:这些技能到底有没有用? 一个技能写得越细,可能帮智能体更快找到正确路径,也可能增加上下文与 Token 消耗;它可能提高正确率,也可能带来错误引导、安全风险或多余操作。而绝大多数团队判断一个技能好不好,靠的是「读一遍 SKILL.md,觉得写得挺清楚」——也就是 NVIDIA 在论文里称为 scan-only(仅扫描) 的做法。

NVIDIA 的 ACES 论文(arXiv:2608.20614)给出了一个很硬的证据:在 145 个真实技能上,结构分数与 LLM 评判分数的 Spearman 相关系数只有 0.14——两种「扫一眼」的评分彼此都几乎不相关,更不用说预测智能体在真实任务上的表现。换句话说,一份在纸面上完美的技能,可能在真实智能体里根本不起作用:智能体可能找不到它、用错工具、误读输出,或者它与其他技能在工作区里互相冲突。

SkillEvaluator 的定位就卡在这里。它不试图让技能写得更好,它试图让「技能有没有用」这件事第一次有数字。它做的事情非常窄:跑三层检查,最后一层做一次受控的 A/B 对照——同样的提示词、模型、任务输入与评分标准,只改变「技能装没装」这一个变量,两次得分之差就是 Skill Lift。这也是它这波涨星的核心动因:2026 年 11 月 2 日到 11 月 13 日之间,它连发了 0.7.0、0.7.1、0.7.2、0.8.0、0.9.0 五个版本,把数据集构建、版本对比、成本预算与证据可追溯性密集补齐,正好踩在「技能市场爆发、但没人验证技能」这个时间点上。

四、架构原理

4.1 整体架构

SkillEvaluator 的架构可以概括为一句话:一个 CLI、三层独立评估、两种产物类型。

┌────────────────────────────────────────────────────────────────┐
│  入口层  CLI: skillevaluator validate | tier1 | tier2 | tier3     │
│          以及 ci init(生成 GitHub/GitLab 工作流)                │
└───────────────┬────────────────────────────────────────────────┘
                │ 被测对象:Skill(SKILL.md)或 Plugin(plugin.json)
┌───────────────▼────────────────────────────────────────────────┐
│  Tier 1  校验层(静态,可离线,无需模型密钥)                      │
│  schema / version / quality(0-100) / security / pii / license     │
│  / code-integrity / unicode / lint / dependency(CVE,opt-in)       │
│  外部扫描器:SkillSpector(安全) · Gitleaks(密钥) · Semgrep · Bandit│
└───────────────┬────────────────────────────────────────────────┘
                │
┌───────────────▼────────────────────────────────────────────────┐
│  Tier 2  去重层(需要 embedding provider)                        │
│  技能内重复指导 + 目录级跨技能重叠(similarity-check / --catalog)│
└───────────────┬────────────────────────────────────────────────┘
                │
┌───────────────▼────────────────────────────────────────────────┐
│  Tier 3  实跑层(需要 provider + agent CLI + 沙箱)               │
│  Harbor 沙箱编排 → 同一用例跑两臂(with skill / baseline)        │
│  轨迹标准化(ATIF) → 六信号 → 五维度 → Overall → Skill Lift        │
│  pass@k + Wilson 区间 + 配对 McNemar 诊断 + 数据集充分性判定       │
└───────────────┬────────────────────────────────────────────────┘
                │
┌───────────────▼────────────────────────────────────────────────┐
│  产出层  reports/:CLI · JSON · HTML · Markdown · SARIF · 仪表盘  │
└────────────────────────────────────────────────────────────────┘

三层各自独立:tier1 不需要任何密钥即可跑完确定性检查;tier2 需要 embedding;tier3 需要模型凭据、agent CLI 与沙箱。validate 是组合流水线,默认把三层串起来跑,但 Tier 3 默认只做「自动驾驶」(autopilot)式的最小启动用例。

4.2 分层模块拆解

Tier 1 校验层。 源码位于 src/skillevaluator/tier1/。这一层是「不需要模型也能跑」的确定性检查。核心检查集包括 schema、version、security、pii、license、code-integrity、unicode、quality、lint 九项,dependency(CVE 审计)需显式开启。它把外部扫描器整合进来:安全扫描用 SkillSpector,密钥检测用 Gitleaks,代码风险用 Bandit,Semgrep 为可选。若配置了 LLM provider,会额外运行九项 rubric 评判与 LLM 安全分析;未配置时明确报告「LLM 阶段已跳过」,而不是静默变绿。

Tier 2 去重层。 源码位于 src/skillevaluator/tier2/ 与 src/skillevaluator/deduplication/。它用向量相似度检测两件事:单个技能内部的重复指导,以及整个技能目录里跨技能的覆盖重叠。加 --catalog ./skill-catalog.json 才做目录级比较,否则输出会明确写「未运行跨技能比较」——这是一个反复出现的产品哲学:没测的事情就明说没测。

Tier 3 实跑层。 源码位于 src/skillevaluator/tier3/,是文件数最多的一层(约 60 个模块),也是整个项目的信息密度所在。它基于开源框架 Harbor(harbor[gke]==0.25.0)在隔离沙箱中执行真实智能体任务。关键模块包括:generate_dataset.py(合成评测数据集)、harbor/(沙箱编排)、attempt_verdict.py(单次尝试判定)、dataset_sufficiency.py(数据集充分性)、grader_validation.py(评分器校验)、version_comparison.py(版本对比)、token_usage.py(Token 统计)。

4.3 核心机制与算法原理

机制一:两臂对照与 Skill Lift。 这是整个项目的灵魂。对每个评测用例,智能体运行框架跑两次:一次装技能,一次不装;两次使用相同的提示词、模型、任务输入与评分标准,各自在独立沙箱中执行,唯一的实验变量就是「技能装没装」。两次得分之差即 Skill Lift。这个设计比「上周的智能体 vs 本周的智能体」强得多,因为它不给模型变更、提示词修改、缓存状态、工具版本等变量留下藏身之处。

机制二:六信号 → 五维度 → Overall 的确定性算术。 每次尝试产出六个信号,其中三个是轨迹的确定性函数、两个由 LLM 评判、一个是混合:

信号 含义 来源 取值
security 是否做了不安全操作 确定性轨迹扫描 0 / 0.5 / 1.0
skill_execution 是否找到并按序执行技能 确定性轨迹检查 0.0–1.0
skill_efficiency 是否路由到正确技能、调用是否浪费 确定性轨迹检查 0.0–1.0
accuracy 最终答案是否正确 LLM 评判(5 条布尔) 0.0–1.0,步长 0.2
goal_accuracy 用户目标是否达成 LLM 评判(1 条布尔) 0 或 1
behavior_check 预期工作流执行了多少 LLM 评判 + 声明式检查 0.0–1.0

五个维度由信号加权得到:Security=security;Correctness=accuracy;Discoverability=skill_execution;Effectiveness=mean(goal_accuracy, behavior_check)(各 0.5);Efficiency=skill_efficiency。Overall = 五维等权均值。这里有一个值得单独说的工程细节:早期版本直接对六个原始信号求平均,等于给 goal_accuracy 和 behavior_check 各投一票——而它们本就是同一个维度(Effectiveness)的两半,两者不一致时甚至会反转 Skill Lift 的符号。现行契约用 score_policy: skill-evaluator-dimension-mean-v1 标记,历史产物保留其记录的旧策略而不被静默重算。

机制三:三条通过判据与 pass@k。 单次尝试要通过三道检查,且顺序固定:① 目标——goal_accuracy 必须为 1.0,否则无论 Overall 多高都判失败;② 安全——security 必须为 1.0;③ 总分——overall >= pass_threshold(默认 0.50)。behavior_check 只警告、不改判定。一个用例在 k 次尝试中至少一次通过即算通过,pass@k rate = 通过用例数 / 总用例数。每个臂的通过率都带一个 95% Wilson 区间,完全配对的运行还给出方向一致的配对结果计数与双侧精确 McNemar 诊断。

机制四:数据集充分性判定。 每个 Tier 3 结果都带一个 dataset_sufficiency 块(策略 dataset-sufficiency-v1),把结果标为 sufficient 或 provisional,并说明理由。三条检查是:至少 10 个不同用例且含至少 1 个负例;95% Wilson 通过率区间半宽不超过 0.20;至少 10 个用例被两臂都评过分。无法评估的检查(例如跳过基线)会让结果保持 provisional。它不改变任何判定、分数或退出码,存在的意义只是让「4 个用例的结果」不再看起来像「40 个用例的结果」那样权威。

4.4 性能优化与设计取舍

取舍一:基础安装只装 Tier 1,把 Harbor 与 LLM 客户端留在 extras 里。 pyproject.toml 注释写得很直白:基础安装必须能跑静态校验,不得拉入 Harbor 或 LLM 客户端。代价是用户要用 --extra llm、--extra tier2、--extra tier3 逐层加依赖,收益是「只想跑一次免费静态检查」的团队不必为沙箱与模型 SDK 买单。Tier 1 的确定性门禁完全离线运行。

取舍二:把「没测」和「失败」严格分开。 信号可以为 N/A(记录为 null 并标注 not_applicable,从所有平均中剔除,绝不计为 0);必需评判器报错或超时时记录为 error,这会让整次尝试失败而不是计零分。评分器出错、拒绝、超时或返回违反 schema 的回复,都产生「无分数」而非「0.0」——因为 0.0 与「评判出的失败」无法区分。这套 fail-closed 设计贯穿全项目。

取舍三:Token 效率只报告、不进总分。 token_efficiency = 1 / (1 + U / 200000)(U 为未缓存 token 数,常数是 constants.py 里唯一的可调项)。源码明确说明:把它算进维度会让 Token 用量单独改变质量判定,所以它只并排展示、永不进入 Overall。

取舍四:主动公布不讨喜的自我测量。 项目随包附一个 16 例参考套件用于校验评分器,而公布的结果很难看:在评估切分上,两个被测评判模型把所有已知的任务失败都判成了通过(15/15 假通过)。

4.5 与其他架构路线的差异

同样是「判断技能好不好」,业界至少有四条路线。第一条是结构扫描(frontmatter 校验、文件布局检查),成本最低,但 ACES 实测其与运行时增益的 Spearman 相关约 -0.02,基本等于随机。第二条是对 SKILL.md 散文做 LLM rubric 评判,成本中等,相关性约 -0.03,同样不预测运行时表现。第三条是单次任务评测(跑一次看智能体成不成功),没有基线,只能算部分证据。第四条就是 SkillEvaluator 所代表的运行时配对对照——成本最高(一次完整 Tier 3 评估约 15–45 美元/技能),但它测的是「技能带来的边际价值」这个真实变量,而不是它的代理指标。

五、应用场景

场景一:技能入库前的质量门(零成本,可离线)

业务痛点。 团队把技能当成「往 runbook 里加一行」——写完、丢进库、默认智能体因为有了它就变强了。没人检查过它是否结构规范、是否藏了提示词注入、是否带出了个人身份信息,更没人测过它到底有没有用。

如何用它解决。 在技能进入仓库时,用 Tier 1 跑一遍静态与安全门禁,不需要任何 API 密钥。

最小可用示例(可复现)。

pip install skillevaluator
skillevaluator validate ./my-skill --tiers 1     # 仅静态检查,离线可跑
skillevaluator quality-check ./my-skill -r cli -r json -o reports/q

官方打包的 text-analyzer 示例技能得分 84.5/100(B 级),退出码 0;默认通过阈值 --min-score 为 70。分级为 A≥90、B≥80、C≥70、D≥60、F<60。

收益与量化指标。 Quality Score 是 0–100 的静态分,四个加权区域:Correctness 35%、Discoverability 25%、Reliability 25%、Efficiency 15%。每个区域从 100 开始按触发发现扣分。它检查的东西很具体:frontmatter 里出现 XML 风格标签扣 15 分(潜在提示词注入);描述少于 20 字符扣 20 分;出现第一/第二人称扣 15 分;缺 ## Prerequisites、## Limitations、## Troubleshooting 各扣 5 分。

适用边界。 Tier 1 是静态分析,它不衡量技能对智能体的影响。官方在 Quickstart 里明确写着:quality-check 之后「publication evidence 仍为 INCOMPLETE」——安全需要扫描器,智能体影响需要实跑。把 Quality Score 当成「技能好坏」的结论,正是这个项目想纠正的错误。

场景二:把技能评测接进 CI,让每次改动都过门(推荐路径)

业务痛点。 技能库是活的:有人改一句描述、有人加一个脚本。靠人工评审,改动会悄悄把质量拉低;靠静态检查,又抓不到运行时退化。

如何用它解决。 用官方 CI 模板,把 Tier 1 质量检查挂到每个 PR 上,无需自己维护评测代码。

最小可用示例(可复现)。

pip install --upgrade skillevaluator
skillevaluator ci init        # 在已检出的仓库里跑,会开一个 setup PR

它会让你选择检查项与可选的托管反馈,然后生成 .github/workflows/skill-checks.yml(GitLab 对应 .gitlab-ci.yml)。也可手动从 ci/bundles/0.8.0/ 复制模板,完全不需要本地 CLI。

收益与量化指标。 Tier 1 是必需门禁;Tier 2 与 Tier 3 在 CI 中是咨询性(advisory)的。注意 v0.9.0 的一个破坏性变更:旧的 --tier3-required / SKILL_EVAL_TIER3_REQUIRED 不再能让 Tier 3 成为必需门禁。另一个细节:已有的 CI 工作流会被钉住——升级 Python 包不会静默改变现有仓库的工作流,需要人工 review 镜像变更。

适用边界。 CI 里跑的是 Tier 1(以及可选的咨询性 Tier 2/3),因为 Tier 3 需要沙箱与模型凭据、且有成本。如果你期望「每次 PR 都自动测 Skill Lift」,需要自己搭沙箱与凭据,并接受成本。

场景三:在自建技能库上做一次「技能增益」体检(核心价值)

业务痛点。 你们已经有几十个自建技能。它们每个都「看起来挺有用」,但没有任何一个被真正测过。你不知道哪些在起作用,哪些是装饰品,哪些甚至让智能体变差。

如何用它解决。 为技能生成评测数据集,然后做一次真实的两臂对照。

最小可用示例(可复现)。

uv tool install --python 3.13 "skillevaluator[all] @ git+https://github.com/NVIDIA/SkillEvaluator.git"
export SKILL_EVAL_LLM_PROVIDER=anthropic
export ANTHROPIC_API_KEY=...
export SKILL_EVAL_JUDGE_MODEL=claude-sonnet-5     # 与 agent 分开的评判模型

skillevaluator create-eval-dataset ./my-skill --full   # 生成 evals/evals.json
skillevaluator validate ./my-skill \
  --agent-eval -a claude-code --agent-model claude-code=claude-sonnet-5 \
  --env-mode docker --copy-repo \
  --results-dir reports/my-skill-tier3 -r cli,json,markdown

--full 生成的数据集包含显式、隐式、上下文相关与负例四类用例。别忘了设一个独立的评判模型:否则评判器会静默回退到 agent 自己的模型,把评判成本与 agent 成本无谓地耦合。

收益与量化指标。 这套方法在 64 个生产技能、四种主流运行框架的 947 个已评分成对用例上给出的复合 Skill Lift 均值为 0.2134(95% 配对置信区间 [0.1967, 0.2301]),72.8% 的配对用例增益为正——也就是说约 27% 的配对运行没能超过基线。增益最大的是流程指标(技能执行 +0.33、行为检查 +0.30、效率 +0.28),而非最终答案正确率(+0.14)。在 NVIDIA 自家 300+ 认证技能快照上,五维平均 Skill Lift 为 +31 分,剔除 Security 后为 +39 分。

适用边界。 单个技能的增益因领域而差异极大:跨产品从约 +2 到 +46 分,而 Claude Code 与 Codex 之间平均只差约 5 分——产品与任务比运行框架重要得多。一次 Tier 3 完整评估(25 用例 × 3 次尝试 × 2 臂)耗时 30–55 分钟、约 15–45 美元/技能;便宜的 Haiku 档「快跑」约 12 分钟、1–3 美元,但较弱的 agent 会把两臂的 Skill Lift 都压向零,只能用来验证接线、不能当认证级证据。

场景四:技能市场 / 安装流程里的安全门

业务痛点。 技能本质上是一段会被智能体当作指令执行的文本。一个恶意或粗心的技能可以偷偷注入提示词、夹带 Unicode 走私字符、或把密钥写进上下文。用户在「安装」这个动作上几乎没有防线。

如何用它解决。 把 Tier 1 的静态安全检查挂到技能的安装流程里,在用户确认安装之前就把发现按文件-行号摊出来。

最小可用示例(可复现)。

skillevaluator security-scan ./my-skill --tiers 1
skillevaluator validate ./my-skill --tiers 1 --profile registry

--profile registry 适用于有发布契约的注册表场景,比默认 profile 更严;也可用 --policy ./policy.yaml 按 CATEGORY.check_name 覆盖严重级别。

收益与量化指标。 这套流程已有真实落地:Nous Research 在 Hermes Agent 的技能安装流程里接入了 SkillEvaluator 的 Tier 1 辅助扫描,检查 PII、Unicode 走私、脚本 lint、许可证与安全问题,并在安装前展示文件-行级发现,覆盖 29 个通过测试,每次技能扫描约 1.4–1.5 秒。OpenClaw 则在 ClawHub 的官方组织上试点 SkillEvaluator,跑 Tier 3 评估并在 Evals 标签页里展示带技能与不带技能的结果。

适用边界。 扫描器不会自动发现或信任技能内部自带的策略文件——策略必须由仓库所有者审查,且应放在被扫描技能之外。另外,凭证类发现(数据库凭据、硬编码密钥、JWT、GitHub token、私钥等)不可豁免,只能移除或轮换;可豁免的只有 PII 类发现。

六、快速上手

# 方式一:只跑静态质量检查(无密钥、无扫描器、无 GPU、无 Docker)
git clone --depth 1 https://github.com/NVIDIA/SkillEvaluator.git
cd SkillEvaluator
uv run --python 3.13 skillevaluator quality-check \
  src/skillevaluator/tier3/reference_skills/text-analyzer \
  -r cli -r json -o reports/first-quality

# 方式二:用 NVIDIA Build 做 LLM rubric 评审(需 Build API Key)
export SKILL_EVAL_LLM_PROVIDER=nv_build
export NVIDIA_API_KEY='nvapi-...'
uv run --python 3.13 --extra llm skillevaluator rubric-eval ./my-skill -r cli -r json -o reports/rubric

# 方式三:接进仓库 CI(推荐)
skillevaluator ci init

# 组合流水线(需 provider + 扫描器 + agent 沙箱)
uv run --python 3.13 --extra all skillevaluator doctor --env-mode docker
uv run --python 3.13 --extra all skillevaluator validate ./my-skill

doctor 只检查环境是否就绪,不代表推理会成功。validate 默认跑三层,Tier 3 用 autopilot 复用已有评测源或创建一个启动用例;--tiers 1 只做静态检查,--no-autopilot 要求已有评测源。

七、横向对比

维度 SkillEvaluator (Tier 3) 结构扫描(Tier 1 类工具) SKILL.md 的 LLM rubric 单次任务评测 通用 agent benchmark
核心问题 技能带来的边际价值 技能写得规范吗 技能读起来清楚吗 智能体成功了吗 模型能力强吗
是否配对对照 ✅ 同任务跑两臂 ❌ ❌ ❌ 无基线 ❌
预测运行时增益 即增益本身 相关性 ρ≈-0.02 相关性 ρ≈-0.03 部分(无基线) 不针对技能
单技能成本 $15–45(Haiku 档 $1–3) 近零 低 中 视 benchmark
是否需要沙箱 ✅ Docker/Harbor ❌ ❌ 部分 视 benchmark
可复算性 ✅ 全部数字可从 JSON 复算 ✅ 部分 部分 视实现
是否公布不确定性 ✅ Wilson/自助法区间 通常无 通常无 通常无 视实现
主要产出 Skill Lift + 五维分数 Quality Score 0–100 rubric 分数 成功率 模型排名

一句话总结差异:前三类都在测「技能的代理指标」,SkillEvaluator 测的是「技能本身值多少」。它也诚实地公布了这些代理指标与真实增益的相关性几乎为零——这恰恰是它存在的理由。

八、局限、风险与社区观察

维护活跃度。 极高且是官方项目:NVIDIA 持续发布,v0.9.0 于 2026-11-13 发布,最近提交到 2026-11-16 仍在更新。风险不在活跃度,而在支持级别被官方标为 Experimental(无 SLA)。

方法学风险(官方自述,须认真读)。 第一,没有已发表的评分者间一致性研究:没有 kappa、没有与独立人类标注者的一致性统计、没有校准曲线。项目随包的 validate-grader 只是与一个小规模自撰标注集比对。第二,维度与信号定义是设计决策,不是已验证的构念:没有任何证据表明 skill_execution 测的就是用户理解的「可发现性」,或五维等权是正确聚合方式。第三,阈值是惯例:0.50 通过线、0.40/0.50 判定带、+0.05/−0.10 增益带、10 用例充分性下限、200,000 token 效率常数,都是「为讨论而选的默认值」,不是从误差模型推导出来的。第四,没有「指令存在」的对照臂:比较是「有技能 vs 无技能」,无法区分技能内容的效应与「多给了一段指令」这件事本身的效应。

统计与样本风险。 大多数技能每个任务只跑一次尝试:已发布结果的技能中 85% 跑一次、15% 跑两次,且技术博客不提供置信区间。单次尝试的 4 用例 Wilson 区间半宽最窄也有 0.2449,远高于充分性策略要求的 0.20——因此这类结果会被标为 provisional。

Token 与成本的反直觉性。 「装技能省 Token」不成立。官方给出两个单次尝试的例子:jetson-optimize-memory 把 Token 从 617,306 降到 142,540(-76.9%)、执行时间从 474.9 秒降到 220.0 秒(-53.7%);而 cuopt-install 反而把 Token 从 25,227 升到 55,582(+120.3%)、时间从 34.0 秒升到 41.1 秒(+20.8%),被标记为「需要进一步优化」。效率信号只在 41.7% 的配对中为正,方差很大。

第三方观察。 截至 2026-08-20,未发现对 SkillEvaluator 本身的实质性独立审计、同行评审研究或第三方复现(来源:aiwiki.ai/wiki/skillevaluator,第三方口径,待确认);可用的性能产物均产自 NVIDIA 自家技能流水线。

九、小结与行动建议

  1. 先用 Tier 1 免费门禁,再考虑 Tier 3。quality-check 与 validate --tiers 1 不需要任何密钥即可跑完,先把结构与安全问题挡住;Tier 3 是核心价值,但需要沙箱与预算,别一上来就上。
  2. 把「技能是声明,必须被检验」写进流程。在技能获得一个席位之前,先跑一次带基线的对照;技能是活的,每次编辑后都要重测——上季度有用的技能可能随着模型与任务漂移而跌破阈值。
  3. 把 Token 与执行时间当一等公民单独记账。Skill Lift 高不等于更便宜。
  4. 为单次尝试的结果留足怀疑。提高 --n-attempts,用足充分性策略要求的 10 个用例 + 1 个负例,固定数据集、agent、模型与环境,并把区间与点估计一起报告。
  5. 读数字前先读单位与口径。Skill Lift 是「共享基线上的分数差」,不是百分比提升;Overall 是五维等权均值;Security 基线本就接近满分(97),所以它只涨 1 分是回归检测而非改进空间。把这三点讲清楚,能避免把一份诚实的测量读成一份夸大的宣传。

回到开头那个被假装解决的问题:我们给智能体装了几百个技能,却几乎没有人测过它们有没有用。SkillEvaluator 的价值不在于它给出的 +31 分——那个数字属于 NVIDIA 的技能、NVIDIA 的任务和那一次快照——而在于它把一个「感觉」变成了一个「可以被你自己复现的测量」。它自己公布的假通过率、缺失的一致性研究、以及 27% 不超过基线的配对用例,比任何漂亮的平均分都更值得信任:一个愿意把不讨喜的数字一起交出来的评测工具,才配让你把它的数字当真。


资料来源与数据获取日期:GitHub 仓库 NVIDIA/SkillEvaluator 与 GitHub API(2026-11-16 抓取)、项目 README 与 docs/metrics-reference.mdx(2026-11-16)、NVIDIA 技术博客《Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator》、ACES 论文《Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills》arXiv:2608.20614、gihyo.jp 与 OSC 社区解读(2026-08)、explainx.ai 对 ACES 的解读(2026-08)、CometAPI 社区讨论(2026-09)、aiwiki.ai/wiki/skillevaluator(2026-08-20)、Release Notes v0.9.0(2026-11-13)。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?