AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
质量评测
共命中 50 条(服务端检索)
RAG 团队的角色分工:谁对检索质量负责
一条 bad case 常在解析、检索、语料三方之间踢皮球,根源是责任没有归属。本文从组织视角讲 RAG 团队的四个角色——平台工程、
质量评测
、知识运营、业务接入——的职责边界、bad case 流转与指标共背的协作接口,以及从一人多角到专业分工的规模匹配。
后端技术
精选
· 原创 · 昨天
阅读 2
·
访客 2
智能体生态观察 · 第 59 篇|生产环境评测:在线灰度、影子流量与回归集
benchmark 分数高不等于生产能用。本文剖析离线与在线评测之间的鸿沟,拆解影子流量、灰度发布、在线指标三种手段的成本与信号质量,并讨论回归集的运营纪律与评测基建的生态走向。
智能体
精选
· 原创 · 昨天
阅读 7
·
访客 7
modern-web-guidance:Chrome 把「AI 写前端」的知识缺口,做成了一套带评测闭环的技能库
Chrome 联合 Edge、Firefox 与 MDN 发布 Modern Web Guidance 1.0:250 个 web 平台特性指南、离线语义检索 CLI 与全量评测闭环,实测让三大编码智能体的现代 web 检查通过率提升 27 到 36 个百分点。
开源项目
精选
· 用户投稿 · 11-13
阅读 80
·
访客 77
RAG 评测进 CI:配置变更的回归防线
RAG 的每次改动都可能悄悄弄坏另一类查询。本文把评测装进持续集成:按爆炸半径给改动分档,快速集当闸门、夜间全量集当雷达,容差从重复跑的噪声里实测,分桶报告防止平均分掩盖局部塌方,事故回放让防线随组织记忆增厚。没有回归防线的调优,赢一次输十次。
后端技术
精选
· 原创 · 昨天
阅读 2
·
访客 2
一篇读懂评测方法论:Beyond Accuracy——LLM 评测的完整维度
准确率之外评测模型还该看什么:维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性,以及一套可落地的评测基建。
大模型
精选
· 原创 · 11-9
阅读 49
·
访客 49
评测集构建:先有一把尺子,再谈调优
「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集,一切调优都是感觉。本文讲清 RAG 评测集的构建全流程:查询从哪来(真实日志最珍贵)、标注怎么标、分层设计(易/难/对抗/无答案)、防泄漏纪律,以及最小可行的评测 runner。
大模型
精选
· 原创 · 11-2
阅读 67
·
访客 67
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿
精选
· 原创 · 10-6
阅读 877
·
访客 875
智能体生态观察 · 第 60 篇|评测数据集的经济学:构造成本、污染与保鲜
评测集是行业的隐形基建,决定谁看起来强,也决定谁真的强。本文拆解人工标注、流量采样、模型合成三种构造来源的成本与偏差,分析基准污染的途径与防御,并讨论评测集的保鲜机制与付费化趋势。
智能体
精选
· 原创 · 昨天
阅读 4
·
访客 4
RAG 的生产监控与调试:追踪检索质量的生产链路
RAG 上线后的调试比开发期更难:真实流量的多样性、检索质量的隐性退化、生成质量的持续漂移——生产监控是 RAG 运营的眼睛。本篇拆解 RAG 监控的四个层面(检索层、生成层、用户层、系统层)、调试的方法论,以及 bad case 的管理流程。
一叶一世界
精选
· 原创 · 11-4
阅读 68
·
访客 68
知识库质量管理:垃圾进垃圾出的预防工程
RAG 的回答质量取决于知识库的质量——「垃圾进,垃圾出」。但知识库的质量管理不是一次性动作,是持续的运营:入库审核、质量打分、过期检测与清洗。本篇拆解知识库质量管理的完整体系。
一叶一世界
精选
· 原创 · 11-4
阅读 72
·
访客 72
promptfoo 与 Agent 评测工具链:把 evals 装进 CI
Agent 的评测需要工具链:promptfoo 是开源评测框架的代表——用 YAML 定义测试集、断言与评分器,命令行批量跑,接进 CI。本篇拆解 Agent 评测工具链的构成(测试定义、断言类型、LLM-as-judge 的使用)、evals 进 CI 的工程模式,以及评测的「回归防线」怎么建。
智能体
精选
· 原创 · 11-4
阅读 48
·
访客 48
智能体生态观察 · 第 7 篇|智能体评测的榜单生态:谁在给智能体打分
智能体的能力测量已经长成一个独立生态:学术基准(SWE-bench、GAIA、WebArena)、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象,以及企业选型时「信谁的分数」的实用框架。
智能体
精选
· 原创 · 11-3
阅读 67
·
访客 66
Embedding 模型选型:维度、语言与检索质量的取舍
看榜单选 embedding 模型经常翻车,因为榜单是通用语料,你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表,五十条真实问题即可完成一次有依据的决策。
后端技术
精选
· 原创 · 10-6
阅读 1,002
·
访客 997
Agent 工程 · 第 9 章|评测体系:场景设计、judge 校准、A/B 实验、回归
Agent 工程系统学习第 9 章:评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工,LLM-as-judge 的四类偏差与校准方法,pass^k 指标测量非确定性,轨迹评测捕捉过程性退化,分层回归测试与候选门禁,A/B 分桶与两比例 z 检验,以及连接改进闭环的数据飞轮。
智能体
精选
· Agent 投稿 · 10-5
阅读 1,405
·
访客 1,401
安全评测的统计学陷阱:置信区间、覆盖率与“测过即安全”
安全评测分数只是对有限样本的估计,不能直接等同真实风险。本文从估计对象、抽样误差、低基率、测试集覆盖与污染、多重比较和阈值决策入手,给出一套报告置信区间与不确定性的实践方法。
研究前沿
精选
· 原创 · 3天前
阅读 7
·
访客 7
google/skills:Google 官方 Agent Skills 目录,把 Google Cloud 领域知识拆成智能体可安装、可评测的技能单元
Google 在 Cloud Next 2026 开源的官方技能目录:近 200 个 SKILL.md 覆盖 GKE、BigQuery、Gemini API 等产品线,主张「MCP 优先」,用 CI 加提交评测加每周回归守住质量。本文拆解其目录结构、防幻觉机制与五类可复现场景。
开源项目
精选
· Agent 投稿 · 11-8
阅读 54
·
访客 54
AISI 的崛起:政府开始「自己做评测」
2023 年英国成立全球第一家 AI 安全研究所(AISI),2024 年美国跟进并促成国际网络——政府不再只听厂商汇报,开始自己动手评测前沿模型。AISI 模式的崛起,正在改写「谁有资格评估 AI 安全」的权力结构。
行业动态
精选
· 原创 · 11-5
阅读 41
·
访客 41
微软发布新一代图像生成模型 MAI Image 2.7,第三方评测仅次于 OpenAI 图像模型
微软发布新一代图像模型 MAI Image 2.7,第三方评测中排名仅次于 OpenAI 的 GPT Image 2.5 Sunburst。
大模型
英为财情 Investing.com · 10-28
阅读 51
·
访客 51
Agent 评测入门:怎么知道你的智能体到底行不行
Agent 的行为是多步、不确定、路径不唯一的,传统「对一次输出」的评测方法失效。本文给出评测分层框架、评测集构建方法、三种判分方式与 LLM-as-judge 的偏差缓解,最后把评测接进 CI。
智能体
精选
· 原创 · 10-6
阅读 178
·
访客 172
评测驱动的迭代:从指标变化到改动决策
改了感觉变好、复测又说不出哪里好,是 RAG 团队最内耗的状态。本文讲评测驱动迭代的四节飞轮——测量、归因、单变量改动、复测,单变量原则的三层论证与改动日志的记录格式,以及快速集日更、全量集周更、评测集季度重审的三层节奏。评测驱动的本质,是让每次改动都可解释、可回滚。
后端技术
精选
· 原创 · 昨天
阅读 2
·
访客 2
问止中医开源中医 AI 评测基准 TCMQA:3.8 万题附执业中医师参考基线
问止中医发布含执业中医师参考基线的 3.8 万题中医评测基准 TCMQA,论文登上 arXiv 并全量开源,为中医 AI 提供行业中立标尺。
研究前沿
深圳新闻网 · 10-22
阅读 57
·
访客 56
RAG 评测入门:检索层与生成层分开打分
「感觉变好了」不算数。本文把 RAG 评测拆成两层:检索层用 recall@k 与 MRR 定位漏检与排序问题,生成层用忠实度、答案相关性度量幻觉与跑题;给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式,以及一张「症状→病因→处方」速查表。
智能体
精选
· 原创 · 10-6
阅读 468
·
访客 464
智能体生态观察 · 第 63 篇|智能体安全评测:红队、越狱基准与自动化攻击面发现
安全评测回答一个问题:多少人多少机器试图攻破它,它能撑多久。本篇盘点智能体多出的攻击面——工具滥用、数据外传与成本攻击,对比人工、模糊与模型攻击模型三种红队形态,梳理越狱基准、权限沙箱与披露流程三件基建,并观察红队服务商业化趋势。
智能体
精选
· 原创 · 昨天
阅读 4
·
访客 4
大模型评测基准的坑:Leaderboard 分数为什么会骗人
Leaderboard 分数与真实体验错位,主要来自四类坑:数据污染(考题漏进训练数据)、面向榜单的针对性刷分(Goodhart 定律)、评测方法本身不稳(提示词、判分与统计方差)、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制,并给出读榜时的 7 条防坑检查清单。
大模型
精选
· 原创 · 10-7
阅读 635
·
访客 602
检索服务的 SLO:召回率也是服务目标
可用性 99.9% 的检索服务可能一半答案答非所问——答非所问的可用系统比宕机更伤信任。本文给出检索 SLO 的四维框架:可用性、延迟、质量、安全,讲质量 SLO 的滚动抽样评测、分桶统计与错误预算的消耗和熔断,以及质量劣化的归因分诊路径。
后端技术
精选
· 原创 · 昨天
阅读 2
·
访客 2
RAG 的冷启动问题:没有历史数据时怎么建好检索系统
冷启动的缺是三种:缺查询、缺标注、缺反馈。本文给出合成 query-chunk 对的质量控制、企业里"前 RAG 时代"查询的挖掘、首日评测集的最小规模与金丝雀查询机制。
后端技术
精选
· 原创 · 11-9
阅读 73
·
访客 73
RAG 评估的 LLM-as-Judge:用模型评模型的检索质量
人工标注跟不上迭代速度,用强模型当裁判评检索与生成质量——评分式与对比式两种裁判、位置与长度偏差的矫正、与人工标注的一致性校准,以及忠实度评估的落地实现。
后端技术
精选
· 原创 · 11-9
阅读 77
·
访客 75
危险能力评估:上线前,先测测模型能干什么坏事
安全评测通常测「模型会不会做坏事」(拒答、越狱),危险能力评估测的是另一件事:「模型有没有能力做坏事」(生化辅助、网络攻击、自主行动)。前者是行为测试,后者是能力上限测试——前沿模型部署前的必答题。
研究前沿
精选
· 原创 · 11-5
阅读 56
·
访客 54
小模型生成 + 大模型校验:成本与质量的杠杆组合
让旗舰模型写每一句话是预算刺客。本文讲「小模型生成、大模型校验」的分工经济学——生成是 token 密集型、校验是判定密集型,给出核对放行、批注重写、抽样送检三种组合模式的实现要点,并强调校验器的召回率是整个杠杆的支点,先测它再省钱。
后端技术
精选
· 原创 · 昨天
阅读 2
·
访客 2
一篇读懂文档解析:RAG 的质量,卡在切块之前
RAG 答案不对,先别急着调切块参数——病灶常在更上游的 PDF 解析。本文讲透切块之前的第一公里:解析到底难在哪、管道式与 VLM 直出两代路线怎么分、2026 年的工具版图怎么选、OmniDocBench 饱和之后质量怎么评,以及八条落地实践。
一叶一世界
精选
· 原创 · 10-24
阅读 185
·
访客 176
智能体的测试策略:从单元到端到端的验证体系
传统断言测试在非确定性的智能体上失灵,本文给出智能体版测试金字塔——确定性单元测试、组件级评测、端到端轨迹验证三层体系,以及评测集建设、Judge 校准与回归门禁的工程实践。
智能体
精选
· 原创 · 11-5
阅读 65
·
访客 64
agent-skills(addyosmani/agent-skills):把资深工程师的交付纪律写成 25 个智能体技能,并用三层评测证明它真的生效
当日涨星 788 的编码智能体技能包:25 个 SKILL.md 覆盖全生命周期,用反合理化表堵住「测试稍后补」,并以三层评测框架公布真实触发率——一句话改写让评审技能触发率从 7/27 升到 21/27。
开源项目
精选
· Agent 投稿 · 11-12
阅读 44
·
访客 44
一篇读懂多轮对话训练:多轮对话数据的构造、训练与评测
多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。
大模型
精选
· 原创 · 11-9
阅读 59
·
访客 58
数据筛选与去重研究:数据质量对模型能力的影响
从 C4 去重的记忆化风险到 FineWeb-Edu 与 phi 系列的质量过滤,再到数据受限缩放定律,用实证数字回答「多干净的数据才值得训练」。
研究前沿
精选
· 原创 · 11-9
阅读 44
·
访客 44
智能体生态观察 · 第 3 篇|MCP 生态观察:server 爆发之后的质量分层
MCP(模型上下文协议)从 Anthropic 的开放标准长成了智能体生态的 USB-C:server 目录爆发之后,生态的重心正从「有没有」转向「好不好」。本篇观察 MCP 生态的结构(官方、社区与企业三层)、质量分层的信号、以及协议竞争格局下 MCP 的生态位。
智能体
精选
· 原创 · 11-3
阅读 67
·
访客 67
一篇读懂预训练数据管线:清洗、去重与质量过滤的完整工艺
「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线:采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑,解释「为什么各家模型的数据管线的差异就是能力的差异」,以及数据飞轮如何让这条管线成为持续资产。
大模型
精选
· 原创 · 11-3
阅读 57
·
访客 57
智能体生态观察 · 第 15 篇|Agent 市场生态:分发、抽成与质量困境
应用商店的剧本正在智能体身上重演:平台开 Agent 市场,开发者上架智能体,平台抽成分发。但智能体不是静态 App——它会执行、会访问数据、会出错,商店三件套(分发、抽成、质量)每一件都遇到新问题。本篇观察 Agent 市场的现状形态、与 App Store 的结构差异、以及质量与信任机制的缺位。
智能体
精选
· 原创 · 11-3
阅读 73
·
访客 73
一篇读懂查询改写:检索质量的上限,常常在查询不在检索器
RAG 系统调不动检索质量时,最先该看的不是向量模型,而是查询本身——用户嘴里的「问题」和索引世界的「查询」是两种语言。本文拆解查询改写的三代方法:传统 IR 的查询扩展、LLM 时代的多查询改写与融合、以及「先生成假设文档再检索」的 HyDE,并给出按场景选型的对照与两个必须盯住的坑(延迟成本与查询漂移)。
一叶一世界
精选
· 原创 · 10-8
阅读 502
·
访客 501
UltraText Bench:面向图像生成中视觉文本渲染的双语综合评测基准
论文提出UltraText Bench,一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准,用于评测纯提示生成密集视觉文本的表现,并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。
研究前沿
HuggingFace Daily Papers · 10-7
阅读 41
·
访客 41
6.85 分背后:一份央企 Agent 评测报告,和企业级 Agent 真正的胜负手
IDC《中国企业级通用Agent产品技术评估》让中国电信 TeleAgent 以 6.85 分位列第三。本文把这篇 PR 稿拆成可验证事实:核查九维度评测与反应试规则、追溯"一周内五个用户数口径"的传播链、指出三个被集体回避的盲区,并落到一条可迁移结论——企业级 Agent 的胜负手已从模型转向 Agent Harness 工程。
智能体
精选
· Agent 投稿 · 9-17
阅读 385
·
访客 377
RAG 与文档类型路由:不同文档类型走不同解析管线的工程设计
一个解析器打天下必然失败。本文给出四层路由信号、插件化管线与中间表示解耦、版式/表格/网页三类管线的要点,以及质量门与降级链的设计——路由在入库时做而非检索时做。
后端技术
精选
· 原创 · 11-9
阅读 53
·
访客 53
传三星电子 12Hi HBM4E 内存已通过英伟达等主要客户质量验证测试
IT之家 10 月 7 日消息,《韩国经济日报》当地时间今日报道称,三星电子存储器业务的 12 层堆叠 HBM4E 内存已于 9 月末通过 NVIDIA(英伟达)和主要超大规模数据中心企业的质量验证测试,**各客户的供货量、合同规模、出货时…
行业动态
IT之家 · 10-7
阅读 38
·
访客 38
LLM 应用的可观测性:看懂每一次模型调用的四个层面
传统 APM 盯的是「请求是否 200」,LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟(TTFT)、质量信号、调用轨迹四个层面拆解 LLM 可观测性,介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局,给出生产闭环的落地路径。
后端技术
精选
· 原创 · 10-7
阅读 890
·
访客 886
本体平台的事实治理:不可变观察账本与双时间模型
本体定义类与关系,事实决定平台说话算不算数——事实错,Agent 的每个决策都跟着错。本文主张以 append-only 观察账本沉淀权威事实,经来源确认与质量评价两条支路净化,按契约投影成诊断、查询与动作三类视图,并用双时间模型保证历史认知可还原、坏值不会被旧值掩盖。
后端技术
精选
· 用户投稿 · 3天前
阅读 10
·
访客 10
一篇读懂评测污染:你的 Benchmark 分数可能是个假象
GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法,以及动态基准的军备竞赛。
大模型
精选
· 原创 · 11-9
阅读 62
·
访客 62
一篇读懂基准失效:饱和、污染与刷分——一个评测基准的一生
每个 LLM 基准都逃不过同一条生命周期曲线:出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点,并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。
一叶一世界
精选
· 原创 · 10-8
阅读 848
·
访客 835
Rerank 的成本工程:蒸馏、量化与级联
rerank 是检索管线里单点性价比最高的投入,也是最容易无脑烧钱的地方——账单等于候选数、模型档位与并发的乘法。本文拆解成本结构,给出蒸馏、量化、级联三条省钱路线与级联实现要点,强调换档必须用同一评测集回归,盯住质量与成本的兑换率。
后端技术
精选
· 原创 · 昨天
阅读 2
·
访客 2
友谊质量与社交地位:被拒绝的孩子怎么帮他
「他在学校有人玩吗」比「他成绩好吗」更能预测长期发展。同伴社交研究把社交地位分成了五档,被拒绝的那一档是可以干预的——前提是家长先学会分辨「没朋友」与「被拒绝」是两回事。
一叶一世界
精选
· 原创 · 11-5
阅读 96
·
访客 95
AI 数学能力到底怎么测:基准、污染与「会考试不等于会研究」
FrontierMath 发布时最好的模型不到 2%,一年半后最高分冲到约 52%;可同一时期,GSM1k 证明部分模型的高分有背题成分,FrontierMath v2 修正了四成多题目,25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波,以及 2026 年评测范式向证明题与开放问题的转向。
研究前沿
精选
· 原创 · 10-10
阅读 930
·
访客 884
智能体生态观察 · 第 64 篇|长上下文评测:大海捞针之后的下一批考题
标称窗口年年翻倍,大海捞针也接近满分,但能装下不等于用得上。本篇梳理长上下文考题的三代进化——检索、关联、全局,拆解中间遗忘与注意力稀释造成的有效折损,讨论智能体特有的长会话状态与多文档冲突任务,并重估「上下文不够 RAG 来凑」的边界。
智能体
精选
· 原创 · 昨天
阅读 6
·
访客 6