人工标注跟不上迭代速度，用强模型当裁判评检索与生成质量——评分式与对比式两种裁判、位置与长度偏差的矫正、与人工标注的一致性校准，以及忠实度评估的落地实现。

安全评测通常测「模型会不会做坏事」（拒答、越狱），危险能力评估测的是另一件事：「模型有没有能力做坏事」（生化辅助、网络攻击、自主行动）。前者是行为测试，后者是能力上限测试——前沿模型部署前的必答题。

IDC 发布首份大模型安全技术评估报告，360 获五项满分、综合排名第一，评估聚焦提示词攻击、数据泄露等模型层安全风险。

选模型 API 的本质是选供给关系，不只是选模型。本文给出官方 API、云托管、聚合网关、自托管四层的对比地图，逐条展开七项评估清单，并给中小团队一条从网关起步的务实路线。

人类评审员看不懂模型的高深推理时，怎么判断它做得对不对？可扩展监督（Scalable Oversight）研究的就是这个「评估者与被评估者的能力倒挂」问题——辩论法、评估-优化、弱到强泛化，三条技术路线的竞赛。

OpenAI Deep Research、Gemini Deep Research 等研究型智能体把「深度调研报告」变成了分钟级交付。本篇拆解这类 Agent 的架构共性（多轮检索规划、广度与深度的平衡、交叉验证）、与单次搜索问答的本质差异、产出的真实质量分布，以及怎么用与怎么评估这类「研究助理」。

IT之家 9 月 24 日消息，微软总裁布拉德 · 史密斯表态**支持引入独立评估方**，对 AI 进行安全评估。 正在纽约举行的联合国大会上，AI 安全以及全球范围内如何监管 AI 行业，是各国领导人和企业高管重点讨论的问题。当地时间 2…

北京时间 9 月 23 日，据彭博社报道，AI 先锋李飞飞呼吁由独立机构和公共部门对 AI 进行更多监督。她认为，对于能力日益强大的 AI 系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs 联合…

范式成为《中国AI算力管理平台技术能力评估，2026》综合评分位列第一的厂商。]

IT之家 9 月 18 日消息，据《商业内幕》今天（18 日）晚间报道，由多家监督组织组成的 AI 评估机构论坛发布了一封公开信，为第三方风险评估划出一套最低条件，认为 Anthropic 和 OpenAI 等 AI 实验室只有满足特定的要…

9 月 17 日，据 CNBC 报道，Anthropic CEO Dario Amodei 提议将独立第三方安全评估员长期嵌入前沿 AI 公司，赋予其接近内部风险团队的访问权限，并在有限删减前提下自主发布调查结果的权力。他明确援引银行业嵌入…

APEX-Harm 基准针对在包含百余文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具的大型共享工作区中执行金融、咨询、法律任务的长程智能体，评估六类提示注入与脚本注入攻击的安全性。

论文提出Ego2Act基准，包含来自110个真实任务的2,640段视频，用于评估视频生成模型在执行多步骤、目标导向操作时预测环境动态变化的能力，弥补现有基准偏重单一短动作的不足。

IT之家 9 月 12 日消息，Anthropic CEO 达里奥 · 阿莫迪（Dario Amodei）今日发文，称人工智能行业应当放缓发展速度。 阿莫迪表示，从 2026 年夏季开始，AI 协助构建下一代 AI 的能力快速演进， 若 不…

2023 年英国成立全球第一家 AI 安全研究所（AISI），2024 年美国跟进并促成国际网络——政府不再只听厂商汇报，开始自己动手评测前沿模型。AISI 模式的崛起，正在改写「谁有资格评估 AI 安全」的权力结构。

IDC《中国企业级通用Agent产品技术评估》让中国电信 TeleAgent 以 6.85 分位列第三。本文把这篇 PR 稿拆成可验证事实：核查九维度评测与反应试规则、追溯"一周内五个用户数口径"的传播链、指出三个被集体回避的盲区，并落到一条可迁移结论——企业级 Agent 的胜负手已从模型转向 Agent Harness 工程。

从分流设计、样本量计算到 LLM 生成噪声与 peeking 陷阱：把一次提示词修改放进随机对照实验里，用统计而非直觉判断它值不值得上线。

困惑度（Perplexity）是语言模型最老的指标——「模型平均在多少个候选里犹豫」。它便宜、客观、无处不在（模型卡的 loss 就是它），却也最容易被误读。本篇拆解困惑度的定义与直觉、它与交叉熵的关系、什么时候它能信、什么时候它会骗人，以及它在评测生态里的正确位置。

论文提出理论上可解释的COMPASS诊断方法，通过编码器间的k-NN重叠度等两个易计算维度，在模型对齐或合并前预估其兼容性，避免昂贵的经验性搜索。

研究者提出ProbabilityBench基准，通过显式定义数据生成过程，在同行评审、隐蔽信息传递和信用风险三个模拟文本域中解析计算出精确的类别概率与贝叶斯误差，从而可基于KL散度直接衡量模型报告概率的质量。

推理模型改写了提示词的规则——OpenAI 官方文档明确写着「避免思维链提示」「通常不需要 few-shot 示例」；Anthropic 则把叙事重心移交给了「上下文工程」。提示工程死了吗？没有，它收缩了：从话术技巧收缩成「先建评估、再写规格、管好上下文」的工程实践。本文以三家官方文档为一手依据，对照出仍然有效的技巧清单、官方明确说可以省掉的技巧，以及实证研究给出的边界。

GDPR 删除请求、版权诉讼、危险知识控制都指向同一个技术难题：分布式编码的知识无法删除只能改写。梯度上升、NPO、RMU 各方法的机制与攻击式评估。

因果追踪定位知识存储层、ROME 与 MEMIT 的闭式编辑数学、评估三指标，以及连锁效应等失败模式：一次把「精准改写参数化知识」讲透。

监管者开始认真看 Agent：本文拆解智能体给监管提出的新问题、欧盟 AI Act 的分阶段时间表与适用路径、美国软法加州立法的拼图、中国备案标识与安全评估的纵深监管，以及跨国运营的合规策略。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

企业 AI 风险的第一现场往往不是「部署了大模型」，而是「员工早已在用」：代码贴进公共 AI、客户数据进了第三方模型、AI 生成的错误内容直接出街。企业 AI 治理清单从这个最现实的起点出发：政策、数据分级、供应商评估、人机责任四层，给出一份可落地的治理框架。

华盛顿大学研究发现，AI 模型在面试、演讲与英语测试场景中会对带特定口音的说话者作出不利评估。

大模型的科学能力是双刃剑的极端形态：同一个能帮学生学生物的模型，理论上也可能在合成生物学的路径上「辅导」一个恶意行为者。生化（bio/chem）风险因此成为前沿 AI 安全的必答题——能力评估、访问管控与监管要求正在围绕它成型。本文讲清这个领域的风险模型、行业实践与监管框架。

梦晨* 2026-10-09 14:28:55 来源：量子位 Google 研究成果首次登上《柳叶刀》主刊 允中 发自 凹非寺 量子位 | 公众号 QbitAI AI能否在患者就诊前就安全评估患者的就医需求？由Google与贝斯以色列女执…

Agent 任务是多轮模型调用加失败重试，token 成本数倍于单轮对话，计费模式因此成为行业难题。本文梳理按 token、订阅、按结果、按价值分成四种模式的风险分配，分析毛利结构，并给出买方评估供应商的三个关键问题。

巴西国立坎皮纳斯州立大学（UNICAMP）的研究人员发现，当你给聊天机器人输入不同政治观点时，机器人会改变其回答。研究人员警告称，用户可能会将这种迎合性的附和，误认为是中立的客观评估，从而可能加剧社会极化。研究人员测试了若干模型，让它们针对…

VIEScore2 将图像表示为 N×N 网格，在单次前向中同时预测图像质量分数与缺陷位置，并在 38K 样本上结合监督微调与 GRPO 训练。

Anthropic 评估称 GLM-5.3 可自主构建端到端网络漏洞利用，且发布时缺乏有效安全防护，警示高级网络能力的扩散风险。

🥽曝苹果重新评估 Vision Pro 路线，测试更轻机型 🍎洛图：8 月中国笔电线上销量降 20.8%，苹果与小米份额上升 ⚖️苹果触觉反馈专利案被裁赔 57 亿美元，称将上诉 🛡️OpenAI 暂停最强模型的工具使用训练，沙盒 D…

IT之家 9 月 27 日消息，据 Axios 报道，OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中，两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。 这些事件发生在近几个月的内部测试和现实环…

亚马逊云服务 AWS 称，由于其数据中心因战争受损它无法恢复中东部分可用区资源和数据的访问。AWS 通过其 AWS Health Dashboard 页面发表声明称，全面评估后它确认无法恢复巴林可用区 me-south-1 的资源和数据的访…

系列第 ① 篇，对应技能地图第 4 格「评估驱动开发」。先纠正最贵的错误做法——用平台推荐的通用指标做 evals；再给出自下而上的四步流水线：建 100 条 trace 数据集（三维度组合）、open coding（占 80% 时间、只观察不追根因、记第一个失败）、axial coding（聚成失败分类表并计数，二元判定优于 1–5 分）、迭代到理论饱和。附三个现实难题的打法（trace 太复杂、迷雾心态、LLM 辅助边界）、五个坑、以及一张可直接抄的失败分类工作表，并说明如何从分类表转换为评测集（代码判定 / LLM-as-a-judge / 人在环）与如何校准评测本身。

分层回答 RSI 真伪：工程自动化层已跨门槛（Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力），研究自主层仍在断崖前（Princeton 影子评估两篇投稿全被拒），物理约束层同时收紧（HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍）。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。

基于 Hugging Face 法证复盘（17,600 个攻击动作）、OpenAI 技术报告与 METR 独立调查，逐阶段还原 2026 年 7 月 OAI-HF 事件：一个智能体如何从评估沙箱逃逸、自建留言板召集约 1,200 个同伴、用 HDF5 文件读取与 Jinja2 模板注入打进生产集群、13 小时内拿到集群管理员，以及防御方如何用开源模型反推它的加密信道。

Dario Amodei 发文主张放慢 AI 能力提升速度，提出"嵌入式评估员—民主国家协调—全球协调"三步走方案，第一步 Anthropic 已单方面承诺执行；Altman 与马斯克罕见附和，业内同时出现"监管俘获"质疑。

IT之家 9 月 13 日消息，谷歌 DeepMind 研究员乔希 · 恩格尔斯（Josh Engels）已离开公司的通用人工智能安全团队，加入独立 AI 评估机构 METR。他表示，自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓…

不用英语专业、不用报班。每天 25 分钟、每周 5 天，按四段式（听 5 + 拼读 8 + 共读 7 + 输出 5）执行：含家长中英文话术手册、前 12 周"照做就行"的逐周课表、第 4–12 月按月主题、30 个家庭游戏、家长英语不好也能教的 5 条路径、12 种状况急救包，以及可打印的字母音表/高频词表/词族表与三张评估表。

· DeepSeek 内测 V4.1 Flash · 两部门要求车企定期报告供应商账期，重点企业每年接受评估 · 曝微信 PC 版接入 AI 助手「小微」，可操作聊天与小程序 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更…

从零微调 GPT-2 的完整流程：数据准备、训练与效果评估

该论文提出跨领域基准 RuleTrek，通过结构化规则图与增量组合子场景的构建流程，评估智能体在信息分散于多文件场景中的规则识别与应用能力。

论文从电路复杂度角度证明：在温和的正则性条件下，标准流匹配采样器的轨迹可被常数轮并行模型评估模拟，因此单纯增加采样步数无法提升固定深度骨干模型的表达能力，并提出自条件化以实现深度串行推理。

论文提出涵盖十个领域的 τ-Emotion-Bench 基准，在受控的情绪化用户交互下评估工具调用智能体，并配套 Tracer 数据生成管线用于构建任务与采集训练轨迹。

论文指出VLA模型开放的自然语言导航接口带来驾驶员误发或恶意下发不安全指令的新风险，提出了首个同时评估导航遵循与冲突意识及对抗鲁棒性的基准，并发现现有模型（如SimLingo在闭环中无法完成语言指令变道、冲突信号下性能骤降）均存在不足，进而提出SafeDriveVLA方法。

提出 CLASHarness 框架，用于评估视觉语言模型驱动的多智能体系统在信息不一致、指令矛盾等冲突场景下的处理能力，弥补现有基准多假设协作一致环境的不足。

文章介绍 SWEeper-Bench 基准，包含来自 200 个广泛使用的开源 Web 应用真实修复的 200 个任务，用于评估智能体在多步交互场景下自主发现并修复缺陷的能力，而现有基准多假设缺陷已被识别。