据报道，Anthropic 已拟定前沿 AI 安全法案草案并私下向美国国会议员推介，拟设政府干预门槛：可能造成超 10 亿美元损失或 50 人以上死伤时方可阻止模型发布。

AI 写代码引入了三类新安全面：约两成 AI 建议的包名并不存在（攻击者开始抢注这些「幻觉包名」，术语叫 slopsquatting）、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。

OpenAI、Anthropic、Google、Meta 高管及 AI 吹哨人在纽约市议会全体委员会听证会上就 AI 风险与安全保障措施宣誓作证。

NVIDIA 开源的 Agent 安全运行时 OpenShell 单日涨星 1200+：Landlock 与 seccomp 在内核层管住文件与网络，真实凭据永不下发沙箱，Z3 求解器在毫秒内证明策略变更不越界。本文拆解其控制面与数据面架构、策略提案闭环与落地场景。

算力是 AI 的硬通货——而它有一个其他资源没有的特性：极度集中。训练前沿模型需要的芯片、数据中心与电力，掌握在全球极少数企业手中。这个集中性让「算力」成为 AI 治理的独特杠杆：出口管制用它卡能力的扩散，追踪机制用它验证合规。本文讲清算力治理的逻辑、实践与它管不住的部分。

企业 AI 风险的第一现场往往不是「部署了大模型」，而是「员工早已在用」：代码贴进公共 AI、客户数据进了第三方模型、AI 生成的错误内容直接出街。企业 AI 治理清单从这个最现实的起点出发：政策、数据分级、供应商评估、人机责任四层，给出一份可落地的治理框架。

开放权重模型（人人可下载、可微调、可本地部署）是 AI 生态最重要的活力来源，也是安全辩论最激烈的战场：拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。

聊 AI 治理不能只聊欧盟与中国：美国的联邦-州双轨博弈、英国的「安全研究所路线」、新加坡的框架治理、G7 与联合国的国际机制——每个辖区都在用不同的哲学回答同一个问题。本文补全全球治理地图上「除中欧外」的部分，看清各条路线的分野与合流。

梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证：Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化，开放式 RSI 尚未发生；而进步与安全共享同一个「验证瓶颈」。

154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》，把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开，也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据，追问四个问题：攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。

航空业把每一次事故都变成全行业的学习（事故报告制度），这是它成为最安全交通方式的原因之一。AI 正在做同样的事：事故数据库、强制报告义务、险情共享机制正在成型。本文讲清 AI 事故报告的制度设计、各国的义务条款、以及「报告文化」为什么比「零事故」更重要。

「对齐（Alignment）」是 AI 安全的核心词，但它常常被误解为「让 AI 说出得体的话」。真正的对齐问题要尖锐得多：如何让一个能力可能远超人类设计者预期的系统，可靠地追求人类真实的意图？本文讲清对齐的三个层次、古德哈特定律为什么是对齐的宿敌、以及「对齐税」这个被低估的概念。

AI 产品最脆弱的用户是儿童：AI 生成的儿童性虐待材料成为执法机构的新战场，AI 陪伴应用对未成年人的情感操纵引发诉讼，算法推荐把孩子推向有害内容的能力空前。儿童保护在 AI 时代被推到安全议题的最前排——本文讲清风险的三个层面、监管的响应与设计伦理的底线。

大模型的科学能力是双刃剑的极端形态：同一个能帮学生学生物的模型，理论上也可能在合成生物学的路径上「辅导」一个恶意行为者。生化（bio/chem）风险因此成为前沿 AI 安全的必答题——能力评估、访问管控与监管要求正在围绕它成型。本文讲清这个领域的风险模型、行业实践与监管框架。

在加州 AI 安全监管讨论中，Anthropic 主张州总检察长可申请法院叫停危险模型，OpenAI 则倾向另一种强制性机制，两家公司立场公开分歧。

AI 安全公司 Gray Swan 重启红队测试 Arena 竞赛，聚焦 AI 智能体时代的越狱攻防。

哈里斯在韩国警告遏制 AI 最严重风险的窗口正在关闭，敦促各国政府与科技公司紧急建立 AI 安全防护，并开展美中合作。

美国国土安全部以供应链风险为由下令联邦民事机构从 IT 系统中移除 DeepSeek 相关产品，北京指责这是以国家安全为借口的歧视性打压。

IT之家 10 月 12 日消息，据《卫报》报道，英国将加强其网络防御，同时呼吁顶尖人工智能研发企业在系统安全治理上采取更积极的举措。 英国 AI 国务大臣卡尼什卡 · 纳拉扬（Kanishka Narayan）预计将在西伦敦发表的专题演讲…

IT之家 10 月 8 日消息，据《商业内幕》今天（8 日）凌晨报道，上周从 OpenAI 离职的安全系统团队前负责人之一戴维 · 罗宾逊认为，公司在 AI 安全问题上存在明显的言行不一。 罗宾逊表示，**OpenAI 一边反复警告新模型能…

IT之家 9 月 24 日消息，The Information 今天（24 日）晚间援引知情人士消息称，谷歌、OpenAI 和 Anthropic 三家 AI 公司正自行推进成立 AI 安全标准机构的计划，希望在没有政府监督的情况下，**于…

IT之家 9 月 24 日消息，微软总裁布拉德 · 史密斯表态**支持引入独立评估方**，对 AI 进行安全评估。 正在纽约举行的联合国大会上，AI 安全以及全球范围内如何监管 AI 行业，是各国领导人和企业高管重点讨论的问题。当地时间 2…

北京时间 9 月 23 日，据彭博社报道，AI 先锋李飞飞呼吁由独立机构和公共部门对 AI 进行更多监督。她认为，对于能力日益强大的 AI 系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs 联合…

IT之家 9 月 22 日消息，据路透社今日援引知情人士消息，中国人工智能初创公司 DeepSeek（深度求索）将在本周参加联合国安理会，**讲解 AI 安全风险**。与此同时，世界各国领导人将齐聚纽约，参加一年一度的联合国大会。 IT之家…

9月18日，在第一届中国网络空间安全大会上，《网络安全人才实战能力报告—AI赋能篇》正式发布]

IT之家 9 月 17 日消息，低功耗 FPGA 企业 Lattice（莱迪思）当地时间昨日宣布推出 FPGA 开发 AI 辅助工具 Radiant、安全控制 FPGA 新品系列 Mach-N2。 Prompt 以 Lattice 经过验证…

IT之家 9 月 16 日消息，昨日（9 月 15 日）举办的 Salesforce 活动中，英伟达首席执行官黄仁勋表示， AI 开发不应被理解为“速度”和“安全”二选一。 IT之家援引彭博社报道，在对话 Salesforce 首席执行官马…

IT之家 9 月 15 日消息，随着美国各界对 AI 可能威胁经济和国家安全的担忧不断升温，OpenAI 开始与主要竞争对手 Anthropic 和谷歌 DeepMind 合作研究 AI 安全措施，进一步推动行业共同应对潜在风险。 据彭博社…

安全工程领域有一种名为隐晦式安全（Security through obscurity）的设计方式，即只要网络和系统的架构以及任何漏洞或弱点保密或不为人知，它们就是安全的。但在 AI 辅助 bug 发现的时代，这种设计方式过时了。软件供应商…

IT之家 9 月 13 日消息，谷歌 DeepMind 研究员乔希 · 恩格尔斯（Josh Engels）已离开公司的通用人工智能安全团队，加入独立 AI 评估机构 METR。他表示，自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓…

从模型市场下载一个开源权重文件，可能携带的不只是参数：pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。

单个智能体的安全问题（权限、注入、失控）已经够难；当多个智能体组成团队协作——互相委托任务、传递上下文、协商决策——安全问题的形态发生质变：错误在链条里放大、信任在智能体间传递、责任在系统里蒸发。本文讲清多智能体系统的新攻击面与安全设计的原则。

Anthropic 招股书披露上半年营收约 163 亿美元、净亏损 807 亿美元，并自曝曾因安全顾虑暂停下一代旗舰模型训练超一个月。

前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署模式过于激进、安全投入不足，并呼吁 AI 行业建立类似核电与航空级别的安全保障体系，OpenAI 对此作出回应。

文章介绍 Nvidia 在机器人和自动驾驶等物理 AI 领域投入数十亿美元，并于 2025 年推出 Halos 安全系统、2026 年 6 月扩展至机器人领域，旨在帮助开发者降低机器伤害人类的风险。

OpenAI 回应三名安全研究人员被解雇争议，否认与安全警告有关，称内部调查发现「重大信任破坏」。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。

2026-09-28 剑桥 CASP 发布 22 位作者联合报告，Hinton、Bengio、Barto 三位图灵奖得主与 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 等首次联署，警告自动化 AI 研发可能触发"智能爆炸"。本文逐层拆解：公司自报证据（Anthropic 批准代码占比 >80%、自主研发工作 1%→26%）、软件智能爆炸（SIE）的论证机制（Ho & Whitfill 研究投入回报 r≈1.2–1.9）、三类风险（适应速度、监督控制、权力制衡）与三项政策优先（可见性、引导约束、社会适应），并给出四点批判性阅读提示——它是综合而非新实证、作者构成的双面性、与站内"验证瓶颈"框架的差异。

Dario Amodei 发文主张放慢 AI 能力提升速度，提出"嵌入式评估员—民主国家协调—全球协调"三步走方案，第一步 Anthropic 已单方面承诺执行；Altman 与马斯克罕见附和，业内同时出现"监管俘获"质疑。

农业是 AI 落地最「接地气」的行业：卫星与无人机遥感在数亿亩耕地上方巡天，AI 植保识别病虫害，算法在调配水肥。农业 AI 的特点与城市产业完全相反——环境不可控、数据难采集、回报周期长，但它的价值是粮食安全级的。本文讲清农业 AI 的真实落地地图与「泥土里做算法」的硬功夫。

大模型的「听话」不是天生的，是训练出来的：监督微调（SFT）教它格式，人类反馈强化学习（RLHF）教它偏好，宪法 AI（CAI）试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么，以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。

「给 AI 生成的内容打个看不见的标记」是溯源最直觉的方案：文本水印改写词频、图像水印编进像素、Google 的 SynthID 已商用。但水印天生是一攻一防的军备：改写攻击、 paraphrase 绕过、开源模型无法强制。本文讲清水印的技术原理、已被证明的局限、以及它在「溯源工具箱」里的真实定位。

AI 系统造成损害，责任链条上有四个角色：训练模型的、提供平台的、部署应用的、直接使用的。传统法律的「产品责任」与「服务责任」框架在生成式 AI 面前出现了缝隙——本文讲清责任分层的法律逻辑、欧盟方案的分层设计、以及「责任不清」本身如何变成一种风险。

AI 与军事的结合不是未来时而是现在时：目标识别、情报分析、无人系统的自主化——以及最尖锐的争议点：自主武器（LAWS）该不该被禁止。这场辩论已经持续四十年，从联合国公约讨论到实验室的道德声明。本文讲清军事 AI 的现实图景、LAWS 辩论的核心论点、以及「人的判断」这条底线的攻防。

嘉信理财拦截未授权外部 AI 智能体、拟开放只读受控通道，摩根大通、花旗、美银也设限；戴蒙称客户授权后须自担责任。

开源办公套件 ONLYOFFICE 发布 10.0 秋季大版本，带来编辑器内上下文感知 AI 工具、模块化应用架构与更强的安全机制。

Anthropic 的 Constitutional AI（Bai et al., 2022）提出两段式对齐：模型按约 75 条成文原则自我批评、修订回答做监督学习，再用 AI 反馈（RLAIF）替代人类偏好标注做强化学习。本文精读两阶段的机制、与 RLHF 的对照，以及「AI 给 AI 打分」的遗留问题。

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

AI 没有消灭交付瓶颈，只是把瓶颈从"写代码"搬到了"验证代码"。本文基于 2 篇 arXiv 论文、DORA 2025 报告与 2026 年三份行业基准（LinearB 8.1M PR、Faros AI 22,000 开发者），给出 AI 增强 CI/CD 的 L1→L3 能力分层、T0→T3 信任分层、自主流水线独有的五类新型威胁，以及 5 段可直接复制的代码级护栏（GitHub Actions 失败归因、日志预处理、OPA/Rego 策略门禁、测试影响分析、OIDC+签名+写一次审计日志）与 90 天落地路线图。关键数据：任务吞吐 +33.7% 但评审耗时 +441.5%、生产事故/PR 比值 +242.7%；AI PR 30 天合并率 32.7% vs 人工 84.4%；论文实验中 Lead Time −35%、CFR −38%、MTTR −43%，AI 干预准确率 87.5%、人工否决率 14.3%、零策略违规。

面向工程师的 OpenClaw 架构深度长文：四层设计总览、Gateway 单进程控制平面、Agent Loop 完整生命周期、Markdown 记忆管线、四槽插件体系、安全模型与多代理路由，还原一个生产级 AI Agent 运行时的设计取舍。