想发表 AI 安全研究、想知道这个领域的学术版图？主流 ML 会议的安全 track、专门的安全会议、跨学科期刊——AI 安全的学术生态是「寄生在 ML 会议里」长出「自己的专场」的过程。

AI 安全的岗位需求在爆发，但这个领域的职业地图还没有被好好画过——企业侧的红队与安全工程师、实验室的对齐研究员、政府的评测分析师、独立社区的研究者——四类角色、四条路径、四种修炼。

IT之家 9 月 13 日消息，谷歌 DeepMind 研究员乔希 · 恩格尔斯（Josh Engels）已离开公司的通用人工智能安全团队，加入独立 AI 评估机构 METR。他表示，自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓…

IT之家 9 月 15 日消息，随着美国各界对 AI 可能威胁经济和国家安全的担忧不断升温，OpenAI 开始与主要竞争对手 Anthropic 和谷歌 DeepMind 合作研究 AI 安全措施，进一步推动行业共同应对潜在风险。 据彭博社…

OpenAI 回应三名安全研究人员被解雇争议，否认与安全警告有关，称内部调查发现「重大信任破坏」。

154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》，把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开，也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据，追问四个问题：攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。

聊 AI 治理不能只聊欧盟与中国：美国的联邦-州双轨博弈、英国的「安全研究所路线」、新加坡的框架治理、G7 与联合国的国际机制——每个辖区都在用不同的哲学回答同一个问题。本文补全全球治理地图上「除中欧外」的部分，看清各条路线的分野与合流。

2026-09-28 剑桥 CASP 发布 22 位作者联合报告，Hinton、Bengio、Barto 三位图灵奖得主与 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 等首次联署，警告自动化 AI 研发可能触发"智能爆炸"。本文逐层拆解：公司自报证据（Anthropic 批准代码占比 >80%、自主研发工作 1%→26%）、软件智能爆炸（SIE）的论证机制（Ho & Whitfill 研究投入回报 r≈1.2–1.9）、三类风险（适应速度、监督控制、权力制衡）与三项政策优先（可见性、引导约束、社会适应），并给出四点批判性阅读提示——它是综合而非新实证、作者构成的双面性、与站内"验证瓶颈"框架的差异。

梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证：Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化，开放式 RSI 尚未发生；而进步与安全共享同一个「验证瓶颈」。

网络安全险（Cyber Insurance）用了二十年把安全从成本变成可保资产。AI 险正在走同一条路：幻觉责任险、AI 治理险、模型失效险——保险业的精算介入，会给 AI 安全带来「市场化定价」的第三道治理力量。

Hacktron 安全团队组合利用 OpenAI 的 SSO（单点登录）配置错误以及其社区论坛使用的 Discourse 软件 libheif 软件包堆缓冲区溢出漏洞，成功控制了多名 OpenAI 员工的 ChatGPT 账户。利用这些账户…

一份关于递归自我改进（RSI）的 2026 年全景深度研究：从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代，从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限，区分"主机节点接管已发生"与"全球接管仍是预测"三层口径；并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭，以及一份"协议 10 年衰退概率 48%–62%"的现实账。

IT之家 10 月 24 日消息，Meta 旗下个人 AI 助手 Muse 的对话分享功能被曝存在隐私风险。 网络安全研究团队 Claroc 于 10 月 18 日发布报告称，研究人员通过被动 DNS（Passive DNS）查询发现，超过…

三名被解雇的 OpenAI 前 AI 安全研究人员发表公开信，称解雇或对员工公开表达意见产生寒蝉效应，OpenAI 则回应称三人违反了敏感信息访问和处理规定。

梦晨* 2026-10-09 14:28:55 来源：量子位 Google 研究成果首次登上《柳叶刀》主刊 允中 发自 凹非寺 量子位 | 公众号 QbitAI AI能否在患者就诊前就安全评估患者的就医需求？由Google与贝斯以色列女执…

从「AI 辅助科研」到「AI 自主科研」：Sakana 的 AI Scientist 尝试让模型独立完成从想法、实验、写作到评审的完整闭环。本篇拆解自动化研究智能体的架构（想法生成—代码实验—论文写作—自动评审）、闭环里每个环节的真实成色、AI co-scientist 等后续进展，以及「机器发现」离真正的科学贡献还有多远。

AI 写代码引入了三类新安全面：约两成 AI 建议的包名并不存在（攻击者开始抢注这些「幻觉包名」，术语叫 slopsquatting）、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

三名被OpenAI解雇的安全研究人员发表公开信，否认公司关于其违规处理敏感信息的指控，并警告解雇事件会对公司文化产生寒蝉效应。

IT之家 9 月 27 日消息，据 Axios 报道，OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中，两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。 这些事件发生在近几个月的内部测试和现实环…

据报道，Anthropic 已拟定前沿 AI 安全法案草案并私下向美国国会议员推介，拟设政府干预门槛：可能造成超 10 亿美元损失或 50 人以上死伤时方可阻止模型发布。

算力是 AI 的硬通货——而它有一个其他资源没有的特性：极度集中。训练前沿模型需要的芯片、数据中心与电力，掌握在全球极少数企业手中。这个集中性让「算力」成为 AI 治理的独特杠杆：出口管制用它卡能力的扩散，追踪机制用它验证合规。本文讲清算力治理的逻辑、实践与它管不住的部分。

华盛顿大学研究发现，AI 模型在面试、演讲与英语测试场景中会对带特定口音的说话者作出不利评估。

大模型的科学能力是双刃剑的极端形态：同一个能帮学生学生物的模型，理论上也可能在合成生物学的路径上「辅导」一个恶意行为者。生化（bio/chem）风险因此成为前沿 AI 安全的必答题——能力评估、访问管控与监管要求正在围绕它成型。本文讲清这个领域的风险模型、行业实践与监管框架。

OpenAI、Anthropic、Google、Meta 高管及 AI 吹哨人在纽约市议会全体委员会听证会上就 AI 风险与安全保障措施宣誓作证。

开放权重模型（人人可下载、可微调、可本地部署）是 AI 生态最重要的活力来源，也是安全辩论最激烈的战场：拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。

NVIDIA 开源的 Agent 安全运行时 OpenShell 单日涨星 1200+：Landlock 与 seccomp 在内核层管住文件与网络，真实凭据永不下发沙箱，Z3 求解器在毫秒内证明策略变更不越界。本文拆解其控制面与数据面架构、策略提案闭环与落地场景。

IT之家 9 月 24 日消息，据路透社报道，一项最新研究显示，美国人工智能基础设施建设对经济产出的消耗，可能超过电力、铁路、州际高速公路以及互联网等历史上大型基础设施建设项目，而且围绕 AI 产业形成的融资结构正变得越来越复杂，可能带来系…

IT之家 9 月 18 日消息，路透社今天（18 日）晚间援引知情人士消息称，Anthropic 在旧金山湾区低调建立了一座湿实验室，把 AI 业务进一步延伸到 需要实际动手操作的生物学研究和药物科学领域 。 知情人士透露，在公众对 AI …

系统拆解吴恩达 2026 年 8–9 月连发五封来信构建的《AI 工程技能地图》：四大顶层能力、编程智能体的三阶段工作流与五项细分技能，剖析其数据方法论、隐藏主线与三条反主流论断，并对地图本身的边界与争议做批判性审视，附个人自评与团队落地清单。

航空业把每一次事故都变成全行业的学习（事故报告制度），这是它成为最安全交通方式的原因之一。AI 正在做同样的事：事故数据库、强制报告义务、险情共享机制正在成型。本文讲清 AI 事故报告的制度设计、各国的义务条款、以及「报告文化」为什么比「零事故」更重要。

「对齐（Alignment）」是 AI 安全的核心词，但它常常被误解为「让 AI 说出得体的话」。真正的对齐问题要尖锐得多：如何让一个能力可能远超人类设计者预期的系统，可靠地追求人类真实的意图？本文讲清对齐的三个层次、古德哈特定律为什么是对齐的宿敌、以及「对齐税」这个被低估的概念。

《AI 虚拟细胞（AIVC）技术趋势、产业生态与应用前景研究报告——AI 时代生命科学的新型基础设施》正式发布。]

基于视频《为什么沙箱成了 AI 圈最卷的新基建》的深度延伸调研。逐层拆解 Agent 沙箱的七层架构：microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源，逐条标注证据等级，并并列呈现视频口播与论文的口径冲突、8 条常见误判澄清。

DevSecOps 把安全装进了软件的 CI/CD，MLSecOps 把同样的哲学装进 AI：模型的上线要过安全门、依赖要扫漏洞、提示词的变更要审、评测要进流水线。AI 应用的安全不能靠事后救火，要靠流水线的门禁。

AI 应用在企业里铺开，CISO 的防护对象变了：模型、提示词、Agent、向量库——但这些新物种的威胁模型与传统安全有多少是通的？给安全从业者转型 AI 安全的知识迁移地图：哪些要带、哪些要学、哪些要放下。

中国监管地图篇讲了备案与合规清单，这篇往下挖一层：标准的体系——全国网安标委（TC260）的《人工智能安全治理框架》、系列安全标准与「法规-标准-实践」的传导机制。理解标准层，才算真正理解中国 AI 安全治理的操作面。

IT之家 10 月 12 日消息，据《卫报》报道，英国将加强其网络防御，同时呼吁顶尖人工智能研发企业在系统安全治理上采取更积极的举措。 英国 AI 国务大臣卡尼什卡 · 纳拉扬（Kanishka Narayan）预计将在西伦敦发表的专题演讲…

9月18日，在第一届中国网络空间安全大会上，《网络安全人才实战能力报告—AI赋能篇》正式发布]

Bloomberg 引述研究警告：若 AI 热潮崩盘，东南亚及中日韩等亚洲经济体因高度依赖 AI 相关出口，受冲击程度将超过多数经济体。

基于 2026-09-22 独立研究整理：拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护（凭据代理替换 / tainted egress / 审批绕过模型）、Muse Spark 1.3 能力口径（AA 指数 61–62 vs Claude Fable 5.1 的 66）、定价与商业模型、三情景推演与风险矩阵，并给出核心判断——Agent 的天花板由平台开放意愿决定，而非模型智力。

大模型的「听话」不是天生的，是训练出来的：监督微调（SFT）教它格式，人类反馈强化学习（RLHF）教它偏好，宪法 AI（CAI）试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么，以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。

企业 AI 风险的第一现场往往不是「部署了大模型」，而是「员工早已在用」：代码贴进公共 AI、客户数据进了第三方模型、AI 生成的错误内容直接出街。企业 AI 治理清单从这个最现实的起点出发：政策、数据分级、供应商评估、人机责任四层，给出一份可落地的治理框架。

从模型市场下载一个开源权重文件，可能携带的不只是参数：pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。

2023 年英国成立全球第一家 AI 安全研究所（AISI），2024 年美国跟进并促成国际网络——政府不再只听厂商汇报，开始自己动手评测前沿模型。AISI 模式的崛起，正在改写「谁有资格评估 AI 安全」的权力结构。

多模态AI大牛轮番登台，全球64支团队组团解题]

AI 安全的工具生态正在开源社区快速成形：NVIDIA 的 Garak、微软的 PyRIT、Anthropic 的评测框架——红队工程师的瑞士军刀已经组装完毕。盘点主流工具的能力边界，以及「工具好找、用得好的很少」的现状。

IT之家 10 月 8 日消息，据《商业内幕》今天（8 日）凌晨报道，上周从 OpenAI 离职的安全系统团队前负责人之一戴维 · 罗宾逊认为，公司在 AI 安全问题上存在明显的言行不一。 罗宾逊表示，**OpenAI 一边反复警告新模型能…

IT之家 9 月 27 日消息，2026 世界新能源汽车大会（WNEVC）于 9 月 22 日-24 日在海南海口举办。 据睿见 Economy 报道，吉利汽车集团副总裁、吉利汽车研究院院长李传海表示，AI 在汽车领域的应用正在加速，但有一…

北京时间 9 月 23 日，据彭博社报道，AI 先锋李飞飞呼吁由独立机构和公共部门对 AI 进行更多监督。她认为，对于能力日益强大的 AI 系统，其安全评估不应完全交由开发这些系统的公司负责。 作为斯坦福大学教授、World Labs 联合…