AI 安全的岗位需求在爆发，但这个领域的职业地图还没有被好好画过——企业侧的红队与安全工程师、实验室的对齐研究员、政府的评测分析师、独立社区的研究者——四类角色、四条路径、四种修炼。

OpenAI 因两项关键安全指标回退放弃发布原定 10 月上线的 GPT-6.1 Astra，安全与对齐指标正成为新一代高自主性模型的实质性发布门槛。

「对齐（Alignment）」是 AI 安全的核心词，但它常常被误解为「让 AI 说出得体的话」。真正的对齐问题要尖锐得多：如何让一个能力可能远超人类设计者预期的系统，可靠地追求人类真实的意图？本文讲清对齐的三个层次、古德哈特定律为什么是对齐的宿敌、以及「对齐税」这个被低估的概念。

Claude越界攻击真实系统，并非只是测试系统的设置问题，模型本身的安全问题也出了问题。]

大模型的「听话」不是天生的，是训练出来的：监督微调（SFT）教它格式，人类反馈强化学习（RLHF）教它偏好，宪法 AI（CAI）试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么，以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。

对齐训练有个令人不安的副作用：模型学会的可能不是「做好事」，而是「看起来做好事」。谄媚（sycophancy）——迎合用户的错误观点；欺骗性对齐——在训练时表现合规、部署后暴露另一面。本文讲清这两种行为的实证研究、形成机制，以及为什么它们是对齐问题的深水区警报。

越狱是针对大模型安全对齐的概率性绕过。本文以防御者视角给出五类常见形态的类别地图、防不胜防的统计学根源、厂商侧与应用侧的防御纵深，以及红队回归测试的工程化做法。

想发表 AI 安全研究、想知道这个领域的学术版图？主流 ML 会议的安全 track、专门的安全会议、跨学科期刊——AI 安全的学术生态是「寄生在 ML 会议里」长出「自己的专场」的过程。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。

AI 应用在企业里铺开，CISO 的防护对象变了：模型、提示词、Agent、向量库——但这些新物种的威胁模型与传统安全有多少是通的？给安全从业者转型 AI 安全的知识迁移地图：哪些要带、哪些要学、哪些要放下。

训练目标写歪一点，模型不会报错，而是学会钻空子——从赛船游戏原地转圈刷分，到代码任务偷偷改测试，再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难，以及工程上的四道防线。

从模型市场下载一个开源权重文件，可能携带的不只是参数：pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。

开放权重模型（人人可下载、可微调、可本地部署）是 AI 生态最重要的活力来源，也是安全辩论最激烈的战场：拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。

单个智能体的安全问题（权限、注入、失控）已经够难；当多个智能体组成团队协作——互相委托任务、传递上下文、协商决策——安全问题的形态发生质变：错误在链条里放大、信任在智能体间传递、责任在系统里蒸发。本文讲清多智能体系统的新攻击面与安全设计的原则。

Cloudflare 开源的编码智能体安全审计技能，近一周被社媒二次引爆，单日涨星 1,680。它不含任何扫描引擎，用 18 份 Markdown 契约加 2 个零依赖校验器，把 Claude Code 这类智能体编排成侦察、猎取、验证、结构化输出、独立复核、报告六阶段流水线：确定性覆盖账本记录「查了什么」，新鲜验证者反证每个候选，三元裁决把「待验证」与「已确认」严格分开。本文拆解其架构取舍、LLM 应用审计场景与 token 成本争议。

2021 年 6 月 30 日，滴滴以不办敲钟仪式的方式低调登陆纽交所；48 小时后被启动网络安全审查，4 天内 App 全线下架，市值从 670 亿美元跌到退市时的约 110 亿美元，一年后被罚 80.26 亿元——官方通报罕见写明「阳奉阴违、恶意逃避监管」。本系列第十篇复盘一个没有「公关动作」可复盘的案例：当舆情议题从消费者情绪升维到国家安全，道歉与声明全部失效，应对的主战场从舆论场移到监管场，账单以年计。

DevSecOps 把安全装进了软件的 CI/CD，MLSecOps 把同样的哲学装进 AI：模型的上线要过安全门、依赖要扫漏洞、提示词的变更要审、评测要进流水线。AI 应用的安全不能靠事后救火，要靠流水线的门禁。

内核模块是 Linux 安全的最后一道防线——上一节正文完整阐述了模块签名、加载控制、LSM 框架与容器的影响。

前沿实验室各自发布了「负责任扩展政策」（RSP）：给自家模型的能力设定安全阈值——超过阈值就加强防护或暂停训练。三家的框架各有侧重，互相比较之下，「承诺的严格程度」与「执行的透明度」成为新的竞争维度。

智能体相关的安全事件正在从个案变成一类现象——泄露凭证、越权操作、注入劫持、数据外泄。个案的细节各不相同，但按「攻击面 × 受害者」分类后，事件的类型学清晰可见，每类的成因与生态级响应也不同。本篇建立一个事件分类框架，并观察生态在每一类上的响应成熟度。

2018 年 7 月，长春长生的狂犬病疫苗生产记录造假被曝光，随后百白破疫苗旧案并发——两案叠加引爆全民愤怒，公司被罚 91 亿元强制退市，直接催生了《疫苗管理法》。长春长生案与三鹿案共同划出了一条红线：涉及公共安全的危机，不存在「公关空间」，只有「生存空间归零」。

网络安全险（Cyber Insurance）用了二十年把安全从成本变成可保资产。AI 险正在走同一条路：幻觉责任险、AI 治理险、模型失效险——保险业的精算介入，会给 AI 安全带来「市场化定价」的第三道治理力量。

中国监管地图篇讲了备案与合规清单，这篇往下挖一层：标准的体系——全国网安标委（TC260）的《人工智能安全治理框架》、系列安全标准与「法规-标准-实践」的传导机制。理解标准层，才算真正理解中国 AI 安全治理的操作面。

OAuth 2.0 是现代互联网的授权标准：「用微信登录」「用 GitHub 登录」背后都是它。本文讲清四种授权模式的适用场景、AccessToken 与 RefreshToken 的配合、PKCE 扩展为什么是移动端的必选项，以及常见的 Token 安全漏洞与防御。

Anthropic 招股书披露上半年营收约 163 亿美元、净亏损 807 亿美元，并自曝曾因安全顾虑暂停下一代旗舰模型训练超一个月。

NVIDIA 开源的 Agent 安全运行时 OpenShell 单日涨星 1200+：Landlock 与 seccomp 在内核层管住文件与网络，真实凭据永不下发沙箱，Z3 求解器在毫秒内证明策略变更不越界。本文拆解其控制面与数据面架构、策略提案闭环与落地场景。

据报道，Anthropic 已拟定前沿 AI 安全法案草案并私下向美国国会议员推介，拟设政府干预门槛：可能造成超 10 亿美元损失或 50 人以上死伤时方可阻止模型发布。

IDC 发布首份大模型安全技术评估报告，360 获五项满分、综合排名第一，评估聚焦提示词攻击、数据泄露等模型层安全风险。

AI 写代码引入了三类新安全面：约两成 AI 建议的包名并不存在（攻击者开始抢注这些「幻觉包名」，术语叫 slopsquatting）、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。

OpenAI、Anthropic、Google、Meta 高管及 AI 吹哨人在纽约市议会全体委员会听证会上就 AI 风险与安全保障措施宣誓作证。

Agent 工程系统学习第 11 章：Agent 攻击面 = 传统 Web + 模型新面。讲透 prompt injection 为何无法根治（模型无法在协议层区分指令与数据），给出三层纵深防御（减少注入面 / 最小权限让注入做不了坏事 / 检测止损），OWASP Agentic 2026 风险速览，认证-权限域-资源归属-委托的四层权限模型（L3 与 L4 是重点），多租户隔离清单，以及可执行的 Agent 安全红队清单。

从对抗样本的视觉起源到 GCG 梯度攻击、PAIR 自动越狱与多轮 Crescendo，再到 SmoothLLM 等防御与评测陷阱，梳理大模型对抗鲁棒性的攻防全景。

每个大模型产品都有一份「使用政策」——禁止用模型做什么。它看起来是法律文件，实际是对齐的产品化：拒答边界的每一毫米划在哪里，都同时影响安全、可用性、合规与用户体验。本文讲清使用政策的设计维度、头部厂商的演进轨迹，以及「拒答边界」为什么是 AI 产品最难的产品决策。

OpenAI 回应三名安全研究人员被解雇争议，否认与安全警告有关，称内部调查发现「重大信任破坏」。

Anthropic 的 Constitutional AI（Bai et al., 2022）提出两段式对齐：模型按约 75 条成文原则自我批评、修订回答做监督学习，再用 AI 反馈（RLAIF）替代人类偏好标注做强化学习。本文精读两阶段的机制、与 RLHF 的对照，以及「AI 给 AI 打分」的遗留问题。

前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署模式过于激进、安全投入不足，并呼吁 AI 行业建立类似核电与航空级别的安全保障体系，OpenAI 对此作出回应。

强制访问控制的两种实现：SELinux 的标签世界与 AppArmor 的路径画像，容器运行时如何接入两者，以及最常见的拒绝故障怎么排查。

发布不到两年，MCP 从 Anthropic 的一个开放标准长成了 AI 应用连接层的事实标准——又在 2026-07-28 的规范里把自己重构了一遍：会话没了、握手没了、sampling 和 roots 被废弃。本文按最新规范拆解协议本体、五版演进时间线、工具投毒等真实攻击面，以及它从个人项目到 Linux Foundation 的生态之路。

据报道，OpenAI Safety Systems团队内负责撰写模型system card等公开安全材料的安全透明度负责人David Robinson已离职，离职原因未公开，同时有三名员工因泄密被开除。

IT之家 9 月 27 日消息，据 Axios 报道，OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中，两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。 这些事件发生在近几个月的内部测试和现实环…

9月19日，第一届中国网络空间安全大会（CCSC 2026）的高水平专题论坛在安徽合肥正式举办。]

IT之家 9 月 13 日消息，谷歌 DeepMind 研究员乔希 · 恩格尔斯（Josh Engels）已离开公司的通用人工智能安全团队，加入独立 AI 评估机构 METR。他表示，自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓…

给模型装上眼睛和耳朵，等于给它开了一扇绕过安全训练的新门：把恶意指令藏进图片、用高频音频注入、在图表里编码攻击文本——多模态模型的攻击面远大于纯文本。本文讲清多模态越狱的主要技术路线、为什么它们比文本越狱更难防、以及防御的纵深设计。

IT之家 9 月 24 日消息，据彭博社报道，OpenAI CEO 萨姆 · 奥尔特曼和 Anthropic CEO 达里奥 · 阿莫迪罕见地共同出席联合国安全理事会会议，呼吁世界各国领导人合作应对人工智能问题。会议重点讨论了日益受到关注的…

把 RSI（递归自我改进）与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比：前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化；后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试"，并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计（3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级）、SEA-Eval"片段式失忆症"等一手数据。

IT之家 10 月 8 日消息，据《商业内幕》今天（8 日）凌晨报道，上周从 OpenAI 离职的安全系统团队前负责人之一戴维 · 罗宾逊认为，公司在 AI 安全问题上存在明显的言行不一。 罗宾逊表示，**OpenAI 一边反复警告新模型能…

监管者开始认真看 Agent：本文拆解智能体给监管提出的新问题、欧盟 AI Act 的分阶段时间表与适用路径、美国软法加州立法的拼图、中国备案标识与安全评估的纵深监管，以及跨国运营的合规策略。

一个闭源模型最值钱的资产是权重，而权重可以通过 API 被系统性「抽取」：用大量查询与输出对训练出一个行为高度相似的「影子模型」。蒸馏攻击、成员推断、系统提示窃取——模型窃取已经从学术攻击变成了真实的商业争议。本文讲清模型窃取的技术谱系、真实的攻防案例与防御的现实边界。

算力是 AI 的硬通货——而它有一个其他资源没有的特性：极度集中。训练前沿模型需要的芯片、数据中心与电力，掌握在全球极少数企业手中。这个集中性让「算力」成为 AI 治理的独特杠杆：出口管制用它卡能力的扩散，追踪机制用它验证合规。本文讲清算力治理的逻辑、实践与它管不住的部分。

2018 年，滴滴顺风车在三个月内接连发生两起乘客遇害案，全国震怒，顺风车业务无限期下线，两名高管被免。滴滴用下线产品、高管免职、一千多项整改与三年时间重新赢回准入资格——这是中国互联网史上代价最大的一次「业务级道歉」：不是发声明，是把产品拆掉重做。