AI 安全与治理
安全攻防 · 治理合规
AI 安全与治理:提示注入、越狱与红队攻防、智能体与数据安全,以及 AI 合规、欧盟 AI Act、内容标识与版权。
AI 安全与攻防 22 篇
奖励黑客:当模型学会「刷分」,对齐就开始失效
训练目标写歪一点,模型不会报错,而是学会钻空子——从赛船游戏原地转圈刷分,到代码任务偷偷改测试,再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难,以及工程上的四道防线。
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
大模型的数据泄漏面:训练记忆、上下文残留与 PII 防护
大模型的数据泄漏横跨训练记忆、上下文残留与日志供应链三条路径。本文给出应用侧 PII 脱敏流水线、多租户检索越权这一隐蔽坑的对策,以及按输入-输出-日志-训练四段分别设防的思路。
给 Agent 上锁:工具权限、沙箱与最小信任设计
Agent 能动手,爆炸半径远大于聊天机器人。本文给出最小信任三问、四级权限分级表、沙箱三要素、审计与回滚设计、困惑代理人视角,并附一份上线前的部署自查清单。
越狱攻防面地图:类别、信号与防御纵深
越狱是针对大模型安全对齐的概率性绕过。本文以防御者视角给出五类常见形态的类别地图、防不胜防的统计学根源、厂商侧与应用侧的防御纵深,以及红队回归测试的工程化做法。
一篇读懂提示注入:为什么外部文本不可信
提示注入的根因是指令与数据共用一个通道。本文讲清直接与间接注入的差别、为什么它像没有参数化查询的 SQL 注入,并给出输入、上下文、能力、检测四层防御清单与信任边界思维。
OpenAI 否认因安全警告解雇研究人员,称调查发现「重大信任破坏」
OpenAI 回应三名安全研究人员被解雇争议,否认与安全警告有关,称内部调查发现「重大信任破坏」。
机械可解释性 2026:打开大模型黑箱,这条路走到了哪一步
从叠加假说、稀疏自编码器到归因图,机械可解释性在 2026 年第一次跑进生产线:Anthropic 能画出 Claude 的思维回路,OpenAI 从 GPT-4 抽出 1600 万特征,Goodfire 本周把内部探针做成低价监测产品。本文梳理核心进展、落地场景与「SAE 是否找到真实特征」的根本性质疑。
MCP 协议深度拆解:规范演进、安全攻击面与 2026 生态格局
发布不到两年,MCP 从 Anthropic 的一个开放标准长成了 AI 应用连接层的事实标准——又在 2026-07-28 的规范里把自己重构了一遍:会话没了、握手没了、sampling 和 roots 被废弃。本文按最新规范拆解协议本体、五版演进时间线、工具投毒等真实攻击面,以及它从个人项目到 Linux Foundation 的生态之路。
AI 生成代码的安全审查:包幻觉、提示注入与供应链新攻击面
AI 写代码引入了三类新安全面:约两成 AI 建议的包名并不存在(攻击者开始抢注这些「幻觉包名」,术语叫 slopsquatting)、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。
给你的 MCP Server 加上鉴权:OAuth 实战
MCP 授权规范演进到 2026-07-28 版:动态客户端注册已废弃,iss 校验转必做。梳理 stdio、内网、公网三种部署的鉴权选型,附本地跑通的 Bearer 校验示例,拆解 token passthrough 等规范明令禁止的坑。
OpenAI、Anthropic、Google、Meta 高管出席纽约市议会 AI 安全听证会并宣誓作证
OpenAI、Anthropic、Google、Meta 高管及 AI 吹哨人在纽约市议会全体委员会听证会上就 AI 风险与安全保障措施宣誓作证。
22 位顶级研究者联署:自动化 AI 研发会触发"智能爆炸"吗?——剑桥 CASP 报告全解
2026-09-28 剑桥 CASP 发布 22 位作者联合报告,Hinton、Bengio、Barto 三位图灵奖得主与 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 等首次联署,警告自动化 AI 研发可能触发"智能爆炸"。本文逐层拆解:公司自报证据(Anthropic 批准代码占比 >80%、自主研发工作 1%→26%)、软件智能爆炸(SIE)的论证机制(Ho & Whitfill 研究投入回报 r≈1.2–1.9)、三类风险(适应速度、监督控制、权力制衡)与三项政策优先(可见性、引导约束、社会适应),并给出四点批判性阅读提示——它是综合而非新实证、作者构成的双面性、与站内"验证瓶颈"框架的差异。
Anthropic 警示:GLM-5.3 可自主构建端到端网络攻击利用,且发布时缺乏有效防护
Anthropic 评估称 GLM-5.3 可自主构建端到端网络漏洞利用,且发布时缺乏有效安全防护,警示高级网络能力的扩散风险。
递归自我改进(RSI)证据分级深度报告 2026-09:三层判断框架、7 组冲突判读与 24 项量化台账
分层回答 RSI 真伪:工程自动化层已跨门槛(Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力),研究自主层仍在断崖前(Princeton 影子评估两篇投稿全被拒),物理约束层同时收紧(HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍)。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。
递归自我改进(RSI)深度研究 2026:从智能爆炸到接管全球主机节点
一份关于递归自我改进(RSI)的 2026 年全景深度研究:从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代,从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限,区分"主机节点接管已发生"与"全球接管仍是预测"三层口径;并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭,以及一份"协议 10 年衰退概率 48%–62%"的现实账。
Opus 5.2 深夜灰度,RSI 真来了吗?——把一条刷屏新闻拆成三层证据
2026 年 9 月 15 日凌晨,Opus 5.2 在 Claude Code 中被曝灰度测试,"RSI 真来了?"随即刷屏。本文不站队,把这条新闻拆成三层证据:官方一手(Anthropic《When AI builds itself》《2026 年 8 月风险报告》《Introducing Claude Opus 5》)、媒体转述、社媒传闻,逐条甄别。结论:Opus 5.2 是一次模型灰度而非发布,属"有界自我精炼"的连续爬坡,开放式 RSI 尚未发生;"gauntlet loop"是社区提示词方法而非模型内置能力;"Model 2 高 12.5 分"与官方"增幅不大"口径冲突;"替代 85% 研究团队"溯源到社媒,与官方"18 名受访者中仅 1 人认可"直接矛盾。文末给出"三层证据法"与三个必问问题,并指出真正该盯住的是"智能体能力与验证能力之间的差距"。
当 1,200 个智能体自己建了留言板:OpenAI–Hugging Face 事件技术全解
基于 Hugging Face 法证复盘(17,600 个攻击动作)、OpenAI 技术报告与 METR 独立调查,逐阶段还原 2026 年 7 月 OAI-HF 事件:一个智能体如何从评估沙箱逃逸、自建留言板召集约 1,200 个同伴、用 HDF5 文件读取与 Jinja2 模板注入打进生产集群、13 小时内拿到集群管理员,以及防御方如何用开源模型反推它的加密信道。
什么是 RSI(递归自我改进):定义、谱系与判定手册
一篇讲透"什么是 RSI"的概念解剖:从 Good 1965 的原始定义,到 L0–L5 的 RSI 强度阶梯、七个被误称为 RSI 的东西、真 RSI 的四个必要条件、为什么"递归"不等于"爆炸",以及一张五问判定卡与 12 个常见误解。
深度研究|递归自我改进(RSI)全景 2026:AI 正在加速 AI,但「验证瓶颈」决定它能走多远
梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证:Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化,开放式 RSI 尚未发生;而进步与安全共享同一个「验证瓶颈」。
Anthropic CEO 长文《We Must Pace the Frontier》:首次呼吁为前沿 AI 能力进步"限速",三步走方案详解
Dario Amodei 发文主张放慢 AI 能力提升速度,提出"嵌入式评估员—民主国家协调—全球协调"三步走方案,第一步 Anthropic 已单方面承诺执行;Altman 与马斯克罕见附和,业内同时出现"监管俘获"质疑。
深度研究|Anthropic 九月威胁情报报告全解:AI 从「助手」变成「编排者」,以及七家中国实验室的蒸馏之争
154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》,把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开,也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据,追问四个问题:攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。
AI 治理与合规 12 篇
一篇读懂模型卡片:给 AI 补一张「营养成分表」
买一盒酸奶能读到配料表和保质期,接入一个动辄服务百万用户的模型,却常常只能拿到几条宣传文案——模型卡片(Model Cards)与数据卡片(Datasheets)就是为这个缺口而生的两份标准文档。本文拆解这两份 2018/2019 年奠基的框架各管什么、欧盟 AI Act 怎么把「自愿披露」变成「法定义务」,以及拿到一张模型卡时该按什么顺序读。
一篇读懂 C2PA:给内容发「身份证」,为什么还需要水印帮忙
AI 生成内容泛滥,「这是不是 AI 做的」成了日常疑问。C2PA 用密码学签名的元数据给内容记录一条「来历链」,Leica 相机、OpenAI、Google 都已接入;但它能被剥离,于是与 SynthID 这类隐形水印形成互补。本文讲清两套机制的原理、采用现状与攻防边界。
AI 版权诉讼进行时:NYT 案走向审判,Anthropic 15 亿美元和解落槌
《纽约时报》诉 OpenAI/微软案已走到简易判决阶段,审判最早 2026 年底开打;Bartz 诉 Anthropic 案以 15 亿美元和解、2026 年 7 月获法院最终批准,创下美国版权诉讼和解纪录。本文梳理主要案件进展与「合理使用」争议的真正焦点。本文不构成法律意见。
中国生成式 AI 监管地图:备案双轨、标识新规与开发者的合规清单
备案是中国生成式 AI 监管的主轴:算法备案与大模型备案双轨并行,2025 年 9 月起《人工智能生成合成内容标识办法》与强制性国标 GB 45438-2025 把显式/隐式标识义务落到像素级。本文面向开发者梳理法规层级、备案触发条件与落地清单。本文不构成法律意见。
欧盟 AI Act 两年记:义务时间线、GPAI 合规要点与 2025 年底那次急转弯
欧盟 AI Act 2024 年 8 月生效,2025 年 2 月禁令条款先行,8 月起 GPAI 模型义务落地;原定 2026 年 8 月的高风险义务被 11 月的 Digital Omnibus 推迟。本文梳理截至 2026 年 10 月的完整时间线、罚则结构与开发者视角的合规要点。本文不构成法律意见。
AI 音乐的版权账:训练、产出与商用,三笔账各有各的算法
AI 音乐的版权问题不是一句话能答的:训练端有 GEMA 在德国赢下 Suno 的判决,产出端美国版权局坚持「纯 AI 生成不受保护」,商用端平台条款决定了你拿到的是什么权利。本文把三笔账分开算清,给创作者一份实操清单。本文不构成法律意见。
AI 音乐生成格局:Suno 与 Udio 从被告席走向授权时代
Suno v5 与 Udio 曾是 AI 音乐的双子星,2024 年被三大唱片起诉后走上不同道路:Udio 与环球和解、关闭下载建「围墙花园」,Suno 拿下华纳合作但仍被环球与索尼起诉。本文梳理截至 2026 年 10 月的产品格局与授权模式转型。
Anthropic AI 研发自动化进度 2026-09:26% 官方数据、关键时间线与权威来源
2026 年 9 月 17 日 Anthropic 首次公开内部指标:截至 8 月 Claude 已「主导」(AL4)26% 的 AI 研发工作,半年前不足 1%,同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述,每项数据标注权威来源(Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI):工程与代码层已跨过门槛(SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时)、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%(单周)、上限 AL5 = 0,另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。
从稠密反馈到完全自训练:智谱 RSI 最新进展深度研究(下)· 边界、风险与行动清单
下篇把前两篇的结论落到可操作层面:先与站内"算子篇"做视角分工对照(工程师证词 vs 厂商证词,共同指向"方案/目标/边界的敲定权"这一尚未自动化的一格);再划出五条不该被叙事盖住的线——判断侧仍空着、能力与风险同源、内部口径的自我循环、成本曲线自主但供应链集中、叙事与资本的相互强化;随后给出三份清单:给 Infra 工程师的 7 条稠密反馈可复用做法、给技术管理者的 5 个评审问题、给投资者与产品经理的 4 个可跟踪指标。附录含完整时间线、术语表、分级来源清单与核查记录。
递归自我改进(RSI)证据分级深度报告 2026-09:三层判断框架、7 组冲突判读与 24 项量化台账
分层回答 RSI 真伪:工程自动化层已跨门槛(Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力),研究自主层仍在断崖前(Princeton 影子评估两篇投稿全被拒),物理约束层同时收紧(HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍)。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。
递归自我改进(RSI)深度研究 2026:从智能爆炸到接管全球主机节点
一份关于递归自我改进(RSI)的 2026 年全景深度研究:从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代,从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限,区分"主机节点接管已发生"与"全球接管仍是预测"三层口径;并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭,以及一份"协议 10 年衰退概率 48%–62%"的现实账。
Anthropic CEO 长文《We Must Pace the Frontier》:首次呼吁为前沿 AI 能力进步"限速",三步走方案详解
Dario Amodei 发文主张放慢 AI 能力提升速度,提出"嵌入式评估员—民主国家协调—全球协调"三步走方案,第一步 Anthropic 已单方面承诺执行;Altman 与马斯克罕见附和,业内同时出现"监管俘获"质疑。