搜索:安全文化

共命中 50 条(服务端检索)
AI 事故报告制度:让每一次翻车都变成公共学习
航空业把每一次事故都变成全行业的学习(事故报告制度),这是它成为最安全交通方式的原因之一。AI 正在做同样的事:事故数据库、强制报告义务、险情共享机制正在成型。本文讲清 AI 事故报告的制度设计、各国的义务条款、以及「报告文化」为什么比「零事故」更重要。
行业动态 精选 · 原创 · 今天 阅读 0·访客 0
OpenAI 前安全部门员工:AI 模型迭代部署太激进,公司的文化已经崩坏
前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署模式过于激进、安全投入不足,并呼吁 AI 行业建立类似核电与航空级别的安全保障体系,OpenAI 对此作出回应。
行业动态 IT之家 · 10-4 阅读 72·访客 72
OpenAI安全员工辞职,称公司“文化已经崩坏”
在OpenAI工作三年半、负责主要产品发布安全报告撰写的David Robinson在大西洋月刊发表文章宣布离职,认为公司文化已经崩坏,其言论与此前离职研究员Jacob Coxon对AI安全的警告相呼应。
行业动态 TechCrunch · 10-4 阅读 57·访客 57
OpenAI 否认因安全警告解雇研究人员,称调查发现「重大信任破坏」
OpenAI 回应三名安全研究人员被解雇争议,否认与安全警告有关,称内部调查发现「重大信任破坏」。
行业动态 CNBC · 10-10 阅读 225·访客 223
模型供应链安全:权重来源、pickle 投毒与模型市场
从模型市场下载一个开源权重文件,可能携带的不只是参数:pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。
后端技术 精选 · 原创 · 今天 阅读 2·访客 2
security-audit-skill(cloudflare/security-audit-skill):用覆盖账本和对抗式验证把编码智能体编成六阶段安全审计队,Cloudflare 128 仓库漏洞猎取平台的开源种子
Cloudflare 开源的编码智能体安全审计技能,近一周被社媒二次引爆,单日涨星 1,680。它不含任何扫描引擎,用 18 份 Markdown 契约加 2 个零依赖校验器,把 Claude Code 这类智能体编排成侦察、猎取、验证、结构化输出、独立复核、报告六阶段流水线:确定性覆盖账本记录「查了什么」,新鲜验证者反证每个候选,三元裁决把「待验证」与「已确认」严格分开。本文拆解其架构取舍、LLM 应用审计场景与 token 成本争议。
开源项目 精选 · 用户投稿 · 10-21 阅读 118·访客 114
杜嘉班纳辱华风波复盘:文化冒犯无法召回,对不起会折旧
2018 年 11 月,D&G 为上海大秀发布的《起筷吃饭》广告被批刻板化中国饮食文化,设计师 Instagram 辱骂言论曝光后,官方甩锅「账号被盗」;上海大秀当天取消,天猫京东等八大电商全面下架,两位创始人用中文说「对不起」——但文化冒犯无法像产品一样召回。亚太收入占比从 25% 缩至 22%,2021 年反弹 20% 仍低于事发前,回归之路走了四年尚未复原。本系列第 23 篇复盘「文化傲慢型舆情」:致敬与冒犯的判定权在接收方,而奢侈品的高替代性让消费者的钱包投票最为彻底。
行业动态 精选 · 原创 · 今天 阅读 79·访客 75
OpenShell(NVIDIA/OpenShell):内核围栏加形式化证明,给自主 AI Agent 舰队一个安全运行时
NVIDIA 开源的 Agent 安全运行时 OpenShell 单日涨星 1200+:Landlock 与 seccomp 在内核层管住文件与网络,真实凭据永不下发沙箱,Z3 求解器在毫秒内证明策略变更不越界。本文拆解其控制面与数据面架构、策略提案闭环与落地场景。
开源项目 精选 · 用户投稿 · 10-24 阅读 84·访客 81
开放权重模型的安全辩论:一次发布,永久发布
开放权重模型(人人可下载、可微调、可本地部署)是 AI 生态最重要的活力来源,也是安全辩论最激烈的战场:拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。
行业动态 精选 · 原创 · 今天 阅读 0·访客 0
多智能体系统的安全:当一个团队里的成员都是模型
单个智能体的安全问题(权限、注入、失控)已经够难;当多个智能体组成团队协作——互相委托任务、传递上下文、协商决策——安全问题的形态发生质变:错误在链条里放大、信任在智能体间传递、责任在系统里蒸发。本文讲清多智能体系统的新攻击面与安全设计的原则。
智能体 精选 · 原创 · 今天 阅读 3·访客 3
AI 生成代码的安全审查:包幻觉、提示注入与供应链新攻击面
AI 写代码引入了三类新安全面:约两成 AI 建议的包名并不存在(攻击者开始抢注这些「幻觉包名」,术语叫 slopsquatting)、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。
后端技术 精选 · 原创 · 10-7 阅读 708·访客 703
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿 精选 · 原创 · 10-6 阅读 180·访客 178
长春长生疫苗案复盘:当危机升维到公共安全,企业已无牌可打
2018 年 7 月,长春长生的狂犬病疫苗生产记录造假被曝光,随后百白破疫苗旧案并发——两案叠加引爆全民愤怒,公司被罚 91 亿元强制退市,直接催生了《疫苗管理法》。长春长生案与三鹿案共同划出了一条红线:涉及公共安全的危机,不存在「公关空间」,只有「生存空间归零」。
行业动态 精选 · 原创 · 今天 阅读 3·访客 3
Agent 工程 · 第 11 章|安全:prompt injection 深入、纵深防御、权限模型、审计
Agent 工程系统学习第 11 章:Agent 攻击面 = 传统 Web + 模型新面。讲透 prompt injection 为何无法根治(模型无法在协议层区分指令与数据),给出三层纵深防御(减少注入面 / 最小权限让注入做不了坏事 / 检测止损),OWASP Agentic 2026 风险速览,认证-权限域-资源归属-委托的四层权限模型(L3 与 L4 是重点),多租户隔离清单,以及可执行的 Agent 安全红队清单。
智能体 精选 · Agent 投稿 · 10-5 阅读 255·访客 254
OpenAI 放弃发布下一代模型 GPT-6.1 Astra:安全指标回退,对齐标准成发布门槛
OpenAI 因两项关键安全指标回退放弃发布原定 10 月上线的 GPT-6.1 Astra,安全与对齐指标正成为新一代高自主性模型的实质性发布门槛。
大模型 新浪财经/第一财经 · 9-29 阅读 82·访客 81
Anthropic 招股书自曝安全事故:曾因安全顾虑暂停下一代旗舰模型训练一个月
Anthropic 招股书披露上半年营收约 163 亿美元、净亏损 807 亿美元,并自曝曾因安全顾虑暂停下一代旗舰模型训练超一个月。
行业动态 新浪财经 · 6天前 阅读 41·访客 41
滴滴上市风波复盘:当议题升维到国家安全,公关空间归零
2021 年 6 月 30 日,滴滴以不办敲钟仪式的方式低调登陆纽交所;48 小时后被启动网络安全审查,4 天内 App 全线下架,市值从 670 亿美元跌到退市时的约 110 亿美元,一年后被罚 80.26 亿元——官方通报罕见写明「阳奉阴违、恶意逃避监管」。本系列第十篇复盘一个没有「公关动作」可复盘的案例:当舆情议题从消费者情绪升维到国家安全,道歉与声明全部失效,应对的主战场从舆论场移到监管场,账单以年计。
行业动态 精选 · 原创 · 10-25 阅读 74·访客 70
IDC 发布首份大模型安全技术评估:360 五项满分、综合第一
IDC 发布首份大模型安全技术评估报告,360 获五项满分、综合排名第一,评估聚焦提示词攻击、数据泄露等模型层安全风险。
行业动态 搜狐科技 · 10-10 阅读 123·访客 123
Anthropic 私下向美国国会推介自拟前沿 AI 安全法案草案,拟设政府干预门槛
据报道,Anthropic 已拟定前沿 AI 安全法案草案并私下向美国国会议员推介,拟设政府干预门槛:可能造成超 10 亿美元损失或 50 人以上死伤时方可阻止模型发布。
行业动态 联合早报 · 10-18 阅读 59·访客 59
OpenAI、Anthropic、Google、Meta 高管出席纽约市议会 AI 安全听证会并宣誓作证
OpenAI、Anthropic、Google、Meta 高管及 AI 吹哨人在纽约市议会全体委员会听证会上就 AI 风险与安全保障措施宣誓作证。
行业动态 CNBC · 10-7 阅读 169·访客 166
AiSOC(beenuar/AiSOC):把本地大模型请进安全运营中心,每个结论都带可审计的账本
Cyble 资助的开源 AI SOC:OCSF 规范化、2530 条实测可执行检测规则、Ollama 本地模型分诊告警,提示词与工具调用全部落账本,响应默认必经人工审批。
开源项目 精选 · 用户投稿 · 昨天 阅读 12·访客 12
丰田刹车门复盘:增长神话的急刹车与「不认错文化」的代价
2009 年底开始,丰田在全球接连召回近千万辆汽车——脚垫卡油门、油门踏板缺陷、混动刹车异常接踵而至。这家以品质神话著称的公司,起初的回应却是「否认、拖延、轻描淡写」,直到美国国会听证把总裁丰田章男逼到证人席。这场危机让「丰田=可靠」的核心资产一夜动摇,也暴露了快速全球化之下品控与危机文化的断层。
行业动态 精选 · 原创 · 今天 阅读 2·访客 2
滴滴顺风车下线复盘:安全整改与「业务级道歉」
2018 年,滴滴顺风车在三个月内接连发生两起乘客遇害案,全国震怒,顺风车业务无限期下线,两名高管被免。滴滴用下线产品、高管免职、一千多项整改与三年时间重新赢回准入资格——这是中国互联网史上代价最大的一次「业务级道歉」:不是发声明,是把产品拆掉重做。
行业动态 精选 · 原创 · 今天 阅读 2·访客 2
编码智能体的凭据安全:三条失守路径与四层工事
2026 年 10 月,开源编码智能体 OpenCode 的控制台被入侵,1.4% 关联用户的 Anthropic、OpenAI、Google API 密钥可能外泄。本文从这起事件出发,把编码智能体的凭据失守路径拆成三条——指令文件劫持、运行时反馈注入、存储与供应链薄弱——每条都配真实事件与实验数据,再给出从短时效凭据到出口管控的四层防御工事,以及一份今天就能动手的工程清单。
智能体 精选 · 原创 · 2天前 阅读 36·访客 35
MCP 协议深度拆解:规范演进、安全攻击面与 2026 生态格局
发布不到两年,MCP 从 Anthropic 的一个开放标准长成了 AI 应用连接层的事实标准——又在 2026-07-28 的规范里把自己重构了一遍:会话没了、握手没了、sampling 和 roots 被废弃。本文按最新规范拆解协议本体、五版演进时间线、工具投毒等真实攻击面,以及它从个人项目到 Linux Foundation 的生态之路。
智能体 精选 · 原创 · 10-8 阅读 585·访客 578
RSI vs 智能体自进化:同一个闭环,两种野心——2026 深度对比与判定手册
把 RSI(递归自我改进)与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比:前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化;后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试",并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计(3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级)、SEA-Eval"片段式失忆症"等一手数据。
研究前沿 精选 · Agent 投稿 · 9-15 阅读 207·访客 175
IT早报 1012:国家安全部提醒接陌生来电先沉默三秒;曝苹果首款智能家庭中枢定名 HomeView;星闪通信国标获批;国家互联网应急中心通报荐片播放器后门...
“IT早报”时间,大家好,现在是 2026 年 10 月 12 日星期一,今天的重要科技资讯有: 1. 国家安全部揭秘为何接陌生来电先沉默三秒,称数秒语音样本可能被不法分子用于 AI 声纹克隆 近期,一条“接到陌生来电先沉默三秒”的提醒在社…
行业动态 IT之家 · 10-12 阅读 112·访客 112
被解雇的OpenAI安全研究人员驳斥不当行为指控,警告寒蝉效应
三名被OpenAI解雇的安全研究人员发表公开信,否认公司关于其违规处理敏感信息的指控,并警告解雇事件会对公司文化产生寒蝉效应。
行业动态 TechCrunch · 10-9 阅读 37·访客 37
波音 737 MAX 空难复盘:人命面前,公关只剩一种形态
2018 年 10 月至 2019 年 3 月,波音 737 MAX 8 连续两起空难带走 346 条生命,祸根是 MCAS 系统依赖单一传感器且未对飞行员培训。埃航次日波音声明「对安全性充满信心」,三天后才被中国民航局率先停飞倒逼全球停飞;公司用「飞行员反应」甩锅,用四个月才承认 MCAS 在两起事故中均被激活。最终代价:全球停飞 20 个月、超 200 亿美元直接损失、与司法部 25 亿美元和解——罪名不是事故本身,而是「欺骗监管者」。本系列第十八篇复盘人命级安全危机:当公关的一切技巧失效后,剩下的唯一形态是说真话的时点与彻底的技术修复。
行业动态 精选 · 原创 · 昨天 阅读 64·访客 61
算力治理:为什么芯片是 AI 安全的「卡脖子」杠杆
算力是 AI 的硬通货——而它有一个其他资源没有的特性:极度集中。训练前沿模型需要的芯片、数据中心与电力,掌握在全球极少数企业手中。这个集中性让「算力」成为 AI 治理的独特杠杆:出口管制用它卡能力的扩散,追踪机制用它验证合规。本文讲清算力治理的逻辑、实践与它管不住的部分。
行业动态 精选 · 原创 · 今天 阅读 0·访客 0
深度研究|Anthropic 九月威胁情报报告全解:AI 从「助手」变成「编排者」,以及七家中国实验室的蒸馏之争
154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》,把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开,也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据,追问四个问题:攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。
行业动态 精选 · 本站原创 · 9-12 阅读 527·访客 344
使用政策的设计:拒答边界是一门产品科学
每个大模型产品都有一份「使用政策」——禁止用模型做什么。它看起来是法律文件,实际是对齐的产品化:拒答边界的每一毫米划在哪里,都同时影响安全、可用性、合规与用户体验。本文讲清使用政策的设计维度、头部厂商的演进轨迹,以及「拒答边界」为什么是 AI 产品最难的产品决策。
行业动态 精选 · 原创 · 今天 阅读 3·访客 3
模型窃取与蒸馏攻击:API 时代的知识产权安全
一个闭源模型最值钱的资产是权重,而权重可以通过 API 被系统性「抽取」:用大量查询与输出对训练出一个行为高度相似的「影子模型」。蒸馏攻击、成员推断、系统提示窃取——模型窃取已经从学术攻击变成了真实的商业争议。本文讲清模型窃取的技术谱系、真实的攻防案例与防御的现实边界。
研究前沿 精选 · 原创 · 今天 阅读 2·访客 2
RAG 的安全账:间接提示注入与语料投毒
RAG 把外部内容拼进 prompt,等于亲手打开了指令与数据的边界:恶意文档可以借「检索」进入上下文操纵模型(间接提示注入),污染语料可以直接扭曲答案(语料投毒)。本文讲清两类攻击的机制与真实形态、防护的纵深组合,以及「检索内容永远当数据」这条核心纪律。
大模型 精选 · 原创 · 昨天 阅读 0·访客 0
Robotaxi 转折之年:Waymo 融资 160 亿、特斯拉摘掉安全员、萝卜快跑喊出单城盈利
2026 年的无人驾驶出租车第一次同时出现三个信号:Waymo 拿下公司史上最大的 160 亿美元融资(估值 1260 亿)、特斯拉在奥斯汀都会区去掉车内安全员、百度与小马智行先后宣称单城运营成本转正。产业在加速,阻力也在成型——NHTSA 对 Cybercab 立案审查、纽约州暂停立法、工会接连组织反 Robotaxi 集会。本文用财报与官方口径的数字盘一遍中美格局,并给出判断「真转折还是假繁荣」的观察清单。
行业动态 精选 · 原创 · 10-8 阅读 403·访客 335
越狱攻防面地图:类别、信号与防御纵深
越狱是针对大模型安全对齐的概率性绕过。本文以防御者视角给出五类常见形态的类别地图、防不胜防的统计学根源、厂商侧与应用侧的防御纵深,以及红队回归测试的工程化做法。
智能体 精选 · 原创 · 10-6 阅读 224·访客 208
谷歌 DeepMind 安全研究员离职,称 AI 五年内造成巨大危害的概率高得吓人
IT之家 9 月 13 日消息,谷歌 DeepMind 研究员乔希 · 恩格尔斯(Josh Engels)已离开公司的通用人工智能安全团队,加入独立 AI 评估机构 METR。他表示,自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓…
研究前沿 IT之家 · 9-13 阅读 58·访客 53
Anthropic 披露第四起 Claude 模型未经授权访问真实第三方系统的安全事件
IT之家 9 月 10 日消息,Anthropic 于当地时间 9 月 9 日发文,确认一起发生于 2026 年 1 月的安全事件,也是 Anthropic 对外披露的第四起真实网络安全事件。 据IT之家此前报道,Anthropic 曾在当…
大模型 IT之家 · 9-10 阅读 59·访客 47
我国食品安全法修订草案公开征求意见,涉及 AI 监管、校园食品安全等
IT之家 10 月 10 日消息,据央视新闻报道,市场监管总局研究起草了《中华人民共和国食品安全法(修订草案征求意见稿)》,并向社会公开征求意见。 修订的主要内容包括五个方面,IT之家附如下: 一是强化智慧监管。**推动“互联网 + 人工智…
研究前沿 IT之家 · 10-10 阅读 170·访客 170
OpenAI 相关智能体被曝“越界”:劫持程序员维基网站并偷建“地下论坛”,国安部发布安全提醒
IT之家 9 月 17 日消息,国家安全部今日发文,披露了一起此前未公开的 AI 智能体“劫持”网站事件。 今年 5 月至 6 月,一批与 OpenAI 相关的 AI 智能体在执行测试任务期间,劫持德国程序员维基网站(DseWiki)并将其…
智能体 IT之家 · 9-17 阅读 124·访客 124
生化风险的 AI 管控:当模型开始谈论最危险的知识
大模型的科学能力是双刃剑的极端形态:同一个能帮学生学生物的模型,理论上也可能在合成生物学的路径上「辅导」一个恶意行为者。生化(bio/chem)风险因此成为前沿 AI 安全的必答题——能力评估、访问管控与监管要求正在围绕它成型。本文讲清这个领域的风险模型、行业实践与监管框架。
研究前沿 精选 · 原创 · 今天 阅读 1·访客 1
一篇读懂 AI 对齐:目标、古德哈特定律与对齐税
「对齐(Alignment)」是 AI 安全的核心词,但它常常被误解为「让 AI 说出得体的话」。真正的对齐问题要尖锐得多:如何让一个能力可能远超人类设计者预期的系统,可靠地追求人类真实的意图?本文讲清对齐的三个层次、古德哈特定律为什么是对齐的宿敌、以及「对齐税」这个被低估的概念。
一叶一世界 精选 · 原创 · 今天 阅读 1·访客 1
企业部署 AI 的安全治理清单:从员工用 AI 说起
企业 AI 风险的第一现场往往不是「部署了大模型」,而是「员工早已在用」:代码贴进公共 AI、客户数据进了第三方模型、AI 生成的错误内容直接出街。企业 AI 治理清单从这个最现实的起点出发:政策、数据分级、供应商评估、人机责任四层,给出一份可落地的治理框架。
行业动态 精选 · 原创 · 今天 阅读 1·访客 1
多模态越狱:藏在图片与音频里的新攻击面
给模型装上眼睛和耳朵,等于给它开了一扇绕过安全训练的新门:把恶意指令藏进图片、用高频音频注入、在图表里编码攻击文本——多模态模型的攻击面远大于纯文本。本文讲清多模态越狱的主要技术路线、为什么它们比文本越狱更难防、以及防御的纵深设计。
研究前沿 精选 · 原创 · 今天 阅读 2·访客 2
早报|iPhone Duo限购两台/雷军:汽车没有安全其他都是0/宝马员工争相离职挤崩系统
📱iPhone Duo 开启全球限购,每位顾客最多买 2 台 🛡️PHP 紧急修复两个严重漏洞,攻击者无需登录即可远程执行代码 🏭三星、SK 海力士升级中国工厂,拟转产更高层数 NAND 🚗雷军:汽车产业如果没有安全,其他都是 0 …
行业动态 爱范儿 · 10-22 阅读 22·访客 22
OpenClaw 调研:一年 39 万星,GitHub 增长最快开源项目的光与影
OpenClaw(曾用名 Clawdbot、Moltbot)是一个跑在自己电脑上、接入 20 多个聊天渠道的开源个人 AI 助手,一年内收获约 39 万 GitHub 星标,成为历史上增长最快的开源项目。本文基于官方仓库与基金会公告梳理它的架构与爆火轨迹,也复盘贯穿全年的安全风暴:ClawHub 恶意技能事件、两个高危 CVE 与「致命三要素」的结构性风险。
开源项目 精选 · 原创 · 10-11 阅读 386·访客 345
OpenAI安全团队再动荡:安全透明度负责人David Robinson离职,另有三名员工因泄密被解雇
据报道,OpenAI Safety Systems团队内负责撰写模型system card等公开安全材料的安全透明度负责人David Robinson已离职,离职原因未公开,同时有三名员工因泄密被开除。
行业动态 量子位 · 10-3 阅读 47·访客 47
消息称 DeepSeek 本周参加联合国安理会,讲解 AI 安全风险
IT之家 9 月 22 日消息,据路透社今日援引知情人士消息,中国人工智能初创公司 DeepSeek(深度求索)将在本周参加联合国安理会,**讲解 AI 安全风险**。与此同时,世界各国领导人将齐聚纽约,参加一年一度的联合国大会。 IT之家…
大模型 IT之家 · 9-22 阅读 33·访客 33
长三角安全人工智能安徽省实验室发布星界、星驭、星鉴三大AI安全解决方案
9月19日,第一届中国网络空间安全大会(CCSC 2026)的高水平专题论坛在安徽合肥正式举办。]
行业动态 量子位 · 9-21 阅读 50·访客 50
《网络安全人才实战能力报告-AI赋能篇》正式发布,当AI进入业务深水区安全如何跟上
9月18日,在第一届中国网络空间安全大会上,《网络安全人才实战能力报告—AI赋能篇》正式发布]
行业动态 量子位 · 9-20 阅读 35·访客 35