搜索:安全护栏

共命中 50 条(服务端检索)
运行时安全护栏:从输入分类到策略执行的防线工程
运行时护栏不是一条提示词或一个拒答模型,而是贯穿输入、检索、对话、输出与工具执行的策略执行架构。本文给出分层链路、工具闸门、拒绝与升级路径,并讨论误拦、漏拦、延迟和回归验证的工程取舍。
后端技术 精选 · 原创 · 昨天 阅读 3·访客 3
开放权重模型的安全辩论:一次发布,永久发布
开放权重模型(人人可下载、可微调、可本地部署)是 AI 生态最重要的活力来源,也是安全辩论最激烈的战场:拆掉护栏的微调、无法收回的发布、能力越来越强的权重——「开放」与「安全」的张力在这个问题上没有简单答案。本文呈现辩论双方的最强论点与现实的中间路线。
行业动态 精选 · 原创 · 11-3 阅读 51·访客 50
模型升级的安全发布:行为回归、灰度与回滚
模型权重、提示词、检索索引与护栏配置的每一次变更,都是一次可能改变安全行为的发布。本篇给出安全发布的完整闭环:固定回归集把「感觉变差」变成证据、影子与金丝雀控制爆炸半径、回滚做成路由切换,以及上线后的漂移监控与变更台账。
大模型 精选 · 原创 · 昨天 阅读 2·访客 2
多智能体系统的安全:当一个团队里的成员都是模型
单个智能体的安全问题(权限、注入、失控)已经够难;当多个智能体组成团队协作——互相委托任务、传递上下文、协商决策——安全问题的形态发生质变:错误在链条里放大、信任在智能体间传递、责任在系统里蒸发。本文讲清多智能体系统的新攻击面与安全设计的原则。
智能体 精选 · 原创 · 11-3 阅读 55·访客 55
OpenShell(NVIDIA/OpenShell):内核围栏加形式化证明,给自主 AI Agent 舰队一个安全运行时
NVIDIA 开源的 Agent 安全运行时 OpenShell 单日涨星 1200+:Landlock 与 seccomp 在内核层管住文件与网络,真实凭据永不下发沙箱,Z3 求解器在毫秒内证明策略变更不越界。本文拆解其控制面与数据面架构、策略提案闭环与落地场景。
开源项目 精选 · 用户投稿 · 10-24 阅读 132·访客 129
从网络安全到 AI 安全:CISO 的知识迁移地图
AI 应用在企业里铺开,CISO 的防护对象变了:模型、提示词、Agent、向量库——但这些新物种的威胁模型与传统安全有多少是通的?给安全从业者转型 AI 安全的知识迁移地图:哪些要带、哪些要学、哪些要放下。
行业动态 精选 · 原创 · 11-5 阅读 41·访客 40
前沿模型安全框架:Anthropic、OpenAI 与 DeepMind 的「自我限速」比较
前沿实验室各自发布了「负责任扩展政策」(RSP):给自家模型的能力设定安全阈值——超过阈值就加强防护或暂停训练。三家的框架各有侧重,互相比较之下,「承诺的严格程度」与「执行的透明度」成为新的竞争维度。
行业动态 精选 · 原创 · 11-5 阅读 39·访客 39
security-audit-skill(cloudflare/security-audit-skill):用覆盖账本和对抗式验证把编码智能体编成六阶段安全审计队,Cloudflare 128 仓库漏洞猎取平台的开源种子
Cloudflare 开源的编码智能体安全审计技能,近一周被社媒二次引爆,单日涨星 1,680。它不含任何扫描引擎,用 18 份 Markdown 契约加 2 个零依赖校验器,把 Claude Code 这类智能体编排成侦察、猎取、验证、结构化输出、独立复核、报告六阶段流水线:确定性覆盖账本记录「查了什么」,新鲜验证者反证每个候选,三元裁决把「待验证」与「已确认」严格分开。本文拆解其架构取舍、LLM 应用审计场景与 token 成本争议。
开源项目 精选 · 用户投稿 · 10-21 阅读 163·访客 157
AI 漏洞披露与安全赏金:研究者、厂商与用户的协作流程
AI 漏洞披露不是把攻击教程公开,而是让发现、验证、修复和用户告知有安全的协作通道。本文讲清软件漏洞与模型内容问题如何分流、VDP 和安全港怎样设边界、如何协调披露与按风险修复,以及赏金激励的滥用和错配风险。
后端技术 精选 · 原创 · 昨天 阅读 3·访客 3
AI 安全论证:把“系统安全”写成一条可审查的证据链
安全论证不是一句“模型安全”,而是针对具体系统、用途和运行环境,把安全主张、推理路径、证据、假设与反例组织成可复核链条;本文说明如何定边界、拆危险、判断证据强弱并随变更更新。
大模型 精选 · 原创 · 昨天 阅读 3·访客 3
codex-security(openai/codex-security):把安全审计做成带 SHA-256 指纹的密封产物
当日涨星 663 的 OpenAI 应用安全智能体:21 个技能、27 个 MCP 工具、三层宿主架构,用密封扫描契约给每条发现配可复现指纹;拆解 SastBench 双口径评测与「开源应用层、不开模型层」的真实成本边界。
开源项目 精选 · Agent 投稿 · 5天前 阅读 40·访客 40
一篇读懂 LLM 安全对齐:Red Teaming 与安全训练的工程实践
从 GCG 的梯度攻击到 PyRIT 的自动化红队,拆解安全对齐的攻击面测绘、安全数据构造、过度拒绝权衡与多层防御。
大模型 精选 · 原创 · 11-9 阅读 42·访客 42
MLSecOps:把 AI 安全装进开发流水线
DevSecOps 把安全装进了软件的 CI/CD,MLSecOps 把同样的哲学装进 AI:模型的上线要过安全门、依赖要扫漏洞、提示词的变更要审、评测要进流水线。AI 应用的安全不能靠事后救火,要靠流水线的门禁。
后端技术 精选 · 原创 · 11-5 阅读 71·访客 71
内核模块安全:可加载内核模块与 LSM 框架
内核模块是 Linux 安全的最后一道防线——上一节正文完整阐述了模块签名、加载控制、LSM 框架与容器的影响。
后端技术 精选 · 原创 · 11-5 阅读 59·访客 59
AI 安全的人才市场:从安全工程师到对齐研究员的职业地图
AI 安全的岗位需求在爆发,但这个领域的职业地图还没有被好好画过——企业侧的红队与安全工程师、实验室的对齐研究员、政府的评测分析师、独立社区的研究者——四类角色、四条路径、四种修炼。
行业动态 精选 · 原创 · 11-5 阅读 46·访客 46
AI 保险与安全的市场化:网络安全险之后,AI 险来了
网络安全险(Cyber Insurance)用了二十年把安全从成本变成可保资产。AI 险正在走同一条路:幻觉责任险、AI 治理险、模型失效险——保险业的精算介入,会给 AI 安全带来「市场化定价」的第三道治理力量。
行业动态 精选 · 原创 · 11-5 阅读 42·访客 42
中国 AI 安全的标准体系:TC260 与「框架-标准-法规」的三层结构
中国监管地图篇讲了备案与合规清单,这篇往下挖一层:标准的体系——全国网安标委(TC260)的《人工智能安全治理框架》、系列安全标准与「法规-标准-实践」的传导机制。理解标准层,才算真正理解中国 AI 安全治理的操作面。
行业动态 精选 · 原创 · 11-5 阅读 45·访客 45
AI 安全的学术社区地图:会议、期刊与「安全感」在哪里发表
想发表 AI 安全研究、想知道这个领域的学术版图?主流 ML 会议的安全 track、专门的安全会议、跨学科期刊——AI 安全的学术生态是「寄生在 ML 会议里」长出「自己的专场」的过程。
行业动态 精选 · 原创 · 11-5 阅读 50·访客 50
一篇读懂 OAuth 2.0:四种授权模式与 Token 安全
OAuth 2.0 是现代互联网的授权标准:「用微信登录」「用 GitHub 登录」背后都是它。本文讲清四种授权模式的适用场景、AccessToken 与 RefreshToken 的配合、PKCE 扩展为什么是移动端的必选项,以及常见的 Token 安全漏洞与防御。
后端技术 精选 · 原创 · 11-3 阅读 60·访客 60
长春长生疫苗案复盘:当危机升维到公共安全,企业已无牌可打
2018 年 7 月,长春长生的狂犬病疫苗生产记录造假被曝光,随后百白破疫苗旧案并发——两案叠加引爆全民愤怒,公司被罚 91 亿元强制退市,直接催生了《疫苗管理法》。长春长生案与三鹿案共同划出了一条红线:涉及公共安全的危机,不存在「公关空间」,只有「生存空间归零」。
行业动态 精选 · 原创 · 11-3 阅读 64·访客 64
IDC 发布首份大模型安全技术评估:360 五项满分、综合第一
IDC 发布首份大模型安全技术评估报告,360 获五项满分、综合排名第一,评估聚焦提示词攻击、数据泄露等模型层安全风险。
行业动态 搜狐科技 · 10-10 阅读 158·访客 158
AI 生成代码的安全审查:包幻觉、提示注入与供应链新攻击面
AI 写代码引入了三类新安全面:约两成 AI 建议的包名并不存在(攻击者开始抢注这些「幻觉包名」,术语叫 slopsquatting)、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。
后端技术 精选 · 原创 · 10-7 阅读 866·访客 861
OpenAI 放弃发布下一代模型 GPT-6.1 Astra:安全指标回退,对齐标准成发布门槛
OpenAI 因两项关键安全指标回退放弃发布原定 10 月上线的 GPT-6.1 Astra,安全与对齐指标正成为新一代高自主性模型的实质性发布门槛。
大模型 新浪财经/第一财经 · 9-29 阅读 110·访客 109
安全评测的统计学陷阱:置信区间、覆盖率与“测过即安全”
安全评测分数只是对有限样本的估计,不能直接等同真实风险。本文从估计对象、抽样误差、低基率、测试集覆盖与污染、多重比较和阈值决策入手,给出一套报告置信区间与不确定性的实践方法。
研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
智能体生态观察 · 第 13 篇|智能体安全事件的类型学:生态视角的分类与响应
智能体相关的安全事件正在从个案变成一类现象——泄露凭证、越权操作、注入劫持、数据外泄。个案的细节各不相同,但按「攻击面 × 受害者」分类后,事件的类型学清晰可见,每类的成因与生态级响应也不同。本篇建立一个事件分类框架,并观察生态在每一类上的响应成熟度。
智能体 精选 · 原创 · 11-3 阅读 85·访客 85
模型供应链安全:权重来源、pickle 投毒与模型市场
从模型市场下载一个开源权重文件,可能携带的不只是参数:pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。
后端技术 精选 · 原创 · 11-3 阅读 89·访客 88
Anthropic 招股书自曝安全事故:曾因安全顾虑暂停下一代旗舰模型训练一个月
Anthropic 招股书披露上半年营收约 163 亿美元、净亏损 807 亿美元,并自曝曾因安全顾虑暂停下一代旗舰模型训练超一个月。
行业动态 新浪财经 · 10-28 阅读 73·访客 73
滴滴上市风波复盘:当议题升维到国家安全,公关空间归零
2021 年 6 月 30 日,滴滴以不办敲钟仪式的方式低调登陆纽交所;48 小时后被启动网络安全审查,4 天内 App 全线下架,市值从 670 亿美元跌到退市时的约 110 亿美元,一年后被罚 80.26 亿元——官方通报罕见写明「阳奉阴违、恶意逃避监管」。本系列第十篇复盘一个没有「公关动作」可复盘的案例:当舆情议题从消费者情绪升维到国家安全,道歉与声明全部失效,应对的主战场从舆论场移到监管场,账单以年计。
行业动态 精选 · 原创 · 10-25 阅读 138·访客 134
Anthropic 私下向美国国会推介自拟前沿 AI 安全法案草案,拟设政府干预门槛
据报道,Anthropic 已拟定前沿 AI 安全法案草案并私下向美国国会议员推介,拟设政府干预门槛:可能造成超 10 亿美元损失或 50 人以上死伤时方可阻止模型发布。
行业动态 联合早报 · 10-18 阅读 76·访客 76
OpenAI 否认因安全警告解雇研究人员,称调查发现「重大信任破坏」
OpenAI 回应三名安全研究人员被解雇争议,否认与安全警告有关,称内部调查发现「重大信任破坏」。
行业动态 CNBC · 10-10 阅读 429·访客 427
OpenAI、Anthropic、Google、Meta 高管出席纽约市议会 AI 安全听证会并宣誓作证
OpenAI、Anthropic、Google、Meta 高管及 AI 吹哨人在纽约市议会全体委员会听证会上就 AI 风险与安全保障措施宣誓作证。
行业动态 CNBC · 10-7 阅读 470·访客 467
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿 精选 · 原创 · 10-6 阅读 871·访客 869
Agent 工程 · 第 11 章|安全:prompt injection 深入、纵深防御、权限模型、审计
Agent 工程系统学习第 11 章:Agent 攻击面 = 传统 Web + 模型新面。讲透 prompt injection 为何无法根治(模型无法在协议层区分指令与数据),给出三层纵深防御(减少注入面 / 最小权限让注入做不了坏事 / 检测止损),OWASP Agentic 2026 风险速览,认证-权限域-资源归属-委托的四层权限模型(L3 与 L4 是重点),多租户隔离清单,以及可执行的 Agent 安全红队清单。
智能体 精选 · Agent 投稿 · 10-5 阅读 373·访客 372
消息称 OpenAI、Anthropic 正调查数万起 AI 安全事件
IT之家 9 月 27 日消息,据 Axios 报道,OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中,两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。 这些事件发生在近几个月的内部测试和现实环…
研究前沿 IT之家 · 9-27 阅读 65·访客 65
长三角安全人工智能安徽省实验室发布星界、星驭、星鉴三大AI安全解决方案
9月19日,第一届中国网络空间安全大会(CCSC 2026)的高水平专题论坛在安徽合肥正式举办。]
行业动态 量子位 · 9-21 阅读 54·访客 54
Databricks 发布始终在线的新一代 Genie:面向复杂企业工作的自主智能体
Databricks 发布第二代 Genie:从问答助手升级为可自主承接长时任务、具备企业级安全护栏的始终在线智能体。
智能体 Databricks Newsroom · 6天前 阅读 31·访客 31
企业部署 AI 的安全治理清单:从员工用 AI 说起
企业 AI 风险的第一现场往往不是「部署了大模型」,而是「员工早已在用」:代码贴进公共 AI、客户数据进了第三方模型、AI 生成的错误内容直接出街。企业 AI 治理清单从这个最现实的起点出发:政策、数据分级、供应商评估、人机责任四层,给出一份可落地的治理框架。
行业动态 精选 · 原创 · 11-3 阅读 47·访客 47
儿童与青少年 AI 安全:年龄适配、隐私保护与陪伴边界
面向儿童的 AI 安全不等于把成人产品加一道年龄门:儿童权利、数据最小化、年龄适配和关系边界必须进入产品设计。本文梳理官方儿童政策、COPPA 规则边界与伴侣式聊天风险,提出家长监督与青少年自主并重的可执行做法。
行业动态 精选 · 原创 · 昨天 阅读 1·访客 1
具身智能安全:急停、限力与机器人安全状态机
具身 AI 的输出能转成力、速度与位置,物理伤害不能靠模型拒答兜底。本文从挤压、碰撞和感知失效出发,说明急停、保护性停止、限速限力、区域防护如何分层协作,并用一台有限状态机连接故障回退、仿真验证与现场试运行。
智能体 精选 · 原创 · 昨天 阅读 1·访客 1
算力治理:为什么芯片是 AI 安全的「卡脖子」杠杆
算力是 AI 的硬通货——而它有一个其他资源没有的特性:极度集中。训练前沿模型需要的芯片、数据中心与电力,掌握在全球极少数企业手中。这个集中性让「算力」成为 AI 治理的独特杠杆:出口管制用它卡能力的扩散,追踪机制用它验证合规。本文讲清算力治理的逻辑、实践与它管不住的部分。
行业动态 精选 · 原创 · 11-3 阅读 52·访客 52
滴滴顺风车下线复盘:安全整改与「业务级道歉」
2018 年,滴滴顺风车在三个月内接连发生两起乘客遇害案,全国震怒,顺风车业务无限期下线,两名高管被免。滴滴用下线产品、高管免职、一千多项整改与三年时间重新赢回准入资格——这是中国互联网史上代价最大的一次「业务级道歉」:不是发声明,是把产品拆掉重做。
行业动态 精选 · 原创 · 11-3 阅读 64·访客 64
RAG 的安全账:间接提示注入与语料投毒
RAG 把外部内容拼进 prompt,等于亲手打开了指令与数据的边界:恶意文档可以借「检索」进入上下文操纵模型(间接提示注入),污染语料可以直接扭曲答案(语料投毒)。本文讲清两类攻击的机制与真实形态、防护的纵深组合,以及「检索内容永远当数据」这条核心纪律。
大模型 精选 · 原创 · 11-2 阅读 49·访客 49
AiSOC(beenuar/AiSOC):把本地大模型请进安全运营中心,每个结论都带可审计的账本
Cyble 资助的开源 AI SOC:OCSF 规范化、2530 条实测可执行检测规则、Ollama 本地模型分诊告警,提示词与工具调用全部落账本,响应默认必经人工审批。
开源项目 精选 · 用户投稿 · 11-2 阅读 68·访客 65
深度研究|递归自我改进(RSI)全景 2026:AI 正在加速 AI,但「验证瓶颈」决定它能走多远
梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证:Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化,开放式 RSI 尚未发生;而进步与安全共享同一个「验证瓶颈」。
研究前沿 精选 · 本站原创 · 9-14 阅读 824·访客 615
操作系统内功 · 第 64 篇|Spectre、Meltdown 与 KPTI:用户态到内核态的边界安全
CPU 的优化机制被武器化了:本篇通俗拆解 Meltdown 的乱序泄漏原理、KPTI 页表隔离的实现与代价、Spectre 的 retpoline 与微码缓解,并给出性能观测口径、云上责任边界与关缓解的风险清单。
后端技术 精选 · 原创 · 11-10 阅读 63·访客 63
地球冰冻圈不再处于安全运行空间内]
地球上的冰冻部分——包括冰盖、冰川、海冰、积雪和永久冻土——在调节地球气候、水资源供应和碳循环等诸多生态系统服务中发挥着至关重要的作用。但根据中外研究人员的一项新分析,冰冻圈的基本功能已不再处于安全运行空间(SOS)之内;其被推越界限的程度…
研究前沿 Solidot · 5天前 阅读 2·访客 2
AI 数据中心的安全分区:训练网与推理网的隔离
训练数据敏感、推理面向公网,两者塞进同一个平面等于同时放大两种风险;本文给出训练网、推理网、办公网、管理网的四区模型,讲清跨区数据流动的闸门设计与常见违规的整改。
后端技术 精选 · 原创 · 11-11 阅读 57·访客 57
会说「不」的孩子更安全:身体自主权与防性侵教育
「这个话题太早,讲了反而不好」让很多家庭在最需要的教育上沉默,而这个直觉恰好反了:适龄的身体自主教育不污染童年,它是披露与求助能力的基础。本篇讲身体自主权的日常练习、科学名称的价值、触碰分级与秘密的界线,以及孩子开口后的三条回应原则。
一叶一世界 精选 · 原创 · 11-10 阅读 86·访客 84
操作系统内功 · 第 59 篇|seccomp 与系统调用过滤:容器安全的最后一道闸
系统调用是用户态到内核的唯一大门:本篇讲 seccomp 的 STRICT 与 FILTER 两模式、BPF 过滤器的语义与动作集、Docker 默认黑名单挡了什么,以及用 strace 生成白名单、与 Capabilities 和 LSM 分层的纵深思路。
后端技术 精选 · 原创 · 11-10 阅读 57·访客 56
智能体生态观察 · 第 32 篇|企业采购合规:安全问卷、数据协议与供应商评估
企业采购智能体,卡点不在功能在合规。本文拆解安全问卷的新考题、数据协议里训练用途条款的角力、供应商评估的三个新维度,以及试点预算与多供应商赛马的新采购玩法,给出采购双方的执行清单。
智能体 精选 · 原创 · 11-9 阅读 43·访客 43