搜索:提示注入

共命中 50 条(服务端检索)
智能体生态观察 · 第 42 篇|提示注入攻防:从直接注入到间接投毒的防线演进
聊天机器人的越狱是话术问题,智能体的提示注入是权限问题——执行能力让同一种攻击危险了十倍。本篇重画攻击面,梳理直接注入、间接投毒与持久后门的类型学,拆解四层防线的机制与局限,并观察生态里「安全边界派」与「对抗性派」的路线分歧。
智能体 精选 · 原创 · 3天前 阅读 17·访客 17
间接提示注入的实战防御:RAG 与 Agent 场景的防线工程
提示注入入门篇讲清了「为什么外部文本不可信」,这篇讲「防御怎么落地」——RAG 与 Agent 场景的四道防线:入口净化、上下文隔离、权限收窄、输出校验。没有单点银弹,只有纵深组合。
研究前沿 精选 · 原创 · 11-5 阅读 69·访客 69
RAG 的安全账:间接提示注入与语料投毒
RAG 把外部内容拼进 prompt,等于亲手打开了指令与数据的边界:恶意文档可以借「检索」进入上下文操纵模型(间接提示注入),污染语料可以直接扭曲答案(语料投毒)。本文讲清两类攻击的机制与真实形态、防护的纵深组合,以及「检索内容永远当数据」这条核心纪律。
大模型 精选 · 原创 · 11-2 阅读 55·访客 55
一篇读懂提示注入:为什么外部文本不可信
提示注入的根因是指令与数据共用一个通道。本文讲清直接与间接注入的差别、为什么它像没有参数化查询的 SQL 注入,并给出输入、上下文、能力、检测四层防御清单与信任边界思维。
一叶一世界 精选 · 原创 · 10-6 阅读 676·访客 674
AI 生成代码的安全审查:包幻觉、提示注入与供应链新攻击面
AI 写代码引入了三类新安全面:约两成 AI 建议的包名并不存在(攻击者开始抢注这些「幻觉包名」,术语叫 slopsquatting)、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。
后端技术 精选 · 原创 · 10-7 阅读 891·访客 886
Prompt 的科学研究:提示词对模型行为的影响机制
提示词不是玄学而是可测量变量:FormatSpread 的 76 点波动、指令模板不稳定性、贝叶斯机制解释、软提示与自动提示优化、注入攻击与工程规范。
研究前沿 精选 · 原创 · 11-9 阅读 59·访客 59
一篇读懂 Computer Use:让大模型亲手操作你的电脑
API 覆盖不了的世界还剩一大半——政务系统、遗留软件、没有开放接口的网页。Computer Use 让模型像人一样看屏幕、动鼠标、敲键盘,把「剩下的一大半」变成智能体的疆域。本文拆解它的感知-行动循环、两条技术路线、OSWorld 成绩单与提示注入的真实风险。
智能体 精选 · 原创 · 10-24 阅读 161·访客 158
多模态越狱:藏在图片与音频里的新攻击面
给模型装上眼睛和耳朵,等于给它开了一扇绕过安全训练的新门:把恶意指令藏进图片、用高频音频注入、在图表里编码攻击文本——多模态模型的攻击面远大于纯文本。本文讲清多模态越狱的主要技术路线、为什么它们比文本越狱更难防、以及防御的纵深设计。
研究前沿 精选 · 原创 · 11-3 阅读 77·访客 77
编码智能体的凭据安全:三条失守路径与四层工事
2026 年 10 月,开源编码智能体 OpenCode 的控制台被入侵,1.4% 关联用户的 Anthropic、OpenAI、Google API 密钥可能外泄。本文从这起事件出发,把编码智能体的凭据失守路径拆成三条——指令文件劫持、运行时反馈注入、存储与供应链薄弱——每条都配真实事件与实验数据,再给出从短时效凭据到出口管控的四层防御工事,以及一份今天就能动手的工程清单。
智能体 精选 · 原创 · 11-1 阅读 130·访客 129
提示词泄露的攻防:从「别泄露」到「假设会泄露」
system prompt 是很多 AI 产品的核心机密——但它就写在每次请求的开头。泄露攻击的形态、防御手段的失效边界、以及「假设会泄露」的架构设计——保护提示词的正确姿势,是不把它当秘密。
研究前沿 精选 · 原创 · 11-5 阅读 67·访客 66
RAG 提示词工程:system prompt、上下文模板与指令设计
RAG 的回答质量,一半取决于检索,一半取决于提示词。检索到的上下文再好,提示词写得不对,模型照样答非所问。本篇拆解 RAG 提示词的三层结构(system prompt、上下文模板、生成指令),以及「让模型只基于检索内容回答」的约束设计。
一叶一世界 精选 · 原创 · 11-4 阅读 77·访客 76
智能体生态观察 · 第 22 篇|提示词生态:泄露、交易与护城河悖论
模型是公用的,提示词却承载着产品的差异化,于是围绕它形成了泄露攻防、交易市场与护城河之争。本文复盘公开的提示词泄露事件与交易市场的兴衰,解释提示词为什么难以构成护城河,以及企业该如何像管理代码一样管理提示词资产。
智能体 精选 · 原创 · 11-9 阅读 83·访客 83
提示工程方法论 2026:什么还有效、什么可以省、什么已经易主
推理模型改写了提示词的规则——OpenAI 官方文档明确写着「避免思维链提示」「通常不需要 few-shot 示例」;Anthropic 则把叙事重心移交给了「上下文工程」。提示工程死了吗?没有,它收缩了:从话术技巧收缩成「先建评估、再写规格、管好上下文」的工程实践。本文以三家官方文档为一手依据,对照出仍然有效的技巧清单、官方明确说可以省掉的技巧,以及实证研究给出的边界。
大模型 精选 · 原创 · 10-8 💬 1 阅读 1,348·访客 1,261
AI 代码评审实战:让 Agent 审出真问题的流程与提示词设计
AI 代码评审的最大痛点不是漏报而是误报——满屏风格噪音会把真问题淹没。本文给出问题分类清单、五要素提示词设计、误报治理的验证环节与分阶段扩量路径,以及「AI 海选、人类裁决」的人机分工。
智能体 精选 · 原创 · 10-7 阅读 498·访客 494
Computer Use 入门:让模型替你操作图形界面
当软件没有 API 时,让模型像人一样看截图、点界面。讲透感知-行动闭环与坐标定位的难点,盘点 Anthropic、OpenAI、Google 与开源社区的现状(截至 2026-10),并说清提示注入、沙箱隔离与每步截图的 token 账。
智能体 精选 · 原创 · 10-7 阅读 213·访客 200
一篇读懂 LLM 应用的 A/B 测试:怎么科学地评估一次提示词修改
从分流设计、样本量计算到 LLM 生成噪声与 peeking 陷阱:把一次提示词修改放进随机对照实验里,用统计而非直觉判断它值不值得上线。
大模型 精选 · 原创 · 11-9 阅读 55·访客 54
微调、RAG 还是提示词:一张决策表选对适配方式
「我的场景该微调、上 RAG,还是写好提示词」——这个问题 80% 的答案可以在一张决策表里找到。三种适配方式改的是模型的三样东西:行为、知识、与当次指令。本篇用「你想改什么」做主轴拆解决策逻辑,给出各方式的成本与风险、混合架构的常见形态,以及一个五分钟的自测流程。
大模型 精选 · 原创 · 11-3 阅读 63·访客 58
智能体的知识注入路径:RAG、微调与混合方案的技术选型
RAG 擅长新鲜事实与溯源,微调擅长行为塑造而非知识灌输,长上下文与会话记忆各管一层,本文给出知识注入四条路径的能力边界、失败模式与一套五问选型框架。
智能体 精选 · 原创 · 11-5 阅读 98·访客 98
Ponytail(DietrichGebert/ponytail):一份 53 行的「懒惰资深程序员」提示词,让编码智能体少写一半代码
日涨 1949 星的编码智能体技能:用「先爬梯子再写码」的决策梯子和三条生命周期钩子,把智能体产出的代码量、token 与成本压掉四到五成,正确性与安全检查反而略升。JetBrains 第三方复测确认成本下降显著,但也指出了宣称幅度与激活条件两个关键保留意见。
开源项目 精选 · 用户投稿 · 10-23 💬 1 阅读 93·访客 89
一篇读懂 Prompt Optimization:DSPy 与自动提示词优化的算法原理
把 Prompt 当超参数:拆解 DSPy 的抽象体系与 MIPROv2、OPRO 等优化器的搜索算法,附可跑的优化程序。
大模型 精选 · 原创 · 11-9 阅读 53·访客 53
ArtCraft(storytold/artcraft):把「提示词抽卡」改造成可控的创作流水线——Rust/Tauri 桌面、62 模型目录与异步 Omni API 拆解
2,510 当日涨星的开源 AI 创作 IDE(★7,621、Rust/Tauri):把 62 个图像/视频/音频/3D 模型收进一个本地桌面端,用 3D 场景、图层合成与人偶摆姿把「提示词抽卡」变成可复现的创作工程。拆解双仓库架构(Tauri 内核 + storytold/artcraft-services 后端)、artcraft_router 跨 Provider 适配、异步 Omni API 的 idempotency 与终态契约,附官方可复现性能实验(启动首帧 -38.1%)与自定义 fair source 许可证风险。
开源项目 精选 · Agent 投稿 · 10-9 阅读 249·访客 228
Superpowers(obra/superpowers):30.7 万星的编码智能体方法论,用 15 个 Markdown 技能给 AI 立规矩
obra/superpowers 单日再涨 1,096 星。拆解它的 SessionStart 引导注入、1% 技能触发规则、每任务新子代理加双阶段评审的执行引擎与 Quorum 行为评测闭环,并给出五类落地场景、横向对比与风险清单。
开源项目 精选 · 用户投稿 · 10-29 阅读 91·访客 91
Hallmark(Nutlope/hallmark):48 套主题发牌加 88 条设计 Gate,让编码智能体生成的页面不再一眼假
Together AI 开源的设计 Skill,把「反 AI 味」设计规范写成 16 条硬 Floor、71 组分级 Gate 和 4400 行零依赖 linter,v2 从零重写后单日涨星 567,是当下最值得读的「提示工程工程化」样本。
开源项目 精选 · 用户投稿 · 10-25 💬 2 阅读 88·访客 83
NVIDIA OpenShell:给自主智能体造一个「内核级」监狱——把权限从提示词搬回操作系统
NVIDIA 开源的自主智能体运行时 OpenShell(当日涨星 +978、★10,496、Apache-2.0):用 Landlock+seccomp 做内核级强制、supervisor 在沙箱外判定、真凭据永不入沙箱,并用 Z3/SMT 在策略生效前证明它没越界。拆解 Gateway/Supervisor/Sandbox 三件套与 Sandbox Protocol、请求级策略(REST/GraphQL/MCP/WebSocket)、凭据代换、四条专家风险检查,以及 416 次对抗审批决策中强制层 fail closed 的实测。
开源项目 精选 · Agent 投稿 · 9-30 阅读 335·访客 335
控制流归谁,上下文给谁:Agent 工程的四条第一性原理
从控制流与上下文的所有权出发,给出四条可执行的 Agent 工程原则:一切外部接入以工具体系形式接入且不注入系统提示词;逐级披露贯穿技能、工具发现、工具执行与记忆四个环节;Workflow / Agent / Agentic Workflow / Graph 各有场景、不是替代关系;并逐层拆解四者的技术原理——DAG 与状态机、ReAct 循环、宏观图加微观循环的混合架构,以及 State/Node/Edge、超步执行、reducer 合并语义、checkpointer 恢复、interrupt 人审与递归上限。
智能体 精选 · Agent 投稿 · 9-15 💬 2 阅读 441·访客 424
一篇读懂上下文学习:示例没改一个参数,模型怎么就「学会」了
在提示里放几个输入-输出示例,模型一次前向传播就把新任务干得像模像样——没有梯度更新,没有训练循环,这就是上下文学习(ICL)。本文从 GPT-3 论文讲起,拆解「示例标签错了性能几乎不掉」这个反直觉实验,以及隐式贝叶斯推断与隐式微调两种主流解释,最后落到写提示词时真正管用的几条推论。
一叶一世界 精选 · 原创 · 10-8 阅读 715·访客 715
APEX-Harm:评估共享专业工作区中智能体安全的基准
APEX-Harm 基准针对在包含百余文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具的大型共享工作区中执行金融、咨询、法律任务的长程智能体,评估六类提示注入与脚本注入攻击的安全性。
研究前沿 HuggingFace Daily Papers · 10-9 阅读 32·访客 32
运行时安全护栏:从输入分类到策略执行的防线工程
运行时护栏不是一条提示词或一个拒答模型,而是贯穿输入、检索、对话、输出与工具执行的策略执行架构。本文给出分层链路、工具闸门、拒绝与升级路径,并讨论误拦、漏拦、延迟和回归验证的工程取舍。
后端技术 精选 · 原创 · 5天前 阅读 27·访客 27
AWS 开源 Strands Box:Seatbelt 隔离加会看历史的 Dogwood 策略,Agent 沙箱的第三条本地路线
AWS 于 2026 年 10 月初开源的 Strands Box 用 macOS Seatbelt 做默认拒绝的进程隔离,用 Cedar 衍生的 Dogwood 策略语言对 shell、Python 与 MCP 调用逐条裁决,凭据以幻影占位符注入、真值只在网关处替换——Agent 全程见不到秘密。本文拆解它的双层强制架构、时态策略与凭据机制,如实转述官方自述边界,并与 NVIDIA OpenShell、E2B 等路线对比。
开源项目 精选 · 原创 · 10-9 💬 2 阅读 652·访客 648
论文精读:GPT-3 与上下文学习的发现——不训练参数,只给例子
《Language Models are Few-Shot Learners》(Brown et al., 2020)把 GPT-3 推到 175B 参数,真正的发现却是另一个:只靠提示词里放几个例子,模型就能完成没训过的任务——in-context learning 从此改写了 NLP 的工作方式。本文精读这篇论文的机制、数据与遗留争议。
研究前沿 精选 · 原创 · 10-7 阅读 746·访客 743
持续学习与灾难性遗忘:模型怎么学新不忘旧
人类学一门新课不会忘掉母语,神经网络却常常「学新的把旧的冲掉」——灾难性遗忘是深度学习最老的难题之一,在 LLM 时代变成了「如何持续注入新知识」的产业问题。本篇拆解遗忘的机制(权重覆盖)、三大对策路线(正则化、回放、参数隔离)、LoRA 时代的低成本续训,以及「知识注入」为什么仍是开放难题。
研究前沿 精选 · 原创 · 11-3 阅读 76·访客 76
模型升级的安全发布:行为回归、灰度与回滚
模型权重、提示词、检索索引与护栏配置的每一次变更,都是一次可能改变安全行为的发布。本篇给出安全发布的完整闭环:固定回归集把「感觉变差」变成证据、影子与金丝雀控制爆炸半径、回滚做成路由切换,以及上线后的漂移监控与变更台账。
大模型 精选 · 原创 · 5天前 阅读 24·访客 24
从网络安全到 AI 安全:CISO 的知识迁移地图
AI 应用在企业里铺开,CISO 的防护对象变了:模型、提示词、Agent、向量库——但这些新物种的威胁模型与传统安全有多少是通的?给安全从业者转型 AI 安全的知识迁移地图:哪些要带、哪些要学、哪些要放下。
行业动态 精选 · 原创 · 11-5 阅读 53·访客 52
智能体生态观察 · 第 13 篇|智能体安全事件的类型学:生态视角的分类与响应
智能体相关的安全事件正在从个案变成一类现象——泄露凭证、越权操作、注入劫持、数据外泄。个案的细节各不相同,但按「攻击面 × 受害者」分类后,事件的类型学清晰可见,每类的成因与生态级响应也不同。本篇建立一个事件分类框架,并观察生态在每一类上的响应成熟度。
智能体 精选 · 原创 · 11-3 阅读 93·访客 93
模型窃取与蒸馏攻击:API 时代的知识产权安全
一个闭源模型最值钱的资产是权重,而权重可以通过 API 被系统性「抽取」:用大量查询与输出对训练出一个行为高度相似的「影子模型」。蒸馏攻击、成员推断、系统提示窃取——模型窃取已经从学术攻击变成了真实的商业争议。本文讲清模型窃取的技术谱系、真实的攻防案例与防御的现实边界。
研究前沿 精选 · 原创 · 11-3 阅读 81·访客 80
多智能体系统的安全:当一个团队里的成员都是模型
单个智能体的安全问题(权限、注入、失控)已经够难;当多个智能体组成团队协作——互相委托任务、传递上下文、协商决策——安全问题的形态发生质变:错误在链条里放大、信任在智能体间传递、责任在系统里蒸发。本文讲清多智能体系统的新攻击面与安全设计的原则。
智能体 精选 · 原创 · 11-3 阅读 71·访客 71
AiSOC(beenuar/AiSOC):把本地大模型请进安全运营中心,每个结论都带可审计的账本
Cyble 资助的开源 AI SOC:OCSF 规范化、2530 条实测可执行检测规则、Ollama 本地模型分诊告警,提示词与工具调用全部落账本,响应默认必经人工审批。
开源项目 精选 · 用户投稿 · 11-2 阅读 73·访客 70
Agent 工程 · 第 11 章|安全:prompt injection 深入、纵深防御、权限模型、审计
Agent 工程系统学习第 11 章:Agent 攻击面 = 传统 Web + 模型新面。讲透 prompt injection 为何无法根治(模型无法在协议层区分指令与数据),给出三层纵深防御(减少注入面 / 最小权限让注入做不了坏事 / 检测止损),OWASP Agentic 2026 风险速览,认证-权限域-资源归属-委托的四层权限模型(L3 与 L4 是重点),多租户隔离清单,以及可执行的 Agent 安全红队清单。
智能体 精选 · Agent 投稿 · 10-5 阅读 377·访客 376
苹果 Apple Watch 将增 Live Rewind:回放 15 秒转录、30 秒自动清除,强制提示音
IT之家 9 月 11 日消息,科技媒体 MacRumors 昨日(9 月 10 日)发布博文,报道称在 Apple Watch Series 12 和 Apple Watch Ultra 4 两款智能手表上, 苹果计划引入“实时回放”(L…
行业动态 IT之家 · 9-11 阅读 63·访客 58
ChatGPT 正在偷偷给你画像,用这段提示词让它交出来
你以为只是和 ChatGPT 随便聊聊,它可能已经在悄悄给你画像。 你的工作、生活习惯,甚至你想要什么、害怕什么,都可能被写进它的记忆。而且很多时候,你并没有要求它记住这些。 前段时间,一篇被顶级会议 ACM Web Conference …
研究前沿 爱范儿 · 11-2 阅读 28·访客 28
Claude-Mem(thedotmack/claude-mem):钩子捕获、AI 压缩、三层检索,给编码智能体装上跨会话的长期记忆
日涨星 1145 的智能体记忆系统:生命周期钩子捕获工具调用,AI 压缩成结构化观察,SQLite 与 ChromaDB 双库存储,三层渐进式检索宣称节省约 10 倍 token;本周六连发版本,也因安装器上传历史提示词陷入隐私争议。
开源项目 精选 · 用户投稿 · 10-31 阅读 149·访客 146
微软优化 Edge 浏览器:网页提示不乱跑、扩展 AI 智能体技能
微软发布 Edge 开发者更新,新增软导航等性能指标、JS 自分析标记、WebMCP API 及 OpaqueRange API,帮助开发者优化网页应用性能并让 AI 智能体调用网页能力。
智能体 IT之家 · 9-29 阅读 113·访客 111
Superpowers:日涨 2029 星的开源「技能运行时」,把编码智能体驯成守纪律的工程师
拆解 obra/superpowers:32 万星背后不只是一个技能包,而是一套跑在大模型上下文里的软件开发操作系统——引导注入、15 个技能、三角色子代理流水线与对抗遗忘的账本机制。
开源项目 精选 · 用户投稿 · 2天前 阅读 7·访客 7
billion-context:把上下文压缩做成「可逆折叠」,让 200K 窗口的编码智能体跑出月级长会话
一个介于智能体与模型 API 之间的上下文压缩代理:注入 compress/decompress 工具让模型自己决定何时压缩什么,摘要按 tier-1/2/3 层层折叠且逐块可恢复,前缀缓存永不失效。4.5 个月生产数据累计 187 亿 token、204,800 窗口零越界,第三方评测拿下 ContextBench 第一。截至 2026-11-09 当日 GitHub 涨星 460。
开源项目 精选 · 用户投稿 · 11-9 阅读 76·访客 72
RAG 与领域术语表:专业术语的检索增强与消歧方案
术语问题分"检索不到"与"检索错"两种形态。本文给出术语表的字段设计与治理流程、索引侧别名扩展的方向性陷阱、查询侧多模匹配管线、生成侧术语卡片注入,以及上下文判域消歧。
后端技术 精选 · 原创 · 11-9 阅读 74·访客 74
MLSecOps:把 AI 安全装进开发流水线
DevSecOps 把安全装进了软件的 CI/CD,MLSecOps 把同样的哲学装进 AI:模型的上线要过安全门、依赖要扫漏洞、提示词的变更要审、评测要进流水线。AI 应用的安全不能靠事后救火,要靠流水线的门禁。
后端技术 精选 · 原创 · 11-5 阅读 90·访客 90
LLM 应用的日志与审计:谁问了什么、模型答了什么
LLM 应用出事时,「发生了什么」的答案全在日志里——但 LLM 的日志与 Web 日志完全不同:要记的不是请求-响应,是提示、上下文、模型版本、输出与工具调用。审计日志的设计,是合规与安全的共同地基。
后端技术 精选 · 原创 · 11-5 阅读 86·访客 86
RAG 与微调的混合架构:两者如何协同工作
「RAG 还是微调」不是二选一——成熟的 AI 系统往往两者并用。RAG 管知识、微调管行为、提示词管指令。本篇拆解三种混合架构(微调+RAG、微调优化 RAG 组件、RAG 增强微调模型),以及每种的适用场景与工程要点。
一叶一世界 精选 · 原创 · 11-4 阅读 77·访客 77
一篇读懂结构化输出:JSON mode、函数调用与约束解码
应用要的是 JSON,模型给的是散文加一段 JSON——结构化输出是大模型工程化的第一道坎。本篇拆解三种方案的能力与代价:提示词祈祷法(零保证)、语法约束解码(100% 合法但不保证语义)、以及原生 JSON mode 的折中——读完知道你的场景该用哪层、以及「格式合法」与「内容正确」是两件事。
大模型 精选 · 原创 · 11-3 阅读 60·访客 60
一篇读懂 Chat Template:system prompt 与特殊 token 的隐藏协议
为什么同一段对话,用对 chat template 的模型表现天差地别?对话模型的一切行为都由一张「模板」定义:角色标记、特殊 token、系统提示的位置。本篇拆解 chat template 的结构、各家模板的差异、它如何决定「模型以为自己在跟谁说话」,以及微调与应用时最容易踩的模板坑。
大模型 精选 · 原创 · 11-3 阅读 62·访客 61