运行时安全护栏要回答的不是“哪些内容不该说”,而是当一次真实请求流过应用时,系统如何判断、限制、记录或升级它。可靠的做法不是在提示词里写一段安全要求,也不是只加输出分类器,而是在输入、检索、模型响应和工具执行边界放置可审计的策略检查,并让高影响动作由确定性权限和状态机约束。它仍有漏检、误拦和延迟成本,所以应按风险设计防线、定义失败路径,再用回归和线上监测持续验证。

把护栏放在执行链路,而非只写在提示词里
提示词能表达意图,却不能代替应用的访问控制:模型可能误解规则、受上下文影响,或给出格式正确但违反业务授权的工具请求。运行时架构应将策略分布在模型能影响的关键边界上。NVIDIA NeMo Guardrails 的官方文档将这些位置划分为 input、retrieval、dialog、execution 和 output rails:输入护栏检查请求;检索护栏筛查送入模型的材料;对话护栏管理多轮流程;执行护栏控制工具或函数调用的参数与结果;输出护栏检查将返回给用户的内容。它是一个可编程框架的设计模型,不代表任何单个护栏具备形式化保证。
典型链路如下:
sequenceDiagram
participant U as 用户
participant G as 入口策略网关
participant R as 检索与模型
participant P as 策略引擎
participant T as 工具执行器
participant H as 人工队列
U->>G: 请求与身份上下文
G->>P: 输入分类、速率与权限前置检查
alt 明确禁止或身份无权
P-->>U: 拒绝或安全替代说明
else 允许继续
G->>R: 受限上下文与请求
R-->>P: 输出与候选工具调用
P->>P: 内容策略、参数校验、风险等级判定
alt 低风险且满足授权策略
P->>T: 最小权限、幂等工具请求
T-->>P: 执行结果与审计字段
P-->>U: 经输出检查后的回复
else 高风险、低置信或需审批
P->>H: 携带理由与证据升级
H-->>P: 批准、修改、拒绝或超时
P-->>U: 处理结果或延迟说明
end
end
这里要区分内容策略与安全控制。分类器可判定“这段输入疑似包含敏感信息”,策略引擎再决定拒绝、遮蔽、允许本地处理或转人工;分类器不应自己决定某个用户是否有权退款。涉及资源授权、租户隔离、金额上限、操作对象和审批状态时,应由应用服务端根据身份、数据库状态和明确策略做确定性校验,不能把授权判断交给模型输出或语义分类器。
拒绝也不只是一句“我不能帮助”。系统需要明确状态:直接拒绝并给合规替代、提示补充授权、删除或遮蔽敏感字段、请求人工确认,或在策略服务不可用时安全失败。不同风险级别可以设置不同路径。比如普通百科请求可继续;包含个人信息的请求可转入脱敏路径;向外部发送邮件、执行退款等有副作用动作则先检查收件人、对象、额度与审批令牌。设计时还要处理超时、重试、重复提交、审查服务故障与回滚,避免“分类器挂了就默认放行”。
输入分类与检索边界:判定后要有明确策略
输入分类器的任务是给请求提供风险信号,而不是用一个分类标签解决所有上下文问题。分类维度可包括内容安全、越狱或提示注入迹象、个人信息、允许主题、用户身份和请求意图。最好把“检测结果”和“决策结果”分开存:分类器输出类别、分值、证据片段与模型版本;策略引擎结合用户角色、数据敏感级别、工具权限和业务环境,计算 allow、block、redact、review 等动作。这样才能解释为什么拦截,也能独立修改阈值和例外条件。
检索场景必须把用户输入与外部文档视为不同信任域。检索护栏可验证文档来源、权限标签、过期状态和租户范围,过滤不应进入当前回答的片段;同时,不能因为文本里出现“忽略之前指令”就把整个防御任务简化为关键词删除。文档可能包含正常引用或代码样例,过度清洗会损害内容;更重要的是把检索内容作为数据而非指令,在模型以外保留访问控制,并在有风险的操作前再做授权检查。本文讨论运行时执行架构,不把提示注入防御本身当成全部护栏。
输入拒绝要给出足够可操作的信息,但避免把内部策略或攻击检测细节泄露给对手。一个面向用户的拒绝可以简要解释不能执行的动作,并给出安全替代;内部日志则记录触发的规则、分类结果、策略版本、复核状态和必要的脱敏上下文。若误拦由某个词语或行业场景集中触发,应支持申诉或人工复核并反馈到测试集。对于不可逆或高影响场景,不能用“置信度很高”直接绕过审批。
分类器阈值不宜全局一刀切。不同业务的漏拦和误拦代价不同:医疗信息分流可能更需要人工确认;知识问答中错误地拒答防御性安全问题也会伤害效用。策略可以按风险和后果划分路径,给低风险问题设置较轻的检查,对涉及财务、个人数据、身份、外部通信和关键配置变更的动作设置更强校验。阈值决策需要来自明确成本分析和应用测试,而不是看一个总体 F1 分数。
工具调用闸门:把模型建议当作不可信输入
Agent 场景中最重要的一道运行时边界是模型输出到工具执行器之间。模型可以提出 transfer_funds、send_email 或 read_record 调用,但调用描述只是一条候选动作,不是已授权命令。执行器应重新验证用户身份、会话权限、租户、目标对象、参数类型、金额上限、允许的副作用和审批状态,并对授权采用最小权限、短时有效的凭据。工具返回值也要校验结构、数据范围和错误状态,不要未经检查就拼进提示或发给用户。
可将闸门写成应用层伪代码,重点是策略由服务端执行,遇到不确定或状态不全时升级,而非推测放行:
from enum import Enum
class Decision(Enum):
ALLOW = "allow"
BLOCK = "block"
REVIEW = "review"
def gate_tool_call(actor, call, resource, policy, approval):
if not actor.is_authenticated:
return Decision.BLOCK
if not policy.role_can_call(actor.role, call.name):
return Decision.BLOCK
if not policy.tenant_matches(actor.tenant_id, resource.tenant_id):
return Decision.BLOCK
if not policy.schema_is_valid(call.name, call.arguments):
return Decision.BLOCK
if policy.is_high_impact(call.name, call.arguments):
if not approval.is_valid_for(actor, call, resource):
return Decision.REVIEW
return Decision.ALLOW
伪代码中的角色检查只是示意;生产系统还应处理并发状态变化、重放攻击、审批人与发起人分离、幂等键、权限撤销、工具超时与补偿操作。对不可逆动作可使用双阶段设计:先生成待执行计划并展示关键字段,再由具备权限的人确认;执行时服务端重新读取资源状态,防止“审核后参数变了”。不要将密钥交给模型上下文,也不要依赖模型自己记住“不要调用未经授权的工具”。
输出护栏可以检查最终文本是否包含隐私、被禁止的建议或不符合结构约束的内容;在语音、图像、代码或多语言应用中,分类和校验方式需与模态一致。但输出检查不能撤销已经执行的外部动作。对于工具型 Agent,风险防线的优先级应是动作前拦截和权限约束,其次才是动作后检查回复。日志应区分“建议调用”“策略拒绝”“审批通过”“实际执行”和“工具结果”,否则事后无法判断失效究竟发生在模型、闸门还是外部系统。
误拦、漏拦、延迟与升级路径的平衡
护栏不是免费安全。漏拦意味着风险内容或动作通过;误拦会拒绝正常请求、阻断工作或让用户绕过系统;额外分类器和 LLM-as-judge 会增加延迟、成本和新的故障依赖。Kumar 等人的 2025 年预印本《No Free Lunch with Guardrails》比较供应商服务、分类器与 LLM 评审,并把对抗样本、伪有害(表面像危险但实际无害)内容、效用和延迟放在同一个框架里。作者报告这些维度存在取舍,但这是一项特定数据集与所测实现下的研究,不应外推为所有产品必然服从相同曲线。
NVIDIA 的一篇工程示例用 215 个自建交互样本评估 NeMo Guardrails 配置,报告随着增加内容安全、越狱检测和主题控制层,示例策略违规检出率从无护栏配置的 75.0% 提升到 98.9%,平均延迟也从 0.91 秒升至 1.44 秒。这个结果来自特定 RAG 聊天机器人、样本和模型配置;厂商文章也建议用人工标注复核 LLM 评审结果,不能当作其他系统的保证。它说明工程上要同时看策略效果和交互成本,而不是只比较分类准确率。
实务评估应把测试切成至少四类:明确禁止请求、边界或善意敏感内容、工具授权与参数攻击、服务故障和异常状态。每类分别报告真阳性、漏检、误报、拒绝原因、延迟分位数和人工升级比例;对高影响工具还要做端到端测试,验证没有任何绕过路径。按语言、用户群、请求长度、检索来源和工具类型分组,避免总指标掩盖局部弱点。加入新一层后用相同基线、相同测试集和相同服务负载测增量,并确认没有把拒绝能力提高却把合法任务大量误杀。
失败路径需要先设计:策略服务不可用时,读类低风险请求可以按组织规定降级;付款、删除、发送和权限变更应默认不执行。模型输出置信不足、两个分类器冲突、审批超时或审计日志写入失败时,系统要有可解释的阻断或升级行为。人工复核也要有超时、责任人、可见证据和最终状态,不要让请求无限等待或在后台静默自动重试。
日志、回归与持续运营
运行时安全是生产控制,不是上线前一次性过滤。每次策略判断应留可追溯事件:请求 ID、时间、系统与策略版本、分类器版本及分数、脱敏后的必要输入摘要、检索文档标识、候选工具调用和参数哈希、决策理由、审批人或服务身份、最终动作、结果、延迟与异常码。记录要按数据最小化、访问控制和保留期限原则处理;日志不是可以无限保存原始对话的许可证。高敏感字段可记录标签、哈希或受控证据指针,而非全文复制。
每当模型、提示词、工具 schema、权限策略、检索源、分类器、阈值或第三方服务改变,都应触发相关回归集。回归集不仅含“过去拦住了什么”,也要含误拦案例、边界案例、跨轮对话、超时、空值、重复请求、工具返回畸形、用户权限切换和服务失败。对线上新攻击或误判先做脱敏复盘,再补进测试集;关键回归案例可以设置不可被调参集覆盖的留出部分。若分布变化或人工申诉集中出现,应及时重估阈值并重新审核允许路径。
运行时架构的完成标准不是“装了几个护栏”,而是每项策略都能对应风险、执行点、失败动作、证据记录和回归用例。组织需明确谁维护策略、谁批准例外、谁响应报警,以及哪些动作必须停机或转人工。这样护栏才是系统执行规则的一部分,而不是贴在模型外面的装饰层。
小结
运行时安全护栏应覆盖输入、检索、对话、输出和工具执行,但更重要的是把分类信号转成明确策略。权限、租户隔离、参数约束和不可逆动作审批必须由应用端确定性执行,不依赖模型自行遵守提示词。
对工具调用,模型只能提出候选操作,服务端必须重新验证主体、资源、参数和审批状态。拒绝、遮蔽、人工复核、超时与故障降级都应预先定义,尤其是安全服务失效时,高影响动作要默认不执行。
护栏会带来漏拦、误拦、延迟和成本,需用贴近部署的回归集分层测量,并记录策略与模型版本、决策理由和执行结果。定期复盘线上异常、申诉与变更,才能让策略随系统变化持续有效。
参考资料
- NVIDIA NeMo Guardrails:Guardrail Types — 官方说明五类运行时护栏的职责和生命周期位置。
- NVIDIA NeMo Guardrails:Architecture Overview — 介绍请求、检索、动作与输出的运行链路。
- Kumar et al.:No Free Lunch With Guardrails — 对抗安全、误拦、效用与延迟之间的实验性取舍研究。
- NVIDIA:Measuring the Effectiveness and Performance of AI Guardrails — 一个特定 RAG 示例的策略合规与延迟测量方法。
- OWASP:LLM Top 10 — 汇总 LLM 应用风险,供运行时测试和控制映射使用。
读者留言
COMMENTS 暂无还没有留言,来说第一句?