AI 资讯 知识库 智能体生态观察智能体生态观察 · 第 75 篇|谁给智能体值班:SLO、on-call 与 runbook 的新职责

智能体生态观察 · 第 75 篇|谁给智能体值班:SLO、on-call 与 runbook 的新职责

传统运维的告警像火警——明火才响,烟雾报警器盯的是看得见的物理信号。智能体的故障更像慢性病的化验指标:血压血糖悄悄偏了,人看着「还好」,接口全部 200 OK,任务却在悄悄跑偏。智能体上线之后,「值班」的含义变了——告警不再只是「服务挂了」,更多时候是「它开始胡来了」。谁来盯、怎么盯、盯什么,需要一套新的值班纪律。

手绘信息图:智能体的 SRE 手册——左侧 SLO 面板列出完成率、接管率、成本与延迟指标,右侧 on-call 流程从告警触发到复盘归档的闭环

新 SLO 的定义:从「活着」到「干对」

传统可用性指标为什么不够用:可用性测的是「服务是否在线」,智能体的高频故障恰恰发生在在线状态下——接口健康、延迟正常,任务却在做错。把「活着」的 SLO 直接套在智能体上,等于用体温计测血压。智能体需要一组质量型 SLO,与传统可用性 SLO 叠加使用。

第一个指标是任务完成率:端到端任务里达到验收标准的比例。难点在度量本身——每条轨迹都人工审不现实,实际做法是三源合成:抽样评测(定期抽轨迹人工判卷)、用户信号(重试、改口、投诉)、自动判卷(评估模型按判分规则批量打分)。三个源各有偏差,交叉校验才敢信。口径必须锁死:「完成」是跑完了还是验收通过了,一字之差,指标能差出一截。度量还有一个新鲜度问题:抽样评测按周跑,用户信号实时进,自动判卷逐条过——三个源的更新节奏不同,看板要把「数据截至时间」标出来,否则值班的人拿着昨天的判卷结果判断今天的告警,归因就会错位。指标的可信度不仅看口径,还要看新鲜度。

第二个指标是人工接管率:智能体干到一半人接手的比例。它是质量信号——接管多说明能力不足;也是成本信号——接管多说明自动化率低。目标不是一味压低,而是「该接才接」:该接管时不接管是风险,不该接管时频繁接管是体验灾难。接管率是智能体产品特有的指标,传统运维没有对应物,它同时牵动着用户体验、成本与风险三条线。

第三个指标是单位任务成本:平均每个任务消耗的 token 与工具调用费用。它是失控的第一道护栏——死循环、重试风暴、上下文膨胀,最先把成本曲线推上天。成本 SLO 与质量 SLO 之间存在天然拉扯:放宽重试上限,完成率升、成本也升;放宽判卷标准,成本降、质量降——预算必须一起定。成本指标还要分维度:按任务类型、按客户、按模型版本分开统计——平均值会掩盖失控的局部,一个客户的某类任务成本翻十倍,全站平均值可能只动几个百分点。值班看成本,看的不是一条曲线,是一棵按维度下钻的树。

第四个指标是端到端延迟 p95:用户感知的是「我的任务什么时候出结果」,单次调用的延迟对用户没有意义。任务级延迟的分布比传统接口更散——长任务天然波动大,p95 与 p99 之间的距离本身就是异常信号。SRE 的误差预算概念可以整体迁移:给任务失败设预算,预算消耗过快就冻结发布、回退模型版本、收紧权限。质量从「形容词」变成「带预算的数字」,这是智能体运维与传统运维最实质的接轨。

告警与分诊:概率性错误的新阈值

概率性错误的告警设计原则与传统故障不同。单次失败不是信号——智能体的错误是分布不是事件,同样的输入这一遍对、下一遍错属于正常波动;告警要看的是分布的位移。工程做法是把误差预算做进告警:按时间窗口计算完成率的「预算消耗速率」,消耗速率持续超阈值才触发告警,单点失败只记录不响。与告警风暴的斗争还要多一仗:智能体的失败是批量性的——同一个缺陷影响一类任务,一条缺陷可能同时触发上百条任务级告警,告警必须按缺陷维度聚合,而不是按任务维度透传。阈值设计还有个反直觉之处:智能体的「故障」往往先在次要指标露头——成本上升、重试变多、接管率抬头,而主指标要在几天后才跌下来。多窗口设计因此必要:短窗口盯次要指标的异常增速,长窗口盯主指标的预算消耗,两级告警一快一慢——快的负责提前叫醒人,慢的负责确认事态。

告警响了之后是归因分诊。智能体的错误归因分四类,每一类的信号与首要处置都不同。模型类:版本升级回归、行为漂移——信号是响应指纹变化与评测分数下跌,首要处置是回退版本或切换备用模型。工具类:外部接口失败、结构变更、限流——信号是特定工具的错误率与延迟上升,首要处置是熔断该工具、降级到备用实现。上游类:模型供应商故障、延迟恶化——信号是供应商状态与全量任务的延迟抬升,首要处置是调整重试策略与切换流量。数据类:输入分布漂移、脏数据、权限变更——信号是错误集中在特定客群或特定时段,首要处置是回滚配置、收紧输入校验。

错误类别 典型表现 告警信号 首要处置
模型类 升级后质量回归、行为漂移 指纹变化、评测分下跌 回退版本或切备用模型
工具类 外部接口失败、限流 单工具错误率上升 熔断降级、换备用实现
上游类 供应商故障、延迟恶化 全量任务延迟抬升 调整重试、切换流量
数据类 特定客群集中出错 错误聚集在子集 回滚配置、收紧校验

一次典型的夜班可以说明概率性故障的样貌:告警是「成本消耗速率翻倍」,服务无任何报错。值班工程师调出近期轨迹,发现某批任务的工具调用次数异常翻倍;再查,是上游搜索工具延迟升高,智能体在超时后反复重试。处置是给重试设上限熔断,切换备用搜索源,半小时恢复。这类故障的教训是:智能体的故障表现是「行为变化」而不是「报错」,按传统思路只盯错误日志值班,会漏掉最常见的那类事故。概率性故障还有一类更隐蔽的形态:慢性的质量滑坡。没有单次事故,没有成本尖峰,只是完成率在几周里缓慢滑落——这类故障没有告警阈值能直接抓住,靠的是把每周的评测分数画成长期趋势线,与每周的轨迹抽审记录对照。值班制度的完备度,最终体现在「慢故障」能不能被看见。

runbook 的 Agent 化:机器可执行的处置手册

传统 runbook 是给人读的散文——「如果看到某报错,先检查某配置」。Agent 化的 runbook 要重写成机器可执行的结构:触发条件(哪个指标的哪种漂移)、诊断步骤(按序执行的只读检查)、处置动作(可调用的脚本与工具)、升级路径(什么情况必须转人工)。写成结构之后,一线分诊可以交给一个「值班智能体」:它接收告警、执行诊断步骤、给出归因建议、执行低风险处置——改重试上限、切备用源;高风险动作——回滚版本、动生产数据——保留人工批准。用智能体值班管智能体,前提是值班智能体自己的动作范围受限且全程留痕:它是二线的手,不是二线的脑。

  # 机器可执行 runbook 示意:触发、诊断、分级处置
runbook: retry-storm-cost-spike
trigger:
  metric: cost_per_task
  condition: "消耗速率超过预算基线 2 倍,持续 10 分钟"
diagnosis:              # 只读步骤,值班智能体可直接执行
  - "抽取近 30 分钟轨迹样本 20 条"
  - "统计每条轨迹的工具调用次数与耗时分布"
  - "比对上游工具的延迟与错误率基线"
actions:
  low_risk:             # 值班智能体自行执行,全程留痕
    - "将重试上限从 5 收紧到 2"
    - "切换到备用搜索源"
  needs_human:          # 必须人工批准
    - "回滚模型版本"
    - "暂停该类任务的自动执行"
escalation:
  after: "低风险处置 30 分钟后指标未恢复"
  notify: "oncall-secondary"

复盘环节同样要 Agent 化。传统复盘产出一份文档,智能体复盘要多产出两样:事故轨迹的归档与回放——把出事前后的完整轨迹存起来,任何人可以重放现场;回归用例的沉淀——出事的那类输入变成评测集的新条目,下次发布之前自动回归。复盘的输出从「教训文字」变成「评测资产」,同一个错误第二次出现的概率才真正下降。runbook 自身也要有版本管理与更新闭环:每次事故后修订、修订留痕,过期的 runbook 比没有更危险——按着错的手册处置,比裸奔多绕弯路。手册的可执行性还有一个常被漏掉的验收角度:让一个新人照着 runbook 走一遍桌面推演——如果他走不通,值班智能体大概率也走不通;机器对手册的容忍度,不会比新人更高。

flowchart TD
  A["告警触发:完成率或成本越界"] --> B["一线分诊:值班智能体执行诊断"]
  B --> C{"归因判定"}
  C -->|"模型类"| D1["回退版本或切备用模型"]
  C -->|"工具类"| D2["熔断降级换备用实现"]
  C -->|"上游类"| D3["调整重试切换流量"]
  C -->|"数据类"| D4["回滚配置收紧校验"]
  D1 --> E["高风险动作:人工批准"]
  D2 --> E
  D3 --> E
  D4 --> E
  E --> F["复盘:轨迹归档与回归用例沉淀"]
  F --> G["runbook 修订与评测集更新"]
  G --> A

值班流程从「人读手册」变成「机器执行手册、人审手册」——闭环里多出的评测资产,让每次事故都变成系统的免疫记忆。

生态观察:技能迁移与工具缺口

SRE 团队的技能迁移已经发生。看曲线的功夫在贬值——延迟与错误率的传统面板不再覆盖主要风险;读轨迹的功夫在升值——从一段任务轨迹里看出「哪一步开始跑偏」成为新核心技能。评测工程从研究团队的专属变成值班团队的基础:判卷器设计、抽样策略、评测集维护,SRE 需要补的课不少。组织上正在长出混合岗位:智能体运维既不是纯机器学习团队——他们离生产告警太远,也不是纯 SRE——他们离模型评测太远,智能体质量归谁管在多数公司仍是悬而未决的题目,先答的公司通常把评测与运维合进一个小组。技能迁移的另一半发生在产品团队:过去「质量」是上线前的一份评测报告,现在质量是持续值班的输出——评测集的每一次扩充、判卷器的每一次修订都发生在事故之后。把复盘产出接进评测流水线的团队,质量曲线是爬升的;复盘只写文档的团队,同样的错误会换个场景再演一遍。

工具侧的缺口清晰可见。可观测性厂商在补轨迹级追踪:任务轨迹作为一等公民、工具调用作为跨度、成本与质量维度随行标注——链路追踪的骨架已现;评测平台从线下搬到线上,判卷、抽样、回归的流水线在产品化。但「智能体的 PagerDuty」仍然缺位:告警按缺陷维度聚合、归因分诊的自动化、处置动作的执行与留痕,这条闭环要靠各家自己拼装(截至 2026-11)。惯例也没有定型:质量 SLO 要不要写进对客 SLA、内部 SLO 与对客承诺怎么换算、事故报告的行业模板长什么样,都在试。

工具缺口就是机会清单:谁先把「告警聚合、归因分诊、处置留痕」的闭环做成产品,谁就接住智能体运维的下一波预算。而对使用方的建议是,在工具成熟之前先用最低配把闭环跑起来——完成率与成本两条告警、一份结构化 runbook、每周一次轨迹抽样复盘,三件套的成本不高,缺了它们等于无人值班。

小结

给智能体值班,是用 SRE 的纪律管住概率性的行为。新 SLO 回答「盯什么」:完成率、接管率、成本、延迟,四指标加误差预算;告警分诊回答「怎么判断」:看分布位移不看单点失败,四类归因各有首要处置;runbook Agent 化回答「怎么处置」:机器执行一线、人批二线,复盘产出评测资产。给刚上线智能体的团队一个最小值班包:两条告警、一份结构化 runbook、每周轨迹抽审。值班的意义没有变——让系统在用户察觉之前自我修复;变的是故障的形态:它不再报错,它只是开始胡来。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?