凌晨三点,客服智能体的响应时间开始爬坡,监控面板上却没有流量异常——用户请求只有平时的一半。排查到最后,答案在上游:模型服务商的共享配额在高峰时段收紧了。这是智能体服务特有的尴尬:你的容量规划做得再好,也管不到别人的 GPU。给智能体做容量,等于同时给入口、推理、上游三套系统做规划。本篇按三层画像、账本输入与伸缩策略逐层拆开,最后聊聊托管与自建的边界。

三层资源画像:入口、推理、上游
传统 API 的容量观是入口视角:请求短、无状态、并发可预测,加机器就能水平扩。LLM 推理打破了这个模型:单请求秒级起步,智能体会话更是分钟级的长占用,GPU 池的吞吐受显存与 KV 缓存制约,扩容以卡为单位、以周为周期,冷启动远慢于普通容器。同一张卡上,长会话的缓存占用直接吃掉可并发的请求数——显存没满、并发先满,是推理层最常见的假性余量。上游 API 配额则是第三层:托管模型的限流按每分钟请求数与每分钟 token 数双轨计,配额绑在账号与租户上——它是别人的机房,却是你的天花板。
智能体把三层拧在了一起。一个用户请求进入后,会被放大成几十次模型调用与上百次工具执行,入口的一百并发在推理层可能是在途的三千次调用。更麻烦的是三层瓶颈互相掩护:入口排队时看起来是入口问题,根因可能是上游限流;推理变慢可能只是长会话的缓存挤爆了显存。排障的第一课是分层监控——每一层各自记录在途数、排队深度与拒绝率,否则永远在错误的层上扩容。落地时给每层一个独立面板与独立告警阈值,告警文案里写明层级——半夜排障的人最恨的,就是一条不说自己是谁的告警。
生态里因此流传一句行话:智能体的峰值容量不是你的流量,是上游的余量。共享配额的时段性收紧、同租户其他业务的突发抢占,都会直接改写你的有效容量。容量规划的第一步不是预测自己的流量,而是确认上游在目标时段愿意卖给你多少。
三层画像还各自带着不同的成本形态:入口层是弹性成本,加实例就加容量;推理层是半弹性成本,GPU 扩容有采购与装机周期;上游配额则是刚性约束,钱买得到更多额度,买不到即时到账。压测方法也要跟着改——传统压测打入口就能测出容量,智能体的压测必须带着上游一起打,否则测出来的只是「上游配额还没耗尽时的表现」。不少团队上线前压测全绿、上线三天就被上游限流教育,根子都在压测口径漏了第三层。
三层画像的关键不是各自看懂,而是看清它们如何互相掩护彼此的瓶颈。
容量规划的账本:四个输入指标
智能体的容量账至少要四个输入。会话时长分布:决定单会话占用的资源时长,长尾比均值重要——P95 会话若是均值的五倍,按均值规划必然溢出。放大系数:每个会话平均触发多少次模型调用与外部 API 调用,入口并发乘以放大系数才是真实负载,提示词或模型的每次迭代都可能改写这个数。放大系数还该拆成两半看:模型调用的放大决定推理算力与上游 token 配额的消耗速率,外部调用的放大决定你自己的下游服务——数据库、搜索、第三方接口——要按多少倍冗余设计,两部分的瓶颈常在不同层,混在一个系数里看,容易得出「扩上游就行」的错误结论。突发系数:营销活动、整点报表这类可预期的脉冲,与不可预期的热点事件要分开建模。重试率:重试不是免费的,上游抖动时重试风暴会把一次故障放大成配额耗尽。与传统服务的重试不同,智能体的重试自带指数级的燃料——每次失败重试都要重新支付整个上下文的输入费,风暴的账单按 token 结算。
采集方式上,这四项都应从真实会话轨迹里统计,而不是拍脑袋估算:把每次会话的调用序列、token 消耗、工具耗时落成结构化日志,按周复盘分布的变化。容量规划的输入是活的——新的提示词让会话多跑三轮,容量账就全变了,账本必须跟着版本走。一种被验证有效的做法是给每次提示词或模型变更打版本标签,账本按版本切片对比,放大系数的异动当天就能定位到某次变更。规划口径也要从均值改成 P95 与 P99:容量是给最忙的那批会话准备的,均值只适合算账单,不适合算容量。
def max_concurrent(ingress: int, gpu: int, upstream: int) -> int:
"""ingress: 入口可承载并发
gpu: 推理层并发(按单会话平均占用折算)
upstream: 上游配额余量折算的并发(配额 / 单会话调用速率)"""
return min(ingress, gpu, upstream)
print(max_concurrent(200, 120, 80)) # 例:入口 200,GPU 折算 120,上游 80 → 80,上游是短板
| 指标 | 采集方式 | 典型量级 |
|---|---|---|
| 会话时长分布 | 会话轨迹日志分位统计 | 数分钟到数十分钟 |
| 放大系数 | 每会话模型调用次数均值 | 十次到百次级 |
| 突发系数 | 整点与活动峰值对比均值 | 两到十倍 |
| 重试率 | 上游错误码分类统计 | 平时低位,抖动时陡增 |
容量账的输入不是流量一个数,而是分布、放大、突发、重试四个活的指标。
伸缩策略:错峰、预热、池化与降级
预测调度是对付可预期脉冲的第一招:整点报表、夜间回填这类确定性负载,直接迁移到批处理接口。主流厂商的批处理 API 普遍给出对折级别的价格折扣、承诺二十四小时内返回、且不占标准限流配额(截至 2026-11,OpenAI 与 Anthropic 的批处理价均为标准价的五折左右)——把不赶时间的负载挪进去,等于腾出了高峰时段的实时配额。夜间低谷跑日报、跑数据回填、跑评测回归,是智能体服务的标准错峰动作。适合挪进批处理的任务有三类共性:不赶时间、量大、可断点重跑——日报、索引重建、评测回归、历史数据回填都符合;反例是用户在等的任何交互,宁可排队也别骗用户去等批处理。
冷启动预热与资源池化解决「扩容跟不上脉冲」:会话路由做粘性,让同一会话落在已装载上下文的实例上;连接与鉴权凭据池化,避免每个会话重复握手;对自托管推理,按预测曲线提前预热实例。预热也要有度:实例常驻的成本与冷启动的延迟之间按脉冲历史曲线取平衡,别为一年一次的峰值养一整年的池子。优先级驱逐与优雅降级则是超载时的次序问题:付费会话保住,免费额度排队或延迟;降级路径提前演练——换小模型、压缩上下文、缩短工具重试——每条降级路径都应在平时演练过,而不是事故夜即兴发挥。降级路径的设计还有一条容易忽视的原则:降级后的输出契约要事先声明。换小模型后置信度分布会变,压缩上下文后引用可能变少——下游若按满血版的格式假设消费,降级瞬间就会出新错。优雅降级的「优雅」,一半在性能曲线平滑,一半在契约同步变更。至于上游配额池化——用多个账号或多家供应商聚合出一个虚拟大池——技术上直接有效,但要留意各厂商服务条款对配额共享的约束,工程方案先过一遍合规再上线。
flowchart TD
A["入口层:突发流量"] --> B["队列与优先级"]
B -->|"赶时间的实时会话"| C["推理池:预热实例与粘性路由"]
B -->|"不赶时间的负载"| D["批处理通道:错峰与折扣"]
C -->|"受限于"| E["上游配额池:实时余量"]
D -->|"不占实时配额"| E
E -->|"余量不足"| F["降级:小模型、压缩上下文、排队"]
伸缩策略的核心是把负载按时间价值分流——赶时间的走实时,不赶时间的走批处理,超载时按优先级有序退让。
生态观察:托管与自建的边界
托管平台与自建推理的边界在 2026 年变得更务实。多数团队的结论是:入口层自建——队列、会话、工具执行——推理层托管,把 GPU 的苦活留给厂商;少数有数据合规或成本规模优势的团队才自建推理。托管平台还容易制造一种「容量错觉」:平台把入口伸缩、队列、重试都替你做了,面板上的并发数字看起来随流量自动增长,容易让人误以为容量问题已被平台解决。真相是平台只管了第一层——推理的弹性在你选择的模型档位里,上游的配额还在你的账号名下。把平台的能力边界画清楚,是接入托管时最值得花半小时的一件事:问清它替你管哪层、不管哪层,剩下的才轮到自己规划。但托管并不免除容量责任:配额分级往往按账号信用与消费量走,新账号的限流紧得多,扩配额要提前谈;跨厂商的备用通道成了事实上的标配,主通道限流时自动切换,代价是双份的接入工程。切换也不是「换一个地址」就完事:各家对工具调用协议、结构化输出、长上下文的细节支持参差,备用通道要像主通道一样过回归集;切换期间的计费口径与日志格式也要归一,否则故障复盘时连账都对不齐。容量规划因此越来越像投资组合管理——主通道博性价比,备用通道买保险,批处理通道赚折扣,三条腿缺一条,另一条出事时就是全站事故。
成本透明度是另一桩生态公案。按 token 计费对开发者友好,却让财务看不懂月账单的波动;按会话计费好预算,又容易在长会话上亏损。智能体成本结构里最不透明的恰是放大系数——同一个功能,提示词改版后单会话成本悄悄涨了三成,没有轨迹级归因根本发现不了。归因的最小单元是单次工具调用:把每次调用的 token 数、耗时、成败记进轨迹,会话级与功能级的成本自然可以聚合出来——没有轨迹级数据的团队,成本优化基本靠猜。把 token 消耗按会话、按功能维度记账,正在从最佳实践变成生存必需。
对 SRE 文化而言,智能体服务带来一个观念更新:SLO 的达成有一半掌握在上游手里。延迟与可用性目标必须按「含上游」来写,降级预案必须假设上游会抖。把上游配额余量、厂商状态页、批处理队列深度纳入监控面板,是智能体 SRE 与传统 SRE 最直观的差别。
托管换走了 GPU 的苦活,换不走上游的不确定性——容量责任以新的形式留在了你自己手里。
小结
智能体的容量规划是三本账合一本:入口的并发、推理的算力、上游的余量。会话分布、放大系数、突发系数、重试率四个指标让账本可算,预测调度、预热池化、优先级驱逐、优雅降级让账本可执行。它与传统容量规划最大的不同,是承认一部分容量根本不归自己管——这部分既要在监控里显形,也要在 SLO 里坦白。最后一句话给所有智能体团队:你的 SLO 有一半在上游手里,监控要穿过三层,预案要写到降级为止。
读者留言
COMMENTS 暂无还没有留言,来说第一句?