凌晨两点,某租户的批量对账任务开跑,子任务并发拉满;恰逢上游模型接口变慢,平台上的智能体们开始集体重试。三分钟内,重试流量把本就变慢的接口彻底压垮,共享配额池被抽干——同一层楼的其他几十家租户的智能体集体排队,服务质量一起报红。传统多租户的噪音邻居是慢性的:CPU 被偷走几个百分点,接口抖一抖,忍忍就过去。智能体云的邻居问题是爆发性的:失控的 Agent 不知疲倦、不知适可而止,能在几分钟里把整栋楼的水电抽干。

共享资源的三层:配额、算力与队列
第一层是上游 API 配额池,这是智能体云与传统云最不同的共享层。托管平台替租户向模型供应商付费,共享同一个用量池——传统云的 CPU 与内存是平台自有资产,超卖是自己的定价问题;配额池的钱按上游价计,争抢直接放大采购成本。争抢的经典场景:月底对账季,几十家租户的批量任务同时开跑,池子被瞬间抽干,采购没有弹性,只能排队。配额池的特殊性还在于它是「有外部 SLA 的共享资源」——上游限流规则由供应商定,平台只能在自己的租户层做二次治理,等于把别人的限流翻译给自己的租户。翻译的难点在语义对齐:上游按请求数限流,平台按任务计费,一层换算下来,「我这单还剩多少额度」要用三层参数才能算清——配额体系越往下建,换算链越长,出错的机会也越多。
第二层是推理算力。自托管模型池的 GPU 共享面对老问题与新形态:长上下文任务的显存占用与缓存挤占,让「一个请求吃掉半个卡」成为常态;同一租户的并发任务瞬间吃满推理批次窗口,别家请求的延迟随之抬升。推理层的治理难度高于传统虚拟机的 CPU 分配:算力消耗与任务内容相关——同样是「跑一个请求」,长上下文与短上下文的成本能差出几十倍,静态的资源切分天然不适配,只能靠动态调度。动态调度的代价是复杂度:优先级怎么定、抢占何时允许、抢占后的上下文恢复成本谁承担——这些问题没有标准答案,但「不回答」的代价是调度退化成先来后到,而先来后到正是噪音邻居的温床。
第三层是存储与队列。任务队列被长任务堵住队头——长任务占着并发槽位,短任务干等;共享检索索引面对读放大——一个热门知识库被所有租户的高频检索打爆;沙盒实例池被僵尸任务占着不还——任务「完成」了,沙盒没回收,池子虚减。三层资源的共同点是「可耗尽、且可被少数租户独占」。治理的设计目标因此不是平均分配,而是任何单个租户都无法把公共池抽干——保底给所有人,上限给每一个人。三层之间还有联动传导:队列积压让任务超时,超时触发重试,重试加速消耗配额池,配额池干涸又让所有排队任务更慢——一次局部拥塞可以沿着这条链滚成全局雪崩。单看任何一层的监控都是正常的,联动的雪崩却已经发生;这决定了治理必须做跨层的全局视图,而不是每层各管各的阈值。
失控租户的类型学:重试风暴、死循环与成本失控
重试风暴是所有云的旧敌,智能体把它放大了两个数量级。经典放大循环:上游变慢、客户端超时重试、流量放大、上游更慢、重试更多。智能体的放大系数更高:一个用户请求展开成几十个并行子任务,每个子任务每步还可能多工具调用、多轮自我修正——上游一次抖动,会在平台侧被翻译成指数级的调用增量。重试风暴的可怕之处在于它是「全租户集体行为」:没有谁是罪魁,每家都在按自己的重试策略行事,合起来就是踩踏——这也决定了处置必须是平台级的全局熔断,而不是劝导单个租户收敛。
死循环任务没有这么体面,它是单点行为。智能体陷入自我对话循环:工具结果不满意,就换个措辞重试同一条路径,再不满意,再换一次措辞——它不累,也不会自己停。更隐蔽的是递归失控:子任务派生子任务,没有深度上限,一个任务繁衍出一个任务族,每个成员都在消耗配额。成本失控是第三种:预算没上锁的任务把错误日志反复塞进上下文,越错越大、越大越错;用户侧「多跑几次取最好」的用法,在无配额约束下变成成本瀑布。成本失控还有一个平台侧的诱因:计量滞后。计费按批次出账、实时余额不可见,租户看到账单时失控已经发生了一小时——实时计量与预扣不只是治理工具,是把知情权还给租户的基本件。三类失控的共同特征:都不是恶意,都是「智能体太听话了」——用户要它继续,它就继续。
| 失控类型 | 典型表现 | 熔断手段 |
|---|---|---|
| 重试风暴 | 上游变慢时流量反增 | 重试上限、指数退避、全局熔断 |
| 死循环任务 | 步数与时长无界增长 | 步数硬上限、循环检测 |
| 递归失控 | 子任务指数繁衍 | 派生深度上限、任务族配额 |
| 成本失控 | 单任务费用持续攀升 | 任务级预算锁、超限即停 |
熔断手段的设计原则只有一条:上限必须是硬的。软上限——告警、建议、稍后再试——在智能体面前全部失效,因为它不会读懂暗示,它只认识「拒绝」。凡是打算靠「提示词里写一句适可而止」来兜底的设计,都还没见过真正的死循环长什么样。失控的检测还难在区分度:月底的合法批量任务,与失控的重试风暴,在单指标上几乎长得一样——调用量都在涨。能分开它们的是组合信号:合法批量有计划的节奏与稳定的步数分布,失控有指数的增长率与步数分布的持续畸变。告警要建在增长率与分布形态上,绝对量只做参考——这是智能体治理与传统限流最不同的一课。
治理机制:配额、公平调度与熔断降级
多级配额是治理的地基。租户级配额防大水,任务级配额防单点,工具级配额防局部——只有租户级抓不住单个失控任务,只有任务级防不住海量小任务,三层各设上限,缺一不可。令牌桶给突发留余地:平稳流量按速率放行,突发有独立预算,突发预算耗尽进入排队——这既保护公共池,也保护租户自己的成本曲线。配额的粒度是产品竞争力的细节:能配到「单任务最多调某工具 N 次」的平台,比只能配到「租户每月总量」的平台多救了好几种事故。
公平调度解决「谁先走」。加权公平队列:大租户多买多得,小租户有保底份额防饿死;长任务拆片调度,防队头阻塞;防独占:单租户并发上限与全池并发的比例封顶。公平与吞吐的权衡要明说:绝对公平会牺牲整体效率——小任务本可以插队快走;务实的做法是给短任务适当的优先级加成、给长任务设可预期的让位节奏,目标是「没有租户被饿死」,而不是「人人同时走」。隔离边界也要有意设计:按租户隔离太粗——同一租户里一个失控任务会连累自己的其他任务;按任务族隔离才能把爆炸半径压到最小。隔离的粒度与调度的粒度是同一个决定的两面:粒度越细,公平越准,开销也越大。
熔断与降级是最后的闸门。按租户熔断:发现失控租户,掐掉它、保住全楼,事后自动或人工恢复——隔离要快,通知要诚实,告诉客户它为什么被暂停。按工具熔断:某个工具故障时统一熔断,防止全租户的重试洪峰叠加。降级链:旗舰模型限流时自动降轻量模型、再排队等待、或明确告知降级——静默失败比降级服务伤害大得多。降级链还有一个常被漏掉的环节:状态告知。任务降级运行后,产出要标注「降级完成」,让下游判断这个结果能不能用——静默降级的问题是下游把轻量模型的结果当旗舰模型的结果用了,判断质量悄悄错位。成本归因是治理的报表面:每租户实时计量、预扣与告警,配额不只是限制,也是产品功能——客户自己需要配额面板、预算告警与用量明细,治理能力直接对外售卖。
class TenantGovernor:
"""租户级治理:令牌桶配额 + 按租户熔断(示意)"""
def __init__(self, rate_per_sec: float, burst: int, breaker_threshold: int):
self.rate = rate_per_sec
self.burst = burst
self.tokens = float(burst)
self.failures = 0
self.breaker_threshold = breaker_threshold
self.open = False
def acquire(self, now: float, last: float) -> bool:
if self.open:
return False # 熔断中:直接拒绝,保护公共池
self.tokens = min(self.burst, self.tokens + (now - last) * self.rate)
if self.tokens < 1.0:
return False # 配额耗尽:排队或降级
self.tokens -= 1.0
return True
def on_failure(self) -> None:
self.failures += 1
if self.failures >= self.breaker_threshold:
self.open = True # 连续失败超阈值:隔离该租户
flowchart TD
R["租户请求进入"] --> Q{"配额准入:令牌桶检查"}
Q -->|"通过"| S["公平调度器:加权队列与保底份额"]
Q -->|"配额耗尽"| W["排队等待或明确降级"]
S --> U1["上游 API 配额池"]
S --> U2["推理算力池"]
S --> U3["存储与任务队列"]
U1 --> B{"全局熔断器"}
U2 --> B
U3 --> B
B -->|"正常"| O["任务完成与成本归因"]
B -->|"检测到失控"| I["隔离失控租户并通知"]
I --> O
治理机制的组合逻辑是一条纵深:配额把正常流量约束在预算内,调度把争抢摊平,熔断把失控者隔离,归因把账算清——四层各管一段,少了任何一层,前一层都要独自面对洪峰。
生态观察:治理军备与企业权衡
平台侧的治理是军备竞赛。沙盒运行时与智能体托管平台把资源上限做成产品参数,用量面板与预算告警成了标配。军备的另一边也在进化:滥用者多账号绕过配额、把批量负载伪装成正常任务、用合法的重试参数逼近熔断边界——平台方的反制从静态阈值走向行为画像,看调用节奏、任务结构与租户间的关联性。治理投入是典型的「不投入也不会立刻死」的开支,但公共池被抽干一次的口碑代价,抵得上一年的治理预算——邻居问题本质是承诺问题:你向所有租户承诺了服务水位,就有义务把破坏水位的人请出去。
企业侧的权衡在自建与托管之间。自建可控,但要自建治理全套——配额、调度、熔断、计量缺一不可,这是四块独立的工程;托管省下治理工程,但邻居问题的治理质量就是产品力——采购时该问三个问题:配额粒度能不能到任务级、失控租户的隔离有没有真实演练过、成本归因报表的口径细不细。三个问题答不上来的平台,邻居问题的账迟早记在自家头上。治理的产品化还在外溢:配额面板、预算 API、用量 webhook 正在从平台功能长成生态位——企业把它接进财务系统做成本分摊,下游的智能体平台把它接进自己的调度做转售。治理能力一旦有了接口,就从成本中心变成了可组合的能力。
与部署形态的辨析留在这句:本系列早前谈过 serverless、常驻与边缘等部署形态的选择,那是「智能体跑在哪」的问题;本篇是「多个智能体挤在一起怎么治理」的问题——前者是架构选型,后者是运营纪律,两件事常被混为一谈,代价是治理被当成部署的附属品而漏建。判断留在这里:多租户智能体平台的核心竞争力是治理失控的能力——模型能力大家都在同一条曲线上,治理能力决定同一条曲线上谁的单位成本更低、谁的 SLA 更敢承诺。公寓楼的房价,从来取决于楼里的水电总闸。
小结
一个失控的 Agent 能拖垮整栋楼,所以治理失控的能力就是平台的核心竞争力。三层共享资源各有争抢场景,四类失控租户各有熔断手段;多级配额抓局部、公平调度保多数、熔断降级护全局、成本归因对外卖——四层纵深少了任何一层,前一层都要独自面对洪峰。给平台的自查三问:任务级预算锁有没有默认开启、重试有没有全局硬上限、失控租户从发现到隔离要多久——三问都能用数字回答的平台,才配得上多租户三个字。公寓楼的安宁从来不靠房客自觉,靠的是楼里的总闸——智能体云也一样。
读者留言
COMMENTS 暂无还没有留言,来说第一句?