AI 资讯 知识库 智能体生态观察智能体生态观察 · 第 45 篇|并发调度的隐藏工程:队列、限流与背压设计

智能体生态观察 · 第 45 篇|并发调度的隐藏工程:队列、限流与背压设计

自来水系统里有个朴素的设计:末端关上龙头,压力传回上游,泵自动降速——水不会在管道里越积越多直到爆管。工程师给这个现象起了个名字:背压。智能体服务把这个物理直觉重新变成一门显学,原因在于它改写了流量的定义:一次用户请求不再是一问一答,而是一段持续数分钟的工作,背后压着几十次模型调用与工具执行。突发的流量不再表现为线程数上涨,而是把上游模型 API 的配额瞬间打穿。本篇聊智能体并发调度的三件套——队列、限流、背压——以及它们共同守护的那条底线:宁可慢,不可雪崩。

手绘信息图:智能体服务的并发漏斗架构,流量入口经优先级队列、并发控制闸门进入执行池,左侧标注逐层数字衰减,右侧便签写着宁可慢不可雪崩

流量画像:智能体为什么比传统 API 难调度

第一个特征是长耗时。传统 API 的请求以毫秒与秒计,智能体任务以分钟计——同样的入口并发数,资源占用时间放大了几十倍;连接、会话、内存状态的滞留时间同步放大,容量公式整个失效。第二个特征是放大系数。入口的一个请求,在后端展开为 N 次模型调用与 M 次工具执行,N 与 M 随任务复杂度波动,没有稳定上限。传统压测的前提是「后端负载与入口流量线性相关」,智能体打破了这个前提:入口流量翻倍,后端负载可能翻五倍,取决于任务结构。这意味着容量规划的单位要从「请求数」改成「任务内的调用数」。放大系数还带来测不准:同一个入口,用户问「今天天气」与用户问「帮我订下周三的机票并对比三个平台的价格」的后端成本差一个量级——入口无法预知任务形状,只能事后计量。第三个特征是上游配额在别人手里。模型 API 的速率限制按请求数与 token 数双轨计,你的突发流量撞上的是别人的限流墙——被限的不是入口,而是执行到一半的任务:一批任务跑了一半集体卡住,恢复后还会集中重试,把限流窗口二次打满。三个特征叠加出一个治理难题:智能体服务的压力峰值,未必出现在你的流量高峰,而是出现在「你的突发」与「上游的收紧」重叠的时刻。调度的全部艺术,就是让这条不确定的链路在过载时优雅地慢下来,而不是硬着头皮冲向雪崩。画像还有一个更隐蔽的推论:监控口径要重建。传统 API 盯 QPS 与响应时间就够了,智能体服务还要盯「执行中任务数」「任务平均调用次数」「上游配额余量」——三个数字共同决定系统离过载有多远。只盯入口 QPS 的团队,会在上游收紧、任务变复杂的时候毫无预警地撞墙:入口流量曲线平稳,系统的血压早已升高。可观测性清单的第一条,就是把这三个数字从「事后排查才看」变成「面板常驻」。

维度 传统 API 智能体服务
单请求时长 毫秒到秒级 分钟级为主
后端放大系数 固定且线性 波动且非线性
瓶颈位置 自家服务器 上游模型配额
过载形态 响应变慢 执行中段集体卡住

画像的差异决定了经验的边界:传统 API 时代好用的「多加机器就行」,在智能体服务里只对了一半——机器加得再多,上游配额不认。

三件套:队列、限流与背压

第一件是队列。它要回答三个问题:谁先走——优先级队列把交互式请求排在后台批任务前面,付费档与免费档分层;重复的怎么合并——同一任务的重复提交(用户狂点重试、调度器的自动重发)在入口去重,这是重试风暴的第一道减震器;排不下了怎么办——队列本身要有长度上限,而不是无限堆积、积压到全部超时。第二件是限流,两把钳子一起夹。入口侧钳并发数:同时执行的任务设上限,因为每个执行中任务都占内存、占会话、占上游配额——不设并发上限,等于把背压的义务推给上游,上游会以限流响应替你做这个决定,时机与姿势都不受你控制。上游侧钳速率:令牌桶按每分钟 token 配额平滑放行,把突发整形上游能接受的形状。第三件是背压:队列满、配额紧时的行为设计。拒绝要体面——明确告知「稍后再试」并给出预计等待,远好过无限转圈;降级要有阶梯——换小模型、砍工具调用预算、从实时改异步;等待成本要可见——排队位置与预计时间,比黑盒沉默更能留住用户。三件套的共同哲学:过载不是异常,是常态的一部分;系统的职责不是消灭排队,而是让排队有秩序、可预期、可退出。去重值得单独说。智能体场景的重复提交比传统服务凶猛:上游一次限流,可能同时触发任务级重试、框架级重试、用户手动重试三路叠加,同一任务在队列里排成三队。入口去重的实现要点是给任务一个稳定的标识——来自业务语义(同一目标、同一参数、同一时间窗),而不是来自请求本身(每次重试的请求头都不同)。没有稳定标识的去重是空谈,这也是为什么任务定义要先于队列设计。

class Gate:
    """入口并发与上游配额的双重闸门(伪代码)"""

    def __init__(self, max_concurrency: int, tokens_per_min: int):
        self.semaphore = Semaphore(max_concurrency)   # 钳并发
        self.bucket = TokenBucket(tokens_per_min)     # 钳上游速率

    def acquire(self, est_tokens: int) -> bool:
        if not self.semaphore.try_acquire():
            return False                              # 并发满,走排队或拒绝
        if not self.bucket.try_take(est_tokens):
            self.semaphore.release()
            return False                              # 配额紧,走降级
        return True

    def release(self, actual_tokens: int, est_tokens: int):
        self.bucket.adjust(actual_tokens - est_tokens)  # 按实际用量校正预扣
        self.semaphore.release()

async def run_task(task: Task, gate: Gate):
    if not gate.acquire(task.est_tokens):
        return enqueue_or_degrade(task)               # 背压出口
    try:
        return await agent.execute(task)              # 超时由上层强制
    finally:
        gate.release(task.actual_tokens, task.est_tokens)

值得注意的细节是 acquire 与 release 的不对称:入口按预估 token 预扣,退出按实际用量校正——智能体任务的消耗量事前只能估、事后才能算,调度器必须容忍这个偏差,否则配额账本会越漂越远。预扣值从哪来?给每类任务维护一张「历史平均消耗」表,按任务类型取均值、按波动留余量;新任务类型先按保守值走,跑过一批后再校准。预估的质量直接决定预扣的松紧——估太松浪费配额,估太紧制造假性排队。

上游约束:速率限制、多租户配额与重试风暴

上游是智能体服务里最硬的约束,治理它有三层。第一层是理解限流的形态:模型 API 普遍按每分钟请求数与每分钟 token 数双轨限额,并按用量分档逐步放宽——低档突发能力弱,高峰时段共享容量还可能进一步收紧。调度设计要假设「上游随时会比文档更严」。双轨限额还有一个容易误判的地方:请求数限额与 token 限额哪个先到,取决于任务形状——短任务多时请求数先到,长任务多时 token 先到;任务结构一变,瓶颈就换边,容量模型要同时盯住两根线。第二层是多租户隔离:平台方给每个租户独立配额,并隔离「邻居效应」——一个租户的重试风暴不能挤占别人的配额。舱壁模式在这里是标配:按租户、按上游、按任务类型分区隔离,一片着火不殃及全船。第三层是重试风暴治理,这是智能体服务最经典的自我攻击。故障发生时,成百上千个执行中任务同时收到限流或错误响应,各自按默认策略立刻重试——分布式系统的经典定理在此重演:重试流量放大故障,故障放大重试流量,服务在自我攻击中延长瘫痪。治理手段有三:指数退避加抖动,让重试在时间上摊开而不是同步踩踏;全局重试预算——给整个服务设一个重试开销上限,超限后新请求快速失败,用「部分服务降级」换掉「全站瘫痪」;熔断联动——上游持续报错时主动摘除流量,尊重限流响应里建议的等待时间,而不是硬闯。重试策略的本质是承认一个反直觉的事实:故障期间,最勇敢的调用者是对系统伤害最大的人。一个真实感的推演可以说明风暴的形态。假设上游在高峰期把配额收紧一半:执行中的任务开始收到限流响应,若各自立刻重试,请求量瞬间回到收紧前的水平,于是更多响应失败、触发更多重试——两三个循环之内,配额余量被重试耗尽,健康的新任务也进不来。如果一开始就有全局重试预算:限流触发的重试先扣预算,预算过半就全局放缓、只放行新任务,风暴在第二个循环就被摁住,多数任务延迟到达而不是全部失败。两者的差别不在算法精巧,在有没有「全局视角的刹车」。

flowchart TD
  IN["流量入口:突发峰值"] --> Q["队列层:优先级、去重与长度上限"]
  Q --> L{"闸门:信号量钳并发,令牌桶钳速率"}
  L -->|"放行"| P["执行池:任务运行中,调用上游模型"]
  L -->|"满载"| BP["背压:拒绝、降级或排队告知"]
  P --> UP["上游模型 API:速率限制与配额"]
  UP -->|"限流响应"| BK["全局退避、抖动与熔断"]
  BK -->|"恢复后放行"| P

从入口到上游,每一层的容量都比上一层小一个量级——漏斗不是缺陷,是设计:它把不可控的突发,收敛成可控的稳态流量。

生态观察:批处理的复兴与延迟的价钱

生态正在围绕「智能体流量」调整基础设施的形状。一是 serverless 平台的适配阵痛:函数执行时长上限、冷启动、无长连接的假设,与分钟级任务天然错配——平台陆续放宽时长上限、补后台任务与队列原语,「请求-响应」范式的函数平台正在为「提交、等待、回调」的新范式补课。二是批处理接口的复兴:OpenAI 与 Anthropic 都提供批处理 API,以约五折的价格换取最长 24 小时的完成窗口,批任务走独立的排队额度、不占每分钟限额(截至 2026-11 双方官方文档口径)——等于头部厂商官方承认「不是所有智能体工作都值得实时跑」。批量评测、离线数据增强、夜间巡检这类非交互任务,从实时接口迁移到批处理是直接的成本减半,也为白天的高峰让出了配额。三是延迟开始有价钱:优先处理档、保时档、批处理档的分层定价,把「多快拿到结果」变成了可购买的选项——传统云服务里预留实例的商业逻辑,在智能体调度里以「优先级与价格分层」的形式重演。对开发者,选型建议可以压缩成一句:交互请求保实时、后台任务进队列、离线批量走批处理——三种通道分开建,成本与体验才都拿得住。反过来,把三类流量混在一条实时管道里的系统,几乎注定在第一次流量高峰同时付出账单与口碑两笔代价。调度还有一个正在被低估的方向:任务的可延迟性本身是资源。允许延迟的任务越多,系统削峰的空间越大——把「这个任务最晚什么时候要」变成提交时的必填字段,调度器就多了一个自由度;强制实时的任务越少,实时管道的容量压力越小。产品设计的责任,是让用户诚实地表达这个字段——所有人都填「立即」,调度就成了无米之炊。

小结

智能体基础设施的第一课,是承认自己会堵。流量画像的三个特征——长耗时、放大系数、上游配额——决定了传统 API 的调度经验只能部分迁移;队列、限流、背压三件套各管一段——队列管秩序,限流管节奏,背压管过载时的体面;上游约束的治理则要把「重试」当成需要预算管控的危险行为,而不是美德。这套工程的深层逻辑与它的物理原型一致:背压的价值不在于让水停住,而在于让压力可见、可传、可缓冲。给读者一个可操作的起点:为你的智能体服务画一张漏斗图——入口峰值、队列深度、并发上限、上游配额四个数字,只要有一个是「没设过、走默认」,系统就还带着雪崩的种子;而消除这颗种子的成本,远低于它在某个流量高峰兑现的代价。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?