AI 资讯 知识库 智能体生态观察智能体生态观察 · 第 61 篇|确定性与可复现性:温度、种子与智能体的工程化收敛

智能体生态观察 · 第 61 篇|确定性与可复现性:温度、种子与智能体的工程化收敛

科学实验有一条铁律:结果不能重复,结论就不成立。智能体系统正面临同款拷问——同一个任务跑两遍,路径与结论都可能不同。传统软件是复印机,「同输入同输出」;智能体是概率机器,「同输入千种路径」。这不是缺陷,而是要管理的物理属性,能否管理它,恰恰是玩具与工程的分水岭。本篇拆解漂移从哪里来、能收敛到什么程度、哪些场景必须锁死、哪些场景应当放行。

手绘信息图:同一个任务的两次运行轨迹在步骤三分叉,一成一败,下方列出种子锁定、缓存与验证器三种收敛手段

漂移的三个来源:采样、环境与版本

第一个来源在模型内部:采样随机性。温度大于 0 时,输出按概率分布抽样,每一次生成本质上都是掷一次骰子。把温度设为 0 也只换来「大概率一致」——托管推理为了吞吐把多个请求拼批处理,GPU 的浮点运算不满足结合律,批的组成与切分方式不同,同一个 token 的对数概率就会有毫厘之差,最终累积成不同的输出。2025 年业界一篇广受引用的分析把这一点讲透:要让推理逐位确定,需要「批不变」的数值实现——与批多大、切几份无关的算子——而多数推理栈并不具备这个性质。工程结论很朴素:采样方差可以压小,不能清零。

第二个来源在模型之外:工具环境。智能体每一步都把外部世界读进上下文——网页会更新,数据库被上一轮运行改写过,时间类接口每次返回不同时刻,两个并发工具调用可能以不同顺序返回。即使模型逐位确定、种子完全一致,工具世界也不会重演同一场戏。智能体的放大效应在这里:工具调用越多,进入上下文的外部状态越多,漂移的入口越多——分钟级问答与小时级任务暴露在环境噪声下的面积,完全不是一个量级。一个真实感很强的例子:两个并发工具——查汇率、查库存——返回顺序不同,规划分支就不同,最终报价可能差出一档;重试机制也会放大漂移,第一次调用超时、第二次成功,第二次拿到的数据已经与第一次不同。

第三个来源最不受控:模型版本。厂商会更新权重、调整系统提示、更换推理后端,API 响应里的系统指纹字段就是为此而设——指纹变了,说明承载这次调用的配置变了,昨天的评测分数与今天的不再可比。版本漂移的特点是「好天气里无感」:绝大多数任务在升级后表现不变或变好,少数任务悄悄变差,而你没有基线就发现不了。版本漂移还有一个放大器:系统提示是模型行为的一部分,厂商调整系统提示与调整权重同样有效,且从不预告。

三个来源还会级联放大。多步任务里,漂移不是加法而是乘法:第一步的一个 token 差异,可能翻转一次工具调用的参数;这次调用的不同结果进入上下文,又改变后面所有步骤的条件分布——蝴蝶效应在智能体里是常态。这就是为什么「跑两遍看看稳不稳」必须用完整任务测,而不能只测单次调用:单调用稳,任务不一定稳。

漂移要管理,先要度量。三个常用口径:结果一致性率——多次运行中收敛到同一验收结果的占比;轨迹编辑距离——两次运行的步骤序列差多少步;首次分叉步——从哪一步开始与基准轨迹分道扬镳。前两个给总量,第三个给定位:回归报告里写明「首次分叉步在工具调用第三步」,排查直接跳到那一层,省掉整段盲查。度量口径本身也要冻结——换了口径的比较,都是伪比较。

漂移来源 典型机理 可控性 主要对策
采样随机性 概率采样与批处理数值误差 部分可控 低温、种子与指纹记录
工具环境 外部状态随时间与顺序变化 半可控 测试期冻结夹具与模拟
模型版本 权重与系统提示静默更新 不可控 指纹监控与回归评测

三个来源的可控性排成一条序列:采样可压、环境可冻、版本只能监控——确定性工程的预算,要按这个顺序分配。

收敛手段:能锁多少锁多少

第一组手段是参数锁定:温度压到 0、核采样收紧、固定种子,并把响应里的系统指纹一并落库。预期要摆正——这套组合把「同一时段、同一后端」的方差压到最小,跨时段、跨指纹的复现则超出它的管辖范围。参数锁定管的是骰子,管不了换骰子的人。

锁参数还有一层反直觉的讲究:低温不总是最优。生成性任务里,低温输出趋同,长列表任务里甚至出现重复循环;采样多样性在探索类任务里是资产而不是噪声。更工程化的姿势是把温度当成路由参数——事实抽取、结构化填空走低温,方案发散、文案生成走中高温,同一系统内按任务分档,而不是全局一刀切。多样性与确定性不是敌我关系,是预算分配问题。

第二组手段是缓存,思路是「见过的题不再掷骰子」。两层缓存的职责不同:提示缓存是成本与延迟优化,命中的是前缀计算,不改变采样结果,别指望它带来确定性;答案缓存才是确定性工具——把规范化后的输入映射到已验证的输出,命中即跳过整条概率链路。评测场景还有第三种用法:把每次评测的原始响应按「模型指纹加提示加参数」的哈希落盘,回放时逐字复用——评测从此可复现,且复现成本为零。缓存的代价是失效策略:世界变了,缓存里的旧答案就是新的幻觉源头。

第三组手段承认路径不可锁,转而锁两头。规划侧:先让模型产出一份显式计划并固化为产物,执行阶段按计划推进——自由度从「每一步都即兴」收缩到「计划内的局部发挥」,路径方差显著缩小。验收侧:结果验证器是最后的收敛闸门,只认结果不认过程——不同路径到达同一验收标准,即视为复现。这组手段的哲学与前两组相反:不追求轨迹一致,追求轨迹等价。验证器要独立设计,规则校验加人工抽查,不能交给生成者自评——自己批自己的卷子,分数没有公信力。

run_policy:  # 智能体运行的确定性策略:分级锁定的示意配置
  sampling:
    temperature: 0
    top_p: 1
    seed: 42
    record_fingerprint: true    # 指纹落库,跨时段漂移可归因
  caching:
    answers:
      enabled: true
      key: [normalized_input, plan_hash]
      ttl_hours: 24
  tools:
    frozen_clock: "2026-11-18T00:00:00Z"   # 评测期冻结时钟类工具
    fixtures: [web_search, stock_quote]    # 外部依赖改走录制回放
  acceptance:
    verifier: rubric_v3         # 过程放行,结果硬校验
    on_fail: [retry_once, human_review]

四种手段各收一段方差:参数管骰子,缓存管重放,规划管路径,验证器管结果——叠加使用,才把「千种路径」收进可管理的带宽。

工程实践:何时锁死,何时放行

有三类场景必须追求可复现。回归评测是第一类:两个版本要比较,评测本身必须先可比——不可复现的评测,改进与退化都说不清。审计与合规是第二类:金融风控、医疗分诊这类决策要能回答「当时为什么这么判」,一套讲不出第二次的推理,在审计桌上就是无效证词。故障复现是第三类:用户报告了一个怪结果,重现不出来就只能靠猜——可复现性在这里就是排查效率本身。

另一些场景应当主动放行随机性:创意生成、头脑风暴、开放探索——多样性本身是价值,锁死等于降质。更多业务任务落在中间态:路径自由,结果受约——允许智能体自由决定先查什么后查什么,但产出的结构、字段与验收标准不容漂移。判断的尺子是下游:消费结果的是机器、是审计员还是读者,决定你要锁哪一段。

一个实用的诊断口诀:同一输入连跑两遍,如果两遍结果都稳、跨版本才分叉,那是模型版本漂移;如果两遍就分叉,先查采样参数与工具环境——把漂移归因到正确的来源,才能对症下药。

一次有代表性的排查:某数据分析智能体「白天正常,夜里跑偏」,反复检查提示词无果,最后定位到时间类工具返回的日期——夜间跨了时区,聚合窗口整体错位一天,冻结时钟参数后问题消失。这类漂移的共同点是:所有人都以为是模型问题,根因却在环境接口。先锁环境再怀疑模型,能省下大半排查时间。

回归测试的设计也要为确定性服务,三件套缺一不可:固定采样参数与种子;外部依赖改走录制回放的夹具;断言分层——结果结构精确断言,数值结论用容差断言,过程路径不断言。最后一层尤其重要:断言路径的回归测试会在每次模型升级后碎掉,而路径本来就不是承诺——断言验收,放过路径。

flowchart TD
  S["同一输入"] --> A["来源一:采样随机性"]
  S --> B["来源二:工具环境状态"]
  S --> C["来源三:模型版本漂移"]
  A --> A1["低温与种子:方差压小"]
  B --> B1["夹具冻结:测试可控"]
  C --> C1["指纹监控:回归评测兜底"]
  A1 --> V["结果验证器:只认结果不认过程"]
  B1 --> V
  C1 --> V
  V --> O["可比的结论:轨迹等价即可"]

锁死与放行不是立场之争,而是按下游消费者的分级配置——评测与审计要锁,创意与探索要放,业务主线取中间。

生态观察:确定性正在变成分级承诺

模型 API 的确定性选项已经标准化:种子参数与系统指纹成为托管接口的常见配置,文档同时诚实地写明「不保证逐字复现」。更进一步的研究在攻击数值层:批不变运算的目标是让推理结果与批处理方式彻底无关,让逐位确定性在推理栈层面可达——截至 2026-11,这仍是前沿探索,托管侧全面落地尚需时间,自托管栈可能率先兑现。

行业对「评测可复现」的呼声持续走高,厂商的应对是版本快照与弃用通知的惯例化:评测团队可以钉住某个快照端点,让横评在新版本发布后仍有一段可比期。这条惯例反过来塑造了采购行为——企业开始把「模型升级时的回归流程」写进智能体项目的验收标准,确定性从技术细节升格为合同条款。

缓存生态也在演进:语义缓存以相似度匹配命中旧答案,把成本再压一档,但它引入了新的漂移源——近似命中可能答非所问,缓存本身成了需要监控的部件。确定性与成本的每一笔交易,都要在监控里记账。

评测社区正在吸收同一套教训:单次跑分正在失去公信力,多次运行、报告均值与方差成为新惯例;排行榜附上置信区间,分数的可比性才立得住。对使用方而言,读评测的正确姿势是先看跑了多少次——只跑一次的分数,噪声与能力混在一起,精度上没有意义。

值得记录的趋势是确定性的「分层售卖」:默认层接受概率属性,换取吞吐与成本;锁定层用快照、缓存与批不变技术,换取复现能力,价格与延迟随之分层。对用户侧的启示是:不要问「这个系统确定吗」,要问「这一类调用承诺哪一层确定性」——承诺强度与场景需求对齐,才是工程上的正确姿势。

确定性从默认属性变成分级承诺——对齐承诺与场景,比追求绝对确定更务实。

小结

不可复现不是 bug,是要管理的物理属性。三个来源三种策略:采样可压、环境可冻、版本只能监控;四种手段各收一段方差:参数、缓存、规划、验证器,叠加使用才够用。工程直觉可以压成一句话:别追求轨迹一致,追求验收一致——与其让智能体每次走同一条路,不如让每条路都通向同一个可验证的终点。验收动作也现成:拿三个代表性任务各跑两遍,比较路径与结果——路径分叉而结果一致,说明验证器在工作;结果也分叉,先回头补缓存与参数锁。把不可复现关进笼子,而不是消灭它,这是智能体工程化绕不开的第一课。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?