AI 资讯 知识库 智能体生态观察智能体生态观察 · 第 52 篇|Computer Use 与桌面自动化:GUI 智能体的第二波

智能体生态观察 · 第 52 篇|Computer Use 与桌面自动化:GUI 智能体的第二波

把「把这个月的报销发票逐张录入财务系统」交给浏览器智能体,它在登录桌面客户端那一步就卡住了;交给传统 RPA,脚本要写三天,界面一改版就报废。第三条路是 Computer Use:让模型像第一天入职的新员工,看着屏幕找按钮、试着把任务做完。听起来直白,做起来极难——这一篇拆解 GUI 智能体的感知-行动循环,以及它正在掀起的第二波桌面自动化浪潮。

手绘信息图:GUI 智能体的感知-行动循环,截屏、定位、决策、执行、验证五步闭环与失败分支

感知难题:从 DOM 到像素的降维

浏览器自动化有结构化捷径:DOM 树、选择器、无障碍属性都是现成的坐标系统,浏览器智能体拿到的不是「图」,是「图纸」——每个元素带标签、带层级、带可点区域。桌面世界没有这份运气:模型面对的是一帧帧像素截图,图纸没了,只剩照片。

三个难题接踵而至。其一是元素定位(行话叫 grounding):从像素里指认「那个按钮在哪」,坐标差几十像素就是点错。图标相近、列表密集、表单拥挤的界面里,定位误差是第一大错误来源——「一个按钮的位置,难倒一个模型」不是段子,是日常。其二是动态界面:弹窗、加载动画、悬浮提示、深色模式切换,上一步的屏幕快照到下一步已经作废,感知必须实时重做,没有缓存可用。其三是语义歧义:同样的红色按钮,在这个应用里是删除,在那个应用里是提交;像素不解释含义,解释依赖模型的世界知识,而世界知识也会过时、也会错。

截至 2026-11,各家主要靠两条路补:更高分辨率的截图输入(让模型看得更清),与专门的定位模型(把「指哪打哪」单独训练成一个能力,而不是依附在通用对话能力里)。进展肉眼可见,但视觉 grounding 与人类的眼手协调之间仍有差距——人类一眼扫到的重点,模型要逐块推理;人类靠肌肉记忆完成的操作,模型每一步都要重新看一遍屏幕。

环境差异是感知难题的放大器。同一应用在不同分辨率、不同缩放比、不同主题下的像素表现完全不同;多显示器、窗口遮挡、任务栏吸底,都在改变「屏幕」的定义;字体渲染与反锯齿差异甚至会影响文字识别的准确率。工程上常见的组合拳是:截图时同时记录窗口树与坐标元数据,文本识别(OCR)与视觉模型互补——视觉模型负责「这是什么控件」,OCR 负责「上面写的什么字」,两路信息交叉校验后再交给决策层。

密集表单与列表是最难的场景:几十行视觉上几乎一样的行项,点错一行就是错行操作,后续步骤全部建立在错误的地基上。工程上的解法是「先定位后展开」——先把目标行锁定为唯一参照,再用相对位移做相邻操作,避免每一步都重新全局定位;或者在执行前把目标区域裁剪放大,让模型看清了再动手。

小结:感知是 GUI 智能体与浏览器智能体的分水岭——图纸与照片之间,隔着一个量级的难度。

感知-行动-验证循环

拆掉包装,GUI 智能体的核心循环只有五步:截屏、定位、决策、执行、验证。麻烦在于每一步都有独立的失败概率,五步连乘,整条任务链的可靠性就成了概率的乘法——这正是「演示里行云流水、生产里磕磕绊绊」的数学解释:十步任务,就算每步九成五可靠,整链成功率也不到六成。

验证是最容易被忽略、也最有工程价值的一步:点了之后,屏幕变了吗?变得符合预期吗?没有验证的执行等于盲开车——模型可能连点三次同一个按钮(点开又点关),或者输入框根本没获得焦点就开始打字,字全落在了别处。把「执行前后的屏幕对比」做成硬性关卡,能拦下相当比例的低级失败,也为失败恢复提供依据。

flowchart TD
  A["截屏:视觉感知"] --> B["元素定位与状态判断"]
  B --> C["决策:选择下一个动作"]
  C --> D["执行:鼠标键盘操作"]
  D --> E["验证:对比屏幕变化"]
  E -->|"符合预期"| A
  E -->|"偏离预期"| F["记录失败:重试或换路径"]
  F --> B

动作空间的设计同样是个杠杆。点击、输入、滚动、拖拽、快捷键,动作越自由,错误空间越大;成熟产品会把「危险动作」单独设卡——删除、支付、发送这类不可逆操作,要么要求人工确认,要么直接从动作空间里拿掉。自由度与可靠性的交换,是这个品类最日常的取舍。

验证本身有两种做法,各有盲区。视觉对比(前后两帧截图做差)实现简单,但容易误判:加载动画的像素抖动会被当成变化,而真正该变的数据区可能恰好被弹窗挡住。状态查询(改走系统接口确认「文件是否真的保存了」)更可靠,却不是每个环境都提供接口。更讲究的路线是「预期先行」:执行动作前先让模型预测「屏幕应该怎么变」,执行后拿预测与实拍对比——预测错了,说明模型对界面的理解有偏差,这本身就是最有价值的学习信号。

公开基准研究还揭示了效率问题。OSWorld 系列是这一领域最常被引用的真实操作系统基准(覆盖多平台的三百多个真实任务),2026 年的后续版本把考察重心推向长流程工作流;其中专门衡量步数效率的版本指出,表现最好的智能体完成任务所需的步数仍明显多于人类演示——它们靠大量试错凑出结果,而每一步都是实打实的推理成本与时间。

小结:循环五步写得完,难在五步都不完全可靠时,整体可靠性只能靠验证与重试硬凑。

工程补丁:无障碍树、混合模式与失败恢复

纯视觉不是唯一选项,工程上有三块现成的补丁,组合使用是当前的性价比之王。

第一块是无障碍树辅助。操作系统与应用为读屏软件维护的无障碍树,介于 DOM 与像素之间:比像素结构化,比 DOM 覆盖面广。视觉与无障碍树交叉验证的混合感知路线,能显著压低 grounding 错误;应用未适配、树信息缺失时,再退回纯视觉。多路感知冗余,就是 GUI 智能体版的传感器融合。

第二块是 API 优先的混合模式。能走系统 API、命令行、应用内置接口的步骤就不走 GUI——GUI 只留给没有接口的环节。这是工程社区反复验证的共识:GUI 是最后的手段,不是默认手段。浏览器步骤走浏览器协议,文件操作走文件系统,只有那个祖传客户端才需要「看着办」。混合模式下,速度与可靠性同时上一个台阶,视觉推理的 token 开销也大幅下降。

第三块是失败恢复。执行前打快照、按步骤记检查点、验证失败后按预案回退:先重试(区分瞬时失败与必然失败),再换路径(同一目标常有多种操作序列),最后求助人工。桌面环境的复杂度决定了失败是常态,恢复能力才是产品力。

感知途径 结构化程度 覆盖范围 主要失效模式
DOM 解析 高 仅限浏览器内 前端改版、动态渲染
无障碍树 中高 桌面应用部分覆盖 应用未适配、信息缺失
纯视觉 低 全部界面 定位误差、界面变化、语义歧义
interface GuiAction {
  type: "click" | "type" | "scroll" | "hotkey" | "drag";
  target?: { x: number; y: number; confidence: number };
  text?: string;
  guard: "auto" | "confirm" | "forbidden"; // 危险动作分级
}

interface StepResult {
  action: GuiAction;
  screenBefore: string; // 执行前屏幕指纹
  screenAfter: string;  // 执行后屏幕指纹
  verified: boolean;    // 是否通过屏幕变化验证
}

guard 字段值得多说一句:它把「危险动作分级」从产品文案下沉成了类型系统的约束——forbidden 的动作在生成层就该被拒绝,而不是执行后补救。接口设计本身就在兜底。

这些补丁还有一个共同收益:省成本。视觉推理按截图计价,截图越多、分辨率越高,token 账单越厚;无障碍树与 API 调用几乎不消耗推理额度。把七成步骤从「看」变成「查」,单任务成本往往能降一半以上——可靠性与经济性在这里罕见地指向同一个方向。

小结:GUI 智能体的可靠性不是模型的单点能力,是多路感知冗余、API 优先与动作分级的工程组合拳。

生态观察:与 RPA 合流,企业卡在哪一步

GUI 智能体不是从零起步,它站在传统 RPA 二十年积累的对面与肩上。RPA 用选择器与脚本回放,稳但脆——界面一改版就断,维护成本随流程数量线性增长;GUI 智能体用视觉驱动,通用、免脚本,但慢且贵。两条路线正在合流:RPA 厂商把智能体当「兜底大脑」,脚本失效时由智能体看着屏幕接管;智能体产品反过来把 RPA 流程当「高速通道」,确定环节不走视觉。合流的终局大概率不是谁替代谁,而是按任务确定性分层的编排。

企业落地的卡点排序很清晰。第一是权限与审计:把鼠标键盘交给 AI 等于交出系统权限,出事谁负责、怎么留痕、怎么限制爆炸半径,这个问题答不上来就进不了采购清单。第二是错误代价:误删一列数据、误发一封邮件的代价,可能吃掉三个月省下的人力,「先人审再执行」的折中又会稀释效率红利。第三是成本:步数放大叠加视觉推理的高消耗,单任务成本常常超出预期,投入产出账要算得足够细才敢铺开。第四是基准与真实业务之间的落差:2026 年已有公开评论指出,基准分数与真实工作流完成率之间存在明显距离,采购决策因此越来越依赖内部试点而非榜单。

落地的产品形态也在给出答案。相对稳妥的企业试点路径是「先只读、后可写」:第一阶段智能体只做屏幕阅读与信息核对(比如比对发票与系统记录是否一致),零写入风险;第二阶段开放低风险写入(填表、生成草稿单),高危动作保留人工确认;影子跑一段时间,把智能体的操作序列与人工操作对比,确认偏差在可接受范围后才逐步放量。这套流程与当年 RPA 进企业的路径如出一辙——工具变了,信任的建立流程没变。也因此,采购评估里「失败样本的可解释性」正在变成比「基准分数」更受重视的指标:错在哪一步、能不能复盘、复盘后会不会再犯,这三个问题的答案比排行榜更有说服力。

所以这个品类的进展以「最后一个 9」计价:从九成可用到九成九可用之间每一步都极其昂贵,而企业要的不是演示里的惊艳,是可审计的确定性。

小结:GUI 智能体的第二波不是发布会驱动的,是企业把权限、审计、成本三笔账算清之后驱动的。

小结

Computer Use 是智能体家族里「能力上限最高、工程下限最低」的典型:演示惊艳、交付艰难,像极了 RPA 当年的长征。感知是分水岭,验证是安全网,混合模式是性价比,企业账本是门票——四道关卡都过了,桌面自动化才真正从「第二波浪潮」变成「第二波产能」。对生态观察者来说,值得盯的信号不是哪个模型又刷了基准,而是无障碍树与混合编排这些工程基建,在多少产品里成为了默认选项。

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?