多模态输入进 Agent：文档、图像与语音的接收面工程

为什么多模态输入是 Agent 的「现实接口」

真实工作的输入形态不是纯文本：合同是 PDF 带扫描件、需求是白板照片、指令是一段语音留言、数据是 Excel 嵌套表格。Agent 的输入面停留在纯文本，它就只能服务「愿意打字的人」与「恰好是文本的任务」——多模态输入是把 Agent 推向「真实工作现场」的接口工程。好消息是模态鸿沟在快速消失：旗舰模型的原生多模态（图像直接进模型）、文档解析技术的成熟、语音链路的实时化——「Agent 能听、能看、能读」的技术条件已经齐备，剩下的是工程整合。

解析管线：非文本输入的「预处理到结构化」

多模态输入的工程核心是解析管线——把各种形态转成模型可用的表示。文档（PDF/Word/扫描件）的解析分层（本库文档解析篇的体系）：原生数字 PDF 直接抽取文本与结构（表格、标题层级）、扫描件走 OCR（文字识别 + 版面分析）、复杂版面（双栏、表格嵌套、图文混排）是解析的主战场——主流方案的两条路：专用解析模型（视觉模型直接「读」版面输出结构化 Markdown——通用性强）与传统管线（版面分析 + OCR + 结构重组——可控性强），两条路都在快速演进，选型看文档的复杂度与合规要求（敏感文档不宜走云端解析 API）。图像：原生多模态模型直接理解（截图、照片、图表——模型直接「看」），工程要点在图像的预处理（尺寸与清晰度、敏感信息打码）与多图的编排（多张截图的任务序列怎么喂）。语音：实时链路（本库语音链路篇：VAD → 流式 ASR → 处理 → TTS——延迟预算是设计核心）与非实时（录音转写后处理——简单可靠）的取舍。表格（Excel/CSV）：表格是「结构化数据伪装成文档」——别把它当文本喂（表格转 Markdown 的信息损耗大），正确姿势是结构化读取（pandas/表格解析）后按数据描述喂给 Agent——「给模型看数据的样子，而不是数据的一维文本化」。

统一表示与成本取舍：多模态上下文的经济学

多模态输入进入 Agent 上下文的统一表示是架构关键。方案一：全部文本化（一切解析成 Markdown 文本——统一但损失模态信息：图像的布局、语音的语气丢了）。方案二：原生多模态直通（图像直接进多模态模型的上下文——保留信息但 token 成本高：一张图数千 token）。方案三：混合（文本化为主 + 关键视觉原件直通——文档文本化、关键截图直通）。成本的账要算清：多模态输入的 token 代价是文本的数倍到数十倍（一张高清图 ≈ 数千 token，一份扫描 PDF ≈ 数万 token）——RAG 场景的多模态检索（图文混合的知识库）成本再上一个量级。取舍的决策式：任务的成败是否依赖模态的「非文本信息」（版面、图表形态、语气）——依赖 → 直通原生（付 token）；不依赖 → 文本化（省钱省窗口）。以及一个工程惯例：多模态输入的「降级路径」——解析失败的兜底（OCR 失败转人工、模型看不懂的图请求重拍）——多模态管线的失败模式比纯文本多得多，降级设计要前置。

三个模态的工程要点：文档、视觉与语音

文档智能的要点：表格是文档解析的质量试金石（表格的还原度决定解析器的真实水平——采购前用自己的表格测）；长文档的分块与引用（解析后进 RAG 的分块策略要保留结构——本库文档解析篇的切块原则）；批量的规模化（千份文档的批量解析——异步队列与失败重试的工程）。视觉理解的要点：「看图说话」与「按图操作」是两个难度级（描述图像容易、按截图精确操作难——Computer Use 篇的难题），视觉输入用于「理解」场景成熟、用于「精确操作」场景谨慎；图表的理解（模型读图表的数据提取——准确率可用但要点抽检，关键数据别只信模型读图）。语音的要点：语音输入的最大价值是「低摩擦」（通勤路上给 Agent 下指令、移动场景的免手操作）——它的工程要点在噪音与口音的鲁棒（ASR 的错误率直接决定下游质量——关键词确认与转写回显是容错设计）、以及语音的「语气信息」（语气在文本化时丢失——对任务无关可忽略、对客服场景是关键信息）。三个模态的共同收束：多模态输入的工程本质是「把现实世界的混乱形态，翻译成模型可可靠处理的表示」——翻译的每一步都有损耗，工程的全部艺术在于让损耗发生在不重要的地方。

多模态输入的实战：构建一个文档处理 Agent 的解析管线

多模态输入（正文解析管线）的实战：文档处理 Agent 的解析管线搭建。场景：企业的合同文档 Agent（上传合同 → 提取关键条款 → 风险标注 → 摘要）。管线的搭建。输入层：文件上传的接口（类型与大小校验）。解析层：类型分流（原生 PDF → 文本抽取、扫描件 → OCR/视觉模型解析、Word → 转换）——解析器的选择实测（用自己的真实合同测试各解析器的表格与条款还原度——本库正文的表格试金石）。结构化层：解析输出转结构化（条款的分段、关键日期与金额的抽取——结构化抽取用 LLM 的 schema 输出，本库结构化输出篇）。智能层：Agent 拿结构化内容做风险分析（对比风险清单、标注异常条款）。成本与降级：解析的 token 账单（扫描件的视觉解析贵——预算与降级：先试文本抽取、不行再 OCR）、解析失败的降级（转人工或提示重拍——本库正文的降级前置）。实测的关键经验：合同解析的最大坑是「表格与签署页」（表格的结构还原、签署页的噪声——分段时过滤）；以及合规的处理（合同是敏感文档——本地解析或脱敏后处理，本库端侧篇的数据分级）。这个实战的元意义：文档 Agent 的 80% 工程量在解析管线，20% 在智能层——解析的质量决定智能层的上限；把解析当成一等工程来做，是文档 Agent 成败的分水岭。

多模态输入的评测与迭代：解析质量的量化方法

多模态输入（正文）的评测：解析质量的量化方法——没有度量就没有迭代。文档解析的度量。文本还原率（与人工标准对照的字符准确率）、表格还原率（单元格级比对——表格是最难也最关键的）、结构保留度（标题层级、条款编号的结构是否保住——下游分段依赖结构）。度量的实现。构建「黄金标准集」（人工精标的文档样本——本库黄金集方法在文档域）、自动比对脚本（解析输出 vs 黄金标准的差异计算——字符误差、表格错位、结构丢失的分别统计）、分位数监控（P90/P99 的还原率——均值正常但长尾崩坏的解析器是隐患）。视觉与语音的度量。图像理解的任务式评测（从截图提取信息的字段准确率）、语音转写的 WER（词错误率——加上「下游任务的有效性」：转写错但 Agent 答对也算过——端到端的评测 > 逐模块的评测，逐模块用于归因）。评测驱动迭代的闭环：bad case 的入库（解析失败的样本进黄金集）、解析器的对比评测（换解析器的决策用数据说话——解析器是有市场的新品类，选型靠自己的数据）、版本升级的回归（解析模型升级后全量回归——本库评测篇的纪律）。度量这一节的收束：多模态解析的「看起来不错」是最大的幻觉——只有量化度量（尤其表格与结构）才能告诉你，你的管线到底几斤几两。

多模态 Agent 的实战案例：发票处理的全流程自动化

多模态输入（正文解析管线）的实战案例：发票处理的全流程自动化。流程的完整设计。输入：发票的批量上传（拍照/PDF/邮件附件——本库正文的类型分流）。解析层：OCR/视觉模型提取（发票号、日期、金额、供应商、税额——结构化抽取的 schema 输出，本库结构化输出篇）、表格批量（多张发票的批量解析——队列与重试）。智能层：Agent 的合规检查（发票的真伪要素、与采购单的匹配、异常检测——金额异常、重复报销的识别）。集成层：校验通过的进财务系统（API 集成）、异常的转人工（置信度分流——本库 n8n 篇的置信度分流模式）。实测的经验。发票解析的准确率分布：印刷体发票高（95%+）、手写与模糊拍照低（需要人工兜底）——降级路径的触发率决定整体效率；异常检测的价值超预期（重复报销与异常金额的拦截——AI 的价值不只是「处理快」，还有「看得细」）。成本与合规：批量解析的成本（每张的成本可控）、发票数据的合规（敏感财务数据——本地解析或脱敏，本库端侧篇）。案例的收束：发票处理是多模态 Agent 的最佳入门场景——输入形态多样（练多模态）、价值直观（省人力）、验收明确（对不对一目了然）——一个场景打通，多模态 Agent 的工程能力就全有了。

多模态 Agent 的进阶场景：视觉 Agent 的操作与理解

多模态 Agent（正文要点）的进阶场景：视觉 Agent 的操作与理解——视觉在 Agent 里的两个难度级。难度级一：视觉的理解（成熟可用）。图像内容的问答与描述（截图里有什么、图表的趋势——多模态模型的理解力已过生产线）、文档图像的解析（本库正文的 OCR 路线）、图像的检索与匹配（找相似的设计稿、比对版本差异）。难度级二：视觉的操作（谨慎使用）。按截图操作界面（Computer Use 路线——本库专篇的坐标精度难题）、视觉的验证（「检查这个 UI 是否正确渲染」——视觉判断的可靠性在提升但仍需抽检）。两个难度级的工程策略：理解用视觉（放开用）、操作用结构（谨慎用）——视觉理解的输入让 Agent「看得懂」、结构化的工具让 Agent「做得准」——能结构化的操作不用视觉操作（本库 Browser Use 篇的 DOM 路线优先）。进阶的收束：视觉 Agent 的成熟度曲线正在陡峭化（多模态模型的视觉理解每年跃升）——「理解」的应用可以现在就上，「操作」的应用盯紧 Computer Use 的演进——两条曲线的交汇点，就是通用视觉智能体的到来时刻。

小结

多模态输入是 Agent 走向真实工作现场的接口工程：解析管线（文档分层解析、图像直通、语音链路）把混乱形态翻译成可用表示；统一表示的三方案（文本化/原生直通/混合）按「任务是否依赖非文本信息」取舍，token 成本是隐形约束。三个模态各有要点：文档看表格还原与批量工程、视觉分理解与操作两级难度、语音赢在低摩擦输在 ASR 错误率。多模态输入的工程艺术，是让「翻译损耗」发生在不重要的地方——以及永远为解析失败准备降级路径。