让模型看懂图表与几何：视觉推理研究的演进与瓶颈

视觉推理：「看懂」与「描述」之间的鸿沟

多模态大模型在图片描述、图片问答这类语义任务上已经逼近人类，但「看懂」与「描述」之间隔着一道鸿沟：读图表需要把视觉元素转换成数值再做算术，解几何题需要把图形转换成约束再做符号推理，读手写公式需要识别结构而不是字符。这类任务统称视觉推理，它比一般的图文匹配难得多，也因此成为过去五年多模态评测演进最快、结论最锋利的领域。本文沿着 ChartQA、MathVista 与 2024 年前后一批更难的基准，把这条演进线索和当前的真正瓶颈梳理清楚。

图表问答：专用模型的第一代探索

图表问答的起点是几个合成数据集。Kahou 等人 2018 年的 FigureQA（微软研究院）用十万个合成统计图配了百万级的判断题——「两条曲线谁高」这类问题——结果早期视觉模型的成绩一度低于随机基线，第一次暴露出「读图」远比想象中难。Methani 等人 2020 年的 PlotQA 把规模推到二十二万张真实风格图表，加入了数值提取与数值推理。真正的转折点是 Masry 等人 2022 年发表在 ACL 的 ChartQA：两万余张来自 Statista、Pew 研究中心与 Our World in Data 的真实图表，三万二千条问答对，一半人工提问、一半程序增强。发表时最强的专用模型 PReaM 成绩约 58%，而人类约 91%，三十多个点的差距清楚划定了这个问题的难度。

此后出现了两条技术路线。第一条是免 OCR 的端到端路线，代表作是 Lee 等人 2022 年 Google 的 Pix2Struct：用「网页截图还原文本」式的像素级预训练，让模型直接从像素读出结构，在 ChartQA 上微调后成绩推进到约 79%。第二条是「视觉线性化加 LLM」路线，代表作是 Liu 等人 2022 年 Google 的 DePlot：先用一个翻译模型把图表转成线性化表格，再把表格交给 Codex 或 PaLM 做程序化推理，配合思维链提示在人工提问子集上做到约 59%，在需要多步推理的子任务上反超端到端模型。到 2024 年，GPT-4V、Gemini 与 InternVL、Qwen-VL 等开源模型在 ChartQA 上普遍进入 80 到 90 区间，与人类的差距缩小到几个百分点——ChartQA 从此退役为饱和基准，但它留下的教训仍然成立：拆成「感知加推理」两步的流水线，在推理密集任务上长期优于一步到位的端到端方案。

MathVista：把「看」与「算」绑在一起

ChartQA 只考读图，不考推理；文本数学基准只考推理，不需要看图。Lu 等人 2023 年（UCLA 与微软研究院，作者包括 Pan Lu、Hritik Bansal、Chunyuan Li、Jianfeng Gao 等）的 MathVista 把两者绑在一起：6141 个样本，整合 28 个既有视觉数据集并新建 3 个子集，覆盖九类任务——图表问答、几何题求解、教科书插图问答、函数图像推理、答案校验、视觉定位等，每一题都同时需要视觉理解与数学推理。这是第一个系统隔离「视觉上下文中的数学推理」的大规模基准。

首次评测的结果非常有信息量：GPT-4V 成绩 49.9%，人类 88.8%，差距接近四十个点；当时最强的开源多模态模型只有三成上下；更有意思的是，不支持图像输入的纯文本 GPT-4 也能拿到三成多——说明相当一部分题目靠读题干文字就能蒙对，这为后来的「文字捷径」批评埋下伏笔。误差分析显示，算术滑步、图表幻觉（把图里没有的数值「读」出来）、计数与位置错误占了大头，纯视觉感知错误比符号推理错误更常见。到 2024 年，GPT-4o 把成绩推进到 54% 左右，开源侧 InternVL、Qwen2-VL 系列爬到 60 到 70 区间。MathVista 也开始饱和，社区随之把评测重心推向更难的基准。

更难的基准与「视觉盲」问题

MathVerse（Zhang 等人 2024，香港中文大学与上海人工智能实验室等）设计了一个聪明的实验：把同一道几何或函数题改写成六种版本，视觉信息量从「只有文字描述」到「完整原图」梯度递减，共 2648 道题。结论令人难堪：不少多模态模型在「文字主导」版本上得分最高，看到完整原图反而扣分——模型大量依赖题干文字里的冗余描述，视觉信息提取是瓶颈而非优势。Wang 等人 2024 年的 MATH-Vision 更进一步：3040 道竞赛级带图数学题，GPT-4V 只有约 23%，与同一模型在文本数学基准上动辄四五成的表现形成刺眼对比，说明「带图的数学」仍然远未解决。

低层视觉的缺陷则被 Rahmanzadehgervi 等人 2024 年的《Vision Language Models Are Blind》直接钉在墙上。他们设计了四个极简视觉任务：数两条线段的交点、数嵌套方块的层数、数表格网格的行列数、判断两个圆圈是否相交——每个任务的难度都不超过小学美术课。结果 GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro 的平均正确率全部不到两成，部分任务接近零。这篇论文的结论是：前沿多模态模型的高层语义能力掩盖了低层视觉的粗糙，它们更像是「读图报告的模型」而不是「看图的模型」。这类发现与 MathVerse 的文字捷径结论互相印证，共同指向同一个诊断：瓶颈在感知，不在推理。

flowchart TD
    A["输入：图表 / 几何图 / 手写公式"] --> B["路线一：端到端多模态模型"]
    A --> C["路线二：视觉线性化 + LLM"]
    B --> D["高层语义强，低层感知弱"]
    C --> E["图表转表格，再程序化推理"]
    D --> F["瓶颈：计数、定位、细节识别"]
    E --> G["瓶颈：转写误差沿流水线传播"]
    F --> H["出路：高分辨率编码 + 工具增强 + 更难基准倒逼"]
    G --> H

技术路线与当前瓶颈

针对感知瓶颈，三条补救路线已经清晰。第一是视觉编程：Gupta 与 Kembhavi 的 VisProg（AI2，CVPR 2023 最佳论文）与 Surís 等人的 ViperGPT 让语言模型生成调用视觉模块的 Python 程序，把「数交点」这类任务交给专门的检测与几何工具，在图表与几何任务上稳定优于端到端猜测。第二是数据与架构：InternVL 与 Qwen2-VL 采用动态高分辨率编码，把细粒度文字与坐标保住；图表转表格的合成数据管线大规模量产训练语料。第三是评测设计：MATH-Vision、MathVerse、We-Math 等新基准都在结构上阻断文字捷径，逼模型真正用图。当前的瓶颈排序也基本明确：精确感知（计数、定位、细节识别）最难，空间推理次之，符号运算本身反而最容易，可以外包给代码解释器。混合方案——模型负责感知与分解，工具负责精确计算——已成为 2025 年视觉推理系统的主流架构。

幻觉、污染与评测方法学

视觉推理的另一块短板是幻觉。Li 等人 2023 年的 POPE（Polling-based Object Probing Evaluation）用「图里有没有 X」的是非题系统测量大型视觉语言模型的对象幻觉：把提问设计成「高频常见物体」与「图中不存在的物体」的对照，结果显示当时的模型在有对抗性的提问下幻觉率可达两成甚至更高，且与解码温度、提示措辞强相关。图表问答的幻觉形态不同——把图里没有的数值「读」出来、把图例颜色张冠李戴、把柱状图的高低顺序记错——但在评测里同样普遍，也是产品落地的头号投诉来源。

评测方法学上还有两个必须正视的坑。其一是文字捷径：MathVerse 的分版本实验与纯文本基线的强表现说明，部分多模态数学基准的分数含有「题干泄漏」成分，模型靠读题干就能拿到可观的分。其二是污染：翻译成其他语言的 MMLU、GSM8K 类基准很可能已进入预训练语料，翻译基准的双重失真（译文风格书面化加语料污染）让多语言多模态评测的置信度打折；图像本是唯一的防污染壁垒，但前提是任务真的需要图。社区从 MathVista 到 MathVerse、We-Math 的迭代，本质就是把「必须看图」从口号变成题目结构约束的过程。

配套的评测实践建议已经收敛：报告分题型成绩（数值提取、算术运算、几何推理、图表幻觉率分开呈现）；强制「先转写再计算」的两步评测，把感知误差与推理误差隔离归因；用图像改写（去细节、加噪声、换渲染风格）做鲁棒性切片。文档理解侧的扩展同样重要：Mathew 等人 2020 年的 DocVQA 与金融文档问答基准（FinQA、TAT-QA）把「图」扩展到「带版式的文档」，Donut、mPLUG-DocOwl 等免 OCR 模型在同一框架下演进；图表、文档、几何正在被统一的「视觉结构理解」框架收编，多任务融合评测（MEGA-Bench 类套件）是 2025 年之后评测形态的趋势。

架构侧还有一个常被低估的权衡：分辨率与 token 预算。InternVL 的动态切分把高分辨率图像切成多个 tile 加一张缩略图分别编码，Qwen2-VL 采用 NaViT 式的原生动态分辨率，让密集小字表格与长图表不再因降采样而糊掉——这是 2024 年开源 VLM 在图表与文档任务上快速逼近闭源模型的关键原因之一。代价是长图消耗大量视觉 token，上下文预算与推理成本随之上涨；grounding 数据（边界框、指代表达）的加入则让坐标与定位类问题从「猜」变成「可解」。视觉编码器的输入分辨率、视觉 token 数量与下游感知精度之间的关系，已经成为多模态系统设计里与语言模型缩放同等重要的工程变量。

小结

视觉推理评测五年的演进给出了一个反直觉的结论：多模态模型的进步主要发生在语义层，而真正的瓶颈始终在感知层。ChartQA 时代的差距是「读不准数值」，MathVista 时代是「感知与推理的双重失分」，MathVerse 与视觉盲测试则把前者钉死为首要矛盾——模型看图经常不如读文字，低层视觉任务甚至不如随机猜。对工程团队，这意味着两个务实的选择：在产品里把「精确读图」外包给 OCR 与图表解析工具，把「语义理解」留给多模态模型；在评测里优先使用带文字捷径控制的基准，否则分数会被题干泄漏持续虚高。视觉推理的下一段跃迁，大概率取决于感知底座何时补上这块短板。