OCR MLLM Evaluation
为什么需要评测体系？——背景与矛盾
- 能干的事： 看清楚发票、身份证上的字（准确率>90%），速度飞快（眨眼间完成）。
- 干不了的事： 碰到复杂表格（合并单元格）、跨页合同（前后条款关联）、模糊发票（猜意思）就懵圈了。
传统OCR的瓶颈
-
优势：
- 文字识别准确率 >90%
- 响应快（毫秒级）
- 广泛应用于票据、合同等场景
-
短板：
- 难以处理复杂结构，如合并单元格表格、跨页合同逻辑、模糊发票语义推断
多模态大模型（MLLMs）的崛起
-
能力：
- 视觉问答、图文推理、信息提取
- 展现强大泛化能力
-
现实挑战：
- 在 OCRBench v2 测试中，22个主流模型有20个得分低于50分（满分100）
-
暴露问题：
- 找不准字的位置（文本定位差）。
- 看不懂手写的字（手写识别弱）。
- 理解不了文字背后的逻辑（推理不行）。
- 在专业领域（金融、医疗）容易出错。
核心矛盾
- MLLMs 宣称“全能”，但在关键行业（金融/医疗/政务）仍不可靠。
- 评测体系成为筛选可靠模型的“照妖镜”。
评测体系全景图——19个关键基准解析
按任务类型分类速览
| 评测方向 | 代表基准 | 核心任务 | 发现的问题 |
|---|---|---|---|
| 文字识别（OCR） | OCRBench v2、CC-OCR | 多语言文本、复杂排版、手写体识别 | 对生僻字、模糊文本、多方向文字识别率低 |
| 图表理解 | ChartX、ChartY、MMC | 数据提取、趋势分析、图表转表格 | 常误读坐标轴、混淆数据关系 |
| 表格解析 | TableVQA-Bench、ComTQA | 表格结构识别、跨单元格推理、数学计算 | 图像表格识别精度远低于纯文本表格 |
| 文档理解 | Fox、ConTextual | 跨页合同关联、区域聚焦翻译、上下文推理 | 难以定位细粒度信息 |
| 视频推理 | Video-MME | 长视频事件链理解、跨模态分析 | ＞1小时视频理解准确率骤降 |
| 专业领域 | DesignQA | 工程图纸合规判断、规则文档关联 | 专业术语和图纸符号理解错误率高 |
| 基础感知 | BLINK | 相对深度判断、图像篡改检测 | 人类秒懂的任务，模型正确率仅50%左右 |
典型案例
- GPT-4V 在医疗图表分析中误读数据，导致诊断建议错误
- Gemini 在金融合同跨页条款关联中漏判关键信息
评测体系揭示的行业真相
MLLMs 尚未颠覆传统OCR
- 简单场景：传统OCR仍占优（速度快、成本低）
- 复杂场景：MLLMs有潜力但需针对性优化（如金融表格用Fox基准调优）
模型能力严重不均衡
- 图文描述能力强 ≠ 专业推理能力强（e.g. 能写诗但算错财务报表）
- 英文表现好 ≠ 中文表现好（CC-OCR 显示中文OCR准确率低15%+）
幻觉问题无处不在
- 在模糊图像中“脑补”错误文本（ConTextual 基准中错误率 ↑30%）
- 专业领域“一本正经胡说八道”（DesignQA 中合规判断错误率超40%）
- 大模型容易“幻觉”瞎编： 看不清或看不懂时，它们倾向于自信地胡说八道（比如编造发票号码、误读图表数据），这在要求零错误的金融、医疗场景非常危险！评测就是用来暴露这些毛病的。
建议
选模型先看评测
- 金融场景：关注 Fox（文档）、ComTQA（表格）
- 医疗场景：优先 ChartX（医学图表）、MMC（报告理解）
- 多语言需求：验证 CC-OCR、Omni AI OCR 成绩
选模型要看“考分”： 如果你的需求是：
- 理解复杂合同/跨页文档 → 重点看 Fox 成绩。
- 解析财务报表图片 → 重点看 ComTQA、TableVQA-Bench 成绩。
- 看懂医学影像报告图表 → 重点看 ChartX、MMC 成绩。
- 需要多语言识别 → 重点看 CC-OCR、Omni AI OCR 成绩。
警惕“通用模型”宣传
- 即使 GPT-4V/Gemini 也在专业场景翻车，垂直领域仍需微调
- 开源模型（如 Table-LLaVA）在表格任务已接近 GPT-4V，成本更低
- 没有哪个模型真能在所有方面都拿高分。它们在特定任务上可能很强，但在另一些任务（尤其是需要精准、逻辑、专业知识的）上很弱。
- 别急着扔掉“认字高手”： 对于只要求看清标准票据、身份证上字的应用，又快又准又便宜的传统OCR还是首选！大模型在这上面没优势还更贵更慢。
未来方向
- 评测体系本身在进化：从单任务 → 多任务耦合（如 MMT-Bench）考题越来越难，越来越贴近真实复杂场景。
- 模型优化新思路：
- 增加“感知验证层”（如 ChartVLM 先解析结构再推理）
- 注入领域知识（DesignQA 证明专业数据提升合规判断准确率20%+）
- 针对特定短板（比如表格）训练专用模型效果更好（如 Table-LLaVA）
- 融合是趋势： 最佳方案可能是让“认字高手”（传统OCR）先提取准确文字，再让“学霸”（大模型）去理解推理，各司其职。
“OCR 与多模态大模型不是替代关系，而是协作进化——评测体系如同导航仪，在技术爆发期帮企业绕过陷阱，驶向真正可靠的落地场景。”