（论文速读）视觉语言模型评价中具有挑战性的选择题的自动生成

论文题目：Automated Generation of Challenging Multiple-Choice Questions for Vision Language Model Evaluation（视觉语言模型评价中具有挑战性的选择题的自动生成）

会议：CVPR2025

摘要：视觉语言模型的快速发展要求对其进行严格、可靠的评估。然而，目前的视觉问题回答(VQA)基准通常依赖于开放式问题，由于自然语言反应的可变性，使得准确的评估变得困难。为了解决这个问题，我们引入了AutoConverter，这是一个自动将这些开放式问题转换为选择题格式的代理框架，在减少昂贵的选择题创建过程的同时，实现客观评估。我们的实验表明，AutoConverter可以生成正确且具有挑战性的多项选择题，VLMs在这些问题上的准确率与人工生成的问题相似或更低。使用AutoConverter，我们构建了VMCBench，这是一个通过将20个现有的VQA数据集转换为统一的多项选择格式创建的基准，共有9,018个问题。我们在VMCBench上全面评估了33个最先进的VLM，为可扩展、一致和可重复的VLM评估设定了新标准。

引言

随着ChatGPT、GPT-4V、Claude等多模态AI模型的快速发展，如何准确评估这些视觉语言模型（VLM）的能力已成为AI研究领域的关键挑战。

当前评估方法面临的困境

开放式问答的评估难题

想象一下这样的场景：你问一个AI模型"图片中的人在做什么特技？"，标准答案是"flip"，但模型回答了"kickflip"。这个答案是对的吗？

传统的评估方法在这里遇到了两难：

基于规则的评估方法完全失效。这类方法只能进行简单的词汇匹配，无法理解"kickflip"实际上是"flip"的一种具体类型。研究团队的实验显示，在VQAv2数据集上，这种评估方法与真实模型性能的相关性仅为0.09——几乎等同于随机评分。

基于模型的评估方法虽然能够理解语义，但却面临稳定性问题。同样的测试数据，使用GPT-4o的不同版本（0513 vs 0806）进行评估，结果竟然相差6%！这种不稳定性让研究比较变得毫无意义，严重影响了科学研究的可重现性。

多选题创建的复杂性

多选题评估客观性强，但创建高质量的多选题极其困难。核心挑战在于设计既合理又具挑战性的错误选项（干扰项）。这些干扰项必须：

• 足够合理，不会因为过于荒谬而被轻易排除
• 具有挑战性，能够有效区分不同水平的模型
• 保持唯一正确答案，避免歧义

传统方法需要大量专业知识和人工努力，这正是为什么多选题基准测试相对稀少的原因。

AutoConverter：多智能体的创新解决方案

整体架构设计

AutoConverter采用了多智能体协作的策略，将复杂的问题转换任务分解为两个核心目标：增加难度和确保正确性。

增加难度：五维错误类型建模

研究团队深入分析了人类在回答视觉问题时常犯的错误，将其归纳为五大类型：

1. 概念误解（Concept Error）：对基本概念理解错误
2. 视觉误读（Vision Error）：对图像内容的错误解读
3. 推理错误（Reason Error）：逻辑推理过程中的失误
4. 数据处理错误（Data Error）：数字计算或数据解读错误
5. 题目偏见（Bias Error）：受到无关信息干扰的错误判断

针对每种错误类型，系统都有专门的Proposer智能体负责生成相应的干扰项。随后，Reviewer智能体对这些干扰项进行评估和改进建议，Selector智能体最终选出最具挑战性的选项。

确保正确性：迭代优化机制

为了保证转换后的多选题仍然具有唯一正确答案，AutoConverter设计了严格的质量控制流程：

• Evaluator智能体：使用5分制对问题的正确性进行评分，其中5分表示强烈确信只有一个正确答案
• Refiner智能体：当正确性评分低于4分时，根据评估反馈调整干扰项，最多进行3轮优化

研究验证显示，这个评估器的准确性很高：评分为5的问题中，95%确实是正确的。

实验验证：超越人工水准

与人工问题的对比测试

研究团队在三个知名的多选题数据集（MMMU、MathVista、AI2D）上进行了严格的对比实验。结果令人印象深刻：

• 各种VLMs在AutoConverter生成的问题上的准确率与原始人工问题相似，甚至更低
• 这证明AutoConverter生成的问题至少达到了人工水准的挑战性
• 在某些情况下，AutoConverter甚至产生了比人工更具挑战性的问题

关键数据洞察

以MMMU数据集为例：

• 人工问题的平均模型性能：41.8%
• AutoConverter问题的平均模型性能：40.7%
• 正确性评分：4.69/5.0

这些数据表明AutoConverter在保持高正确性的同时，成功提升了问题难度。

VMCBench：统一的多选题基准测试

大规模数据集整合

基于AutoConverter技术，研究团队构建了VMCBench——一个包含9,018道多选题的综合性基准测试。这个基准测试的独特之处在于：

• 统一格式：将20个不同的VQA数据集统一为多选题格式
• 广泛覆盖：涵盖通用理解、推理、OCR、文档图表理解等多个能力维度
• 严格质量控制：所有问题都经过自动评估和人工验证

33个VLM的全面评估

VMCBench上的评估结果揭示了当前VLM发展的几个重要趋势：

公开模型崛起：最佳表现的模型是公开可用的Qwen2-VL-72B（85.0%准确率），超越了最佳私有模型GPT-4o（80.3%准确率）。

快速发展pace：从2023年的InstructBLIP-7B（42.1%）到2024年的Qwen2-VL-72B（85.0%），性能几乎翻倍。

模型规模的重要性：在Qwen、Molmo、VILA等模型家族中，都观察到了明显的规模效应。

技术实现细节

智能体协作机制

AutoConverter的成功很大程度上源于其精心设计的多智能体协作机制：

1. 并行生成：五个专门的Proposer同时从不同角度生成干扰项
2. 迭代优化：Reviewer和Proposer之间的多轮对话确保干扰项质量
3. 质量把关：Evaluator和Refiner的组合确保最终问题的正确性

消融实验的启示

研究团队进行了详细的消融实验，证明了每个组件的重要性：

• 移除专门的错误类型Proposer会导致1.6%的性能提升（难度降低）
• 移除Reviewer会导致4.9%的性能提升（难度显著降低）
• 移除Evaluator和Refiner会导致8.7%的正确性下降

这些数据清楚地表明，AutoConverter的每个组件都发挥着不可替代的作用。

对AI评估领域的深远影响

标准化评估的新范式

AutoConverter不仅解决了VLM评估的技术问题，更重要的是为整个AI评估领域提供了一个新的范式：

• 客观性：多选题格式消除了主观评判的不确定性
• 可重现性：标准化的评估流程确保结果的一致性
• 可扩展性：自动化的转换过程大大降低了基准测试构建的成本

教育领域的潜在应用

AutoConverter的应用前景远不止于AI评估。在教育领域，这项技术可以：

• 自动为教师生成高质量的测试题目
• 根据学生的常见错误类型调整题目难度
• 大规模定制化评估内容的生成

未来展望与思考

技术发展方向

虽然AutoConverter已经取得了令人瞩目的成果，但仍有进一步发展的空间：

1. 更精细的错误类型建模：当前的五种错误类型可能还可以进一步细分
2. 自适应难度调节：根据目标评估群体动态调整问题难度
3. 多语言支持：扩展到非英语语言的问题生成

对AI发展的启示

这项研究也反映了当前AI发展的几个重要趋势：

• 开源模型的快速追赶：公开模型已经开始在某些指标上超越私有模型
• 评估标准化的紧迫性：随着模型能力的快速提升，建立统一、可靠的评估标准变得越来越重要
• 多智能体系统的潜力：通过智能体协作解决复杂任务的方法展现出巨大潜力

结语

AutoConverter的问世标志着VLM评估领域的一个重要里程碑。它不仅解决了长期困扰研究者的评估一致性问题，更为整个AI评估领域提供了一个可复制、可扩展的解决方案。

VMCBench作为这一技术的首个大规模应用，已经为33个最先进的VLM建立了新的评估标准。这个基准测试不仅揭示了当前模型的能力边界，也为未来的模型开发指明了方向。

随着AI技术的持续发展，像AutoConverter这样的创新工具将变得越来越重要。它们不仅帮助我们更好地理解和评估AI系统的能力，也为构建更加智能、可靠的AI应用奠定了坚实的基础。

对于AI研究者而言，这项工作提醒我们：有时候解决问题的关键不在于开发更复杂的算法，而在于重新思考问题本身的框架。AutoConverter正是这种思维转变的最佳例证。