多模态大语言模型arxiv论文略读（七十）
Visual Anchors Are Strong Information Aggregators For Multimodal Large Language Model
➡️ 论文标题：Visual Anchors Are Strong Information Aggregators For Multimodal Large Language Model
➡️ 论文作者：Haogeng Liu, Quanzeng You, Xiaotian Han, Yongfei Liu, Huaibo Huang, Ran He, Hongxia Yang
➡️ 研究机构: 中国科学院自动化研究所（MAIS & NLPR）、中国科学院大学人工智能学院、字节跳动公司
➡️ 问题背景：多模态大语言模型（MLLMs）在多种任务中展现出卓越的能力，包括图像描述、视觉推理等。这些模型通过预训练的视觉编码器和大语言模型（LLMs）构建，通过一个连接层将两者结合。然而，现有的视觉-语言连接器在计算成本和准确性之间存在权衡，尤其是在处理大量视觉令牌时。
➡️ 研究动机：尽管视觉-语言连接器在多模态大语言模型中起着关键作用，但其研究相对较少。为了提高模型的准确性和效率，研究团队提出了一种新的视觉-语言连接器——Anchor Former（AcFormer），通过利用视觉锚点（Visual Anchors）来优化信息聚合过程。
➡️ 方法简介：研究团队首先揭示了在预训练的视觉变换器（Vision Transformer）中存在视觉锚点，并提出了一种成本效益高的搜索算法来提取这些锚点。基于这些发现，团队设计了Anchor Former，该模型通过选择视觉锚点作为信息聚合器，结合交叉注意力机制，生成密集且完整的视觉表示。
➡️ 实验设计：研究团队在多个基准数据集上进行了实验，包括TextVQA、GQA等，评估了AcFormer在不同任务中的性能。实验结果表明，AcFormer在减少计算成本的同时，显著提高了模型的准确性和效率。具体来说，AcFormer将计算成本降低了近三分之二，同时在多个基准测试中超过了基线方法。
MMCTAgent: Multi-modal Critical Thinking Agent Framework for Complex Visual Reasoning
➡️ 论文标题：MMCTAgent: Multi-modal Critical Thinking Agent Framework for Complex Visual Reasoning
➡️ 论文作者：Somnath Kumar, Yash Gadhia, Tanuja Ganu, Akshay Nambi
➡️ 研究机构: Microsoft Research India
➡️ 问题背景：尽管多模态大语言模型（MLLMs）在结合视觉和语言的任务中取得了显著进展，但在详细多模态理解、复杂任务的处理和多模态信息的推理方面仍存在挑战。这些限制影响了MLLMs在实际应用中的表现，尤其是在处理复杂视觉推理任务时。
➡️ 研究动机：为了解决当前MLLMs在复杂视觉推理任务中的局限性，研究团队提出了MMCTAgent，一个基于多模态的批判性思维代理框架。该框架旨在通过动态规划、工具增强和视觉批评组件，提高模型在图像和长视频理解任务中的表现。
➡️ 方法简介：MMCTAgent框架包括三个核心组件：动态规划和推理、工具增强、以及视觉批评。动态规划和推理组件负责将用户查询分解为子任务，制定解决问题的策略，并根据新信息进行调整。工具增强组件通过集成多种工具（如图像理解、音频分析、文本检索和视频分析工具）来获取额外信息。视觉批评组件则负责验证最终答案，并通过自我反思机制提高决策质量。
➡️ 实验设计：研究团队在多个图像和视频理解基准数据集上对MMCTAgent进行了评估，包括图像理解数据集（如MMMU、MMVET、MathVista）和视频理解数据集（如EgoSchema和新引入的MMCT-QA）。实验设计了多种任务，以全面评估MMCTAgent在不同条件下的表现，包括任务分解、信息获取、推理过程和最终答案的验证。结果显示，MMCTAgent在图像理解任务上比现有方法高出10%的准确率，在视频理解任务上也显著优于现有方法。
RACCooN: A Versatile Instructional Video Editing Framework with Auto-Generated Narratives
➡️ 论文标题：RACCooN: A Versatile Instructional Video Editing Framework with Auto-Generated Narratives
➡️ 论文作者：Jaehong Yoon, Shoubin Yu, Mohit Bansal
➡️ 研究机构: University of North Carolina at Chapel Hill
➡️ 问题背景：当前的视频生成模型主要依赖于精心编写的文本提示来完成特定任务，如修复或风格编辑。这些模型需要对输入视频进行劳动密集型的文本描述，这限制了它们对个人或原始视频的灵活性和适应性。视频编辑模型虽然能够根据用户编写的文本指令修改视频内容和属性，但开发一个多功能且用户友好的框架，以方便个人使用视频修改，仍面临诸多挑战。
➡️ 研究动机：为了解决现有视频编辑模型的局限性，研究团队提出了RACCooN，一个多功能且用户友好的视频编辑框架，该框架通过自动生成的叙述支持多种视频编辑能力，如移除、添加和修改视频内容。RACCooN旨在通过自动化的视频描述和用户交互，简化视频内容编辑过程，提高编辑的准确性和质量。
➡️ 方法简介：RACCooN框架包括两个主要阶段：视频到段落（V2P）和段落到视频（P2V）。在V2P阶段，RACCooN自动描述视频场景，捕捉整体上下文和焦点对象的细节。在P2V阶段，用户可以修改这些描述，以指导视频扩散模型进行各种修改，如移除、改变主体或添加新对象。为了生成详细的视频描述，RACCooN引入了一种多粒度时空池化策略，利用超像素捕捉视频中的局部信息。
➡️ 实验设计：RACCooN在多个公开数据集上进行了实验，包括YouCook2、VPLM、DAVIS和ActivityNet。实验设计了不同的任务，如视频描述、基于文本的视频内容编辑和条件视频生成。实验结果表明，RACCooN在视频描述任务上比基线模型提高了9.4%的绝对改进，在视频内容编辑任务上相对降低了49.7%的FVD（Fréchet Video Distance）。此外，RACCooN还展示了与现有最先进视频生成模型结合使用的潜力，通过利用详细的自动生成文本提示来增强这些模型的性能。
Reverse Image Retrieval Cues Parametric Memory in Multimodal LLMs
➡️ 论文标题：Reverse Image Retrieval Cues Parametric Memory in Multimodal LLMs
➡️ 论文作者：Jialiang Xu, Michael Moor, Jure Leskovec
➡️ 研究机构: Stanford University
➡️ 问题背景：尽管最近的多模态大型语言模型（MLLMs）在多种任务中取得了显著进展，但这些模型在知识密集型任务上仍面临挑战。例如，识别和区分大量动物物种或进行医学诊断等任务，需要大量的视觉知识，而现有的MLLMs在这些任务上的表现并不理想。此外，许多知识密集型多模态任务需要对出现在非文本模态（如图像）中的实体有详细的了解，但由于训练数据分布中对这些实体的支持有限，使得这些任务更加困难。
➡️ 研究动机：为了提高MLLMs在知识密集型任务上的表现，研究团队探索了一种简单而有效的策略——反向图像检索（RIR）增强生成。RIR通过从网络中检索与图像相关的多模态信息，为MLLMs提供额外的视觉和文本线索，从而帮助模型更好地访问其内部的知识库。研究发现，RIR不仅能够显著提高MLLMs在知识密集型视觉问答（VQA）任务上的表现，还能帮助模型更好地对齐其内部的知识与外部提供的信息。
➡️ 方法简介：研究团队构建了一个基于浏览器的API，用于从网络中反向搜索图像。该API捕获搜索结果的屏幕截图，包括多个结果图像和标题，作为RIR调用的搜索结果。这些结果图像和布局解释一起作为上下文提供给MLLMs，以增强其在知识密集型VQA任务中的表现。
➡️ 实验设计：研究在两个知识密集型视觉问答数据集上进行了实验，分别是INFOSEEK和SnakeCLEF。INFOSEEK数据集涵盖了11个类别的细粒度世界知识问题，而SnakeCLEF则是一个长尾VQA任务，涉及各种（可能罕见的）蛇类的开放性识别。实验评估了RIR在不同模型上的表现，包括OpenAI的GPT-4系列模型和开源的Idefics-2模型。实验结果表明，RIR能够显著提高MLLMs在这些任务上的表现，尤其是在初始表现较低的模型上效果更为明显。此外，研究还发现，RIR在需要更细粒度知识的任务上帮助更大。
Kestrel: Point Grounding Multimodal LLM for Part-Aware 3D Vision-Language Understanding
➡️ 论文标题：Kestrel: Point Grounding Multimodal LLM for Part-Aware 3D Vision-Language Understanding
➡️ 论文作者：Junjie Fei, Mahmoud Ahmed, Jian Ding, Eslam Mohamed Bakr, Mohamed Elhoseiny
➡️ 研究机构: King Abdullah University of Science and Technology
➡️ 问题背景：当前的3D多模态大型语言模型（3D MLLMs）在对象和场景理解方面取得了显著进展，但在理解3D空间结构的部件级别上存在局限性。这种局限性阻碍了模型在复杂环境中的精细交互和理解能力，例如，无法准确识别和定位物体的特定部件及其材料。
➡️ 研究动机：为了弥补现有3D MLLMs在部件级别理解上的不足，研究团队提出了Kestrel，这是一种具有部件感知点定位能力的3D MLLM。Kestrel旨在通过引入新的任务和数据集，增强3D MLLMs在部件级别上的语言理解和分割定位能力，从而更好地模拟人类的认知方式，即从全局和部件两个层面感知和互动。
➡️ 方法简介：研究团队提出了两个新的任务——部件感知点定位（Part-Aware Point Grounding）和部件感知点定位描述（Part-Aware Point Grounded Captioning）。这些任务要求模型根据用户指令预测部件级别的分割掩码，或生成包含部件级别描述的详细描述，并为每个描述部分提供相应的分割掩码。为了支持这些任务的学习和评估，研究团队构建了3DCoMPaT Grounded Instructions Dataset (3DCoMPaT-GRIN)，包括两个版本：3DCoMPaT-GRIN Vanilla和3DCoMPaT-GRIN Grounded Caption。
➡️ 实验设计：实验在3DCoMPaT-GRIN数据集上进行，评估了Kestrel在部件感知点定位和部件感知点定位描述任务上的性能。实验设计了不同的指令类型（如部件定位、材料定位和组合定位），以及不同类型的点云数据，以全面评估模型在部件级别上的理解和定位能力。实验结果表明，Kestrel在部件级别的分割定位任务上显著优于现有的3D MLLMs，为该领域设定了新的基准。