微软 POLYMATH 谷歌DeepMind 联结团队的杰作 亚马逊 引领MLLMs多模态推理新基准

多模态大言语模型（MLLMs）的开展迅速，成为了人工智能钻研的一个关键畛域。这些模型不只能够处置文本，还能够了解并生成视觉消息，使其在许多运行中展现出出色的后劲。虽然在某些畛域取得了清楚停顿，但在复杂的视觉和数学推理义务上，MLLMs的体现仍有待提高。为此，来自亚马逊、微软、谷歌DeepMind 联结钻研团队开发了POLYMATH，这是一个具有应战性的基准，旨在系统地剖析和评价这些模型在视觉复杂场景下的数学推理才干。经过5000个多模态推理疑问，涵盖10个不同类别，POLYMATH为MLLMs的认知才干提供了片面的测试平台。

此次钻研由一支由各畛域专家组成的团队实现。外围团队成员包括Himanshu Gupta（亚利桑那州立大学，现供职于亚马逊）、Shreyas Verma（Asurion）、Ujjwala Anantheswaran（亚利桑那州立大学，现供职于微软）、Kevin Scaria（亚利桑那州立大学，现供职于亚马逊）、Mihir Parmar（亚利桑那州立大学）、Swaroop Mishra（亚利桑那州立大学，现供职于Google DeepMind）和Chitta Baral（亚利桑那州立大学）。团队成员均在各自畛域有着深沉的专业背景，确保了POLYMATH基准的迷信谨严性和技术先进性。

该名目标代码库可以在GitHub上找到，地址为：，数据集则托管在Hugging Face上，地址是：​​ ​​ ​，为钻研人员提供了方便的访问和经常使用路径。

相关上班

MLLMs的外围长处在于其能够同时处置文本和视觉消息，具有跨模态了解和生成才干。这些模型不只在言语了解和生成上体现出色，还能够处置复杂的视觉义务，为多种运行场景提供了处置打算。

多模态大言语模型的开展得益于大言语模型（LLMs）和大型视觉模型的提高。近年来，OpenAI的GPT系列和Google的Gemini系列等模型在处置多模态义务上取得了清楚成就。例如，GPT-4V不只能够生成高品质的文本，还能够了解复杂的图像内容，展现了弱小的视觉推理才干。这些模型经过结合人造言语处置（NLP）和计算机视觉（CV）技术，能够在教育、医疗、迷信钻研等多个畛域中提供翻新的处置打算。

在数学推理方面，MLLMs雷同展现了渺小的后劲。现有的钻研标明，这些模型在处置几何疑问、图表了解和数学运算等义务中体现出色。虽然如此，MLLMs在处置触及空间相关和形象逻辑推理的复杂数学识题时，仍存在必定的局限性。这是由于这些疑问不只须要模型具有良好的视觉了解才干，还须要其能够启动深档次的逻辑推理和认知环节。

图1：MLLM在面对触及视觉消息的疑问时所驳回的推理形式示例。在第一行，模型不可感知相邻半圆之间的相关；在最后一行，模型不可了解答案图像中的细节。

在评价MLLMs功能的环节中，钻研人员开发了多种基准数据集，其中比拟驰名的包括GeoQA、VQA和UniGeo。这些基准在推进多模态模型的开展中起到了关键作用，但它们也存在必定的局限性。

GeoQA是一个专一于天文疑问的问答数据集，关键评价模型在处置天文消息和天文推理义务上的才干。虽然GeoQA蕴含了一些复杂的天文疑问，但其疑问类型相对繁多，未能片面笼罩多种数学和视觉推理义务。

VQA（Visual Question Answering）则是一个视觉问答数据集，旨在评价模型无了解图像内容和回答相关疑问方面的才干。VQA的数据集蕴含了少量的日常场景和知识性疑问，虽然在必定水平上调查了模型的视觉了解才干，但其数学推理义务相对较少，未能充沛评价模型在复杂数学识题上的体现。

UniGeo是一个专一于几何疑问的数据集，评价模型在处置几何图形和几何推理义务上的才干。虽然UniGeo在几何推理方面取得了必定的停顿，但其数据集规模较小，疑问类型也较为有限，未能片面反映模型在多模态义务中的综合才干。

为了处置现有基准的局限性，钻研团队提出了POLYMATH这一具有应战性的多模态数学推理基准。POLYMATH旨在片面评价MLLMs在复杂视觉场景下的数学推理才干，其数据集蕴含了5000个高品质的认知文本和视觉应战，涵盖了图案识别、空间推理等10个类别。经过多样化的义务设置，POLYMATH能够片面测试模型的认知推理才干，特意是在处置复杂数学和视觉推理义务时的体现。

图2:POLYMATH的散布和难度概述（a）显示了数据集中5000个疑问的类别划分，以及该类别的有图（WD）和无图（WoD）划分；（b） 比拟各种MLLM的每类别功能。

POLYMATH不只在数据规模上上游于现有基准，其义务设置也愈加多样化和复杂化，能够片面评价模型在多模态义务中的综合体现。钻研团队经过严厉的数据搜集和品质控制流程，确保了POLYMATH数据集的高品质和高可信度。此外，钻研团队还提供了详细的文本形容和图像内容，以支持基于文本和视觉的双重评价。

图3：带图和不带图疑问的示例。除了疑问图像外，POLYMATH还包括下面显示的元数据。没有图表的疑问不会出如今测试img中，而这两种疑问都会出如今testmini中。

POLYMATH数据集的整顿

为了系统地评价多模态大言语模型（MLLMs）在复杂视觉场景下的数学推理才干，钻研团队开发了POLYMATH这一具有应战性的基准。该数据集的整顿环节包括精细的数据搜集流程、严厉的品质保障措施以及迷信的分类架构，确保数据集的高品质和多样性。

数据搜集是确保POLYMATH数据集高品质的关键。钻研团队驳回了手动和智能化相结合的形式，经过五个步骤来搜集和整顿数据：

这一系统化的数据搜集流程确保了POLYMATH数据集的高品质和多样性，为模型评价提供了松软基础。

在数据搜集和标注环节后，钻研团队启动了片面的品质审核，以确保数据集的高品质和可信度。

这些品质保障措施确保了数据集的准确性和分歧性，使POLYMATH成为评价MLLMs功能的牢靠工具。

为片面评价模型的多模态认知推理才干，钻研团队开发了一个分类架构，依据提供的消息和评价的推理技艺对疑问启动分类。POLYMATH数据集蕴含以下10个类别，每个类别都有其定义和示例。

这一分类架构不只涵盖了多种推理技艺，还确保了数据集的多样性和复杂性，使其能够片面评价MLLMs在多模态义务中的体现。经过精细的数据搜集流程、严厉的品质保障措施和迷信的分类架构，POLYMATH数据集为评价和优化MLLMs的功能提供了关键工具。

试验设计

为了深化剖析多模态大言语模型（MLLMs）在复杂视觉场景下的数学推理才干，钻研团队在POLYMATH基准上启动了系统的试验设计。这一试验设计蕴含了评价模型的选用、提醒战略的运行以及详细的试验方法和附加试验剖析。

评价模型的选用

在评价模型的选用上，钻研团队综合思考了闭源和开源MLLMs，旨在片面了解不同模型在多模态推理义务中的体现。闭源模型包括OpenAI的GPT-4o、OpenAI O1以及Anthropic的Claude-3.5 Sonnet和Gemini-1.5 Pro等。这些模型在处置多模态义务上体现出色，是技术前沿的代表。闭源模型的选用使得试验可以评价最先进的商业化模型的功能。

与此同时，钻研团队也选用了多种开源MLLMs，包括LLaVA（如LLaVA-v1.6-Mistral-7B、LLaVA-v1.6-Vicuna-13B）、G-LLaVA（如G-LLaVA-7B）以及ShareGPT4V等。这些模型提供了一个开明的钻研平台，准许学术界和开发者进一步钻研和改良多模态推理才干。经过评价开源模型，钻研团队不只可以比拟闭源和开源模型的功能，还可以识别开源模型在详细义务中的长处和无余。

提醒战略的运行

提醒战略在多模态推理义务中表演着关键角色，钻研团队驳回了四种不同的提醒战略，区分是零样本推理、大批样本推理、链式思想提醒和退一步提醒。这些战略旨在测试模型在不同消息量和提醒形式下的体现。

经过这些提醒战略，钻研团队能够深化剖析模型在不同提醒形式下的推感功能，提醒其在复杂义务中的潜在才干和无余。

附加试验剖析

除了关键试验设置外，钻研团队还启动了三项附加试验剖析，以进一步验证和裁减试验结果。

这些附加试验提供了进一步的剖析视角，有助于片面了解模型在不同场景下的功能和局限。

试验方法

试验方法包括严厉的设置和详细的操作步骤，以确保试验结果的牢靠性和可重复性。详细方法包括：

经过这些试验方法，钻研团队能够系统地评价不同模型在多模态数学推理义务中的体现，提醒其在复杂视觉场景下的推理才干和局限性。

结果剖析

在这项钻研中，钻研团队经过系统的试验，详细评价了多种闭源和开源的多模态大言语模型（MLLMs）在POLYMATH基准上的体现。经过比拟模型在各类疑问中的体现，咱们可以深化了解其在复杂推理义务中的才干和局限性。以下是试验结果的详细剖析。

闭源模型

在闭源模型的评价中，Claude-3.5 Sonnet和GPT-4o体现尤为突出。Claude-3.5 Sonnet在不同的提醒战略下展现了弱小的推理才干，特意是在Step Back提醒战略中，准确率到达了41.90%。这一战略激励模型从新扫视和评价其推理步骤，从而提高了准确性和逻辑性。GPT-4o紧随其后，尤其在零样本推理和Step Back提醒下体现优秀，显示了其弱小的顺应性和推理才干。

Gemini-1.5 Pro的体现相对中等，在一切类别中体现稳固，但未能在任何特定畛域中占据主导位置。相比之下，Claude Haiku作为最小的闭源MLLMs，体现广泛较差，未能在复杂推理义务中展现出足够的才干。

开源模型

开源模型的评价结果显示，LLaVA-v1.6-Mistral-7B在全体体现上名落孙山，总体得分为15.2%。特意是在找出不同（OD）、空间推理（SR）、相对推理（RR）和数学推理（MR）类别中体现突出。这标明LLaVA-v1.6-Mistral-7B在生成准确、分歧且相关的照应方面体现出色，即使在超出散布的数据样本中也是如此。

图4：不同疑问类别中逻辑毛病（LF）和空间曲解（SM）失误的频率。咱们报告每个模型的数据，以便比拟模型的才干。由于这些疑问须要少量的逻辑腾跃和视觉推理，它们在OD、PR和SC类疑问中最为广泛。

ShareGPT4V（13B）模型在PR、SC、RR、MR、SR和OD类别中的体现也十分优秀，总得分为12.8%。其余模型如LLaVA-v1.6-Vicuna-13B、LLaVA-1.5（13B）、G-LLaVA（13B）和LLaVA-v1.6（34B）在不同类别中体现各异，显示出其在处置多样推理义务时的集体长处和无余。

失误类型剖析

在剖析失误类型时，钻研团队识别出了七种经常出现失误类型，并详细剖析了其散布。

钻研团队经过对236个失误样本的手动审核，发现逻辑毛病（LF）是最经常出现的失误，凑近60%的失误样本中发生。空间曲解（SM）位居第二，占约25%。这些失误在找出不同（OD）、图案识别（PR）和序列实现（SC）类别的疑问中尤为经常出现，由于这些疑问要求模型启动不经常出现的逻辑腾跃和齐全了解视觉消息，而这些正是模型的弱点所在。

此外钻研还发现，模型在推理环节中经常犯相反的失误，例如假定某一形式在每行都实用，而正确的推理当触及跨列的形式复制。特意是在PR类别中，GPT-4o、Gemini-1.5 Pro和Claude-3.5 Sonnet在近80%的样本中遵照了相反的失误推理结构。这标明虽然模型之间存在差异，但在通常中它们展现了相反的长处和无余。

人类评价

为了确认数据集的难度，钻研团队约请了六名钻研生启动人类评价。每位钻研生被调配到一个特定的疑问类别，以防止从同一类别的其余疑问中取得额外消息。他们只提供最终答案，没有详细的推理环节。

人类评价的结果显示，虽然模型在某些类别中体现优秀，但与人类推理才干相比仍有清楚差距。特意是在处置复杂逻辑和空间推理义务时，模型体现清楚逊色。这一结果为未来的钻研提供了明白的方向，强调了开发能够无缝结合数学推理和视觉了解的模型的必要性。

试验剖析

在对多模态大言语模型（MLLMs）启动系统评价的环节中，钻研团队发现了它们在视觉推理方面的依赖性和经常出现失误形式。以下是对模型依赖图像形容而非图像的体现差异剖析，以及对模型经常出现失误的深化讨论。

模型依赖图像形容而非图像

经过对test-img子集的试验剖析，钻研团队发现大少数MLLMs在处置带有图表的疑问时体现出清楚的局限性。详细而言，当模型面对的是间接的图像时，其体现清楚不如面对详细文本形容时的体现。为了验证这一发现，钻研团队将test-img子集中的图表交流为详细的文本形容，生成一个文本版本的test-img启动测试。

结果显示，一切模型在处置文本形容疑问时的体现优化了约3-4%。这标明，虽然这些模型在处置文本数据时体现优秀，但在视觉推理义务中存在清楚的无余。特意是GPT-4o和Claude-3.5 Sonnet这两个模型在文本形容中的体现优化尤为清楚。这种现象标明，的MLLMs虽然无了解和生成文本方面曾经取得了清楚停顿，但在处置复杂的视觉消息时，依然依赖于能够明晰形容图像内容的文本消息。

这一发现对未来的钻研具有关键启发：要进一步提高MLLMs在多模态义务中的体现，须要增强其对视觉消息的了解和推理才干，缩小对文本形容的依赖。

模型失误的深化剖析

在对模型失误类型的剖析中，钻研团队识别出七种经常出现的失误类型，其中逻辑毛病（LF）和空间曲解（SM）最为经常出现。以下是对这些失误类型及其对模型推理才干影响的深化讨论。

逻辑毛病（LF）

逻辑毛病是模型在推理环节中违犯既定的逻辑规定或事实环球的准则。例如，当模型在处置数学识题时，未能正确运行等式或基数准则。钻研发现，逻辑毛病在凑近60%的失误样本中发生，这一比例相当高。特意是在图案识别（PR）、序列实现（SC）和找出不同（OD）类别的疑问中，逻辑毛病尤为经常出现。这些疑问通常要求模型启动复杂的逻辑腾跃和形式识别，而模型在这方面体现出的无余造成了高频率的逻辑失误。

空间曲解（SM）

空间曲解是指模型无了解图像的空间相关或特定细节时发生的失误。例如，当面对触及空间规划和相对位置的疑问时，模型未能正确了解图像中的空间消息。钻研标明，空间曲解占约25%的失误样本，这一比例仅次于逻辑毛病。特意是在触及几何图形和空间推理的疑问中，模型容易发生空间曲解。这种现象标明，虽然MLLMs在处置文本消息方面有必定的长处，但在处置须要深化了解空间相关的视觉消息时，仍存在清楚的无余。

经过对逻辑毛病和空间曲解的深化剖析，咱们可以看到MLLMs在复杂推理义务中的局限性。为了处置这些疑问，未来的钻研须要专一于增强模型的逻辑推理才干和空间了解才干。例如，可以经过引入更多的空间推理义务和复杂逻辑推理疑问来训练模型，从而提高其在这两个方面的体现。

总结

经过深化讨论模型在视觉推理方面的依赖状况和经常出现失误形式，咱们可以更好天文解MLLMs在复杂推理义务中的体现和局限。虽然这些模型在文本形容方面体现优秀，但在处置复杂的视觉消息时仍存在清楚的无余。未来的钻研须要专一于增强模型的视觉了解和逻辑推理才干，从而片面优化其在多模态义务中的体现。经过始终改良和优化，MLLMs有望在更多运行场景中展现出愈加出色的功能和才干。（END）

参考资料：

本文转载自​​，作者：​​