NeurIPS`24

文章链接：名目链接：

亮点直击

总结速览

处置的疑问

现有的场景了解数据集和基准测试在数据模态、多样性、规模和义务范围方面存在局限性，不可充沛允许对3D场景中情境了解的钻研。

提出的打算

提出了 多模态情境问答 (MSQA) 数据集和基准测试，经过3D场景图和视觉-言语模型大规模采集数据，以优化模型对情境的推理才干。此外，提出了 多模态情境下一步导航 (MSNN) 基准测试，用于评价模型在情境推理中的导航才干。

运行的技术

到达的成果

对MSQA和MSNN的综合评价显示了现有视觉-言语模型的局限性，验证了处置多模态交替输入和情境建模的关键性。数据裁减和跨域迁徙试验进一步标明，MSQA数据集在预训练中的运行清楚优化了模型的情境推理才干。

多模态情境推理数据集

本文提出了一种陈腐且可裁减的方法，用于搜集高品质的3D情境推理数据，并遵照三项外围准则：

数据搜集

如下图3所示，本文精心设计了一个基于LLM的智能数据搜集流程，蕴含三个阶段：情境采样、问答对生成和数据精炼。本文的数据搜集目的是确保生成数据的高品质。以下是流程的详细引见。

在将这些相关建设为场景图中的边后，依据采样情境的位置和视角调整水平临近相关，以取得情境场景图。基于这些情境场景图，设计系统提醒语并手工制造示例以提醒GPT-3.5生成情境问答对。本文关注9种不同的疑问范围，涵盖物体属性、计数、空间相关、导航举措等（如下图4(a)所示）。在提醒环节中，批示LLM输入疑问类别。为进一步增强LLM生成的问答对的多样性，咱们经常使用不同的种子示例组合，并依据不同的距离样本生成不同的情境子场景图用于疑问生成。

数据精炼 为了优化生成的情境问答对的品质，启动了精炼流程，包括两个关键方面：

先前的钻研[28, 68]已强调数据平衡的关键性，经过挑选不平衡的问答对来平衡生成数据的答案散布。经过这些步骤，搜集了跨ScanNet、3RScan和ARKitScenes的251K多模态情境问答对。下表1和提供了MSQA与现有数据集的对比及更多统计数据。

数据品质控制

虽然基于LLM的数据搜集流程具有可裁减性，但生成数据的品质依然是关键关注点，特意是在3D视觉-言语义务中，言语的锚定具有应战性。为应答这些疑问，启动了人类钻研，将生成的数据与SQA3D中的人工标注数据启动比拟。详细而言，从MSQA和SQA3D中各抽取100条数据实例并混合供人类评价。评价员被要求从三个方面为数据打分：

每个方面的评分范围为1到5分。评价流程的详细消息见附录B。评价结果如下面图4(b)所示，显示MSQA在各方面的品质与SQA3D相当。此外，图4(c)标明，MSQA中高评分数据（即得分≥4的品质数据）的比例与SQA3D相婚配或超越SQA3D。这标明了MSQA的品质以及数据精炼流程的有效性。

评价基准

本节详细形容了用于多模态情境推理的评价义务。详细而言，思考了以下两个基准义务：

多模态情境问答 (MSQA) 在MSQA中评价模型在情境感知和处置交织的多模态输入方面的才干。详细来说，给定一个多模态情境形容，模型须要回答一个基于3D场景的文本-图像交织疑问。由于回答是开明式的，以往的目的（如分类准确率和齐全婚配准确率）不可准确评价。为了处置此疑问，参考OpenEQA经常使用基于GPT的评价目的来评价开明式回答，并裁减其提醒集以适用于3D情境推理。总体上，报告了蕴含N个样本的测试集的正确率评分C，其计算方式如下：

多模态情境下一步导航 (MSNN) 除了MSQA外，还宿愿经过具身AI义务（如导航）评价模型的情境感知才干。为将长时布局与情境了解分别，本文提出了MSNN义务，聚焦于在情境和导航目的的基础上预测最佳的即时下一步举措。详细来说，给定代理的交织多模态情境形容（包括位置、方向和文本形容）、目的文本形容和全体场景，咱们批示模型以文本方式回答通向目的的下一步举措。

为评价，MSNN数据驳回相似情境QA生成流程并蕴含四个关键步骤：

最优门路由A*算法生成，以在平面图上布局从起始位置到目的的最短门路，而即时下一步举措则依据相对起始情境的最优门路方向确定。最终，生成了一个蕴含34K个MSNN样本的数据集，笼罩ScanNet中的378个3D场景。此数据集进一步用于监视微和谐MSNN评价。

试验

模型设置

受3D通用模型、LLM和VLM最新停顿的启示，本文提出了几种适用于MSQA和MSNN的潜在方法，包括可间接零样本运行于这些义务的模型，以及须要指令调优的模型。

零样本模型

本文钻研了现有LLMs和VLMs（例如GPT-3.5和GPT-4o）在多模态情境推理中的才干。鉴于这些模型在处置3D点云方面的局限性，咱们将3D场景的文本形容作为输入提供应这些模型。详细而言，场景被形容为对象汇合，每个对象都蕴含类别、位置、大小和属性等特色。而后将该场景的文本形容与交织的多模态情境形容、指令和疑问结合，进一步由LLM或VLM处置。关于纯文本模型（如LLMs），用对象类别代替对象的图像作为模型输入。此外，还引入了Claude-3.5-Sonnet以消弭GPT家族内的潜在偏向。

指令调优

基于3D通用模型的最新停顿，对现有的3D视觉-言语基础模型在MSQA和MSNN义务上启动微调。选用LEO作为代表模型，因其在3D视觉-言语了解和推理中的出色体现。由于LEO不允许交织的多模态输入，将输入图像交流为其对应的对象类别，相似于零样本模型。此外，还裁减了LEO，以顺应交织的多模态输入，构成了咱们弱小的基线模型MSR3D，公用于情境推理和导航。MSR3D经过依据代理的情境对点云输入启动平移和旋转来建模情境。选用MSR3D作为后续消融钻研和剖析的关键模型。更多关于MSR3D设计的细节详见附录C。

评价结果

本节提供了模型在MSQA和MSNN义务上的评价结果。报告了两个义务测试集的平均正确性评分。此外，还调查了不同情境和疑问输入模态（Input）、3D场景示意（Scene）以及模型设置（Setting）。关于MSNN，将预训练数据（PT>多模态情境问答 (MSQA)

下表2中展现了MSQA的试验结果，并报告以下发现：

情境组件对情境推理至关关键

为了提醒情境组件在微调（FT）模型中的有效性，咱们减少了一个齐全移除情境组件的FT基线，保管3D场景和疑问作为输入。前面表2（有情境）中的结果显示，去除情境组件后功能清楚降低。特意是，导航相关疑问的降低更为清楚，这与MSNN的评价结果相分歧，突显了情境组件的关键性。

交织多模态输入为情境推理带来了新应战

虽然交织多模态输入具有长处，观察到MSR3D（T+I）的体现略逊于仅文本输入（T）。为进一步剖析这一纤细差异，咱们从测试集中提取了两个子集，使图像仅出如今情境或疑问中。下表4中报告了这两个子集的评价结果，显示“T+I”在图像仅出如今疑问中的子集上体现清楚降低。咱们推测，将图像归入疑问或者放大了情境推理的难度，由于从图像中识别查问对象须要额外的定位才干。

多模态情境下一步导航 (MSNN)

在下表5中展现了MSNN的试验结果，并报告以下发现：

MSNN义务具有应战性

表5的结果显示，最新的LLMs（如GPT-3.5和GPT-4o）和3D视觉言语模型在处置MSNN义务时都面临清楚的应战。这标明了MSNN义务在3D情境推理和具身AI钻研中的价值。

MSQA作为具身AI预训练源的有效性

咱们发现，将MSQA用于预训练（对LEO和MSR3D均有效）清楚优化了MSNN义务的体现，说明MSQA作为处置具身导航义务的预训练源的有效性。

MSR3D的情境建模方法有效

MSR3D（T），结合情境建模，在导飞行为预测中显示出清楚更高的准确性（相比LEO（T）高出8.56%）。这验证了咱们情境建模方法的有效性。此外，咱们经过屏蔽代理的位置和方向来测试有情境的MSR3D，结果体现清楚降低（见表5的有情境结果），进一步证实了情境消息的关键性，同时MSR3D能够有效应用情境消息。

附加剖析

裁减效应 经过在不同数据规模下训练MSR3D来探求MSQA的裁减效应。钻研了裁减的三个要素：QA（随机下采样QA对）、情境（下采样QA对和情境）以及场景（下采样QA对和场景）。如图7所示，随着这三个要素的裁减，模型功能出现继续优化的趋向，显示了清楚的裁减效应，标明进一步裁减的后劲。

跨畛域迁徙 本文将MSQA数据分为三个子集，区分为、和 ARKitScenes ，并经过在每个子集上训练MSR3D并在一切子集上启动评价来钻研跨畛域迁徙。下表6的结果显示，每个子集上最佳的体现是经过在同一畛域内训练（加粗的局部），而非跨畛域迁徙，展现了畛域间的差距。在ARKitScenes上训练的模型在跨畛域迁徙中的体现较差。思考到ARKitScenes中场景相对便捷，这标明在复杂场景上的训练有助于优化跨畛域泛化才干。

论断

本文提出了多模态情境问答（MSQA），这是一个大规模的多模态情境推理数据集，经过可裁减的数据生成pipeline搜集而成。MSQA蕴含251K个情境QA对，涵盖多种事实环球场景，一切数据以一致格局出现，包括交织的文本、图像和点云。本文提出了基于MSQA的应战性基准，用于评价3D场景中的多模态情境推理。此外，还提出了多模态情境下一步导航（MSNN），这一义务旨在评价情境推理和具身导航的才干。咱们的片面试验凸显了咱们数据集和基准的关键价值。宿愿这项上班能推进情境场景了解和具身智能的开展。

原文链接:​ ​​ ​