浙江大学与字节跳动联手推出Molecule 破解AI多模态了解难题

引言：多模态一致示意空间的应战与时机

在人工自动畛域，多模态一致示意空间是成功多模态了解和生成的基础。这种一致空间能够将音频、图像、文本等多种模态的数据融合在一个共享的示意空间中，从而使得机器能够更好地理解和处置来自不同源的消息。但是，构建这样的一致示意空间面临着渺小的应战，例如须要处置的模型参数或者高达数十亿，且在训练环节中容易出现劫难性忘记疑问。这些疑问重大限度了多模态一致示意空间的进一步开展。

虽然存在应战，多模态一致示意空间也带来了史无前例的时机。经过有效地融合来自不同专家空间的常识，可以极大地增强预训练的一致空间的才干，使其在多种下游义务中体现愈加杰出。例如，经过将图像-文本和音频-文本的专家空间常识整合到一致的音频-图像-文本空间中，可以创立出在多个数据集上功能逾越繁多模态专家模型的一致示意空间。

本文提出了一种名为“Molecule-Space”的新方法，该方法将多模态示意空间视为“分子”，并经过“分子空间反响”将额外的专家空间常识整合到预训练的一致空间中。这种方法不只提高了一致空间的功能，而且经过定制化的推理战略，还能依据不同的运行需求灵敏调整增强后的一致空间。

论文题目 : Molecule-Space: Free Lunch in Unified Multimodal Space via Knowledge Fusion

机构 : Zhejiang University, ByteDance

论文链接 :

名目地址 :

Molecule-Space概念引见

Molecule-Space是一种陈腐的概念，它将多模态示意空间视为“分子”，并经过“分子空间反响”将预训练的一致空间与额外的专家空间融合。这种方法重要包含两种基本的空间反响：空间位移反响和空间组合反响。空间位移反响经过将一致空间对齐到专家空间来承袭专家空间的一切常识，但这种方法或者会就义一致空间的局部消息。而空间组合反响则是一种平和的常识融共打算，它将专家空间对齐到一致空间，从而保管了一致空间的常识并能够并行结合多个专家空间。

在这两种基本反响的基础上，进一步提出了复杂的顺序与并行反响，有效地同时整合多个空间。例如，在试验中，经过空间位移反响首先将一致空间与先进的图像-文本专家空间整合，并调整产品以修复其失落的常识。而后，经过空间组合反响并行整合额外的专家空间，进一步增强一致空间。经过这些反响后，设计了粗到细的定制化推理战略，以灵敏地顺应不同的运行需求，选用模块和调整组合因子。

常识融合的战略

在Molecule-Space中，常识融合战略是经过设计便捷而有效的投影器学习管道和提出混合投影器战略来增强空间对齐的鲁棒性和表征的区分性。首先，经过采样整个数据集的子集，区分训练多个投影器，并将它们集成以成功更鲁棒的对齐和更具区分性的表征。

在基本反响的成功中，繁多投影器训练不触及复杂的外部空间对齐损失，这简化了学习流程并或者提高泛化功能。例如，位移反响的训练损失仅计算不同空间特色之间的InfoNCE损失，而组合反响则在平行对齐多个专家空间时经常使用。

此外，定制化推理战略准许在不同运行中灵敏选用对齐的专家空间和调整组合因子，从而在坚持初级图像-文天性力的同时增强音频-文本和音频-图像功能。这种战略的实施，使得Molecule-Space不只在试验中经过整合ImageBind的音频-图像-文本空间与多个先进空间在多个下游义务中体现优越，还经过定制化推理在特定畛域逾越了现有的图像-文本和音频-文本专家模型。

试验设计与验证

1. 基础反响的设计

在Molecule-Space的试验设计中，咱们首先定义了两种基础的“分子空间反响”：空间位移反响和空间组合反响。空间位移反响经过将一致空间对齐到专家空间来承袭专家空间的所有常识，而空间组合反响则是将专家空间对齐到已解冻的一致空间，从而保管一致空间的常识并局部整合专家空间的常识。

2. 复杂的顺序与并行反响

基于这两种基础反响，咱们进一步设计了复杂的顺序与并行反响，以有效地同时整合多个空间。例如，首先经过位移反响将初级图像-文本专家空间整合到一致空间中，并调整其余模态的数据以修复失落的常识。而后，经过并行的组合反响将其余模态的专家空间整合出去，进一步增强一致空间。

3. 试验验证

为了验证Molecule-Space的有效性，咱们在ImageBind的音频-图像-文本一致空间上启动了试验。经过整合一个图像-文本和两个音频-文本的专家空间，咱们构建了一个在九个数据集上的五个下游义务中体现优越的音频-图像-文本空间。此外，经过定制化推理，咱们甚至在图像-文本或音频-文转义务中逾越了经常使用的专家空间。

定制化推理战略

1. 粗粒度组合模块选用

在推理环节中，咱们可以灵敏选用任何已对齐的专家空间来取得特定方面的增益。例如，可以选用特定的音频-文本专家空间来构建针对特定需求的一致空间。

2. 细粒度组合因子调整

除了选用不同的模块，咱们还可以经过扭转不同专家空间的组合权重来以细粒度模式定制增强的一致空间。例如，较小的组合权重象征着局部排汇音频-文本常识，过度的常识融合可以同时增强音频-文本和音频-图像的功能，同时坚持先进的图像-文天性力。

经过这种粗到细的定制化推理战略，Molecule-Space不只在试验中显示出弱小的功能，还能依据不同的运行需求灵敏调整，展现出其在多模态示意空间中的宽泛运行后劲。

探讨与未来方向

1. 常识融合的选用：位移反响与组合反响

在Molecule-Space中，位移反响和组合反响作为基本的空间反响，各有其共同的好处和局限。位移反响虽然能够齐全承袭专家空间的常识，但或者会就义一局部一致空间的消息。相比之下，组合反响能够保管一致空间的常识，但只能局部融合专家空间的常识。这两种反响的选用和运行，依赖于详细的运行需求和预期的成果。

2. 复杂反响门路的探求

本钻研提出的复杂顺序与并行反响，经过结合位移反响和组合反响的好处，展现了在多空间融合中的有效性。未来的钻研可以进一步探求不同的复杂反响门路，以优化多模态空间的融合成果，特意是在处置更多模态输入时的体现。

3. 细粒度组合因子的调整

经过对组合因子的细粒度调整，Molecule-Space能够在坚持图像-文天性力的同时，增强音频-文本和音频-图像的体现。这种灵敏的调零件制为多模态示意空间的优化提供了更多或者性。未来的上班可以在更多的运行场景中测试和优化这一机制，以成功更准确的常识融合。

4. 名目器的设计与集成

Mixture-of-Projectors战略经过集成多个训练有素的名目器，增强了空间对齐的鲁棒性和示意的区分性。探求不同的名目器结构和训练指标，或者会进一步优化模型的功能和顺应性。未来的钻研可以在这一方向上启动深化，特意是在不同模态和复杂数据集上的运行。

总结

Molecule-Space经过将多模态空间视为“分子”，并经过“分子空间反响”来融合常识，提出了一种有效的一致多模态示意空间增强方法。经过位移反响和组合反响，以及基于这些基础的复杂顺序与并行反响，Molecule-Space不只在试验上逾越了ImageBind等基线模型，还经过定制化推理战略，展现了在特定畛域甚至逾越专家模型的后劲。此外，细粒度的组合因子调整和名目器的设计为多模态空间的进一步钻研提供了新的视角和工具。未来，Molecule-Space的概念和方法可以裁减到更多模态和运行场景，为多模态人工自动的开展提供强有力的支持。

本文转载自​​，作者：​​