字节跳动颁布一致多模态大模型 Show

引言：多模态了解与生成的新篇章

在人工自动的开展历程中，多模态了解与生成不时是钻研的热点畛域。随着技术的提高，从繁多模态到多模态的转变，使得机器能够更片面地理解和生成消息，极大地拓宽了人工自动的运行范围。本文引见的钻研成绩，展现了如何经过一个一致的Transformer模型——Show-o，来成功对多种模态输入的了解与生成，这标志着在多模态人工自动畛域的一个关键提高。

1. 论文题目与链接

2. 机构

3. 名目地址

经过这项钻研，Show-o模型不只在多模态了解义务中展现出了与现有模型相当或更优的性能，而且在生成义务中也显示出了清楚的长处，尤其是在须要较少采样步骤的场景中，展现了其在减速生成环节中的后劲。此外，Show-o模型的灵敏性和裁减性，使其能够允许多种下游运行，如文本疏导的图像修复和外推，以及混合模态生成等，这些都预示着其作为下一代基础模型的渺小后劲。

Show-o模型概述

Show-o是一个一致的变换器模型，旨在一致多模态了解和生成。这种模型不同于齐全自回归模型，它结合了自回归和（团圆）分散建模，以顺应各种混合模态的输入和输入。Show-o模型能够灵敏允许包含视觉问答、文本到图像生成、文本疏导的图像修复/外推以及混合模态生成等多种视觉-言语义务。

在多个基准测试中，Show-o展现了与现有的独自模型相当或更优越的性能，这些模型具备相等或更多的参数，专门用于了解或生成义务。这突出显示了其作为下一代基础模型的后劲。Show-o的代码和模型已在GitHub上颁布，供钻研和开发经常使用。

模型架构与技术细节

1. 模型架构

Show-o基于预训练的大型言语模型（LLM）构建，并承袭了文本基础推理的自回归建模才干。经过驳回团圆去噪分散来模拟团圆图像标志，而不是延续示意，Show-o在坚持文本条件消息编码的同时，也简化了额外文本编码器的需求。为了顺应多样化的输入数据和义务变动，模型驳回了文本和图像的标志器来编码它们为团圆标志，并进一步提出了一致的提醒战略，以将这些标志处置成结构化的输入序列。

2. 一致提醒战略

Show-o设计了一种一致的提醒战略，以格局化各种输入数据。给定图像-文本对，首先将其标志化为图像标志和文本标志，而后依据义务类型将它们构成输入序列。这种设计使得模型能够有效地编码多模态了解、文本到图像生成和混合模态生成的各种输入数据为序列数据，从而在这些不同义务中无缝地启动一致学习。

3. 全方位留意机制（Omni-Attention Mechanism）

Show-o提出了一个全方位的留意机制，使模型能够以不同的模式模拟不同类型的信号。这种留意机制结合了因果留意和片面留意，依据输入序列的格局顺应性地混合和变动。在多模态了解义务中，文本标志可以留意到一切先前的图像标志；在文本到图像生成义务中，图像标志能够与一切先前的文本标志启动交互。

4. 训练指标

为了同时启动自回归和（团圆）分散建模，Show-o驳回了两种学习指标：下一个标志预测（NTP）和掩码标志预测（MTP）。经过这两种方法，Show-o能够在多模态了解中最大化文本标志的或者性，并在输入序列中模拟图像标志，以重建从掩码标志条件化的原始图像标志。

综上所述，Show-o经过其翻新的架构和技术细节，展现了处置多模态输入和生成义务的弱小才干，是一个具备宽泛运行前景的一致多模态模型。

试验设置与基准测试

1. 试验设计

在本钻研中，咱们提出了一个名为Show-o的一致变换模型，旨在同时处置多模态了解和生成义务。Show-o模型结合了自回归和（团圆）分散建模，以顺应不同的输入和输入模态。试验中，Show-o处置文本和图像的输入数据，经过自回归模式处置文本令牌，并经过全留意力模式处置图像令牌，从而生成所需的输入。

2. 基准测试

为了评价Show-o模型的性能，咱们在多个基准测试上启动了评价，包含视觉问答、文本到图像生成、文本疏导的图像修复/外推和混合模态生成等义务。这些基准测试不只涵盖了多种视觉言语义务，还包含了对模型在不同设置下的综合性能的评价。

性能剖析与探讨

1. 性能评价

在多个基准测试中，Show-o模型展现了与或优于现有独自模型的性能。例如，在视觉问答义务中，Show-o能够准确回答与图像关系的疑问，展现了其对图像内容的深化了解。在文本到图像生成义务中，Show-o生成的图像品质与现有的生成模型相比具备竞争力，显示了其在处置复杂生成义务时的有效性。

2. 探讨

Show-o模型的关键长处在于其能够经过繁多的变换器处置多种模态的输入和输入，这在以往的模型中往往须要多个专门的模型来区分处置。此外，Show-o在自回归生成图像时所需的采样步骤大概缩小了20倍，这一清楚的性能优化不只缩小了计算资源的消耗，也提高了模型的运行灵敏性。此外，Show-o还自然允许多种下游运行，如文本疏导的图像修复和外推，而无需任何微调，进一步展现了其作为下一代基础模型的后劲。

总体而言，Show-o模型经过在繁多框架中整合自回归和分散建模，成功地处置了多模态了解和生成义务，显示了优秀的性能和宽泛的运行后劲。

应战与未来方向

1. 模型的输入/输入空间定义

定义模型的输入和输入空间是一个外围疑问。如何有效地处置来自不同模态的输入数据，并将它们一致到一个繁多的变换器中，是未来钻研的一个关键方向。

2. 不同模态输入数据的一致

关于来自不同模态的输入数据，如何在一个繁多的网络中一致处置，是一个应战。这须要模型能够灵敏地处置和了解不同类型的数据，例如文本和图像。

3. 自回归与分散建模的结合

Show-o模型结合了自回归和分散建模，这在技术上是一项应战。这种结合使得模型能够在处置文本和图像时展现出高度的灵敏性和效率。

4. 高效的训练战略

如何有效地训练这样一个复杂的模型也是一个应战。须要开发新的训练战略，以确保模型能够在多模态了解和生成义务中到达最优性能。

5. 常年视频生成的探求

Show-o模型在处置长形视频生成方面展现了后劲。如何进一步开展这一配置，使模型能够生成连接且高品质的视频，是未来钻研的一个关键方向。

本文转载自​​，作者：​​