一分钟搞定恣意数量视图到3D场景重建 谷歌重磅颁布CAT3D

论文链接：名目链接：

3D重建的提高使得高品质的3D捕捉成为或者，但须要用户搜集数百到数千张图像来创立一个3D场景。 本文提出了CAT3D，一种经过多视点分散模型模拟这种理想环球捕捉环节的方法，可以在3D中创立任何物品 。给定恣意数量的输入图像和一组目的新视点，本文的模型生成高度分歧的场景新视图。这些生成的视图可以作为输入，用于持重的3D重建技术，从而生成可以实时从任何视点渲染的3D representation。CAT3D可以在短至一分钟内创立完整的3D场景，并且在单图像和少视点3D场景创立方面优于现有方法。

咱们先来一同看下建模效果吧

引见

对3D内容的需求比以往任何时刻都高，由于它 关于成功游戏、视觉效果和可穿戴混合理想设施的实时交互 至关关键。虽然需求很高，高品质的3D内容依然相对稀缺。与可以轻松用生产级摄影设施捕捉的2D图像和视频不同，创立3D内容须要复杂的专业工具以及少量的时期和精神投入。

幸运的是，最近在摄影测量技术方面的停顿大大提高了从2D图像创立3D资产的可行性。方法如NeRF、Instant-NGP和Gaussian Splatting准许任何人经过拍摄实在场景的照片并优化该场景的底层3D几何和外观示意来创立3D内容。生成的3D representation可以从任何视角渲染，相似于传统的3D资产。但是，可怜的是，创立详细场景依然须要一个休息密集的环节，须要捕捉数百到数千张照片。对场景笼罩无余的捕捉或者造成一个不适定的优化疑问，理论会造成失误的几何和外观，并在重新视角渲染复原的3D模型时发生不正当的图像。

将这种要求从密集的多视角捕捉缩小到较少的输入，例如单张图像或文本，将使3D内容创立愈加方便。先前的钻研曾经针对不同的输入设置开发了专门的处置打算，例如针对稠密视角重建的几何规定化技术，训练从单张图像创立3D对象的前馈模型，或在优化环节中经常使用图像条件或文本条件的生成先验——但这些专门方法各自都存在品质、效率和通用性方面的限度。

本文集中钻研限度已建设的3D重建方法在观测受限环境中经常使用的基本疑问： 监视视图数量无余 。与其为不同的输入状况设计专门的处置打算，一种共享的处置打算是方便地创立更多的观测 —— 将不太受解放的、不确定的3D创立疑问转化为齐全解放、齐全观测的3D重建环境 。经过这种模式， 本文将一个艰巨的病态重建疑问重新表述为一个生成疑问：给定恣意数量的输入图像，生成一组分歧的陈腐3D场景观测 。最新的视频生成模型在应答这一应战方面显示出宿愿，由于它们展现了分解具备正当3D结构的视频片段的才干。但是，这些模型理论采样老本高，难以控制，并且仅限于平滑且短的相机轨迹。

本文的系统CAT3D则经过专门为新视图分解训练的多视图分散模型成功这一目的。给定恣意数量的输入视图和恣意指定的新视点，本文的模型经过高效的并行采样战略生成多个3D分歧的图像。随后，这些生成的图像经过一个弱小的3D重建pipeline，生成一个可以从任何视点以交互速度渲染的3D representation。

本文展现了CAT3D模型能够在不到一分钟的时期内，从恣意数量的捕捉或分解输入视图生成恣意对象或场景的真切效果 。在各种输入设置中评价了本文的上班，范围从稠密的多视图捕捉到单个捕捉图像，甚至仅仅是一个文本揭示（经过经常使用文本到图像模型从该揭示生成一个输入图像）。在可测量义务（如多视图捕捉案例）中，CAT3D在多个基准测试中优于之前的上班，并且速度比之前的最先进方法快一个数量级。关于阅历性能难以权衡的义务（如文本到3D和单图像到3D），CAT3D在一切设置中都与之前的上班相比体现良好。

关系上班

从有限的观测中创立完整的3D场景须要3D生成技术，例如在未见区域中创立内容，本文的上班建设在始终增长的3D生成模型钻研畛域上。由于3D数据集相对稀缺，3D生成的许多钻研集中在转移从2D图像空间先验常识中学到的常识，由于2D数据是丰盛的。

本文的分散模型建设在最近的视频和多视图分散模型的开展之上， 这些模型可以生成高度分歧的新视图。本文展现了将这些模型与3D重建配对（相似于[17, 58]）可以成功高效且高品质的3D创立。

2D先验。 给定有限的消息，例如文本，预训练的文本到图像模型可以为文本到3D生成提供弱小的生成先验。但是，将这些基于图像的先验常识提炼成一个连接的3D模型，目前须要一种迭代提炼的方法。DreamFusion引入了评分提炼采样（SDS）来从文本揭示中分解3D对象（如NeRFs）。这一畛域的钻研旨在改良提炼战略，交流其余3D representation，并摊销优化环节。经常使用基于文本的先验启动单图像到3D生成也显示出宿愿，但须要在图像观测与附加解放之间启动复杂的平衡。结合单目深度模型或修复模型等先验关于创立3D场景十分有用，但往往会造成较差的全局几何。

基于摄像机条件的2D先验。 虽然文本到图像模型在生成视觉上吸引人的图像方面体现杰出，但它们在图像姿态的准确控制方面存在无余，因此须要耗时的3D蒸馏环节来激励3D模型合乎2D先验。为了克制这一限度，一些方法经过显式图像和姿态条件来训练或微调生成模型。这些模型为给定文本和/或输入图像提供了更强的先验，标明物体或场景应该是什么样子，但它们也独立地建模一切输入视图。在新视图的外观简直没有不确定性的状况下，独立地推理生成的视图关于高效的3D重建是足够的。但在存在一些不确定性的状况下，这些顶尖方法依然须要低廉的3D蒸馏来处置不同新视图之间的不分歧性。

多视图先验。 建模多个视图之间的关系性可以提供更强的先验，使得3D内容在部分观测下坚持分歧性。像MVDream、ImageDream、Zero123++、ConsistNet、SyncDreamer和ViewDiff等方法经过微调文本到图像模型来同时生成多个视图。CAT3D在架构上相似于ImageDream，其中多视图依赖性经过相似视频分散模型的架构和3D自留意力机制来捕捉。基于这种更强的先验，这些论文还展现了更高品质和更高效的3D提取。

视频先验。 视频分散模型在生成真切视频方面展现了惊人的才干，并被以为能够隐式推理3D。但是，出于多种要素，经常使用现成的视频分散模型启动3D生成依然具备应战性。目前的模型缺乏准确的相机控制，限度了生成的片段只能蕴含平滑且持久的相机轨迹，并且难以生成只要相机静止而没有场景灵活的视频。

一些钻研提出经过微调视频分散模型来处置这些应战，以成功相机控制或多视图生成。例如，AnimateDiff经常使用固定类型的相机静止微调了一个视频分散模型，而MotionCtrl则基于恣意指定的相机轨迹对模型启动了条件化。ViVid-1-to-3结合了一个新的视图分解模型和一个视频分散模型，用于生成平滑的轨迹。SVD-MV、IM-3D和SV3D进一步探求了应用相机控制或多视图视频分散模型启动3D生成。但是，它们的相机轨迹仅限于围绕中心内容的轨道。这些方法关键关注3D对象生成，而不实用于3D场景、少视图3D重建或高低文中的对象（即未被遮盖或从图像背景中分别的对象）。

前馈方法。 另一条钻研方向是学习前馈模型，这些模型以大批视图作为输入，间接输入3D representation，而无需针对每个实例启动优化环节。这些方法可以高效地生成3D representation（在几秒钟内），但其品质理论比基于图像空间先验的方法差。

方法

CAT3D 是一种两步法的3D创立方法： 首先，本文经常使用多视图分散模型生成与一个或多个输入视图分歧的少量新视图；其次，本文在生成的视图上运转一个持重的3D重建pipeline（见下图3） 。上方本文将形容本文的多视图分散模型、本文生成少量简直分歧的新视图的方法，以及这些生成的视图如何在3D重建pipeline中经常使用。

多视图分散模型

本文训练了一个多视图分散模型，该模型以单个或多个3D场景视图作为输入，并依据其相机姿态生成多个输入图像（其中“a view”是图像和相机姿态的配对） 。详细来说，给定蕴含个条件视图的张图像及其对应的相机参数，该模型学习捕捉N个目的图像的联结散布，假定其 N 个目的相机参数也已给定：

模型架构。 本文的模型架构相似于视频潜在分散模型（LDMs），但每个图像经常使用相机姿态embedding而不是时期embedding。给定一组条件和目的图像，模型经过图像变分智能编码器将每个图像编码为潜在示意。而后，训练一个分散模型以预计在给定条件信号下的潜在示意的联结散布。本文从一个用于文本到图像生成的LDM模型初始化，该模型相似于[62]在网络规模图像数据上训练的LDM，输入图像分辨率为512×512×3，潜在示意的形态为64×64×8。似乎在视频分散模型中经常出现的做法[49, 10, 11]，本文的模型关键主干依然是预训练的2D分散模型，但参与了衔接多个输入图像潜在示意的层。

似乎[43]，本文经常使用3D自留意力（在空间上是2D，在图像间是1D）替代方便的跨图像1D自留意力。本文在原始LDM的每个2D残差块之后间接纳缩现有的2D自留意力层，以衔接潜在示意与3D自留意力层，同时承袭预训练模型的参数，参与的模型参数量极少。本文发现，经过3D自留意力层对输入视图启动条件化可以消弭之前形态最先进模型在少视图重建中经常使用的PixelNeRF和CLIP图像embedding的需求，例如ReconFusion。本文经常使用FlashAttention 启动极速训练和采样，并微调潜在分散模型的一切权重。

与之前的上班相似，本文发现从预训练的图像分散模型到捕捉更高维度数据的多视图分散模型时，将噪声调度向高噪声水平转移是关键的。详细来说，遵照与[67]相似的逻辑，本文将信噪比的对数按log(N)偏移，其中N是目的图像的数量。在训练中，目的图像的潜在示意被噪声扰动，而条件图像的潜在示意坚持洁净，并且分散损失仅在目的图像上定义。一个二进制 mask 沿通道维度衔接到潜在示意，以示意条件图像和目的图像。为了处置多个3D生成设置，本文训练了一个繁多的多配置模型，可以建模总共8个条件和目的视图（N + M = 8），并在训练时期随机选用条件视图数量N为1或3，区分对应7个和5个目的视图。

摄像机条件。 为了依据摄像机姿态启动条件，本文经常使用了一种摄像机光线示意（“光线图”），其高度和宽度与潜在示意相反，并在每个空间位置编码光线的终点和方向。光线是相关于第一个条件图像的摄像机姿态计算的，因此本文的姿态示意对3D环球坐标的刚性变换是不变的。每个图像的光线图按通道衔接到相应图像的潜在示意上。

发生陈腐的观念

给定一组输入视图，本文的目的是生成少量分歧的视图，以片面笼罩场景并成功准确的3D重建。 为此，本文须要选择要采样的摄像机姿态集，并设计一种采样战略，该战略可以经常使用在大批视图上训练的多视图分散模型生成更大的一组分歧视图。

摄像机轨迹。 与轨道摄像机轨迹在3D对象重建中可以有效相比，3D场景重建的应战在于齐全笼罩一个场景所需的视角或者复杂且依赖于场景内容。本文经过试验发现，为不同类型的场景设计正当的摄像机轨迹关于成功有目共睹的少视角3D重建至关关键。摄像机门路必定足够彻底和密集，以齐全解放重建疑问，但也不能穿过场景中的物体或从不寻常的角度检查场景内容。总之，本文基于场景特色探求了四种类型的摄像机门路：

生成少量分解视图。 在将本文的多视图分散模型运行于新视角分解时的一个应战是，它是用有限的小汇合输入和输入视图启动训练的——总共只要8个视图。为了参与输入视图的总数，本文将目的视点聚类成较小的组，并在给定条件视图的状况下独立生成每个组。本文将摄像机位置接近的目的视图分组，由于这些视图理论是最具依赖性的。关于单图像条件，本文驳回自回归采样战略，首先生成一组笼罩场景的7个锚点视图（相似于[41]，并经常使用[69]中的贪心初始化选用），而后在给定观察到的和锚点视图的状况下并行生成残余的视图组。这使本文能够高效地生成少量分解视图，同时依然坚持锚点视图之间的长距离分歧性和相邻视图之间的部分相似性。关于单图像设置，本文生成80个视图，而关于少视角设置，本文经常使用480-960个视图。

将较大集的输入视图和非正方形图像启动条件化。 为了裁减本文可以启动条件化的视图数量，本文选用最近的M个视图作为条件集，如[7]所述。 本文尝试经过在采样环节中方便地参与多视图分散架构的序列长度，但发现最远视图条件化和分组采样战略效果更好。 为了处置宽高比拟大的图像，本文将从正方形裁剪的输入视图中提取的正方形样本与从填充为正方形的输入视图中裁剪的宽样本结合起来。

鲁棒的3D重建

本文的多视图分散模型生成了一组高品质的分解视图，这些视图在必定水平上相互分歧。但是，生成的视图理论并不是齐全三维分歧的。理想上，即使是最先进的视频分散模型，生成齐全三维分歧的图像依然是一个十分具备应战性的疑问。 由于三维重建方法设计时是以照片（按定义是齐全分歧的）作为输入的，本文修正了规范的NeRF训练环节，以提高其对不分歧输入视图的鲁棒性。

本文基于 Zip-NeRF 构建，其训练环节最小化了摄影重建损失、畸变损失、层间损失和归一化的 L2 权重正则化器的总和。本文另内在渲染图像和输入图像之间参与了感知损失（LPIPS）。与摄影重建损失相比，LPIPS 强调渲染图像和观察图像之间的初级语义相似性，同时疏忽低级高频细节中的潜在不分歧性。由于生成的视图越接近观察到的视图，其不确定性越小，因此分歧性更高，本文依据生成视图与最近观察到的视图之间的距离对其损失启动加权。这种加权在训练开局时是平均的，并逐渐退步为一种加权函数，对接近观察视图的重建损失启动更剧烈的处罚。

试验

本文在四个具备相机姿态标注的数据集上训练了CAT3D外围的多视图分散模型：Objaverse、CO3D、RealEstate10k和 MVImgNet。而后，本文在少视图重建义务和单图像到3D义务上评价了CAT3D，展现了相较于之前上班的定性和定量改良。造成CAT3D设计选用的消融试验和进一步探讨在本节中启动。

少视图 3D 重建

本文首先在五个实在环球的基准数据集上评价CAT3D在少视图3D重建义务中的体现。其中，CO3D和 RealEstate10K是散布内数据集，其训练集的一部分用于本文的训练集（本文经常使用它们的测试集启动评价），而 DTU、LLFF 和 mip-NeRF 360 数据集是散布外数据集，不在训练数据集中。 本文在3视图、6视图和9视图重建义务上测试了CAT3D ，经常使用与 [7] 相反的训练和评价集划分。在下表1中，本文与无学习先验的密集视图NeRF重建的最新方法（Zip-NeRF）以及少量应用生成先验的方法（如 ZeroNVS和 ReconFusion ）启动了比拟。

本文发现，CAT3D在简直一切设置中都到达了最先进的性能，同时将生成时期从1小时（关于ZeroNVS和ReconFusion）缩小到几分钟。CAT3D在更具应战性的数据集（如CO3D和mip-NeRF 360）上以更大的长处逾越了基线方法，从而展现了其在重建大型和高度详细场景中的价值。下图4显示了定性比拟。在未观测区域，CAT3D能够生成正当的纹理内容，同时保管输入视图的几何和外观，而之前的上班往往会发生含糊的细节和适度平滑的背景。

单幅图像转 3D

CAT3D支持从单个输入视图高效生成多样的3D内容。在这种欠解放的状况下启动评价十分具备应战性，由于有许多与单个视图分歧的3D场景，例如不同尺度的场景。因此，本文将单图像评价集中在定性比拟（下图5）和经常使用CLIP 启动的定量语义评价（下表2）上。

在场景方面，CAT3D生成的高分辨率结果比ZeroNVS和RealmDreamer更好，关于场景和物体，本文都能更好地保管输入图像的细节。在蕴含宰割对象的图像中，本文的几何体现理论不如ImageDream和DreamCraft3D等现有方法，但坚持了竞争力的CLIP得分。与这些在3D蒸馏中迭代应用生成先验的方法相比，CAT3D的生成速度快了一个数量级以上。虽然已有针对物体的更快生成方法被提出，但它们的分辨率结果清楚低于其迭代对手，因此未被归入此次比拟。IM-3D在宰割对象上体现更好，且运转时期相似，但不可处置场景或高低文中的物体。

消融试验

CAT3D的外围是一种多视图分散模型，该模型经过训练能够生成分歧的新视图。本文思考了几种不同的模型变体，并评价了它们在域内和域外数据集上的样本品质以及少视图3D重建性能。本文还比拟了3D重建中的关键设计选用。本文的消融钻研结果参考下表3和图6中报告，并总结如下。 总体而言，本文发现视频分散架构结合3D自留意力（时空）和相机姿态的射线图embedding，当与鲁棒的重建损失结合时，能够生成足够分歧的视图以复原3D representation。

在图像和姿态的处置方面， 之前的上班经常使用了PixelNeRF的特色图条件化来处置多个输入视图。本文发现，在条件视频分散架构中，用基于留意力的条件化交流PixelNeRF，并经常使用每个图像的相机姿态embedding，可以改良样本和3D重建，同时缩小模型复杂性和参数数量。本文发现，将相机姿态embedding为低维向量（如[36]所述）在域内样本上效果很好，但与射线图条件化相比，泛化性能较差（详见前文）。

参与视图数量。 本文发现，联结建模多个输入视图（即5个或7个视图，而不是1个视图）可以改良样本目的——即使是评价每个输入图像品质的独立目的也有所改良。联结建模多个输入视图能够生成更分歧的视图，从而也改良了3D重建的效果。

留意力层。 本文发现3D自留意力（时空）是至关关键的，由于它相关于因子化的2D自留意力（仅空间）和1D自留意力（仅时期）体现出更好的性能。虽然在最精细的特色图（64 × 64）中经常使用3D自留意力的模型可以发生最高保真度的图像，但它们在训练和采样环节中会发生清楚的计算开支，而保真度的优化相对较小。因此，本文选择仅在尺寸为32 × 32及更小的特色图中经常使用3D自留意力。

多视图分散模型训练。 从预训练的文本到图像潜在分散模型启动初始化，提高了在域外样本上的体现。本文尝试对多视图分散模型启动微调，使其顺应特定数量的输入和输入视图的多个变体，但发现一个繁多模型在8帧图像上联结训练，并经常使用1或3个条件视图，就足以成功准确的单图像和少视图3D重建。

3D重建。 LPIPS损失关于成功高品质的纹理和几何形态至关关键，这与[17, 7]中的发现分歧。在Mip-NeRF 360上，将生成的视图数量从80（单椭圆轨道）参与到720（九个轨道）改善了中央物体的几何形态，但有时会引入背景含糊，这或者是由于生成内容的不分歧性所致。

探讨

本文引见了 CAT3D，一种从恣意数量的输入图像生成3D内容的一致方法。 CAT3D应用多视图分散模型生成高度分歧的3D场景新视图，而后将这些视图输入到3D多视图重建pipeline中。CAT3D将生成先验与3D提取解耦，从而成功高效、方便且高品质的3D生成。

虽然CAT3D在多个义务上发生了有目共睹的结果并优于之前的上班，但它也存在一些限度。由于本文的训练数据集对同一场景的视图具备大抵恒定的相机内参，训练模型不可很好地处置由不同内参的多台相机捕捉的测试案例。CAT3D的生成品质依赖于基础文本到图像模型的表白才干，关于基础模型散布之外的场景内容，其体现较差。本文的多视图分散模型支持的输入视图数量依然相对较少，因此当本文从模型生成少量样本时，并非一切视图都能在3D上坚持分歧。最后，CAT3D经常使用手动构建的相机轨迹来片面笼罩场景，这关于大规模开明式3D环境或者难以设计。

未来上班中有几个方向值得探求以改良CAT3D。多视图分散模型或者会受益于从预训练的视频分散模型启动初始化，如[10, 17]所观察到的。经过裁减模型处置的条件视图和目的视图数量，可以进一步提高样本的分歧性。智能确定不同场景所需的相机轨迹可以参与系统的灵敏性。

原文链接:​ ​​ ​