生成恣意3D和4D场景！GenXD 通用3D

文章链接:名目链接：

亮点直击

总结速览

处置的疑问

现有的2D视觉生成已取得清楚停顿，但3D和4D生成在实践运行中依然面临应战，关键由于不足大规模4D数据和有效的模型设计。

提出的打算

运行的技术

到达的成果

GenXD能够生成合乎相机轨迹的视频，同时提供分歧的3D视图，并允许生成3D示意方式。经过多种实在和分解数据集上的评价，验证了GenXD在3D和4D生成中的有效性和多配置性。

CAMVID-30K

大规模4D场景数据的不足限度了灵活3D义务的开展，包括但不限于4D生成、灵活相机姿态预计和可控视频生成。为了处置这一疑问，本文引入了一个高品质的4D数据集。首先，经常使用运动复原结构（SfM）的方法来预计相机姿态，而后经过提出的运动强渡过滤掉不含物体运动的数据。数据流程如下图2所示:

相机姿态预计

相机姿态预计基于SfM，它经过一系列图像中的投影重建3D结构。SfM蕴含三个关键步骤：

在第二步中，婚配的特色必定位于场景的静态局部，否则物体运动会在特色婚配时被误以为是相机运动，影响相机姿态预计的准确性。

为了处置这一疑问，Particle-SfM经常使用运动宰割模块将移生物体与静态背景离开，而后在静态局部口头SfM以预计相机姿态。但是，当相机自身在运动时，准确检测运动像素极端艰巨，经过试验观察到Zhao等人的运动宰割模块不足足够的泛化性，造成假阴性和不准确的相机姿态。为了取得准确的相机姿态，宰割出一切移动像素是必无法少的。在这种状况下，假阳性失误比假阴性更为可接受。为此，本文经常使用实例宰割模型贪心地宰割出一切或者移动的像素。实例宰割模型在训练类别上比Zhao等人的运动宰割模块具备更强的泛化才干。在宰割出潜在移动像素后，经常使用Particle-SfM来预计相机姿态，从而取得相机消息和稠密点云（上图2(a)）。

物体运动预计

分解相机和物体运动。 只管实例宰割可以准确地将物体与背景分别，但它无法判别物体自身能否在运动，而静态物体会对运动学习发生负面影响。因此，引入了运动强度来辨认实在的物体运动，并过滤掉仅蕴含静态物体的视频。

由于视频中同时存在相机运动和物体运动，基于2D的运动预计方法（如光流）无法准确示意实在的物体运动。有两种方法可以捕捉实在的物体运动：一是测量3D空间中的运动，二是将视频中的运动投影到相反的相机视角上。两种方法都须要与相机姿态尺度对齐的深度图。稠密深度图可以经过将3D点云投影到相机视角上取得：

其中示意点云在相机空间中的坐标。和区分示意从环球空间到相机空间的旋转敌对移，是相机内参。经过投影公式，可以在图像像素处取得深度值，即。

如前面图2(a)所示，由于在3D重建环节中只婚配了静态局部的特色，因此只能取得静态区域的稠密点云。但是，灵活局部的深度消息对运动预计至关关键。为了处置这一疑问，应用一个预训练的相对单目深度预计模型来预测每帧的相对深度。而后，运行比例因子和偏移量使其与SfM的稠密深度对齐。

其中示意中值，为与SfM深度尺度对齐的密集深度图。

物体运动场 。经过对齐的深度，可以将帧中的灵活物体投影到3D空间中，从而提供一种间接测量物体运动的方法。如图2(b)所示，假设物体（例如穿绿衬衫的女子）在移动，则投影的3D点云会发生位移。但是，由于SfM仅能操作到必定的尺度，间接在3D空间中测量运动或者会造成量级疑问。因此，将灵活物体投影到相邻视图中并预计物体运动场。

详细而言，首先须要在2D视频中找到婚配点。不同于经常使用光流等密集示意，为每个物体实例采样关键点，并在2D视频中经常使用视频物体宰割和关键点跟踪来树立婚配相关。而后将每个关键点投影到相邻帧中。第帧中的关键点首先被反投影到环球空间，以取得3D关键点。

其中是对齐的密集深度图中的深度值。而后，经常使用投影方程（公式1）将3D关键点投影到第帧，失掉2D投影关键点。相似于光流，将每个2D关键点在第二个相机视图上的位移示意为物体运动场。

其中和区分示意图像的高度和宽度。

经过对每个物体的运动场启动处置，可以经过计算运动场的相对大小的平均值来预计物体的全局运动。关于每个视频，运动强度由一切物体中的最大运动值示意。如下图3所示，当相机移动而物体坚持运动（第二个例子）时，运动强度相比于物体有运动的视频要小得多。经过经常使用运动强度，进一步过滤掉不足清楚物体运动的数据。运动强度值也作为物体运动尺度的良好批示器，用于期间层以成功更好的运动控制。

生成模型

由于大少数场景级的3D和4D数据是经过视频捕捉的，这些数据不足明白的示意（如网格）。因此，本文驳回了一种方法，经过与空间相机姿态和期间步对齐的图像生成这些数据。将隐空间分散模型（Latent Diffusion Model，LDM）融入到本文的框架中，参与了额外的多视角期间层，包括多视角期间ResBlocks和多视角期间变换器，以解耦和融合3D和期间消息。

Mask隐空间条件分散模型

在GenXD中，隐空间分散模型（LDM）用于生成不同相机视角和期间的图像/视频。LDM首先经过变分自编码器（VAE）将图像/视频编码为隐代码，并经过高斯噪声分散该隐代码以取得。而后，经常使用去噪模型来预计噪声，并经过条件反向分散环节。

其中是用于可控生成的条件，理论是文本或图像。GenXD生成具备相机姿态和参考图像的多视角图像和视频，因此它须要同时经常使用相机条件和图像条件。相机条件关于每张图像都是独立的，可以是条件化的或目的化的。因此，可以将相机条件轻松地附加到每个潜在空间。这里选用了普吕克射线作为相机条件。

其中和区分示意相机中心和从相机中心到每个图像像素的射线方向。因此，普吕克射线是一种密集嵌入编码，不只包括像素消息，还包括相机姿态和内参消息，比全局相机示意更为准确。

参考图像条件更为复杂。GenXD旨在启动单视图和多视图的3D和4D生成。单视图生成要求较低，而多视图生成则能提供更分歧的结果。因此，结合单视图和多视图生成将更适宜实践运行。但是，之前的上班经过将条件隐变量与目的隐变量衔接，并经过跨留意力引入CLIP图像嵌入来对图像启动条件化。衔接方式须要扭转模型的通道，无法处置恣意输入视角。CLIP嵌入允许多条件输入，但这两种方法都无法建模多个条件的位置消息，也无法在输入视图之间建模消息。鉴于这些限度，驳回了masked隐变量条件化来处置图像条件。正如下图4所示，在经过VAE编码器编码后，前向分散环节运行于目的帧（第二和第三帧），并像平常一样将条件隐变量（第一帧）坚持不变。而后，去噪模型预计两帧上的噪声并经过反向环节去除。

Masked隐变量条件化有三个关键好处。首先，模型可以允许任何输入视图，而无需修正参数。其次，关于序列生成（多视图图像或视频），无需解放条件帧的位置，由于条件帧在序列中坚持其位置。与此相反，许多上班要求条件图像位于序列中的固定位置（理论是第一帧）。第三，由于没有来自其余模型的条件嵌入，用于集成条件嵌入的跨留意力层可以移除，从而大大缩小了模型参数数量。为此，在GenXD中驳回了masked隐变量条件化方法。

多视图期间模块 由于GenXD旨在在繁多模型中生成3D和4D样本，因此须要将多视图消息与期间消息启动解耦。在两个独立的层中建模这两种消息：多视图层和期间层。关于3D生成，不思考期间消息，而4D生成则须要同时思考多视图和期间消息。因此，如上图4所示，本文提出了一种α融合战略用于4D生成。详细来说，为4D生成引入了一个可学习的融合权重α，当启动3D生成时，α设置为0。经过这种α融合战略，GenXD可以在多视图层中保管3D数据的多视图消息，同时从4D数据中学习期间消息。

α融合可以有效地解耦多视图和期间消息。但是，没有任何揭示的状况下，运动较难控制。视频生成模型经常使用FPS或运动ID来控制运动的幅度，但未思考相机运动。得益于CamVid-30K中的运动强度，能够有效地示意物体运动。由于运动强度是一个常量，将其与分散期间步长结合，并将其参与到期间ResBlock层，如图4中的多视图期间ResBlock所示。经过多视图期间模块，GenXD可以有效地启动3D和4D生成。

经常使用3D示意的生成

GenXD可以经常使用一个或多个条件图像生成具备不同视角和期间步长的图像。但是，为了出现恣意3D分歧的视图，须要将生成的样本优化到3D示意。先前的上班理论经过从生成模型中提取常识来优化3D示意。由于GenXD能够生成高品质且分歧的结果，间接经常使用生成的图像来优化3D示意。经常使用3D高斯点云（3D-GS）和Zip-NeRF启动3D生成，经常使用4D高斯点云启动4D生成。

试验

试验设置

数据集 GenXD是在3D和4D数据集的结合下启动训练的。关于3D数据集，经常使用了五个带有相机姿态注释的数据集：Objaverse 、MVImageNet、Co3D、Re10K 和 ACID。Objaverse是一个分解数据集，蕴含网格数据，从12个视角渲染了80K子集，并依照的方法启动渲染。MVImageNet和Co3D是视频数据，区分记载了239个和50个类别的物体。Re10K和ACID是记载事实环球室内和室外场景的视频数据。关于4D数据集，经常使用了分解数据集Objaverse-XL-Animation和CamVid-30K数据集。关于Objaverse-XL-Animation，经常使用了Liang et al.（2024）挑选的子集，并经过向轨迹摄像机轨迹中参与噪声从新渲染了深度图和图像。应用低空真值深度，依据前面的方法预计物体运动强度，而后过滤掉没有清楚物体运动的数据。最后，从Objaverse-XL-Animation中取得了44K分解数据，从CamVid-30K中取得了30K事实环球数据。

成功细节 GenXD局部初始化自Stable Video Diffusion (SVD)的预训练模型以成功极速收敛。详细来说，GenXD的多视图层（多视图卷积和多视图自留意力）和期间层（期间卷积和期间自留意力）都来自SVD中的期间层，而SVD中的跨留意力层被去除。GenXD的训练分为三个阶段。首先，只经常使用3D数据训练UNet模型500K次迭代；而后，在单视图形式下，经常使用3D和4D数据启动500K次迭代的微调；最后，GenXD在一切数据上经常使用单视图和多视图形式启动500K次迭代的训练。模型在32个A100 GPU上训练，批量大小为128，分辨率为256×256。驳回AdamW优化器，学习率为。在第一阶段，数据被中心裁剪为方形。在最终阶段，经过中心裁剪或填充将图像处置为方形，使得GenXD可以很好地处置不同的图像比例。

4D 生成

4D 场景生成 在此设置中，评价须要蕴含物体和相机运动的视频。因此，引入了Cam-DAVIS基准来启动4D评价。经常使用提出的注释流程来失掉DAVIS数据集（Per-dataset）中视频的相机姿态。而后，过滤数据，失掉20个具备准确相机姿态和清楚物体运动的视频。Cam-DAVIS的数据相机轨迹与训练数据存在散布外差异，因此它们是评价相机运动鲁棒性的良好规范。

将GenXD与开源的相机条件视频生成方法——MotionCtrl和 CameraCtrl 启动了比拟，经常使用FID 和 FVD 评价目的。将Stable Video Diffusion作为这两种方法的基础模型，生成带有相机轨迹和第一帧条件的视频。如下表2所示，经常使用第一视图作为条件，GenXD在两个目的上清楚优于CameraCtrl和MotionCtrl。此外，经常使用3个视图作为条件（第一、中央和最后一帧），GenXD相较于之前的上班有了大幅度的优化。这些结果展现了GenXD在4D生成中的弱小泛化才干。在下图5中，比拟了三种方法的定性结果。在这个例子中，MotionCtrl无法生成清楚的物体运动，而CameraCtrl生成的视频既不具备3D个性，也没有期间分歧性。相反，单视图条件模型可以生成平滑且分歧的4D视频。经常使用3个条件视图时，GenXD能够生成相当真切的结果。

4D 物体生成 依据Zhao et al.（2023）的方法评价了4D物体生成的性能。由于GenXD仅经常使用图像条件，而不是像Animate124那样经常使用图像-文本条件，下表3中对比了优化期间和CLIP图像相似性。与经常使用分数蒸馏采样（SDS）优化灵活NeRF不同，GenXD间接生成轨道相机轨迹的4D视频，并经常使用这些视频来优化4D-GS。这使得本文的方法比Animate124快了100倍。此外，Zhao et al.（2023）中提到的语义漂移疑问在GenXD中失掉了很好的处置，由于经常使用了图像条件启动4D生成。4D场景和物体生成的结果展现了GenXD在生成具备3D和期间分歧性的4D视频方面的优越性。

3D 生成

少视图3D生成 在少视图3D重树立置中，在Re10K（散布内数据集）和LLFF （散布外数据集）上评价了GenXD。从Re10K当选用了10个场景，从LLFF当选用了一切8个场景，每个场景经常使用3个视图启动训练。性能经过PSNR、SSIM和LPIPS目的在渲染的测试视图上启动评价。作为一个生成模型，GenXD可以从稠密输入视图中生成额外视图，并改善任何重建方法的性能。在这个试验中，经常使用了两个基线方法：Zip-NeRF和 3D-GS。这两个基线方法是面向多视图重建的方法，因此调整了超参数以便更好地启动少视图重建（更多细节请见附录D）。如下表4所示，Zip-NeRF和3D-GS都可以经过GenXD生成的图像失掉改善，而且在Zip-NeRF基线上的改善愈加清楚。详细来说，Re10K（散布内）和LLFF（散布外）的PSNR区分提高了4.82和5.13。定性比拟如下图6所示。经过生成的视图，重建场景中的浮动和含糊失掉了缩小。

消融钻研

本节启动多视图-期间模块的消融钻研。消融钻研评价了在少视图3D和单视图4D生成设置下生成的分散样本的品质（见下表5）。

运动解缠（α融合） 在4D数据中，相机运动和物体运动是纠缠在一同的。为了在3D和4D中都能成功高品质生成，GenXD引入了多视图-期间模块，将多视图和期间消息区分学习，而后经过α融合将它们结合起来。关于3D生成，α设置为0，以绕过期间模块，而在4D生成中，α在训练环节中学习。移除α融合将造成一切3D和4D数据都经过期间模块，从而使得模型无法将物体运动从相机运动中解缠开来。解缠失败会对3D和4D生成发生不利影响。

运动强度的有效性 运动强度可以有效地控制物体运动的幅度。如下图7倒数第二行所示，参与运动强度可以提高汽车的速度。依据这些观察，可以得出论断，学习物体运动是很关键的，并且在数据筹划流程中的物体运动场和运动强度能够准确地示意实在的物体运动。

更多结果

论断

本文钻研了经常使用分散模型启动通用3D和4D生成。为了增强4D生成的学习，首先提出了一种数据筹划流程，用于注释视频中的相机和物体运动。在此流程的允许下，本文引入了最大的事实环球4D场景数据集——CamVid-30K。此外，借助大规模数据集，提出了GenXD来处置通用3D和4D生成。GenXD应用多视图-期间模块来解缠相机和物体运动，并能够经过masked隐空间条件允许恣意数量的输入条件视图。GenXD能够处置多种运行，并且在一切设置中，繁多模型可以成功可比或更好的性能。

原文链接:​ ​​ ​