港中文联手华为推出3D智能驾驶场景生成模型 无需3D数据也能训练 港科&amp

无需采集3D数据 ，也能训练出高品质的3D智能驾驶场景生成模型。

这是来自香港中文大学、香港科技大学和华为诺亚方舟试验室的最新钻研成绩——针对智能驾驶街景的可控3D场景生成方法“MagicDrive3D”。

此前，驳回常常出现的2D智能驾驶数据集来生成3D街景的方法不是没有，但受采集角度所限，生成结果的 可控性和几何分歧性 不可同时满足。而如今，MagicDrive3D经过结合可控生成与场景重建处置了这一限度。

不只允许多条件控制，还打破了原始数据的局限，即使在原始图像不分歧的状况下，也能建设出连接的高品质模型。

即使场景中有很多物体，生成结果依然实在牢靠：

而且允许天气状况的文本控制，可以一键从晴朗切换到雨天：

路线结构、物体位置都能够准确控制（随机保管50%车）：

还可以一键成功白昼与夜晚的转换（随机保管25%车）：

总之，这项成绩处置了智能驾驶等无际界场景下3D场景的高品质模型开发难题，可以有效协助BEV宰割等下游感知义务。

惯例驾驶数据即可成功可控场景生成

3D智能驾驶场景生成运行宽广，但是目前3D资产的生成方法理论局限于以物体为核心的生成场景，关于智能驾驶中无界限的大场景生成不足探求。

但从运行的角度来说，可控的生成方法在下游运行中价值更高，针对这个痛点，MagicDrive3D提出了一种陈腐的框架，在惯例的智能驾驶数据集上即可训练出3D场景生成模型，而且允许多种条件控制！

MagicDrive3D承袭了前一代MagicDrive诸多好处，其多条件控制可以成功场景、背景和前景的多档次街景图像编辑，用来生成更多的智能驾驶3D场景。

△MagicDrive3D 的多视角渲染才干

而且生成的场景允许多相机视角的渲染，例如全景图渲染：

在目前运行最宽泛的nuScenes数据集上，MagicDrive3D在视频生成和场景生成两方面相比于baseline，均体现出显著好处。

△MagicDrive3D的生功效果评价

此外，MagicDrive3D生成的图片还可以间接用于数据增强，可以在BEV宰割义务中优化相机参数的鲁棒性。

△MagicDrive3D的生成数据在下游义务的效果

那么，MagicDrive3D终究是如何做到的呢？

先分解，再重建

随着分散模型的开展，图片、视频生成的方法层出不穷，但是受限度于现有的数据采集方式，这些方法只能生成固定的相机视角，对场景几何不足建模（geometry-free），因此不可拓展到更多视角。

能够允许多视角的重建方法，只管能够提供几何分歧性的保障（geometry-focused），却又遭到了实在采集的数据（静态、多视角数据）的限度，常常出现的智能驾驶数据集基本不可满足这些需要。

为了填补这局部空白，MagicDrive3D提出了一个将视角分解方法与场景重建方法相结合的框架。

该框架充沛应用前者的可控性以及后者的几何分歧性，成功了接受多种控制条件的3D街景场景分解。

△MagicDrive3D的方法框架

详细来说，MagicDrive3D首先训练了一个细粒度可控的视频生成模型，不只能够经过语义消息控制，视频中每个视角的相机参数都经过一致坐标系编码，使得生成的多视角视频具有更强的几何分歧性。

接着，为了提供更强的几何分歧性保障以及多视角渲染，MagicDrive3D提出可形变的高斯泼溅作为场景的3D表征，结合单目深度点云启动重建。

最终获取的驾驶场景能够正当的反响各种控制条件，并且允许恣意相机视角的准确渲染。

总的来说，MagicDrive3D带来了一个全新的、高效的可控3D场景生成框架，不只成功处置了无界限的3D场景生成难题，其可控性更为多种下游义务提供了允许。

相比前序上班MagicDrive，MagicDrive3D不只提供了多视角渲染才干，生成的场景几何消息也为更多样的场景编辑提供或者。

随着品质和实在性的优化，生成数据将获取更宽泛的运行，为智能驾驶技术的开展注入更多生机。

论文地址：​ ​​ ​​名目主页：​​ ​​ ​

原文链接:​ ​​ ​