初次将Gaussian引入BEV感知畛域！ BEV新改革！GaussianBEV

写在前面&笔者的团体了解

BEV感知又要退化了！当天看到了一篇BEV感知联合3D Gaussian成功BEV宰割的义务，很赞！！！功能临时算不上冷艳，但范式上有很大的参考性，宰割义务上是可行的，OCC、检测等义务也可以思考！

BEV感知曾经普遍用于环顾3D感知。它准许将不同相机的特色兼并到一个空间中，提供3D场景的一致示意。其外围是view transformer，将图像视图转换为BEV。但是基于几何或cross-att的view transformer方法并不能提供足够具体的场景示意，由于它们经常使用的3D空间的子采样关于建模环境的精细结构来说是无余的。于是本文提出了GaussianBEV，这是一种将图像特色转换为BEV的新方法，经过经常使用一组在3D空间中定位和定向的3D高斯来精细地示意场景。而后经过调整基于高斯splatting的3D示意渲染，以生成BEV特色图。GaussianBEV是第一种在线经常使用这种3D高斯建模和3D场景渲染环节的方法，即不在特定场景上对其启动优化，而是间接集成到单阶段模型中以用于BEV场景了解。试验标明，所提出的示意方法十分有效，将高斯BEV作为nuScenes数据集上BEV语义宰割义务的最新技术。

总结来说，GaussianBEV关键奉献如下：

基于深度 。基于像素深度预计和图像特色的显式预测，建设了一系列模型。联合相机标定参数，这使得2D特色能够反投影到3D特色点云中，最终在BEV网格中聚合。为了顺应深度预计的不确定性，特色实践上沿着穿过其像素的光线流传，并由团圆的深度概率预计启动微调。为了改良深度预测，提出了一种在模型训练时期经常使用LiDAR数据的显式深度监视打算。但是，基于深度的方法对光线采样战略很敏感，通常是沿着光线和物体外表反向投影特色（见图1a）。

基于投影 。经过严厉的比拟钻研，[7]倡导丢弃深度预计，转而驳回更便捷的投影打算：经常使用一组预约义的3D点来形容场景，并经过经常使用校准数据将点投影到相机特色图过去探测相机特色。此投影疏忽了实践对象和背景搁置，但前往了场景的更密集示意，没有超出对象外表深度的空隙。经过选用稠密网格示意来缩小生成BEV网格的计算和内存开支。基于投影的视图变换方法很便捷，但会发生粗略的BEV示意，由于沿着光线的一切体素都接纳到相反的特色（见图1b）。

基于留意力 。应用Transformer模型的最新停顿，深度预计被基于留意力的特色调制打算所取代。提出了几种优化打算来处置图像和BEV网格标志之间成对婚配的计算复杂性：空间和时期留意力的因子合成、可变形留意力、标定和时期戳先验的引入。关于宰割义务，由于须要定义密集的查问映射，基于留意力的视图转换在计算和内存方面都是密集的。这就是为什么一些方法预测低分辨率BEV（见图1c），而后经过逆卷积对其启动上采样。

高斯splatting 。高斯splatting（GS）是一种3D场景渲染技术，它经常使用3D高斯来形容场景。每个高斯函数都由其位置、比例、旋转、不透明度和球谐色彩模型参数化。整个渲染管道是差分的，准许基于一组图像将高斯参数优化到特定场景。GS既极速又并行，准许在GPU上启动实时操作。此外，经过修剪更窄、更透明的高斯散布，可以在细节和渲染速度之间启动掂量。与稠密体素网格相比，高斯网格提供了更有效的场景示意，由于单个高斯网格可以形容大体积，而较小的高斯网格可以以恣意分辨率准确编码更精细的细节。细节和光栅化分辨率是渲染管道的参数，而不是场景形容。曾经提出了几个裁减，准许治理灵活对象或从示意中的基础模型中提取语义特色。在一切状况下，高斯示意都是特定于场景的。

在咱们的上班中，咱们倡导经常使用高斯示意来克制以前视图变换方法的缺陷。与之前离线学习高斯示意的高斯电高斯splatting不同，咱们倡导学习一个能够提供场景在线高斯示意的神经网络。

全体结构如图2所示：

给定输入特色图F，3D高斯生成器经常使用多个预测头预测场景的3D高斯示意。图3说明了它如何在特色图上运转。

高斯中心。场景中高斯散布的3D位置由运行于F的深度头和3D偏移头预计。第一种方法预测3D中心沿光线的初始位置。第二种方法经过向其参与一个小的3D位移来细化这个3D位置，经过不沿光线解冻高斯散布，为高斯散布的定位提供了更大的灵敏性。

更确切地说，关于坐标为（$u_{n,i}$，$v_{n,i}$）的相机n的特色图中的像素i，深度头预测视差$d_{n,i}$∈[0,1]。为了补救从一个相机到另一个相机的焦距多样性对深度预测的影响，如[23]中提出的，在参考焦距f中，视差被预测到一个缩放因子。知道与相机n相关的实在焦距fn，而后对度量深度$z_{n,i}$启动如下解码：

而后经常使用第n个相机的内参Kn推导出相机参考系中的相应3D点：

发生的3D点被解放为沿着穿过所思考像素的光线。由于这种解放，它们的定位不必定是最优的。为了克制这个疑问，咱们倡导经常使用3D偏移预测头。它的目的是提供一个小的位移$△_{n,i}$，运行于高斯的3D中心，以细化其在一切三个方向上的位置。经过以下步骤可以便捷地取得准确的3D点：

在这个阶段，为每个相机计算的3D高斯中心在相应的相机参考系中示意。为了谢环球参考系中表白这些点，运行了外参矩阵[Rn|tn]，成功相机到环球的转换：

高斯旋转 。场景中高斯散布的3D旋转是经过运行于F的旋转头来预计的。关于相机n的特色图中的给定像素，它以单位四元数q的方式输入公允旋转。像素的公允旋转对应于相关于穿过它的3D光线的旋转。这种建模使旋转头更容易学习，由于它不知道与它正在处置的像素对应的光线。例如，搁置在场景中两个不同位置并在相机参考系中具备不同相对（自中心）旋转的两个对象在图像中或者具备相反的外观。在这种状况下，旋转头预测的公允旋转将是相反的。而后，经常使用相机的固有参数来检索自中心旋转消息。

为此，计算示意穿过相机n的像素i的光线与轴$[0,0,1]^T$之间的旋转的四元数。而后经过以下步骤复原示意相机参考系中的自中心旋转的四元数：

最后，关于高斯中心，经常使用$q^w_{n,i}$计算示意高斯谢环球参考系中的旋转的四元数，该四元数对相机n的相机到环球的旋转启动建模：

高斯尺寸、不透明度和特色 。最后三个高斯参数不依赖于光学个性和相机定位，而是编码语义个性。因此，便捷地经常使用三个头来预测BEV光栅化器模块渲染高斯集G所需的集S、O和E。

BEV光栅化器模块用于从3D高斯生成器预测的高斯集G中取得BEV特色图B。为此，高斯高斯splatting中提出的差分光栅化环节已被调整为口头这种渲染。第一种调整曾经在其余离线语义重建上班中提出，包括渲染C维特色而不是色彩。在咱们的例子中，这会发生一个蕴含感知义务所必须的语义特色的渲染。第二个调整触及所经常使用的投影类型。咱们对渲染算法启动了参数化，以生成正交渲染而不是透视渲染，更适宜场景的BEV示意。

高斯正则化损失 。虽然高斯BEV可以经过上述损失启动有效训练，但间接作用于高斯示意的正则化函数的参与提高了其代表性。特意是，在训练环节中参与了两个正则化损失。

首先，深度损失旨在经常使用激光雷达在图像中的投影提供的深度消息来规范高斯人的位置。这种损失参与了对深度水头预测的解放，以取得初始3D位置，而后经过3D偏移对其启动细化。深度损失Ldepth定义如下：

其次，早期监视损失旨在优化BEV主干之前的高斯示意。其想法是限度BEV特色，以间接为语义宰割义务提供一切必要的消息。在通常中，宰割头被参与并间接衔接到BEV光栅化器模块的输入。早期监视损失的定义与Lsem相似。因此，总损失函数由下式定义：

本文引见了GaussianBEV，这是一种新的图像到BEV变换方法，是BEV语义宰割的最新停顿。基于在线3D高斯生成器，它将图像特色图的每个像素转换为语义化的3D高斯。而后，高斯人被倾注以取得BEV特色图。咱们曾经证实，高斯示意能够顺应场景中存在的不同几何结构，从而成功精细的3D建模。咱们宿愿这项初步上班将为经常使用在线高斯splatting示意的3D感知的进一步钻研关上大门。