稠密检测的神！SparseDet 爆拉VoxelNeXt！ 特色聚合玩明确了

写在前面&笔者的团体了解

基于激光雷达的稠密3D目的检测因其计算效率长处在智能驾驶运行中起着至关关键的作用。现有的方法要么经常使用单个中心体素的特色作为目的代理，要么将前景点的聚合视为目的agent。但是，前者缺乏聚合上下文信息的才干，造成目的代理中的信息表白无余。后者依赖于多级流水线和辅佐义务，降低了推理速度。为了在充沛聚合上下文信息的同时坚持稠密框架的效率，在这项上班中，咱们提出了SparseDet，它将稠密查问设计为目的代理。它引入了两个关键模块，即部分多尺度特色聚合（LMFA）模块和全局特色聚合（GFA）模块，旨在充沛捕捉上下文信息，从而增强代理示意目的的才干。其中LMFA子模块经过坐标变换和经常使用最近邻相关来捕捉目的级细节和部分上下文信息，成功稠密关键体素在不同尺度上的特色融合，GFA子模块经常使用self-att来选用性地聚合整个场景中关键体素的特色，以捕捉场景级上下文信息。在nuScenes和KITTI上的试验证实了咱们方法的有效性。详细来说，在nuScene上，SparseDet以13.5 FPS的帧率逾越VoxelNeXt 2.2% mAP，在KITTI上，它以17.9 FPS的帧率逾越VoxelNelXt 1.12% AP3D。

为了在稠密框架中有效地聚合上下文信息的同时成功高效的检测，在这项钻研中，咱们提出了一种便捷有效的全稠密3D目的检测框架SparseDet。SparseDet经常使用3D稠密卷积网络从点云中提取特色，并将其转换为2D稠密特色，以便经过检测n头进后退一步预测。如图2（c）所示，SparseDet将稠密查问设计为目的代理，准许灵敏和选用性地聚合点云以取得场景中的目的代理。与之前的稠密聚合范式相比，首先，SparseDet将部分上下文信息的聚合裁减到多尺度特色空间，从而取得更丰盛的部分信息。此外，与仅关注聚合前景点特色的现有方法相比，SparseDet可以聚合每个实例的场景级上下文，以促成场景和实例特色之间的潜在单干。最后，SparseDet不须要任何额外的辅佐义务。

虽然点云数据与2D图像数据相比体现出不同的稠密个性，但3D目的检测器通常是经过参考2D检测器来设计的。大少数上班都经常使用了2D dense检测头来处置3D检测疑问。这些方法通常被称为基于激光雷达的dense detectors。

作为先驱，VoxelNet将点云划分为规定网格，并经常使用3D主干网络启动特色提取。而后，它运行dense head启动预测。基于VoxelNet，SECOND成功了稠密卷积和子流形卷积算子的高效计算，经过构建哈希表来取得极速的推理速度。但是，SECOND依然须要dense的俯瞰图（BEV）特色图和dense的检测头启动检测。在SECOND的影响下，大少数后续网络都遵呼应用3D稠密主干与2D dense检测头相结合的范式。

虽然基于激光雷达的dense detectors在多个基准数据集上体现出了出色的性能，但它们对dense的俯瞰图（BEV）特色图和dense的探测头的依赖使其难以裁减到long-range检测。这是由于dense BEV特色图的计算老本随着检测距离的参与呈二次方增长。这一缺陷重大限度了基于激光雷达的dense detectors在事实环球场景中的实践运行。

目前，稠密检测器包括基于点的方法和基于部分体素的方法。基于点的方法经常使用点云中的关键点启动特色聚合和检测。这些方法不须要在整个空间内启动dense的采样和计算，使其具备固有的稠密检测器。FSD和FSDV2是这一系列方法的代表。FSD经过对宰割的前景点启动聚类来示意单个目的。而后，它将PointNet提取的特色输入检测头启动校准和预测。在FSDv2中，实例聚类步骤被虚构体素化模块所取代，该模块旨在消弭手动构建的实例级示意所引入的固有偏向。虽然充沛聚合了前景信息，但对额外辅佐义务和泛滥超参数的依赖造成推理速度差。

在基于体素的稠密方法中，VoxelNeXt引入了额外的下采样层，将体素搁置在目的中心左近，随后对关键体素启动特色分散，将特色流传到目的中心。SAFDNet经过提出自顺应特色分散战略来处置缺失中心特色的疑问。虽然SAFDNet和VoxelNeXt取得了令人印象深入的效率，但它们仅依赖单中心体素特色启动检测，这大大削弱了目的代理的信息示意才干，最终造成模型性能降低。如前所述，仅将中心体素特色视为目的代理会造成图2（a）所示的同一实例中的一些点云信息失落。在这项上班中，咱们经常使用稠密查问和留意力机制经过LMFA和GFA模块失掉目的代理，从而能够灵活捕捉不同粒度的上下文信息。这促成了场景级和实例级特色之间的单干，从而使模型能够取得更丰盛、更准确的目的示意。

在本节中，咱们提出了一种便捷高效的基于激光雷达的稠密检测框架SparseDet。图3展现了其结构，该结构遵照齐全稠密网络VoxelNeXt的流水线。但不同的是，为了充沛聚合点云中的上下文信息以增强稠密目的代理的信息表白才干，咱们设计了两个子模块，LMFA（部分多尺度特色聚合）模块和GFA（全局特色聚合）模型。这两个模块旨在自顺应地聚合点云上的多级上下文信息，并使SparseDet能够剧烈增强目的代理的信息示意才干，从而以较低的计算老本提高3D检测的性能。

大少数基于激光雷达的稠密检测方法应用中心体素特色作为检测的目的代理。虽然经常使用中心特色作为目的代理可以提供准确的位置信息，但单个中心体素特色无余以齐全捕捉目的的所有信息。这重大削弱了目的代理的表白才干。因此，咱们提出了LMFA模块来补偿这些缺陷。在LMFA模块中，咱们专一于学习目的周围的部分上下文信息，这有助于了解目的目的的外形、大小和相对位置等细节。如图4所示，咱们经过K个最近邻（KNN）位置相关灵活聚合关键体素的邻域信息，以增强其特色示意才干。而后，聚合的关键体素特色将用于初始化稠密目的查问。值得留意的是，思考到3D目的尺度的散布差异，咱们将LMFA裁减到多尺度空间。因此，LMFA关键由两个步骤组成，稠密关键体素选用和不同尺度体素特色的融合。

1）稠密关键体素选用 ：首先，咱们将点云体素化，并将其输入到3D稠密卷积主干网络中。参考VoxelNeXt，咱们在3D稠密主干网络中参与了两个额外的下采样层。这一步有两个关键目的。首先，它经过额外的下采样环节构建多尺度特色空间，以促成LMFA模块中的后续特色聚合。其次，经过额外的采样和高度紧缩操作，咱们可以将体素特色搁置在空白的目的中心，以更准确地构建邻域相关。经过上述操作，原始稠密3D卷积主干从{Fs1、Fs2、Fs3、Fs4}转换为{Fs1，Fs2，Fs3，Fs4，Fs5{Fs6}，特色步长为{1,2,4,8,16,32}。而后，咱们将Fs5和Fs6变换到Fs4的特色空间，并将Fs4、Fs5和Fs 6衔接在一同以取得FF融合。而后，咱们对FFusion、Fs4、Fs5和Fs6启动高紧缩，以取得。详细来说，遵照VoxelNeXt，咱们交流地平面上的一切体素特色，并在相反的位置对其启动求和。

为了选用关键体素，咱们经常使用heatmap操作，该操作基于稠密体素特色F2D预测Cls类的体素得分Score。咱们将最接近目的中心的体素指定为阳性样本，并经常使用Focal Loss启动监视。这象征着得分较高的体素属于前景的概率较高。随后，咱们将top-分数操作运行于，以取得Nkey稠密体素候选。这里，被设置为自动值500。

2）不同尺度体素特色的融合 ：在本节中，咱们构建了一个K近邻图，以失掉不同尺度下稠密候选体素的邻域信息，从而取得更片面的部分上下文，处置了稠密特色信息示意才干无余的疑问。

在稠密关键体素选用之后，咱们失掉了稠密体素的特色，记为。相应的坐标位置索引被定义为Ikey，外形为（，2），示意2D位置索引。咱们首先将体素在S4尺度上的位置坐标（示意为Is4）区分除以2和4，将其转换为{S5，S6}的低分辨率体素空间。而后，咱们将相应的空间坐标索引保留为Is5、Is6。给定Nkey稠密体素在不同尺度空间中的位置坐标信息，咱们的目的是为每个关键体素找到K个最近的体素。的值随着缩放空间的变动而减半，这可以经常使用以下公式确定。

为了提高LMFA的效率，咱们驳回KD树算法来取得特定尺度Si下每个关键体素的街坊的索引。环顾的邻域体素具备特色。而后，应用MLP来聚合相邻体素特色的特色，这是经过以下公式成功：

给定稠密体素的编码多尺度特色，一种豪华的融合方法是将多尺度特色衔接起来构成一个特色。但是，咱们观察到，一些目的检测更多地依赖于来自特定尺度的信息，而不是来自一切尺度的信息。例如，低分辨率特色映射了关于小目的的漆信息。因此，与小目的相关的关键体素应该更有效地仅从高分辨率特色图中搜集信息。

咱们倡导经常使用可学习的比例权重来智能选用每个关键体素Fkey的比例，如下所示

经过这种比例选用机制，与每个关键体素最相关的比例被柔和地选用，而来自其余比例的视觉特色被克服。而后，咱们依据Fkey的位置索引将Fkey放入中，失掉增强的。咱们的自顺应融合的整个环节如图5所示。

LMFA模块旨在经过经常使用最近邻位置相关灵活聚合关键体素的邻域信息来学习目的周围的部分上下文信息。

虽然邻域体素特色的融合增强了前景稠密体素特色表白才干，但LMFA模块在处置稠密检测场景时依然存在局限性。1）关于大目的，经常使用单个聚合稠密体素作为目的检测的代理依然会失落信息，由于目的代理当该蕴含整个目的的信息，而不只仅是部分区域的信息。2）LMFA疏忽了整个场景和实例特色之间的潜在单干。例如，场景中的假阴性目的可以经过与共享相似语义信息的实例交互来增强其特色，从而失掉潜在的纠正。因此，咱们提出了GFA（全局特色聚合）模块，经过学习整个场景的全局结构和语义信息，进一步处置了LMFA模块的局限性。这使得SparseDet能够以部分和全局的形式应用目的的上下文信息来消弭歧义，从而提高检测精度。

1）LMFA和GFA模块的影响 ：本节探讨了在基线detectorsVoxelNeXt上启动的消融试验的结果，以评价SparseDet中每个组件的性能。表VI和表VII区分报告了KITTI和nuScenes 14子集的结果。表VI显示了KITTI上AP3D和APBEV的初始AP评分，区分为78.44%和87.10%。如表六所示，LMFA和GFA模块清楚提高了硬级KITTI义务的性能，AP3D和APBEV区分提高了4.27%和3.35%。一切的改良都没有清楚参与模型的参数或降低推理速度。

如表七所示，当经常使用LMFA模块时，SparseDet成功了出色的性能优化，这标明有效地聚合上下文信息可以更好地增强稠密特色的示意才干，从而提高稠密3D目的检测器的性能。这促成了场景和实例特色之间的单干，从而发生了更丰盛、更准确的目的示意。当LMFA和GFA结合时，这种增强成果进一步增强，造成mAP改善2.4%，NDS改善1.3%。总之，咱们的消融试验标明，SparseDet在具备应战性的数据集上有效地提高了基线的性能。钻研结果强调了上下文信息聚合在稠密检测框架中的关键性，并为设计有效的聚合战略提供了贵重的见地。

2）M数量的影响：选用相邻体素特色，以增强关键位置的特色示意，是LMFA模块的关键组成部分。在本节中，咱们将探讨相邻体素数量M的选用及其相应的有效性。因此，咱们为超参数M（相邻体素的数量）性能了不同的值，包括4、8、16和32。如表八所示，M值的变动对模型的性能没有清楚影响。值得留意的是，当M设置为8时，咱们的SparseDet模型到达了最高的mAP，而将M设置为16则可取得最佳的NDS性能。思考到全体模型性能、推理期间、训练记忆和模型参数，咱们最终将M设置为8作为自动值。

3）Nkey数量的影响：如表IX所示，咱们对nuScenes验证数据集中LMFA模块内关键体素Nkey的数量启动了消融钻研。咱们在500、1000、1500和2000之间性能超参数Nkey的值。综上所述，随着Nkey值的参与，SparseDet的性能相应有不同水平的提高。从表中可以看出，模型的性能对Nkey的变动没有体现出很强的敏理性。虽然便捷地参与Nkey的值可以提高模型的性能，但这是以降低推理速度为代价的。在掂量了模型的准确性和推理提前后，咱们最终选用500作为Nkey的自动值。

4）数量的影响：如表X所示，咱们对nuScenes验证集GFA模块中的超参数NK，V启动了消融钻研。咱们在6000、8000、10000和12000之间性能超参数的值。值得留意的是，当的值设置为12000时，SparseDet的mAP和NDS得分最高，但推理速度最低。在掂量了模型的准确性和推理提前后，咱们最终将NK，V设置为10000作为自动值。

5）模型在不同距离下的性能：与dense检测器相比，稠密检测器的一个关键长处是它们能够裁减模型的远程检测才干，而不会清楚参与推理提前。因此，对远距离目的的稳固检测是评价稠密检测器性能的关键目的。为了更好地了解咱们的SparseDet在长距离下的出色性能，咱们在表XI和表XII中提供了不同距离范围的性能目的。详细来说，与VoxelNeXt相比，咱们的目的显示出更清楚的改善，特意是在20-40m和40m-inf的距离范围内。例如，在KITTI 40m-inf下的3D检测中，咱们的SparseDet将AP3D提高了9.28%。在40m-inf的BEV检测中，咱们的SparseDet将APBEV提高了9.40%。在nuScenes数据集上，在40m-inf的检测中，咱们的SparseDet在mAP和NDS上区分提高了4.1%和3.6%。这些结果清楚地反映了咱们的SparseDet模型在远程检测方面的长处。

在图6中，与VoxelNeXt相比，咱们以KITTI中汽车类0-70.4m的检测范围为例，说明了咱们的SparseDet在远程/远距离目的检测方面的优越性。依据该图，咱们的SparseDet有一个假阳性结果，但没有遗漏实例。其中，VoxelNeXt存在远距离目的失落的疑问。这可以归因于Our SparseDet充沛应用了点云中的多尺度上下文语义信息，这关于稠密点云中的远程目的至关关键，由于这些目的通常因缺乏信息而较弱。总体而言，咱们的方法在远程目的检测的精度方面有了清楚提高。

在这项上班中，咱们提出了SparseDet，这是一个便捷有效的全稠密3D目的检测框架。详细来说，基于VoxelNeXt，咱们设计了一个高效的稠密检测框架，更正当地经常使用实例级和场景级点云上下文信息。这清楚增强了目的代理的表白才干，从而大大提高了稠密检测器的检测性能。综合试验结果标明，与KITTI和nuScenes数据集上的基线相比，SparseDet清楚提高了性能。咱们宿愿咱们的上班能够为智能驾驶的稠密检测器提供新的见地。

目前，稠密3D检测器的钻研上班还无余以满足多模态3D检测等其余方向的需求。这使得3D稠密框架的比拟方法遭到限度。但是，关于事实环球的运行程序，模型的提前十分关键。因此，对全稠密极速detectors的钻研须要更多的关注和重点。