从4D雷达中启动高效指标检测 速度精度均有长处 RadarPillars

汽车雷达(radar)系统曾经开展到不只提供距离、方位角和多普勒速度，还能提供俯仰数据。这一额外的维度使得4D雷达可以示意为3D点云。因此，现有的用于3D指标检测的深度学习方法，最后是为LiDAR数据开发的，经常被运行于这些雷达点云。但是，这疏忽了4D雷达数据的不凡个性，例如极其稠密性和速度消息的最佳应用。为了补偿这些在现有技术中的无余，本文提出了RadarPillars，一种基于柱状结构的指标检测网络。经过合成径向速度数据，引入PillarAttention启动高效特色提取，并钻研层缩放以顺应雷达稠密性，RadarPillars在View-of-Delft数据集上的检测结果清楚优于现有技术。关键的是，这在清楚缩小参数量的同时，成功了逾越现有方法的效率，并在边缘设施上成功了实时性能。

在智能驾驶和汽车运行的背景下，雷达作为一种关键的感知技术锋芒毕露，使车辆能够检测到周围的物体和阻碍物。这一才干关于确保各种智能驾驶配置的安保性和效率至关关键，包括碰撞防止、自顺应巡航控制和车道坚持辅佐。雷达技术的最新停顿造成了4D雷达的开展，它结合了三个空间维度以及一个额外的多普勒速度维度。与传统雷达系统不同，4D雷达引入了作为第三维度的俯仰消息。这一增强配置使得雷达数据可以示意为3D点云，相似于LiDAR或深度感应相机生成的点云，从而能够运行之前仅限于这些传感器的深度学习方法。

但是，虽然来自LiDAR检测畛域的深度学习技术曾经被适配到4D雷达数据上，但它们并没有充沛探求或顺应其共同个性。与LiDAR数据相比，4D雷达数据清楚稠密。虽然存在这种稠密性，雷达共同别提供了速度作为特色，这在各种场景中有助于移生物体的检测，例如在LiDAR传统上难以应答的远距离场景中[1]。在View-of-Delft数据集中，平均每次4D雷达扫描仅蕴含216个点，而相反视线内的LiDAR扫描蕴含21,344个点[2]。对此，本文提出了RadarPillars，一种专门为4D雷达数据量身定制的新型3D检测网络。经过RadarPillars，本文填补了技术中的空白，并在以下几个方面做出了奉献，大幅优化了性能，同时坚持了实时才干：

图1：RadarPillars在4D雷达上的检测结果示例。汽车用白色标志，行人用绿色标志，骑行者用蓝色标志。点的径向速度由箭头批示。

图2：补偿了4D雷达自车静止的相对径向速度$ v_r $。随着物体的移动，$ v_r $会依据其相关于传感器的航向角出现变动。因为其航向无法确定，汽车的实践速度$v$依然未知。但是，$ v_r $可以合成为其$x$和$y$重量，以提供额外的特色。坐标系统和命名法遵照View-of-Delft数据集[2]。

图3：PillarAttention概述。本文应用雷达点云的稠密性，经过经常使用掩码从非空 pillars 中搜集特色，将空间大小从$H, W$缩小到$p$。每个具备$C$通道的柱状特色被视为计算自留意力的一个 token 。本文的PillarAttention封装在一个Transformer层中，前馈网络（FFN）由层归一化（Layer Norm）和两个两边带有GeLU激活的MLP组成。PillarAttention的暗藏维度$E$由层前后的MLP控制。最后，具备$C$通道的柱状特色被散射回其在网格中的原始位置。本文的PillarAttention不经常使用位置嵌入。

图4：本文提出的方法组合构成RadarPillars，与基准方法PointPillars [3]的比拟。在View-of-Delft数据集[2]上，整个雷达区域的一帧指标检测精度结果。帧率是在Nvidia AGX Xavier 32GB上评价的。

图5：权重幅度剖析比拟不同通道大小的平均缩放RadarPillars。结果显示，随着网络规模的减小，权重强度参与。本可视化扫除了有效权重和意外值。

本文提出了RadarPillars，应用4D雷达数据启动指标检测的新方法。作为一个仅有 0.27 M 参数和1.99 GFLOPS的轻量级网络，RadarPillars在检测性能方面建设了新的基准，同时成功了实时才干，清楚逾越了的先进技术。本文钻研了雷达速度的最佳应用，认为网络提供增强的高低文。此外，本文引入了PillarAttention，这是一种翻新的层，将每个 pillar 视为一个 token ，同时确保效率。本文展现了平均缩放网络在检测性能和实时推理方面的长处。以RadarPillars为基础，本文未来的上班将集中于经过优化骨干网络和探求无锚检测头来优化运转期间。另一条钻研路径是钻研经常使用仅蕴含PillarAttention的Transformer层启动端到端的指标检测，或将有前景的LiDAR方法[38], [39]实用于雷达。此外，本文还提出将RadarPillars裁减到其余传感器数据模态的后劲，如深度传感器或LiDAR。