南大等最新QD

基于俯瞰图（BEV）的多视角3D检测最近取得了清楚改良。但是，最先进模型的渺小内存消耗使得它们难以在车辆上部署，而非同小可的提前将影响流式运行的实在感知。

虽然量化技术在减轻模型方面的宽泛运行，但作者在本文中展现，间接在BEV义务中运行量化会造成1 ）训练不稳固，2）形成无法容忍的性能降低。

为了处置这些疑问，作者的方法QD-BEV引入了一种陈腐的视图疏导蒸馏（VGD）目的，它可以在稳固量化感知训练（QAT）的同时，经过应用图像特色和BEV特色来增强模型性能。

作者的试验标明，QD-BEV在坚持相似甚至更好的准确度的同时，比之前的方法具备清楚的效率优化。

在nuScenes数据集上，4位权重和6位激活量化的QD-BEV-Tiny模型仅用15.8 MB的模型大小就成功了37.2%的NDS，比BevFormer-Tiny模型提高了1.8%，模型紧缩比为8倍。在 Small 和Base变体上，QD-BEV模型也体现杰出，区分成功了47.9% NDS（28.2 MB）和50.9% NDS（32.9 MB）。

基于俯瞰图（BEV）的多视角3D检测由于其潜在的智能驾驶才干，已成为智能驾驶的关键钻研方向。依据输入传感器，以前的上班可以分为基于激光雷达的方法和仅基于相机的方法。与基于激光雷达的方法相比，仅基于相机的方法具备部署老本低、更凑近人眼、更容易失掉驾驶环境中的视觉消息等好处。但是，即使经常使用仅基于相机的方法，运转最先进的BEV模型的计算和内存老本依然很高，使得它们难以部署到车辆上。例如，BEVFormer-Base在单个NVIDIA V100 GPU上的推理提前为540毫秒（相当于1.85帧/秒），这关于通常须要30帧/秒的实践运行来说是无法行的。由于相当大的提前会侵害流式感知，因此探求和设计基于BEV的仅相机3D目的检测的轻量级模型尤为关键。

量化可以增加用于示意深度神经网络中的权重和激活的比特宽度，从而在提高模型推理速度的同时，大幅节俭模型大小和计算老本。但是，间接运行量化会造成性能清楚降低。与在图像分类和2D目的检测义务中量化规范方法体现突出相比，由于存在多视角和多维度消息（例如，BEVFormer[23]中经常使用的时域消息和空域消息），多相机3D检测义务要复杂和艰巨得多。因此，BEV网络的架构往往变得更复杂，具备更深的卷积神经网络 Backbone 以从多视角提取图像消息，以及用于编码和解码BEV域特色的 Transformer 。不同神经架构的存在、多个目的和来自不同模态的常识极大地应战了规范量化方法，降低了它们的稳固性和准确性，甚至使整个训练环节发散。在图1中，作者展现了在BEVFormer-Tiny模型上运行W4A6量化时的训练曲线。可以看出，量化感知训练（QAT）在不同期间的性能动摇清楚，而作者所提出的QD-BEV方法显示出稳固的回升趋向。作者在第5节启动更多试验以验证QD-BEV的有效性。

为了处置规范QAT的疑问，在这项上班中，作者首先对量化BEV网络启动了系统的试验和剖析。而后，作者设计了一种量化感知的视角疏导蒸馏方法，该方法既处置了稳固性疑问，又提高了紧凑型BEV模型的最终性能。作者提出的视角疏导蒸馏可以更好地利用来自图像域和BEV域的消息启动多视角3D目的检测。这清楚优于无法联结处置BEV网络中不同类型损失的先前蒸馏方法。详细来说，如图2所示，作者首先将FP（浮点）模型作为老师模型，将量化模型作为在校生模型，而后区分计算图像特色和BEV特色的KL散度。最后，作者应用映射相关，经过相机的外部参数无机地结合图像特色和BEV特色，成功 VGD。须要留意的是，在QD-BEV中，作者没有经常使用额外的训练数据或更大的弱小老师网络来调整精度，但 QD-BEV 模型依然能够在模型大小和计算要求清楚较小的状况下逾越先前的 Baseline 。

作者的奉献如下：

在仅经常使用相机的3D目的检测义务中，基于俯瞰图（BEV）涌现出了许多低劣的方法。先前的上班，如LSS [31]和BEVDet [14]，驳回自下而上的模式将图像特色投影到BEV空间。基于DETR 和 Deformable DETR [48]，DETR3D [38]经过Backbone + FPN + 解码器的架构将2D目的检测裁减到3D空间。此外，PETR [24]在DETR3D [38]的基础上引入了3D位置编码。在BEVFormer [23]中，作者经常使用密集的BEV Query 在BEV空间与多视角图像空间之间替换消息。经过具备期间自留意力和空间交叉留意力的 Transformer 结构提取期间和空间消息，取得了更稳固的BEV特色。基于BEVFormer中的期间交互，最近的上班PETRv2 [25]和BEVDet4D [13]取得了进一步的改良。除了上述上班之外，BEVDepth 和BEVstereo 区分是单目深度预计敌对面视觉在俯瞰图（BEV）畛域的两种最先进的方法，它们应用BEV示意的共同个性成功了高精度和高效率。

为了增加模型大小，量化方法经常使用低比特宽度来示意神经网络中的权重和激活值。经过经常使用低精度矩阵乘法或卷积，量化还可以使推理环节更快、更高效。给定一个预训练模型，间接启动量化而不启动任何微调的方法称为后训练量化（PTQ）。虽然有其好处，但低比特宽度的PTQ依然会造成清楚的准确度降低。因此，提出了量化感知训练（QAT）来训练模型以更好地顺应量化。与PTQ相比，QAT方法[9, 7, 40]老本更高，但有或者取得更高的准确度。此外，在超低量化比特宽度（例如，4比特）的状况下，即使是QAT也无法弥合准确度差距。处置这一疑问的有宿愿的方向是经常使用混合精度量化[46, 36, 39]，其中某些敏感层坚持较高精度以复原准确度。虽然有效，但混合精度量化在通用计算机（CPU和GPU）上的允许目前尚不成熟，或者会造成额外的提前开支。

虽然规范量化方法在卷积神经网络上曾经取得了很好的结果，但近期的钻研[27, 44]提到，它或者在其余神经架构（如 Transformer ）中体现不佳。在BEV网络中同时存在卷积块和 Transformer ，使得它们对传统量化方法提出了应战。

模型蒸馏通经常常使用大型模型作为老师来训练一个紧凑的在校生模型。在训练在校生模型时，不是经常使用类别标签，关键思维是应用老师发生的软概率来指点在校生的训练。之前的蒸馏方法探求了不同的常识来源（例如，[12, 22, 30]经常使用逻辑值，即软概率）。老师模型的选用也启动了钻研，其中[41, 34]经常使用多个老师模型，而[8, 43]运行自蒸馏，无需额外的老师模型。其余先前的致力在不同的运行上运行了不同的设置启动蒸馏。关于俯瞰图（BEV）网络，之前的上班[6]试图经过蒸馏将激光雷达消息教授给基于相机的网络，但在作者纯基于相机的设置中，对激光雷达数据的额外要求使其变得无法行。此外，BEV网络中存在不同类型的损失使得规范的蒸馏方法有效。恣意或次优的常识来源组合也会使得训练不稳固，体现不佳，甚至发散。

本钻研旨在提高现有顶尖的俯瞰图（BEV）模型的效率。作者从宽泛经常使用的BEVFormer模型[23]登程，驳回逐渐的量化感知训练环节，分阶段启动（详细细节在3.2节引见）。作者进一步经过一种陈腐的视图疏导的蒸馏环节来优化其稳固性和性能，这在图2中启动了突出展现，其中作者经常使用浮点老师模型来促成作者量化的QD-BEV在校生模型的学习。详细来说，输入的多摄像头图像区分输入到老师模型和在校生模型中，而后经常使用网络的图像 Backbone 和图像 Neck 局部来提取多摄像头图像特色。在网络 Transformer 局部之后，提取BEV特色，并区分经常使用老师模型和在校生模型的两个局部来计算图像蒸馏损失和BEV蒸馏损失。而后经过摄像头的额外参数将这两个蒸馏损失融合起来，成功作者共同的视图疏导蒸馏机制。作者在3.3节提供了视图疏导蒸馏环节的详细公式。

在对称线性量化中，量化器将权重和激活映射为带有缩放因子的整数。以k位平均量化可以示意为：

其中是被量化的浮点数，是中最大的相对值，是量化后的整数。在这项上班中，作者启动了系统的试验来剖析量化在BEV网络上的性能。关于PTQ，作者在推理阶段间接将上述量化运行于预训练模型。关于QAT，作者经常使用直通预计器（STE）[2]来定义上述量化操作的向前和向后环节，而后作者训练模型以更好地顺应量化。如第1节和第2节所述，思索到规范的QAT或者由于BEV模型的个性造成发散，作者运行了分阶段逐渐QAT，作者在四个阶段（ Backbone 、 Neck 、编码器和解码器）中逐渐降低权重精度，基于BEVFormer [23]的设计。这种逐渐QAT的性能在图3中有所展现。并且作者在4.2.2节中比拟了逐渐QAT与规范QAT的有效性。

与传统的单畛域蒸馏方法相比，作者的方法应用了BEV（俯瞰图）和图像畛域的互补个性，它们提供了不同的视角并捕捉场景的不同方面。BEV畛域提供了一个自上而下的视图，能够准确感知和识别周围环境，例如路线的结构、车辆的位置和车道标志。另一方面，图像畛域提供了更实在的视觉消息，捕捉丰盛的场景细节和色彩消息。在以下各节中，作者将详细引见VGD：在第3.3.1节中引见图像特色蒸馏的计算，第3.3.2节中引见BEV特色蒸馏，以落第3.3.3节中结合前两个蒸馏损失的观念疏导蒸馏。

3.3.1 Image feature distillation

在给定一对对齐的老师和在校生模型的状况下，作者首先计算图像特色上的逐元素蒸馏损失。作者将图像 Neck 输入作为要提炼的图像特色。为了提高蒸馏损失的平滑性，作者遵照之前的尝试[33]经常使用基于KL散度的蒸馏损失。详细来说，作者将在校生模型和老师模型的展平图像特色视为逻辑值，经过具备温度的softmax函数将其转换为概率散布，如方程式(2)中定义。

而后，作者区分计算每个摄像头的输入之间的KL散度，以取得图像特色蒸馏损失，如方程式(3)。

其中B代表批量大小，W、H、C区分示意图像特色的宽度、高度和通道数。和区分示意老师模型和在校生模型的图像特色。

3.3.2 BEV feature distillation

作者首先将在校生模型和老师模型的俯瞰图（BEV）特色转换为概率散布，这一环节与图像特色的转换相反。而后作者依据公式（4）计算俯瞰图特色上每一点的KL散度。

其中B代表批大小，C指的是BEV特色的通道数。和区分示意老师模型和在校生模型的俯瞰图特色。作者将失掉一个外形为的损失。

3.3.3 View-guided distillation objective

在前两节中，作者取得了每个摄像头在图像特色上的损失以及BEV特色上每个点的对应损失。在nuScenes数据集上，摄像头的外部参数是已知的，因此作者可以取得每个摄像头对应于BEV特色的散布范围。而后作者生成可以运行于图像特色的视角BEV Mask ，这与在BEVFormer [23]中定义的是相反的。是一个具备四个维度的张量：摄像头数量、批处置大小、BEV大小和3D高度，每个元素具备二进制值。经过沿最后一个维度（3D高度）计算平均值，作者可以将BEV Mask 在2D平面上开展为BEV大小。而后，为每个摄像头计算的可以裁减到对应于BEV特色上每个点的损失，作者将其称为：

其中示意哈达玛积。

最后，作者经常使用来取得等式 (6) 中的视图疏导蒸馏目的：

视图疏导蒸馏的整个流程如算法1所示。

算法1 渐进量化感知的VGD视图疏导蒸馏

在本节中，作者首先详细论述试验设置，而后在BEV网络上评价PTQ和QAT方法。基于这些结果的剖析，作者提出了QD-BEV来克制规范PTQ和QAT的无余，并且作者专门在不同的设置和解放下将作者的结果与之前的上班启动比拟。

4.1.1 alt="图片">

而后，作者剖析了不同量化位宽对最终性能的影响。表2显示，间接运行少于8位精度的PTQ会造成清楚的准确度降低，特意是当量化到W4A4时，结果简直变成了纯噪声，大概0 mAP。从表2可以观察到，为了在成功超低比特量化时坚持准确度，启动QAT是必要的。

4.2.2 QAT结果

表4：与先前方法或 Baseline 相比的QD-BEV结果。

为了处置PTQ重大的准确度退步疑问，作者运行QAT以更好地使模型顺应4位量化。在一切试验中，间接将整个网络量化到目的位宽的规范QAT方法会造成不稳固的QAT环节，在大模型中会惹起梯度爆炸或准确度迅速降低（例如，W4A6的BEVFormer-Base仅有0.07 mAP）。基于这一观察，作者假定规范QAT中引入的量化扰动太大，无法复原。因此，作者运行渐进式QAT来限度训练环节中的量化扰动。表3比拟了在相反训练周期数下渐进式QAT与规范QAT的性能。作者可以看到，在BEVFormer-Tiny和BEVFormer-Small中，渐进式QAT分歧优于规范QAT（高达5% mAP），在BEVFormer-Base上取得了更大的性能优化。为了更好地验证作者的剖析，作者在图3中绘制了前60个周期的渐进式QAT训练曲线，其中对BEVFormer-Tiny启动W4A6量化。作者将渐进式QAT分为4个阶段，并在每个阶段迭代量化一个新的模块。可以看出，在每阶段的开局，NDS都会降低，对应于量化每个新模块引入的量化扰动。

虽然渐进式QAT有其好处，但作者要留意的是，它依然存在训练不稳固和性能降低的疑问。如图1所示，对应于图3的最后20个周期，渐进式QAT在到达平台期后继续高低动摇，而VGD的训练曲线显示出更为稳固回升的趋向。

为了取得更好的准确性和稳固性，作者运行了以浮点模型为老师、量化模型为在校生的视图疏导蒸馏。图3展现了VGD对BEVFormer-Tiny启动W4A6量化时的影响。须要留意的是，在最后的60个周期内，作者将VGD与逐渐量化训练（QAT）分开，以便更明晰地比拟和说明，实践上VGD是一个即插即用的配置，可以一直与QAT联结运行，正如作者在最后20个周期中所做的那样。得益于图像域和BEV域的常识，QD-BEV网络能够齐全复原量化退步，甚至逾越浮点 Baseline 。如表4所示，该模型的NDS和mAP不只优于先前的浮点 Baseline ，也优于量化网络。由于目前还没有紧凑型BEV网络的现有结果，作者在BEVFormer上实施了规范量化方法DFQ [29]，HAWQv3 [40]和PACT [7]作为比拟。关于DFQ（DFQ是一种PTQ方法，较低的位宽会造成无法容忍的准确度降低），作者运行W8A8量化，关于QAT方法和QD-BEV模型，作者经常使用W4A6量化。作为比拟，QD-BEV仅用32.9 MB的模型大小就能到达0.509的NDS，与BEVFormer-T-DFQ（0.340 NDS）的大小相似，但比BEVFormer-Tiny（126.8 MB，0.354 NDS）小得多。

作者在PETR [24]和BEVDepth [21]模型上启动了初步测试，经常使用的是图5中的作者的方法。性能虽未到达BEVFormer的水平，但依然逾越了传统量化方法，虽然结果各异，但这也突显了该方法后劲。

在图4中，作者展现了QD-BEV-Base模型在nuScenes验证数据集上的可视化结果，并与BEVFormer-Tiny的结果和 GT 状况启动了比拟。可以看出，QD-BEV-Base检测到了更多的目的，并且3D框预测比BEVFormer-Tiny更准确。更多可视化结果在补充资料中提供。

表5：在BEVDepth[21]和PETR[24]上的QD-BEV结果。

在智能驾驶的背景下，流式感知[19]关于使模型能够实时极速、准确地做出决策至关关键。高提前会降低流式感知的成果，由于它会造成感知数据与神经网络输入之间的提前。为了增强流式感知，量化是一项必要的技巧，它紧缩了模型大小，增加了计算负载，并放慢了推理环节。在表6中，作者展现了量化在智能驾驶场景中对sAP目的的关键影响。如作者所见，与浮点模型和量化 Baseline 相比，QD-BEV模型在sAP上显示出分歧的改良。

在图5中，作者启动了一项消融钻研，比拟了在仅经常使用图像特色上的蒸馏、仅经常使用BEV特色上的蒸馏以及作者提出的视图疏导蒸馏。所提到的方法称为CWD [33]。为了偏心比拟，作者经常使用了相反的预训练权重和超参数，如温度和学习率。从图中可以看出，视图疏导蒸馏清楚优于CWD方法。无论是在mAP还是NDS曲线上，VGD都出现出更清楚且稳固的回升趋向，并取得了更好的最终结果。

在本上班中，作者系统地钻研了在BEV网络上的PTQ和QAT，并展现了它们面临的关键疑问。

基于作者的剖析，作者提出了一种视图疏导的蒸馏（VGD）方法，该方法可以经过应用图像域和BEV域的消息来稳固QAT环节并优化最终性能。

将VGD作为一种即插即用的配置，在量化的BEV模型中联结运行，QD-BEV可以增加精度差距，甚至逾越浮点 Baseline 。

在nuScenes数据集上，仅15.8 MB模型大小的4位权重和6位激活量化的QD-BEV-Tiny模型到达了37.2%的NDS，相较于BevFormer-Tiny，在模型紧缩8倍的状况下性能提高了1.8%。