一种用于智能驾驶车道检测的分层细化网络算法 CLRNet

车道是具备初级语义的交通标志，特意是在视觉导航系统中尤其关键。检测车道可以使许多运行受益，例如智能驾驶和初级驾驶员辅佐系统（ADAS）中的视觉导航就是一个典型的运行，它可以协助智能车辆更好地启动自车定位并更安保地行驶。

但是，车道检测领有特定的部分形式，须要实时预测网络图像中的车道信息，更须要详细的低级特色能力准确定位。因此，可以说车道检测是计算机视觉中一项关键但具备应战性的义务。

经常使用不同的特色级别关于准确的车道检测十分关键，但折现上班仍处于探求阶段。本文引见了跨层细化网络（CLRNet），旨在充沛应用到车道检测中的初级和低级特色。首先，经过检测具备初级语义特色的车道，而后依据低级特色启动细化。这种方式可以应用更多的高低文信息来检测车道，同时应用本地详细的车道特色来提高定位精度。此外，经过 ROIGather 的方式来搜集全局高低文，可以进一步增强车道的特色示意。除了设计全新的网络之外，还引入了线路 IoU 损失，它将车道线作为一个全体单元启动回归，以提高定位精度。

如前所述，由于Lane具备初级语义，但它领有特定的部分形式，须要详细的低级特色能力准确定位。如何在 CNN 中有效应用不同的特色级别依然是一个疑问。如下图 1（a）所示，地标和车道线具备不同的语义，但它们具备相似的特色（例如长白线）。假设没有初级语义和全局高低文，很难辨别它们。另一方面，地区性也很关键，巷子又长又细，外地格式便捷。

此外，在图1（b）中显示了初级特色的检测结果，虽然检测到了车道，但其位置并不准确。因此，低层信息和上层信息可以互补来成功准确的车道检测。

车道检测中的另一个经常出现疑问是没有车道存在的视觉信息。如上图1（c）所示，车道被汽车占据，而在图1（d）中，由于极端的光照条件，车道很难识别。

以前的上班要么对车道的部分几何启动建模并将其集成到全局结果中，要么构建具备全局特色的全衔接层来预测车道。这些检测器曾经证实了部分或全局特色关于车道检测的关键性，但没有同时应用好这两个特色，因此或许发生不准确的检测性能。比如，SCNN和RESA提出了一种信息传递机制来搜集全局高低文，但这些方法执行像素级预测并且不将车道作为一个全体单元。因此，它们的性能落后于许多最先进的探测器。

关于车道检测来说，低级和初级特色是互补的，基于此，本文提出了一种陈腐的网络架构（CLRNet）来充沛应用低级和初级特色启动车道检测。首先，经过ROIGather 搜集全局高低文来进一步增强车道特色的示意，也可以将其拔出其余网络中。其次，提出为车道检测量身定制的线IoU（LIoU）损失，将车道作为整个单元启动回归，并显着提高性能。为了更好地比拟不同探测器的定位精度，还驳回了新的mF1 目的。

依据车道的示意，目前基于CNN的车道检测可以分为三类：基于宰割的方法，基于锚的方法，以及基于参数的方法。

这类算法通常驳回逐像素预测公式，行将车道检测视为语义宰割义务。SCNN提出了一种信息传递机制来处置非视觉能检测到的目的疑问，该机制捕捉了车道中出现的强空间相关。SCNN显着提高了车道检测性能，但该方法关于实时运行来说速度较慢。RESA提出了一种实时特色聚合模块，使网络能够搜集全局特色并提高性能。在CurveLane-NAS中，经常使用神经架构搜查（NAS）来寻觅更好的网络来捕捉准确的信息，以无利于曲线车道的检测。但是，NAS 的计算老本极端低廉，并且须要破费少量的 GPU 时期。这些基于宰割的方法效率低下且耗时，由于它们对整个图像执行像素级预测，并且不将车道视为一个全体单元。

车道检测中基于锚的方法可以分为两类，例如基于线锚的方法和基于行锚的方法。基于线锚的方法驳回预约义的线锚作为参考来回归准确的车道。Line-CNN是在车道检测中经常使用线和弦的开创性上班。LaneATT提出了一种陈腐的基于锚的留意力机制，可以聚合全局信息。它成功了最先进的结果，并显示出高效用和效率。SGNet引入了一种陈腐的隐没点疏导锚生成器，并减少了多个结构疏导以提高性能。关于基于行锚的方法，它预测图像上每个预约义行的或许单元格。UFLD首先提出了一种基于行锚的车道检测方法，并驳回轻量级骨干网来成功高推理速度。虽然便捷、极速，但其全体性能并不好。CondLaneNet引入了一种基于条件卷积和基于行锚的公式的条件车道检测战略，即它首先定位车道线的终点，而后执行基于行锚的车道检测。但在一些复杂场景下，终点难以识别，造成性能相对较差。

与点回归不同，基于参数的方法用参数对车道曲线启动建模，并对这些参数启动回归以检测车道。PolyLaneNet驳回多项式回归疑问并取得了很高的效率。LSTR将路途结构和相机位姿思考在内来对车道外形启动建模，而后将Transformer引入车道检测义务以取得全局特色。

基于参数的方法须要回归的参数较少，但对预测参数敏感，例如，高阶系数的失误预测或许会造成车道外形的变动。虽然基于参数的方法具备很快的推理速度，但它们依然难以成功更高的性能。

跨层细化网络（CLRNet）的方法论概述

在本文中，引见了一种新的框架——跨层细化网络（CLRNet），它充沛应用低级和初级特色启动车道检测。详细来说，首先对高语义特色启动检测以粗略地定位车道。而后再依据细节特色逐渐细化车道位置和特色提取可以取得高精度的检测结果（即更准确的位置）。为了处置车道的非视觉所能探测的区域盲区疑问，引入了 ROI搜集器，经过建设ROI车道特色与整个特色图之间的相关来捕捉更多的全局高低文信息。此外，还定义了车道线的交并比 IoU，并提出 Line IoU (LIoU) 损失，将车道作为一个全体单元启动回归，与规范损失（即 smooth-l1 损失）相比，显着提高了性能。

如上图示意了本文引见的CLRNet算法启动车道线IoU处置的整个前端网络。其中，图(a)网络从 FPN 结构生成特色图。随后，每个车道先验将从初级特色细化为低级特色。图(b)示意每个头将应用更多高低文信息为车道失掉先验特色。图(c)则示意车道先验的分类和回归。而本文所提出的 Line IoU 损失有助于进一步提高回归性能。

如下将愈加详细说明本文引见的算法上班环节。

妇孺皆知，实践路途中的车道又细又长，这种特色示意是具备很强的外形先验信息的，因此预约义的车道先验可以协助网络更好地定位车道。在惯例的目的检测中，目的由矩形框示意。但是，无论何种矩形框却并不适宜示意长线。这里经常使用等距的二维点作为车道示意。详细来说，车道示意为点序列，即 P = {(x1, y1), ···,(xN , yN )}。点的 y 坐标在图像垂直方向上平均采样，即 ，其中 H 是图像高度。因此，x坐标与相应的 相关联，这里将这种示意称为 Lane 优先。每个车道先验将由网络预测，并由四个部分组成：

(3) 车道线的终点与先验车道的 x 轴之间的角度（称为 x、y 和 θ）。

(4) N 个偏移量，即预测与其实在值之间的水平距离。

在神经网络中，深层的初级特色对具备更多语义特色的路途目的体现出更剧烈的反应，而浅层的低级特色则具备更多的部分高低文信息。算法准许车道对象访问初级特色可以协助应用更有用的高低文信息，例如辨别车道线或地标。同时，精细的细节特色有助于以高定位精度检测车道。在对象检测中，它构建特色金字塔以应用ConvNet特色档次结构的金字塔外形，并将不同尺度的对象调配给不同的金字塔级别。但是，很难间接将一条车道仅调配给一个级别，由于初级和低级配置关于车道都至关关键。受 Cascade RCNN的启示，可以将车道对象调配给一切级别，并按顺序来检测各个车道。

特意是，可以检测具备初级特色的车道，以粗略地定位车道。依据检测到的已知车道，就可以经常使用更详细的特色来细化它们。

整个算法的目的是应用 ConvNet 的金字塔特色档次结构（具备从低级到初级的语义），并构建一个一直具备初级语义的特色金字塔。以残差网络ResNet作为骨干，经常使用{L0, L1, L2}示意 FPN 生成的特色级别。

如图2所示，跨层细化是从最初级别L0开局的，且逐渐凑近L2。经过经常使用{R0,R1,R2}来示意相应的细化。而后可以继续构建一系列的细化结构：

整个方法从具备高语义的最上层执行检测，Pt是车道先验的参数（终点坐标x、y和角度θ），它是受启示且可自学习的。关于第一层L0，P0平均散布在图像平面上，细化Rt以Pt作为输入以取得ROI车道特色，而后执行两个FC层以取得细化参数Pt。逐渐细化车道先验信息和特色信息提取关于跨层细化是十分关键。留意，此方法不限于 FPN 结构，仅经常使用 ResNet或驳回 PAFPN也是适宜的。

在为每个特色图调配车道先验信息后，可以经常使用 ROI Align模块取得车道先验的特色。但是，这些特色的高低文信息依然不够。在某些状况下，车道实例或许会被占用或在极端照明条件下会变得含糊。在这种状况下，或许没有部分视觉实时跟踪数据来标明车道的存在性。为了确定一个像素能否属于车道，须要检查左近的特色。最近的一些钻研也标明，假设充沛应用远程依赖相关，性能可以失掉提高。因此，可以搜集更多有用的高低文信息来更好地学习车道特色。

为此，先沿车道启动卷积计算，这样，车道先验中的每个像素都可以搜集左近像素的信息，并且可以依据该信息对占用的部分启动强化。此外，还经过建设了车道先验特色和整个特色图之间的相关。因此，可以应用更多的高低文信息来学习更好的特色示意。

整个ROI搜集模块结构重量轻且易于实施。由于，它以特色图和车道先验作为输入，每个车道先验有 N 个点。与边界框的 ROI Align 不同，关于每个车道先验信息搜集，须要先依照 ROI Align失掉车道先验的 ROI 特色(Xp ∈ R)。从车道先验中平均采样 Np点，并经常使用双线性插值来计算这些位置处输入特色的准确值。关于L1、L2的ROI特色，可以经过衔接前几层的 ROI 特色来增强特色示意。经过对提取的 ROI 特色启动卷积可以搜集每个车道像素的左近特色。为了节俭内存，这里经常使用全衔接来进一步提取车道先验特色（Xp∈ R），其中，特色图的大小调整为X∈ R

为了搜集车道具备先验特色的全局高低文信息，须要首先计算 ROI 车道先验特色 (Xp) 和全局特色图 (Xf) 之间的留意力矩阵 W，其写为：

其中 f 是归一化函数 soft max。聚合后的特色可写为：

输入 G 反映了 Xf对 Xp的叠加值，它是从 Xf 的一切位置当选用的。最后，将输入减少到原始输入 Xp上。

为了进一步演示 ROIGather 在网络中的上班原理，在图3 中可视化了留意力求的ROIGather 剖析。它显示了车道先验的 ROI 特色和整个特色图之间的留意力。橙色线是之前对应的车道，白色区域对应于留意力权重的高分。

图 3. ROIGather 中留意力权重的图示

如上图显示了车道先验（橙色线）的 ROI 特色与整个特色图之间的留意力权重。色彩越亮，权重值越大。值得留意的是，所提出的 ROIGather 可以有效地搜集具备丰盛语义信息的全局高低文，即使在遮挡下也能捕捉前景车道的特色。

如上所述，车道先验由须要与其基本理想回归的团圆点组成。罕用的距离损失（如 smooth-l1）可用于对这些点启动回归。但是，这种损失将点作为独自的变量，这是一个过于便捷化的假定，造成回归不太准确。

与距离损失同样，并集交加（IoU）可以将车道先验作为一个全体单元启动回归，并且它是针对评价目的量身定制的。这里推导出一种便捷有效的算法来计算线 IoU (LIoU) 损失。

如下图所示，线交并比 IoU可以经过依据采样的 xi 位置对裁减段的 IoU 启动积分来计算。

如上图所示的公式中显示，从线段交并比 IoU 的定义开局引入线 IoU 损失，即两条线段之间相互作用与并集的比率。关于如图 4 所示的预测车道中的每个点，首先将其（x）以半径 e 延伸为线段。而后，可以计算延伸线段与其groundtruth之间的IoU，写为：

其中x- e,x+ e 是x的裁减点，x-e，x+ e 是对应的groundtruth点。请留意，d可以为负值，这使得在非堆叠线段的状况下可以启动有效的信息优化。

那么LIoU可以被以为是有限线点的组合。为了简化表白式并易于计算，将其转换为团圆方式，

其中−1 ≤ LIoU ≤1，当两条线完美堆叠时，则LIoU = 1，当两条线相距较远时，LIoU收敛于-1。

经过Line IoU损失来计算车道线关联相关有两个好处：（1）它便捷且可微分，很容易成功并行计算。(2)它将车道作为一个全体启动预测，这有助于提高全体性能。

首先，是启动正向样本选用。

在训练环节中，每个低空实在车道作为正样本被灵活调配一个或多个预测车道。特意是，依据调配老本对预测车道启动排序，其定义为：

这里 Ccls是预测和标签之间的焦点老本。Csim是预测车道和实在车道之间的相似老本。它由三部分组成，Cdis示意一切有效车道点的平均像素距离，Cxy示意终点坐标的距离，Ctheta示意theta角的差值，它们都归一化为[0, 1]。wcls和wsim是每个定义重量的权重系数。每个低空实况车道都依据 Cassign 调配有灵活数量（top-k）的预测车道。

训练损失包括分类损失和回归损失，其中，回归损失仅对指定的样本启动计算。总体损失函数定义为：

Lcls是预测和标签之间的焦点损失，Lxytl是终点坐标、theta 角度和车道长度回归的 smooth-l1 损失，LLIoU 是预测车道和低空实况之间的线 IoU 损失。经过减少辅佐宰割损失的方式，仅在训练时期经常使用，没有推理老本。

最后，是启动有效推理。经过设置一个带有分类分数的阈值来过滤背景车道（低分车道先验），并经常使用 nms 来删除之后的高堆叠车道。假设经常使用一对一调配，即设置 top-k = 1，这里也可以是无 nms 的。

在本文中，咱们提出了用于车道检测的跨层细化网络（CLRNet）。CLRNet 可以应用初级特色来预测车道，同时应用部分详细特色来提高定位精度。为了处置车道存在的视觉证据无余的疑问，提出经过 ROIGather 建设与一切像素的相关来增强车道特色示意。为了将车道作为一个全体启动回归，提出了为车道检测量身定制的 Line IoU 损失，与规范损失（即 smooth-l1 损失）相比，它大大提高了性能。本方法在三个车道检测基准数据集（即 CULane、LLamas 和 Tusimple）上启动评价。所提出的方法在三个车道检测基准上大大优于其余最先进的方法（CULane、Tusimple和 LLAMAS）。