万字读懂智能驾驶3D视觉感知算法

关于智能驾驶运行来说，最终还是须要对3D场景启动感知。情理很便捷，车辆不能靠着一张图像上失掉感知结果来行驶，就算是人类司机也不能对着一张图像来开车。由于物体的距离和场景的和深度消息在2D感知结果上是表现不进去的，而这些消息才是智能驾驶系统对周围环境作出正确判别的关键。

普通来说，智能驾驶车辆的视觉传感器（比如摄像头）装置在车身上方或许车内后视镜上。无论哪个位置，摄像头所失掉的都是实在环球在透视视图（Perspective View）下的投影（环球坐标系到图像坐标系）。这种视图与人类的视觉系统很相似，因此很容易被人类驾驶员了解。但是透视视图有一个致命的疑问，就是物体的尺度随着距离而变动。因此，当感知系统从图像上检测到了前方有一个阻碍物时，它并不知道这个阻碍物距离车辆的距离，也不知道阻碍物的实践三维状态和大小。

图像坐标系（透视视图）vs. 环球坐标系（俯瞰视图）[IPM-BEV]

想要失掉3D空间的消息，一个最间接的方法就是驳回激光雷达（LiDAR）。一方面，LiDAR输入的3D点云可以间接用来失掉阻碍物的距离和大小（3D物体检测），以及场景的深度（3D语义宰割）。另一方面，3D点云也可以与2D图像启动融合，以充沛应用两者所提供的不同消息：点云的长处在于距离和深度感知准确，而图像的长处在于语义消息愈加丰盛。但是，LiDAR也有其缺陷，比如老本较高，车规级产品量产艰巨，受天气影响较大等等。因此，单纯基于摄像头的3D感知依然是一个十分无心义和价值的钻研方向。本文以下的部分会详细引见基于单摄像头和双摄像头的3D感知算法。

单目3D感知

基于单摄像头图像来感知3D环境是一个病态疑问，但是可以应用一些几何解放和先验常识来辅佐成功这个义务，也可以驳回深度神经网络端对端的学习如何从图像特色来预测3D消息。

单摄像头3D物体检测（图片来自M3D-RPN）

前面提到，图像是从实在环球的3D坐标到2D平面坐标的投影，因此从图像来启动3D物体检测的一个很间接的思绪就是将2D图像反变换到3D环球坐标，而后谢环球坐标系下启生物体检测。通常上说这是一个病态疑问，但是可以经过一些额外消息（比如深度预计）或许几何假定（比如像素位于低空）来辅佐处置。BEV-IPM[1]中提出将图像从透视视图转换到俯瞰视图（BEV）。这里有两个假定：一是路面与环球坐标系平行并且高度为零，二是车辆自身的坐标系与环球坐标系平行。前者在路面非平整的状况下并不满足，后者则可以经过车辆姿态参数（Pitch和Roll）来校对，其实就是车辆坐标系和环球坐标系的Calibration。假定图像中一切像素在实在环球的高度都为零，那么就可以驳回Homography变换将图像转换到BEV视图。在BEV视图下驳回基于YOLO网络的方法检测指标的Bottom Box，也就是与路面接触部分的矩形。Bottom Box的高度为零，因此可以准确的投影到BEV视图上作为GroudTruth来训练神经网络，同时神经网络预测的Box也可以准确的预计其距离。这里的假定是指标须要与路面接触，这关于车辆和行人指标来说普通是满足的。

另外一种反变换的方法驳回Orthographic Feature Transform （OFT）[2]。其思绪是驳回CNN提取多尺度的图像特色，而后将这些图像特色变换到BEV视图，最后在BEV特色上启动3D物体检测。首先须要构建BEV视角下的3D网格（文中试验的网格范围为80米x80米x4米，网格大小为0.5m）。每个网格经过透视变换对应图像上的一块区域（便捷起见就定义为矩形区域），将这个区域内的图像特色的均值作为该网格的特色，这样就失掉了3D网格特。为了减小计算量，3D网格特色在高度这一维上启动紧缩（加权平均），失掉2D网格特色。最终的物体检测在2D网格特色上启动。3D网格到2D图像像素的投影并不是逐一对应的，多个网格会对应邻近的图像区域，造成网格特色发生歧义性。所以这里也须要假定待检测的物体都在路面上，高度的范围很窄。所以文中试验驳回了的3D网格高度只要4米，这足以笼罩低空上的车辆和行人。但是假设要检测交通标记的话，这类假定物体都贴近低空的方法就不适用了。

以上这个两个方法都是基于物体位于低空的假定。除此之外，另外一个思绪是驳回深度预计的结果来生成伪点云数据，其中一个典型的上班就是Pseudo-LiDAR[3]。深度预计的结果普通被看作额外的图像通道（相似RGB-D数据），基于图像的物体检测网络被间接用来生成3D物体边框。作者在文章中指出，基于深度预计的3D物体检测之所以准确度比基于LiDAR的方法差很多，关键要素不在于深度预计的精度不够，而是在于数据示意的方法有疑问。首先，在图像数据上，远处的物面子积十分小，这使得远处物体的检测十分不准确。其次，深度上相邻像素的深度差或许是十分大的（比如在物体的边缘处），此时驳回卷积操作来提取特色就会有疑问。思考到这两点，作者提出依据深度图将输入图像转换为相似LiDAR生成的点云数据，而后驳回点云和图像融合的算法（比如AVOD和F-PointNet）来检测3D物体。Pseudo-LiDAR的方法并不依赖于特定的深度预计算法，任何来自单目或双目的深度预计都可以间接经常使用。经过这种不凡的数据示意方法，Pseudo-LiDAR在30米范围内可以将物体检测的准确率从22%提高到74%。

与实在的LiDAR点云相比，Pseudo-LiDAR方法在3D物体检测的准确率上还是有着必定的差距，这关键是由于深度预计的精度不够造成的（双目比单目效果好一些），尤其是物体周边的深度预计误差会对检测带来很大的影响。因此，Pseudo-LiDAR之后也启动了很多扩展。Pseudo-LiDAR++[4]驳回低线束的LiDAR来增强虚构的点云。Pseudo-Lidar End2End[5]驳回实例宰割来替代F-PointNet中的物体框。RefinedMPL[6]只在前景点上生成虚构点云，将点云的数量降落到原来的10%，可以有效地降落误检的数量和算法的计算量。 在智能驾驶运行中，很多须要检测的指标（比如车辆和行人）其大小和状态相对比拟固定，而且是已知的。这些先验常识可以被用来预计指标的3D消息。DeepMANTA[7]是这个方向的开创性上班之一。首先，驳回传统的图像物体检测算法比如Faster RNN来失掉2D的物体框，同时也检测车辆上的关键点。而后，将这些2D物体框和关键点与数据库中的多种3D车辆CAD模型区分启动婚配，选用相似度最高的模型作为3D物体检测的输入。

3D-RCNN[8]提出驳回Inverse-Graphics方法，基于图像来复原场景中各个指标的3D状态和姿态。其基本思绪是从指标的3D模型登程，经过参数搜查找到与图像中的指标最婚配的模型。这些3D模型通常都有很多控制参数，搜查空间很大，因此传统的方法在高维参数空间搜查最优效果并不好。3D-RCNN驳回PCA对参数空间启动降维（10-D），并且应用深度神经网络（R-CNN）来预测每个指标的低维模型参数。预测的模型参数可以用来生成每个指标的二维图像或许深度图，与GroudTruth数据对比失掉的Loss可以用来指点神经网络的学习。这个Loss称之为Render-and-Compare Loss，是基于OpenGL来成功的。3D-RCNN方法须要的输入数据比拟多，Loss的设计也相对复杂，工程成功上难度较大。 MonoGRNet[9]提出将单目3D物体检测分红四个步骤，区分用来预测2D物体框，物体3D中心的深度，物体3D中心的2D投影位置和8个角点的3D位置。首先，图像中预测的2D物体框经过ROIAlign操作，失掉物体的视觉特色。而后，而这些特色被用来预测物体3D中心的深度和3D中心的2D投影位置。有了这两个消息后，就可以失掉物体3D中心点的位置。最后，依据3D中心的位置再来预测8个角点的相对位置。MonoGRNet可以被以为是只驳回物体中心的作为关键点，2D和3D的婚配也就是点距离的计算。MonoGRNetV2[10]将中心点扩展到多个关键点，并驳回3D CAD物体模型来启动深度预计，这与之前引见的DeepMANTA和3D-RCNN就很相似了。

Monoloco[11]关键处置行人的3D检测疑问。行人是非刚性物体，姿态和变形也愈加多样，因此比车辆检测愈加具备应战性。Monoloco也是基于关键点检测，关键点先验的相对3D位置可以被用来启动深度估记。比如，以行人肩部到臀部50厘米的长度为基准来预计行人的距离。以此长度作为基准的要素是，人体的这个部分可以发生的变形最小，用来做深度估记准确度也最高。当然，其余的关键点也可以作为辅佐独特来成功深度估记的义务。Monoloco驳回多层全衔接网络，从关键点的位置来预测一个行人的距离，同时也给出预测的不确定性。

总结一下，以上方法都是从2D图像中提取关键点，并且与3D模型启动婚配，从而失掉指标的3D消息。这类方法假定指标有相对固定的状态模型，关于车辆来说普通是满足的，关于行人来说就相对艰巨一些。此外，这类方法须要在2D图像上标注多个关键点，这也是十分费时的。 Deep3DBox[12]是这个方向早期的并且很有代表性的上班。3D物体框须要9维变量来示意，区分是中心，大小和朝向（3D朝向可以简化为Yaw，因此变为7维变量）。图像2D物体检测可以提供2D物体框，蕴含4个已知变量（2D中心和2D大小），这无余以求解具备7维或许9维自在度的变量。在这三组变量中，大小和朝向与视觉特色的相关相对严密。比如物体的3D大小与其类别（行人，自行车，小轿车，公交车，卡车等）相关性十分大，而物体类别是可以经过视觉特色来预测的。关于中心点3D位置来说，由于透视投影发生的歧义性，单纯经过视觉特色是很难预测的。因此，Deep3DBox提出首先用2D物体框内的图像特色来预计物体大小和朝向。而后，再经过一个2D/3D的几何解放来求解中心点3D位置。这个解放就是3D物体框在图像上的投影是被2D物体框严密的解围的，也就是在2D物体框的每条边上都至少能找到一个3D物体框的角点。经过之前曾经预测的大小和朝向，再配合上相机的Calibration参数，就可以求解中心点的3D位置。

这种应用2D/3D解放的方法须要十分准确的2D物体框检测。在Deep3DBox的框架下，2D物体框上很小的误差都或许会造成3D物体框预测的失败。Shift R-CNN[13]的前两个阶段与Deep3DBox十分相似，都是经过2D物体框和视觉特色来预测3D大小和朝向，而后经过几何解放来求解3D位置。但是，Shift R-CNN参与了第三个阶段，将前两个阶段失掉的2D物体框，3D物体框以及相机参数兼并起来作为输入，驳回全衔接网络预测更为准确的3D位置。

在应用2D/3D几何解放时，上述方法都是经过求解一组超解放方程来失掉物体的3D位置，而这个环节是作为一个后处置步骤，并不在神经网络之内。Shift R-CNN的第一和第三阶段也是分开训练的。MVRA[14]将这个超解放方程的求解环节建成一个网络，并设计了图像坐标下的IoU Loss和BEV坐标下的L2 Loss区分来权衡物体框和距离预计的误差，以辅佐成功端对端的训练。这样一来，物体3D位置预测的品质也会对之前的3D大小和朝向预测发生反应作用。 之前引见的三类方法都是从2D图像登程，有的将图像变换到BEV视图，有的检测2D关键点并与3D模型婚配，还有的驳回2D和3D物体框的几何解放。除此之外，还有一类方法从浓密的3D物体候选登程，经过2D图像上的特色对一切的候选框启动评分，评分高的候选框既是最终的输入。这种战略有些相似物体检测中传统的Sliding Window方法。Mono3D[15]是这类方法中的代表。首先，基于指标先验位置（z坐标位于低空）和大小来生成浓密的3D候选框。在KITTI数据集上，每帧大概生成40K（车辆）或70K（行人和自行车）个候选框。这些3D候选框投影到图像坐标后，经过2D图像上特色启动评分。这些特色来自语义宰割，实例宰割，高低文，状态以及位置先验消息。一切这些特色融合起来对候选框启动评分，而后选出分数较高的作为最终的候选。这些候选再经过CNN再启动下一轮的评分，以失掉最终的3D物体框。

M3D-RPN[16]是一种基于Anchor的方法。该方法定义了2D和3D的Anchor，区分示意2D和3D物体框。2D Anchor经过图像上浓密采样失掉，而3D Anchor的参数是基于经过训练集数据失掉的先验常识确定的。详细来说，每个2D Anchor与图像中标注的2D物体框依照IoU启动婚配，对应的3D物体框的均值用来定义3D Anchor的参数。值得一提的是，M3D-RPN中同时驳回了规范卷积操作（具备空间不变性）和Depth-Aware卷积。后者将图像的行（Y坐标）分红多个组，每个组对应不同的场景深度，驳回不同的卷积核来处置。

虽然应用了一些先验常识，Mono3D和M3D-RPN生成物体候选或许Anchor时还是基于浓密采样的方式，因此须要的计算量十分大，适用性遭到很大影响。后续一些方法提出驳回二维图像上检测结果来进一步缩小搜查的空间。TLNet[17]在二维平面密集的搁置Anchor。Anchor距离为0.25米，朝向为0度和90度，大小为指标的平均值。图像上的二维检测结果在三维空间内构成多个视锥，经过这这些视锥可以过滤掉少量背景上的Anchor，从而提高算法的效率。过滤后的Anchor投影到图像上，启动ROI Pooling后失掉的特色用来进一步细化3D物体框的参数。

SS3D[18]则驳回更为高效的单阶段检测，用相似于CenterNet结构的网络间接从图像输入多种2D和3D消息，比如物体类别，2D物体框，3D物体框。须要留意的是，这里的3D物体框并不是普通的9D或7D示意（这种示意很难间接从图像预测），而是驳回更容易从图像预测也蕴含更多冗余的2D示意，包括距离（1-d），朝向（2-d，sin和cos），大小（3-d），8个角点的图像坐标（16-d）。再加上2D物体框的4-d示意，一共是26D的特色。一切这些特色都被用来启动3D物体框的预测，预测的环节其实就是找到一个与26D特色最为婚配3D物体框。比拟不凡的一点是，这个求解的环节是在神经网络外部启动，所以必定是可导的，这也是该文章一个关键亮点。受益于便捷的结构和成功，SS3D的运转速度可以到达20FPS。

FCOS3D[19]也是一个单阶段的检测方法，但是比SS3D愈加繁复。3D物体框的中心投影到2D图像，失掉2.5D中心（X，Y，Depth），以此作为回归的指标之一。此外，回归的指标还有3D大小和朝向。这里的朝向驳回角度（0-pi）+heading联结的方式来示意。

也提出了相似的思绪，经过相似CenterNet的结构从图像间接预测2D和3D消息。2D消息包括物体关键点（中心点和角点）在图像上的投影位置，3D消息包括中心点深度，尺寸和朝向。经过中心点的图像位置和深度，可以复原物体的3D位置。再经过3D尺寸和朝向可以复原各个角点的3D位置。以上引见的这几种单阶段网络的思绪就是间接从图像回归3D消息，不须要复杂的前处置（比如图像反变换）和后处置（比如3D模型婚配），也不须要准确的几何解放（比如2D物体框的每条边上都至少能找到一个3D物体框的角点）。这些方法只用到了大批的先验常识，比如各类物体实践大小的均值，以及由此失掉的2D物体尺寸与深度的对应相关。这些先验常识定义了物体3D参数的初始值，而神经网络只要要回归与实践值的偏向即可，这就大大降落的搜查空间，也因此降落了网络学习的难度。

上一小节里引见了单目3D物体检测的代表性方法，其思绪从早期的图像变换，3D模型婚配和2D/3D几何解放，到近期的间接经过图像预测3D消息。这种思绪上的变动很大程渡过起源于卷积神经网在深度预计上的停顿。之前引见的单阶段3D物体检测网络中大多都蕴含了深度预计的分支。这里的深度预计虽然只是在稀疏的指标级别，而不是浓密的像素级别，但是关于物体检测来说曾经足够了。除了物体检测，智能驾驶感知还有另外一个关键义务，那就是语义宰割。语义宰割从2D扩展到3D，一种最间接的方式就是驳回浓密的深度图，这样每个像素点的语义和深度消息就都有了。综合以上两点，单目深度预计在3D感知义务中起到了十分关键的作用。从上一节3D物体检测方法的引见可以类推，全卷积的神经网络也可以用来启动浓密的深度预计。上方咱们来引见一下这个方向的开展现状。单目深度预计的输入是一张图像，输入也是一张图像（普通与输入相反大小），其上的每个像素值对应输入图像的场景深度。这个义务有些相似图像语义宰割，只不过语义宰割输入的是每个像素的语义分类。当然，输入也可以是视频序列，应用相机或许物体静止带来的额外消息来提深邃度预计的准确度（对应视频语义宰割）。前面提到过，从2D图像预测3D消息是一个病态疑问，因此传统的方法会应用几何消息，静止消息等线索，经过手工设计的特色来预测像素深度。与语义宰割相似，超像素（SuperPixel）和条件随机场（CRF）这两个方法也经常被用来提高预计的精度。近年来，深度神经网络在各种图像感知义务上都取得了打破性的停顿，深度预计当然也不例外。少量的上班都标明，深度神经网络可以经过训练数据学习到比手工设计愈加优越的特色。这一小节关键引见这种基于监视学习的方法。其它一些非监视学习的思绪，比如应用双目的视差消息，单目双像素（Dual Pixel）的差异消息，视频的静止消息等等，留待前面再来引见。这个方向早期的一个代表性上班是由Eigen等人提出的基于全局和部分线索融合的方法[21]。单目深度预计歧义性关键来自于全局的尺度。比如，文中提到一个实在的房间和一个玩具房间或许从图像上看来差异很小，但是实践的景深却差异很大。虽然这是一个极其的例子，但是实在的数据集中依然存在房间和家具尺寸的变动。因此，该方法提出将图像启动多层卷积和下采样，失掉整个场景的形容特色，并以此来预测全局的深度。而后，经过另外一个部分分支（相对较高的分辨率）来预测图像部分的深度。这里全局深度会作为部分分支的一个输入来辅佐部分深度的预测。

文献[22]进一步提出驳回卷积神经网络输入的多尺度特色图来预测不同分辨率的的深度图（[21]中只要两种分辨率）。这些不同分辨率的特色图经过延续MRF启动融合后失掉与输入图像对应的深度图。

以上两篇文章都是驳回卷积神经网络来回归深度图，另外一个思绪是把回归疑问转换为分类疑问，也就是将延续的深度值划分为团圆的区间，每个区间作为一个类别。这个方向的代表性上班是DORN[23]。DORN框架中的神经网络也是一个编码解码的结构，不过细节上有些差异，比如驳回全衔接层解码，收缩卷积启动特色提取等。

前面提到，深度预计与语义宰割义务有着相似之处，因此感触野的大小对深度预计来说也是十分关键的。除了以上提到的金字塔结和收缩卷积，最近十分盛行的Transformer结构具备全局的感触野，因此也十分适宜此类义务。文献[24]中就提出驳回Transformer和多尺度结构来同时保障预测的部分准确性和全局分歧性。

虽然可以应用先验常识和图像中的高低文消息，基于单目的3D感知的准确度并不能齐全令人满意。尤其是当驳回深度学习的战略时，算法的准确度十分依赖于数据集的大小和品质。关于数据集中没有发生过的场景，算法在深度估记和物体检测上都会有较大的偏向。双目视觉可以处置透视变换带来的歧义性，因此从通常过去说可以提高3D感知的准确度。但是双目系在配件和软件上要求都比拟高。配件过去说须要两个准确配准的摄像头，而且须要保障在车辆运转环节中一直坚持配准的正确性。软件过去说算法须要同时处置来自两个摄像头的数据，计算复杂度较高，保障算法的实时性就愈加艰巨。总的来说，与单目视觉感知相比，双目视觉感知的上班相对较少，上方会筛选几篇典型的文章启动引见。此外，还有一些基于多目的上班，但是倾向于系统运行的层面，比如说特斯拉在AI Day上展现的360°感知系统。

3DOP[25]首先应用来自双摄像头的图像生成深度图，将深度图转化为点云后再将其量化为网格数据结构，并以此为输入来生成3D物体候选。生成候选时用到了一些直觉和先验的的常识，比如候选框中点云的密度足够大，高度与实践物体分歧并且与框外的点云高度相差足够大，候选框与Free Space的堆叠足够小。经过这些条件最终在3D空间中采样出大概2K个3D物体候选。这些候选映射到2D图像上，经过ROI Pooling启动特色提取，用来预测物体的类别和细化物体框。这里的图像输入可以是来自一个摄像头的RGB图像，或许深度图。总的来说，这是一个两阶段的检测方法。第一阶段驳回深度消息（点云）生成物体候选，第二阶段驳回图像消息（或许深度）再启动细化。通常上说，第一阶段的点云生成也可以用LiDAR替代，作者也因此启动了试验对比。LiDAR的长处在于测距准确，因此关于小物体，部分遮挡的物体和远处的物体来说效果较好。双目视据的长处在于点云密度高，因此在近距离遮挡较少，物体也相对较大的状况下效果更好。当然在不思考老本和计算复杂度的前提下，将二者融合会失掉最好的效果。

3DOP与上一节中引见的Pseudo-LiDAR[3]有着相似的思绪，都是将浓密的深度图（来自单目，双目甚至低线数LiDAR）转换为点云，而后再运行点云物体检测畛域的算法。从图像预计深度图，再由深度图生成点云，最后再运行点云物体检测算法，这个流程的各个步骤是分开启动的，不可启动端对端的训练。DSGN[26]提出了一个单阶段的算法，从左右图像登程，经过Plane-Sweep Volume这种两边示意来生成BEV视图下的3D示意，并且同时启动深度预计和物体检测。这个流程的一切步骤都是可以求导的，因此可以启动端对端的训练。

深度图是一种浓密的示意，其实关于物体学习来说并不须要在场景的一切位置上取得深度消息，而只要要在感兴味的物体位置启动预计就可以了。之前在引见单目算法也提到了相似的想法。Stereo R-CNN[27]中并没有预计深度图，而是在RPN的框架下未来自两个摄像头的特色图叠放在一同来生成物体候选。这里将左右摄像头的消息关联在一同的关键在于标注数据的变动。如下图所示，除了左右两个标注框，还参与了左右两个标注框的Union。与左右恣意一个框IoU超越0.7的Anchor作为Positive样本，与Union框IoU小于0.3的Anchor作为Negative样本。Positive的Anchor会同时回归左右标注框的位置和大小。除了物体框，该方法还驳回了角点作为辅佐。有了一切这些消息后就可以复原3D物体框。

对整个场景启动浓密的深度预计，甚至会对物体检测带来不好的影响。比如物体边缘由于与背景堆叠造成深度预计偏向较大，整个场景深度范围很大也会影响算法的速度。因此，与Stereo RCNN相似，文献[28]中也提出只在感兴味的物体处预计深度，并且只生成物体上的点云。这些以物体为中心的点云最后被用来预测物体的3D消息。

与单目感知算法相似，深度预计在双目感知中也是关键的步骤。从上一小节对双目物体检测的引见来看，很多算法都驳回了深度预计，包括场景级的深度预计和物体级的深度预计。上方就便捷回忆一下双目深度预计的基本原理和几个代表性的上班。双目深度预计的原理其实也很便捷，就是依据左右两张图像上同一个3D点之间的距离d（假定两个相机坚持同一高度，因此只思考水平方向的距离），相机的焦距f，以及两个相机之间的距离B（基线长度），来预计3D点的深度。 在双目系统中，f和B是固定的，因此只要要预计距离d，也就是视差。关于每个像素点来说，须要做的就是找到另一张图像中婚配的点。距离d的范围是有限的，因此婚配的搜查范围也是有限的。关于每一个或许的d，都可以计算每个像素点处的婚配误差，因此就失掉了一个三维的误差数据，称之为Cost Volume。在计算婚配误差时，普通都会思考像素点左近的部分区域，一个最便捷的方法就是对部分区域内一切对应像素值的差启动求和：

MC-CNN[29]把婚配环节方式化为计算两个图像块的相似度，并且经过神经网络来学习图像块的特色。经过标注数据，可以构建一个训练集。在每个像素点处，都生成一个正样本和负样本，每个样本都是一对图像块。其中正样本是来自同一个3D点的两个图像块（深度相反），负样本则是来自不同3D点的图像块（深度不同）。负样本的选用有很多，为了坚持正负样本的平衡，只随机采样一个。有了正负样本，就可以训练神经网络来预测相似度。这里的外围理想其实就是经过监视信号来指点神经网络学习适用于婚配义务的图像特色。

关键有两点无余：1）Cost Volumn的计算依赖于部分图像块，这在一些纹理较少或许形式重复发生的区域会带来较大的误差；2）后处置的步骤依赖于手工设计，须要破费少量期间，也很难保障最优。GC-Net[30]针对这两点启动了改良。首先，在左右图像上启动多层卷积和下采样操作，以更好的提取语义特色。关于每一个视差级别（以像素为单位），将左右特色图启动对齐（像素偏移）后再启动拼接，就失掉了该视差级别的特色图。一切视差级别的特色图兼并在一同，就失掉了4D的Cost Volumn（高度，宽度，视差，特色）。Cost Volumn只蕴含了来自单个图像的消息，图像之间并没有交互。因此，下一个步骤是驳回3D卷积处置Cost Volumn，这样可以同时提取左右图像之间的相关消息以及不同视差级别之间的消息。这一步的输入是3D的Cost Volumn（高度，宽度，视差）。最后，咱们须要在视差这个维度上求Argmin，以失掉最优的视差值，但是规范的Argmin是不可求导的。GC-Net中驳回Soft Argmin，处置的求导的疑问，从而使整个网络可以启动端对端的训练。

PSMNet[31]与GC-Net的结构十分相似，但是在两个方面启动了改良：1）驳回金字塔结构和空泛卷积来提取多分辨率的消息并且扩展感触野。得益于全局和部分特色的融合，Cost Volumn的预计也愈加准确。2）驳回多个叠加的Hour-Glass结构来增强3D卷积。全局消息的应用被更进一步强化了。总的来说，PSMNet在全局消息的应用上做了改良，从而使视差的预计更多依赖于不同尺度的高低文消息而不是像素级别的部分消息。

Cost Volumn中的，视差级别是团圆的（以像素为单位），神经网络所学习的是在这些团圆点上的Cost散布，而散布的极值点就对应了位置的视差值。但是视差（深度）值其实应该是延续的，用团圆的点来预计会带来误差。CDN[32]中提出了延续预计的概念，除了团圆点的散布以外，还估记了每个点处的偏移。团圆点和偏移量一同，就构成了延续的视差预计。