面向无信号交叉口的智能驾驶处置打算！涵盖强化学习的超全综述！

写在前面&笔者的团体了解

目前，智能驾驶系统的开展愈发的成熟，但在无信号交叉路口的智能驾驶技术依然被以为是机器学习的一个具备应战性的运行，由于处置具备高度不确定性的复杂多智能体场景关于模型而言还是十分复杂的。因此，如何在这些无信号的交叉路口等安保关键环境中成功决策环节的智能化触及场景了解以及学习持重的驾驶行为相关的多个形象档次，以使智能驾驶车辆能够启动高效的导航。

关于智能驾驶系统的决策义务而言，驳回了层级的结构启动表示。各个层级区分包含布局下一步要去哪里、依据车载传感器的观察结果在短期和常年期间范围内做出决策、在同一环境中与其余智能体交互的影响下做出决策、确保车辆控制安保牢靠、从驾驶历史消息和人造的人类驾驶格调中学习、与其余车辆协调共同口头某些义务。但是，在市区交叉路口的背景下，要使智能驾驶汽车能够在如此复杂的环境中安保高效地行驶，须要高度的自主性。但是关于目前的智能驾驶汽车，即使是齐全智能驾驶的汽车，也无法一直齐全安保行驶，也无法保障由于关键的决策失误而成功无碰撞的操作。

在无信号交叉口做出决策是一个十分辣手的环节。复杂的驾驶行为和交通控制信号的隐没使得对其余交叉口用户的静止推断极具应战性，如下图所示。

不同类型的无信号灯的交叉路口

基于此，目前在学术界和工业界曾经启动了少量钻研来讨论提高无信号交叉口驾驶安保性的算法。依据咱们的深化考查，咱们发现所提出的决策算法可以分为三大类：协作方法，包含博弈论、基于启示式的方法和混合方法。但是，上述这些方法由于须要调整的规定数量泛滥，因此设计此类规定以顺应各种或者的交叉状况是一个繁琐的环节。基于机器学习的方法，尤其是强化学习方法，并重于从车辆与交叉路口环境之间的交互中学习驾驶战略。目前，有不少的文献中曾经宽泛钻研了运行现代基于强化学习的方法来学习无信号交叉口的最佳驾驶战略。

但是与现有的关于智能驾驶汽车强化学习的综述论文相比，咱们的论文方法综述愈加地关注基于强化学习的决策技术，特意是针对无信号交叉口这一畛域，该畛域尚未在文献中获取片面涵盖。基于此，本文将聚焦于在与无信号交叉口智能驾驶汽车行为静止布局相关的各个方面。

论文链接：

不确定性下的智能驾驶

无信号交叉口其余交叉口车辆静止预测的不确定性是由以下要素惹起的

在交叉路口穿梭场景中，自主车辆须要处置与凑近车辆相关的几种不确定性

准确推断和预测无信号交叉口处驾驶员的用意关于处置意外要素和确保如此多样化的多智能体环境中的路途安保至关关键。为了开发DII运行的算法，人们启动了多项钻研。这些算法将用意推理疑问作为分类疑问来处置，其中用意依据驾驶行为启动分类，这些DII方法可以分为两类：基于索引的方法和基于学习的方法。在基于索引的方法中，安保目的用于审核交叉路口的驾驶行为，以制订风险评价打算。另外一类基于经典机器学习分类技术也已被用于用意推理运行当中。

近年来，受建模序列义务方面的有效性的启示，钻研人员驳回了深度结构化的循环神经网络来确定无信号交叉口处驾驶员的用意。下表总结了所考查的基于深度学习的用意推理打算，强调了它们的钻研目的和关键个性。

由于深层结构神经网络在处置大型部分可观察形态-举措空间方面的长处，关键钻研方向是开发基于学习的打算，以处置与自主穿梭无信号交叉口相关的疑问。因此，咱们关键调研并引见开发基于学习的不确定性决策算法所触及的关键设计应战，以及对相关最新处置打算的回忆。

（1）部分可观测性

在实在的多智能体智能驾驶环境中，智能体对其所交互的环境的消息不完整。因此，在这样的环境中设计一个弱小的决策框架被以为是一个辣手的疑问。在实践环节中，这类疑问通常被建模为POMDP，学习一种驾驶战略以提供安保的操作，同时思考到推断用意和静止布局环节中固有的随机性。下图展现了应用设计的LSTM网络架构来处置POMDP并表示四向停车无信号交叉口的决策疑问。

经过上图可以看出，每个期间戳的举措输入是依据每个独自期间戳中网络的第一个LSTM和全衔接层的观察输入取得的。随后，经过将前一步处的举措与步骤的观察作为第二个LSTM和全衔接层的输入来生成Q值。

（2）延续举措空间中的训练

在事实的智能驾驶中，须要自主代理的继续举措才干安保、高效地成功导航义务。为了确保所用模型和才干的收敛性，咱们必定以鲁棒的形式来处置这些延续的空间。某些钻研者驳回了深度确定性战略梯度DDPG，用于在四向无信号交叉口环境中生成延续举措，而不是团圆的举措。

下图展现了应用深度强化学习与基于安保的延续控制相联合的方法，用于学习智能驾驶和防撞运行的最佳战略。由于这类集成战略很好的证明了在学习高速公路无碰撞驾驶战略方面的适用性，因此将这种初级深度强化学习打算与控制律相联合关于处置无信号交叉口框架内的延续控制疑问至关关键。

既成功了基于Value的方法，又成功了基于Policy方法的示用意

（3）在高维形态-举措空间中启动训练

深度强化学习的外围是口头迭代提升环节来学习特定义务的战略。但是，随着形态-举措空间变大，迭代次数会呈指数增长。相关论文中提出一种CPPO网络框架，用于增强无信号交叉口智能驾驶汽车的规范PPO算法，具体的网络结构如下图所示。

此外，还有一些上班是基于图网络启动成功的，但是某些论文中提出，基于图的方法的局限性，这些方法无法涵盖整个路途网络，并且适度依赖手工制造的特色来启动车辆间交互建模，如下图所示。

经过上图可以看出，为了处置这些缺陷，作者提出了一个框架，该框架可以在异构有向图中捕捉路途网络和交通介入者的复杂性。这种表示可以处置不同的元素，例如，各种类型的车辆、行人、骑自行车的人、交通标记等及其共同的属性，从而捕捉路途网络及其用户的复杂性，而传统图表或者无法捕捉到所有范围并依赖于静态的手工制造的特色。而后，该图被奇妙地转换为具备可学习边缘的更便捷的车辆图，表示衔接车辆的路途。这使得强化学习算法能够在简化但有效的环境表示上运转，重点关注车辆在路途上传驶时的灵活交互。相关的试验验证标明，具备可学习边缘特色的所提打算的性能获取了显着改善。这种增强标明车辆相关的表示更有效。

依据相关论文的深化考查，可以得出论断，最先进的决策打算并重于初级决策层，即行为门路布局的初级推理，而疏忽了先前提出的其余低级层，包含低级静止布局和控制。此外，没有钻研在实在驾驶环境中的实施和测试。实践上，由于畛域不婚配，基于模拟的环境中强化模型的收敛并不必定能确保在事实场景中的可推行性。事实环球的观察在相关噪声序列和车辆动力学照应方面有所不同。因此，咱们倡导基于这些见地来启动相关钻研的途径，以期推进钻研畛域的开展。

静止布局与低级控制集成

许多钻研论文应用MPC原理讨论了市区无信号交叉口的静止布局疑问和控制。从实践角度来看，在市区智能驾驶中成功准确决策须要将思考车辆动力学的静止布局和低级控制层与基于强化学习的行为布局器相联合。这种集成关于确保基于强化学习的行为布局器操作可行至关关键。因此，在学习交叉路口穿梭战略时联合静止布局层将确保可行的操作和高保真度，同时思考到横向和纵向动力学。

此外，咱们也将基于SAC的行为门路布局层与基于MPC的静止布局层的集成论文汇总在了下表中，该类方法可以成功更快的收敛速度和更高的成功率。

正如咱们强调的分层决策的关键性，它集成了决策层，用于在复杂的多智能体环境中学习遍历战略，这些准则可以运行于应答更复杂的无信号交叉口环境所带来的应战，这些交叉口环境的特点是遮挡和环境阻碍阻碍了准确感知的成功。此外，在具备各种外形和几何外形的交叉口环境中，还有后劲提高模型的准确性和导航才干。

如下表所示，大少数回忆过的打算都已在基于模拟的环境中启动了测试。这或者是有效的，由于强化学习技术须要搜集少量基于事实环球的训练数据，这会消耗少量的精神和期间。

实践上，从建模传感器流式传输的模拟观测数据与实在数据具备不同的数据散布，这或者造成无法在未见过的实在数据上启动泛化。模拟数据散布与实在数据散布之间的差异，例如分解图像生成或车辆动力学中的不准确性，被称为事实差距。妇孺皆知，在没有明白思考事实差距的状况下，在模拟中训练的代理很难迁徙到实在环境。为了纠正这个疑问，引入了模拟到实在的迁徙学习技术，以进一步促成在实在环境中训练强化学习方法。本文重点引见了一些已在事实场景中获取验证的技术，以及以为无通常上或在机器人技术的其余畛域很有前景但须要在事实场景中实在大小的车辆启动试验验证的其余技术。在那些具备验证结果的技术中，咱们引入了域随机化和域自顺应。只管没有在模拟之外启动测试，但反抗性强化学习技术体现出对环境扰动的改良的鲁棒性。

遭到GAN的启示，人们甚至可以反抗性地扰乱环境，以误导和破坏代理的稳固性。这种行为如下图所示，在智能驾驶中尤为显著，由于智能驾驶介入者的出错率估量远低于人类失误率。此外，智能驾驶驾驶员必定以人类从上层决策角度认可的形式行事。因此，风险规避算法是必要的，以防止或者被视为不用要的风险和风险。

如上图的子图(b)所示，基线算法将偏差于风险更高的驾驶习气。随着打算的引入，训练有素的代理的体现更合乎人类的行为和决策，如子图(d)和(e)所示。

本论文全体回忆了与无信号交叉口决策相关的应战的各个方面，重点关注基于学习的相关算法模型。从处置的驾驶场景、所触及的应战、提出的基于学习的设计以及在模拟和事实环境中的验证等方面讨论了这些上班。