智能驾驶大言语模型！LLM4AD 从概念 仿真到实车的片面清点

大型言语模型（LLMs）的开展无疑是这几年人工智能畛域的热潮，它们的运行范围曾经逐渐从经典的人造言语处置（NLP）义务，到了一些新兴场景，如基于LLM的智能体钻研。而这篇文章，作者的钻研重点之一，就是驳回LLMs启动智能驾驶（LLM4AD），各种基于LLM的算法和技术始终增强智能驾驶技术的才干。

论文链接：

LLMs可以从 上档次的决策制订环节 到 粗疏的低档次控制 都能为智能驾驶系统做出奉献。在 上档次 上，LLMs可以踊跃介入调整驾驶形式或决策环节。可以构想一下，当你坐在一辆智能驾驶汽车中，你只有要形象地表白你的感触，比如“我不想让我的好友们等我。”而后LLM4AD系统解释你的情感，并相应地调整车辆的控制战略，与你的驾驶心境或偏好坚持分歧。相比之下，基于非LLM的系统缺乏从一些含糊的表白中准确了解或解释人类用意的才干。当然，这样的系统还有个长处就是可以继续学习，使其能够始终顺应团体喜好和欲望，依据不同的用户改善驾驶体验。另一方面，在 低档次 上，LLMs在调整和控制环节中也可以施展关键作用。LLMs可以将特定场景剖析并把搜集到的信息转换成指点低档次控制器的数学示意。另外，LLMs还可以从控制器接纳输入数据，并提供性能更新，协助人类剖析控制环路的有效性，还可以潜在地倡导改良或检测疑问以增强全体性能。

说了这么多，总结一下LLMs运行在智能驾驶畛域的优劣势吧：

这篇论文关键引见了作者将 LLM 集成到智能驾驶系统中的思绪方法，从提出的概念和放开数据集的创立到在仿真和实车试验中的成功，都有相关的说明。

作者提出LLMs表演智能驾驶系统中决策“大脑”的角色。在作者的框架内，LLMs并不间接影响感知或定位模块，这些模块充任车辆的“眼睛”；同样，它们经常使用这些模块的输入作为参考来指点上档次的决策环节。经过接纳来自这些模块的处置数据，LLMs可以增强知情决策，来提高智能驾驶车辆的性能。在下游，车辆的控制模块充任其“手”，行动从基于LLM的决策环节中取得的驾驶战略。

全体LLM4AD框架如图1所示。人类提供指令和评价，其中指令I和评价F以及历史记忆H、系统信息S和高低文信息C作为输入提供应LLMs。记忆模块存储对应于不同用户的人车交互的相应历史记载H。在接纳到这些输入后，LLMs启动推理并发生输入，包括生成的言语模型程序（Language Model Programs, LMPs）P和推理思想R。生成的LMP被发送到行动器在环境中行动，而推理思想协助LLMs生成更正当的驾驶战略。不过要留意的是，这是一个通用概念，详细成功或者因不同运行而异。

人类的指令I和评价F间接以人造言语方式输入到LLMs中。I包括人类对智能驾驶智能体的希冀需求，而人类的评价F是对这些驾驶战略有效性的反应。

系统信息S是在对话或义务开局时向LLM4AD系统提供指令或高低文的一种方式。智能驾驶义务中的系统信息S就像一套上档次的指点方针或规则。这些上档次的系统信息包括义务定义、遵守交通规则、形容决策形态和总体目的或优化目的。它们作为指点智能驾驶车辆在路上传为和决策环节的基础框架。假设没有精心设计的系统信息，LLMs或者会做出失误的假定或有意的战略。

情境形容符将的驾驶高低文C转换成文本形容。它的目的是为LLMs提供情境感知和对驾驶场景的片面示意，使它们能够在交通状况下做出适当的决策。这或者包括诸如“您位于双车道高速公路的最左车道”或“一辆车位于您位置前方50米处”的形容性语句。形容符将不同路途经常使用者和自车之间复杂的空间和期间相关直观地转换成人造言语格局，准许高低文信息被LLMs推理。

记忆模块存储不同用户的性能文件，以增强一切用户的驾驶体验。每当人类用户经常使用LLM4AD系统时，系统会记载与该用户相关的相关历史交互H。随后，以先人类用户的历史数据被传输到LLMs作为输入。这个特定的历史交互H作为用户偏好的参考点，因此指点系统改善用户体验。每次行程完结后，交互数据将在记忆模块中的相应性能文件中更新。

LLMs作为作者框架中的外围模块，将接纳上述一切输入，并生成文本输入（言语模型程序LMPs P和推理思想R）。值得一提的是，作者驳回了思想链揭示技术，它作为一个指点信号，确保与类人推理和实践驾驶思索的分歧性。思想链向LLMs提供了一系列推理示例，填补了现有的常识空白。经过提供一系列逻辑和衔接的步骤，LLMs可以更有效地在复杂的驾驶场景中体现良好。

LLMs的一个关键输入是生成的LMPs P，由可行动代码组成。这些代码用于影响环境中自车智能体的驾驶行为，它们不只能够推行到新的人造言语命令，而且还可以基于含糊的言语形容（例如，“快点”、“向左转”）提供准确的数值，如依据驾驶高低文的速度。

经过驳回思想链揭示，LLMs不只生成程序代码，还提供了用于到达处置打算的思索环节的逐渐解释。这些思想链代表了LLMs在做出每个决策面前的推理，例如“由于命令是‘快点’，我将参与目的速度”或“要向左转，我须要依据速度调整转向角度。”输入的思想R随同着生成的程序P，提供了LLMs如何在驾驶情境形容的高低文中解释人造言语命令以发生准确的控制值，如速度或转向角度。这种输入思想提高了LLM4AD系统决策环节的透明度和可解释性。

行动器充任LLMs文本输入与智能驾驶战略之间的桥梁。它从LLMs中取出世成的LMPs P并在相应环境中行动。这准许代码与自车的形态启动交互，并使生成的程序能够在实在或仿真环境中部署其预期的驾驶行为。在作者的范围内，不同的智能驾驶系统将在它们各自的行动器中有所不同地行动这些代码。

作者提出的LLM4AD的基准数据集

作者提出了第一个评价基于LLM的智能体在智能驾驶中指令追随才干的规范基准测试——LaMPilot-Bench。LaMPilot-Bench由三个关键局部组成：仿真器、数据集和评价器。

作者裁减了HighwayEnv，参与了适宜基于LLM的智能体的接口，并成功了自定义交叉路口，以多样化驾驶场景。

LaMPilot数据集由4900个半人工标注的交通场景组成，其中500个样本作为测试集。每个数据样本包括：

数据集涵盖了多样化的驾驶场景，关于每个驾驶场景，LaMPilot包括多种状况。以转弯场景为例，多样性反映在如自车的初始位置和形态、特定义务（左转/右转或直行）、其余车辆的数量以及它们的位置和形态等多个变量中。其余车辆的驾驶模型参数是随机初始化的，每个场景都被调配一个随机种子。数据集还包括反映理想车内人类命令的各种指令，按操作类型（例如，路途布局、变道、超车）和场景类型（高速公路和交叉口）分类。

LaMPilot-Bench评价器蕴含了评价智能体驾驶战略安保性和效率的目的。 碰撞期间 （Time-to-collision, TTC）用于权衡车辆坚持安保距离和防止碰撞的才干。 速度方差 （Speed variance，SV）被以为是另一个安保目的。 期间效率 （ time efficiency，TE）得分评价战略在预约义的期间限度Tlimit内成功义务的才干。其详细计算方法详见论文。

当智能体在坚持安保（即，防止碰撞）和效率（即，在规则期间内成功）的同时成功了指令中指定的目的时，以为义务成功成功。例如，当车辆在目的车道内并且其方向与车道方向分歧时，且在指定阈值内，变道义务即算成功。最终得分依据其关键性加权汇总一切独自目的。

作者设置了启示式基线、零样本和少样本基线、人类反应基线三种baselines，来对模型启动剖析。

作者在LaMPilot-Bench上展现了各种方法的试验结果，总结了启示式基线、零样本和三样本基线以及人类反应基线的性能。

试验标明，现成的LLM能够依据人类指令为驾驶义务生成代码战略。但是，清楚的碰撞率标明须要进一步的钻研来齐全捕捉理想环球驾驶场景的复杂性和安保要求。

仿真是开发和评价智能驾驶系统的关键工具，使钻研人员能够安保高效地探求多样化的驾驶场景并搜集训练数据。在这项上班中，作者应用CARLA仿真器来开发和评价作者提出的将LLMs集成到智能驾驶中的框架。其中经常使用三个关键目的评价智能体性能：

本节的关键钻研目的是开发一团体类疏导的学习流程，使智能驾驶智能体能够始终地从人造言语中的人类反应中学习和改良。只管作者的试验是经常使用CARLA启动的，并经常使用Python启动代码生成，但外围方法并不局限于这个特定设置，可以顺应其余环境和编程言语。表IV提供了LMP生成环节的示例。作者引入了一种基于检索增强生成（RAG）的人类在回路学习方法。这种方法使LLM在生成输入查问的照应时经常使用定制的常识数据库。关键环节如下：在行动生成的战略代码（P）之后，人类乘客提供人造言语反应（F），这些反应连同P一同被反应到LLM中。这个反应循环使继续学习成为或者。假设反应是踊跃的（即，人类对行动感到满意），代码（P）将提交到数据库以供未来检索和重用。否则，反应将作为迭代改良的指点。新的生成环节可以被表述为：

其中P'是基于原始代码P和人类反应F改良的代码。数据库有两个目的：（1）作为一个智能驾驶常识库，它为继续学习提供了对角落案例的洞察，合乎常识驱动的智能驾驶范式；（2）由于数据库是经常使用共性化反应构建的，它智能将团体偏好归入交互环节中。这种方法将框架从静态的开环系统转变为灵活的、继续学习的系统。

作者经常使用OpenAI的GPT模型API（gpt-4-turbo-preview和gpt-3.5-turbo）作为布局器中的LLM。表5展现了一些对比结果，基于这些结果，作者观察到：

为了进一步评价LLM4AD系统的有效性并验证其无理想环球场景中的实用性，作者将LLMs集成到实践的智能驾驶系统中，引入了一个名为Talk2Drive的框架。演示视频可见（）。

作者提出了Talk2Drive（见图3），这是一种翻新的方法，应用LLMs来增强命令解释才干，并在智能驾驶车辆中启用共性化决策制订。它集成了基于云的LLMs，以成功共性化了解和将人类命令转化为实时车辆灵活输入的可行动控制序列。这一节首先从疑问陈说开局，而后论述每个云侧和车辆侧操作的共同角色。

Talk2Drive系统关键有以下几个步骤，其流程图见图4。

试验包括三种不同的场景：高速公路、交叉口和停车场。关于输入指令，有三种Level，表6给出一些例子：

作者对智能驾驶系统的评价目的，包括 驾驶性能 、 期间效率 和 共性化的接收率 三个方面，详细计算方法可见论文。

表7展现了路测的驾驶性能目的，除了高速场景的overtake目的，均有优化。

表8展现了不同场景下接收率的性能目的，也均有优化。

作者片面讨论了LLM4AD，即大型言语模型（LLMs）在智能驾驶中的运行。作者的钻研突出了LLMs在增强智能驾驶车辆技术的各个方面，从感知和场景了解到言语交互和决策制订的关键后劲。经过应用LLMs的人造言语了解和推理才干，作者展现了它们增强智能驾驶车辆的安保性、效率和用户体验的才干。此外，作者引见了一个专门设计的片面基准测试，用于评价LLMs在智能驾驶畛域的指令追随才干。作者在模拟和实在车辆平台上启动的试验标明了作者提出的基于LLM的方法的有效性。这些发现强调了LLMs对智能驾驶技术未来的影响，使其更安保、更智能、更易于一切人经常使用。