分享大型言语模型在智能驾驶方面的运行案例 ChatGPT可以开车吗

人工智能技术当初正在极速开展和运行，人工智能模型也是如此。领有100亿个参数的通用模型的功能正在碾压领有5000万个参数的义务特定模型，在从繁多模型处置许多义务方面体现出了出色的功能。

人工智能模型也正在变得多模态。微软公司的Florence 2和OpenAI公司的GPT-4V等新的视觉模型正在裁减这些模型的运行，以整合图像、视频和声响，将大型言语模型（LLM）弱小的才干运行在数百万个新的用例中。

理想证实，在模型工程畛域，规模越大越好，每个运行程序都教训了相似的开展：

运转在小型模型上的智能驾驶技术

智能驾驶技术依然在小型模型上运转。只管许多繁多义务模型、公用传感器和准确的地图组合曾经提供了令人印象深入的原型，但目前的技术还没有提供允许司机日常所需的安保性或规模。

以下是阻碍智能驾驶技术开展的起因：

大型言语模型和长尾疑问

在一切运行程序中，模型工程师经常使用大型言语模型作为超级弱小的开发工具来改良模型工程环节的每个方面。大型言语模型曾经被证实在开发和改良模拟环境，对少量数据集启动分类、了解和标志，以及解释和调试神经网络的“黑匣子”方面十分有用。

兴许大型言语模型在开发环节中的最大长处之一是能够用人造言语表白复杂的、多步骤的逻辑，经过绕过对专家代码的需求来放慢开发速度。这曾经被证实在复杂的疑问畛域十分有用，例如文本摘要或代码成功与代码库之间的复杂依赖相关。

一切这些工程工具都可以宽泛地改良开发上班，包含智能驾驶，但大型言语模型最幽默和最有影响力的运行是间接针对驾驶义务自身：对复杂的场景启动推理，并布局最安保的行进路途。

智能驾驶是一个特意具备应战性的疑问，由于某些边缘状况须要复杂的、相似人类的推理，远远超出传统的算法和模型。大型言语模型在逾越纯正的相关性，展现真正的“对环球的了解”方面体现出了宿愿。这种新的了解水平加长到了驾驶义务，使司机能够在不须要明白训练的状况下，以安保和人造的形式在复杂的场景中导航。

现有的模型或者会被十字路口发生的修建工人或意外现场周围的路途所蛊惑，大型言语模型曾经显示出了十分熟练地推理正确路途和速度的才干。大型言语模型提供了一条处置“长尾”的新路径，即处置史无前例的状况的才干。在过去的二十年，长尾不时是智能驾驶面临的基本应战。

大型言语模型对自主义务的限度

当初，大型言语模型关于自主运行方面依然存在一些限度。便捷地说，大型言语模型须要变得愈加牢靠和更快。因此须要开发处置打算，而这正是开发人员致力上班的中央。

1.提前和实时限度

司机的主要决策必定在不到一秒钟的期间内做出，而在数据核心运转的最新大型言语模型或者须要10秒或更长期间。

处置这个疑问的一个打算是驳回混合云架构，它用数据核心处置为车载计算系统提供补充。另一个打算是专门构建的大型言语模型，它可以将大型模型紧缩成足够小、足够快，以顺应汽车的运行。人们曾经看到在提升大型模型方面有了清楚的改良。Mistral 7B和Llama 2 7B已证实其功能可与GPT-3.5相媲美，参数数量级更少（70亿个参数对1750亿个参数）。摩尔定律和继续的提升应该会迅速将更多的这些模型转移到边缘。

2.幻觉

大型言语模型基于相关性启动推理，但并非一切相关性在特定场景中都有效。例如，智能驾驶车辆观察到一团体站在十字路口或者象征着中止(行人)、驶离(交警)或减速(施工工人)。正相关性并不总是给出正确的答案。当模型发生不能反映理想的输入时，将其结果称为“幻觉”。

基于人类反应的强化学习(RLHF)经过将模型与人类反应相结合来了解这些复杂的驾驶场景，为这些疑问提供了一个潜在的处置打算。随着数据品质的提高，像Llama 2 70B这样的小型模型的功能与GPT-4不相高低，参数却缩小了20倍（700亿个参数对1.7万亿个参数）。

钻研名目也使更好的数据品质更容易裁减。例如，OpenChat框架应用了强化学习微调(RLFT)等新技术，在提高功能的同时防止了老本高昂的人类偏好标签。

3.新的长尾

大型言语模型曾经编码了“一切”，但依然或者没有涵盖一切特定于驾驶的概念，例如在忙碌的十字路口启动导航的才干。这里的一个潜在处置打算是驳回长序列的专有驾驶数据训练模型，这些数据可以将这些更具体的概念嵌入模型中。例如，Replit经常使用来自其用户群的专有编码数据，经过微调不时改良其代码生成工具，功能优于Code Llama 7B等大型模型。

智能驾驶的未来开展

当初，智能驾驶尚未成为干流技术，目前只要少数智能驾驶车辆能够在最复杂的市区环境安保行驶。大型模型正在扭转智能驾驶模型的开发形式，最终将扭转智能驾驶技术——提供必要的安保性和规模，最终将这项技术交付给司机。