的历史与未来 LLM 大型言语模型

​大型言语模型(LLM)是现代科技的奇观。它们的配置复杂，规模庞大，并且具备开创性的停顿。本文将探求LLM的历史和未来。

大型言语模型(LLM)的创立并非欲速不达。言语模型的第一个概念始于被称为人造言语解决(NLP)的基于规定的系统。这些系统遵照预约义的规定，依据文本输入做出决策并推断论断。这些系统依托if-else语句解决关键字消息，并生成预约的输入。可以将其构想成一个决策树，假设输入蕴含X、Y、Z或没有蕴含这些字母，则输入则是预先确定的照应。例如：假设输入蕴含关键字“母亲(mother)”，则输入“你母亲怎样样了?(Howis your mother)”。否则，输入“你能具体说明一下吗?”

最早取得的严重停顿的是神经网络。1943年，数学家沃伦·麦卡洛克遭到人脑神经元配置的启示，初次提出“神经网络”这一律念。神经网络甚至比“人工自动”这个术语早了大概12年。每一层的神经元网络都以特定的方式组织，其中每个节点都有一个权重，选择了它在网络中的关键性。最终，神经网络关上了敞开的大门，为人工自动的开展奠定了基础。

二、LLM的演化：嵌入、LSTM、留意力与Transformer

计算机不可像人类一样了解句子中单词的含意。为了提高计算机对语义剖析的了解才干，必定首先运行单词嵌入技术，该技术使模型能够捕捉相邻单词之间的相关，从而提高各种NLP义务的性能。但是，须要有一种方法将单词嵌入存储在内存中。

长短期记忆(LSTM)和门控循环单元(GRU)在神经网络中是一个渺小的飞跃，它们能够比传统神经网络更有效地解决序列数据。虽然LSTM在某些状况下已不再经常使用，但这些模型为更复杂的言语了解和生成义务铺平了路线，这些义务最终造成了Transformer模型的降生。

三、现代LLM：留意力、Transformer和LLM变体

留意力机制的引入扭转了游戏规定，使模型在启动预测时能够专一于输入序列的不同局部。Transformer模型是谷歌公司8名迷信家在2017年宣布的一篇开创性论文《留意力是你所须要的》中引入的，它应用留意力机制同时解决整个序列，极大地提高了效率和性能。而这些迷信家过后没无看法到他们的论文将在发明和开发人工自动技术方面发生渺小的影响。

在这篇论文宣布之后，谷歌的BERT在2018年被开收回来，并被誉为为一切NLP义务的基线。作为一个开源模型，它被用于泛滥名目中，为人工自动社区提供了构建名目和生长的时机。它的场景了解才干，预先训练的实质和微调选项，以及Transformer模型的演示，为开发更大的模型奠定了基础。

除了BERT之外，OpenAI公司还颁布了GPT-1，这是他们的Transformer模型的第一次性迭代。GPT-1领有1.17亿个参数，随后GPT-2(2019年颁布)成功了渺小飞跃，参数量增长至15亿个，而GPT-3(2020年颁布)更是到达了惊人的1750亿个参数。OpenAI公司基于GPT-3的聊天机器人ChatGPT在两年后的2022年11月30日颁布，并引发渺小的运行热潮，真正成功了强小孩儿工自动模型的独裁化。因此，用户须要了解BERT和GPT-3的区别。

四、哪些技术提高正在推进LLM的未来开展?

配件的提高、算法和方法的改良以及多模态的集成都促成了大型言语模型的开展。随着业界找到有效应用LLM的新方法，继续的提高将为每个运行程序量身定制，并最终彻底扭转计算畛域。

1.配件的提高

改良LLM的最便捷和最间接的方法是改良模型运转的实践配件。图形解决单元(GPU)等公用配件的开展清楚地放慢了大型言语模型的训练和推理。GPU具备并行解决才干，曾经成为解决LLM所需的少量数据和复杂计算的必要条件。

OpenAI公司经常使用NVIDIA GPU为其GPT模型提供能源，并成为首批NVIDIADGX客户之一。从人工自动的兴起到人工自动的继续开展，NVIDIA与OpenAI的协作始终加深，NVIDIA公司首席口头官亲身交付了首批NVIDIADGX-1，以及最新的NVIDIA DGX H200。这些GPU内置了海量内存和并行计算才干，以支持训练、部署和推理的高性能。

2.算法和架构的改良

Transformer架构以其对LLM的协助而著称。这种架构的引入对LLM的开展至关关键，它能够同时而不是顺序解决整个序列，极大地提高了模型的效率和性能。

关于Transformer架构，以及它如何继续开展大型言语模型，人们依然可以有更多的等候。

3.多模态输入的集成

LLM的未来在于它们解决多模态输入的才干，整合文本、图像、音频和潜在的其余数据方式，以创立更丰盛、更具场景感知的模型。像OpenAI公司的CLIP和DALL-E这样的多模态模型曾经展现了却合视觉和文本消息的后劲，使图像生成、字幕等运行成为或者。

这些集成准许LLM口头更复杂的义务，例如从文本和视觉线索中了解场景，这最终使它们愈加通用和弱小。

五、LLM的未来

这些提高并没有中止，随着LLM的创立者方案在他们的上班中融入更多翻新的技术和系统，还会有更多的提高。并非LLM的每一次性改良都须要更高的计算要求或更深化的概念了解。一个关键的改良是开发更小、更用户友好的模型。

虽然这些模型或者不可与“Mammoth LLM”(例如GPT-4和LLaMA3)的有效性相媲美，但关键的是要记住，并非一切义务都须要少量复杂的计算。虽然它们的规模较大，但Mixtral 8x7B和Mistal7B等先进的较小模型依然可以提供令人印象深入的性能。以下是一些有望推进LLM开展和改良的关键畛域和技术：

1.混合专家(MoE)

混合专家(MoE)模型经常使用灵活路由机制为每个输入只激活模型参数的一个子集。这种方法准许模型有效地裁减，依据输入场景激活最相关的“专家”，如下图所示。MoE模型提供了一种在不参与计算老本的状况下裁减LLM的方法。经过在任何给定期间仅应用整个模型的一小局部，这些模型可以经常使用更少的资源，同时依然提供杰出的性能。

2.检索增强生成(RAG)系统

检索增强生成(RAG)系统是LLM畛域的一个十分抢手的话题。这个概念提出了一个疑问：当可以便捷地使LLM从外部源检索所需的数据时，为什么要经常使用更多的数据训练LLM?而后，这些数据被用来生成最终答案。

RAG系统经过在生成环节中从大型外部数据库检索相关消息来增强LLM。这种集成准许模型访问并整合最新的和特定畛域的常识，从而提高其准确性和相关性。LLM的生成才干与检索系统的精度相联合，发生了一个弱小的混合模型，该模型能够在坚持与外部数据源同步的同时生成高品质的照应。

3.元学习

元学习方法使LLM能够学习如何学习，从而使它们能够迅速顺应新义务和畛域，而所需的训练量极少。

元学习的概念取决于以下几个关键概念：

小样本学习： 经过小样本学习训练LLM了解和口头新义务，只有几个例子就可以了解和口头新义务，从而大幅缩小了有效学习所需的数据量。这使得它们在解决各种场景时具备高度的通用性和高效性。

自监视学习： LLM经常使用少量未标志的数据来生成标签并学习示意。这种方式的学习准许模型创立对言语结构和语义的丰盛了解，而后针对特定运前启动微调。

强化学习： 在这种方法中，LLM经过与环境互动并接受鼓励或处罚方式的反应来学习。这有助于模型提升它们的行为，并随着期间的推移改良决策环节。

论断

LLM是现代科技的奇观。它们的配置复杂，规模庞大，并且具备开创性的停顿。本文讨论了这些特殊提高的未来后劲，从人工自动畛域的早期开局，也深化钻研了神经网络和留意力机制等关键翻新。

本文还钻研了用于增强这些模型的多种战略，包括配件的改良、外部机制的改良以及新架构的开发。到目前为止，宿愿人们对LLM及其在不久的未来的开展轨迹有了更明晰、更片面的了解。

原文题目：History and Future of LLMs，作者：Kevin Vu

链接：