图解LLM

LLM-Agent 大模型自动体热度绝后，但自动体是什么、为什么、怎样办，行业还没有一致认知，典型的小学语文课本里“小马过河”的事实版。

是什么

一、OpenAI 工程师Lilian Weng的定义 2023.6.23

布局

子指标和合成：将大型义务合成为更小的、可控制的子指标。

反思和改良：对过去的执前启动自我批判和自我反省，从失误中学习。

记忆

短期记忆：高低文学习都是应用模型的短期记忆来学习。

常年记忆：常年保管和回想消息的才干。

工具经常使用

调用外部API来失掉模型权重中缺少的额外消息。

二、复旦大学学者的调研总结 2023.9.19

大脑

Brain作为记忆和决策中心。

感知

Perception解释外部抚慰，从文本到更多模态的方式。

执行

Action执行来自“大脑”的选择。

三、NVIDIA 工程师Tanay Varshney的看法 2023.11.30

自动体外围

外围逻辑和行为特色的中央协调模块，或“关键决策模块”，包括

指标：蕴含总体指标和目的。

工具手册：可访问的一切工具的“用户手册”。

布局指南：不同布局模块的经常使用细节。

灵活记忆：推断时灵活填充与用户过去对话中最相关的记忆项。

角色(可选)：最终照应中注入典型的特质。

记忆

短期记忆：回答用户的单个疑问时所教训的执行和想法的账本。

常年记忆：用户和自动体之间出现的事情的执行和想法的账本。

工具

用来执行义务的定义良好的可执行上班流。

布局

义务和疑问合成

反思或批判

LLM大模型之前，Agent就有不少钻研，LLM 让这一设想有了更事实的或者。以上是往年影响面较大的三篇内容，其中有显著的期间线，反映了行业认知的继续深化。NVIDIA 工程师的版本更繁复明了。

为什么

一、幻觉，大模型天生或者一本正派的胡说。哈工大与华为学者的调研 2023.11.9

数据惹起

毛病数据源（失误消息与成见，常识边界）

数据应用无余（常识捷径，常识召回失败）

训练所致

预训练带来（架构毛病，次优训练指标）

对齐发生（才干错位，决计错位）

推理引入

毛病的解码战略（外在采样随机性）

不完美解码表征（高低文留意力无余，Softmax瓶颈）

二、前后左右不一的自分歧性 self-consistency

单视角横向自分歧性

单视角纵向自分歧性

同高低文，单条线，先后同输入的输入预期分歧

多视角纵横分歧性

不同高低文，多条线，先后同输入的输入，特定状况下预期分歧

三、记忆的短期性，高低文窗口限度

没有超出高低文窗口的记忆

只能“记住”给定的有限高低文中的内容，没有其余独立的记忆存储。

高低文窗口作为LLM的刹时记忆

齐全依赖于高低文窗口来失掉任何之前的消息。

怎样办

一、从LLM外部处置疑问的思绪，典型做法，检索辅佐生成RAG

模型应用从文档中检索到的相关消息辅佐生成环节。

附加常识库

为模型提供额外的消息输入，实用于常识密集型义务。

两个关键阶段

应用编码模型基于疑问检索相关文档，如BM25、DPR、ColBERT等方法。

经常使用检索到的高低文作为条件生成内容。

RAG局限

不实用于教会模型了解宽泛的畛域或学习新的言语、格局或格调。

微调技术​

经过深入学习内化常识，适宜须要复制特定的结构、格调或格局。

二、解铃还须系铃人，从LLM外部系统性处置疑问的思绪

针对语料中的偏向与失误，语料的片面数据控制十分必要，既要丰盛详实，又要不偏不倚；放大算力提高模型精度，增强嵌入及后续训练的消息辨别度；

改良Transformer-Attention归一化算法，优化降落自在能损失，最大水平降落消息折损；自回归预测将受益于归一化优化，从而优化外部概率先验准确性；

构建重整化流的数学公式，推导出其流动的方向，并计算或者的不动点，从而借助新语料，对不动点做微扰，促成其进入更有序的相空间，成功可控的可预测的涌现；

RLHF训练联合揭示工程探求不同高低文有效揭示语，改良decoder模型，促成大模型外部采样经常使用Wasserstein距离作为概率散布近似的度量；

探测钻研外部环球模型结构，进而可以控制模型温度，指点灵活Bayes推理更贴切的采样概率散布，进一步亦可经过检索增强生成（RAG）成果，提高自分歧自评价才干。

三、内外兼修，多种概念架构层出不穷

伯克利学者增强高低文窗口 Context Window 的思绪

参与一个分层的外部高低文和相应控制配置函数。

LLM处置器以主高低文为输入，并输入由解析器解释的文本：输入或函数调用，函数调用在主高低文和外部高低文之间移动数据。

普林斯顿学者的上班也比拟有启示性

定义了一组交互模块和环节。

决策程序执行自动体的源代码。

此源代码由与 LLM (揭示模板和解析器)、外部存储器(检索和学习)和外部环境(Grounding) 交互的环节组成。

写在最后

逻辑上人脑包括两个关键系统：

系统1 担任抚慰照应，系统2担任深度思索。

大模型LLM配置目前相当于系统1，自动体Agent相似系统2。

两者相反相成，协同分歧，处置复杂疑问两者都无法或缺。

笔者偏向于从LLM外部处置现有疑问的思绪，三个关键点：

·Self-awareness，非自我看法，而是增强LLM对学到的范围的结构和相关的了解；

·范围内和跨范围采样改良，依据更好的“范围的结构和相关的了解”优化采样算法；

·构建外部上班空间，控制短中常年多档次记忆与范围交互，推理布局与经常使用工具；

参考文献

1.LLM Powered Autonomous Agents​

2.The Rise and Potential of Large Language Model Based Agents: A Survey​

3.Introduction to LLM Agents​

4.A Survey on Hallucination in Large Language Models:Principles, Taxonomy, Challenges, and Open Questions​

5.ENHANCING LARGE LANGUAGE MODELS IN CODING THROUGH MULTI-PERSPECTIVE SELF-CONSISTENCY​

6.Survey of Hallucination in Natural Language Generation​

7.Retrieval-Augmented Generation for Large Language Models: A Survey​

8.Cognitive Architectures for Language Agents​

9.​

10.MEMGPT: TOWARDS LLMS AS OPERATING SYSTEMS ​

本文转载自​​，作者：​​