深化综述 RAG 启动片面 RALM RAU 对检索增强型言语模型

大型言语模型（LLMs）在人造言语处置（NLP）畛域促成了严重停顿，但它们也面临着诸如幻觉和须要特定畛域常识等应战。为了缓解这些疑问，最近的一些方法将从外部资源检索到的消息与LLMs相联合，清楚提高了它们在NLP义务中的体现，然而缺乏对检索增强型言语模型（RALM）片面概述。

因此，对包含检索增强生成（RAG）和检索增强了解（RAU），提供了对它们的范式、演化、分类和运行的深化、片面综述。

图1：RALM钻研总体概述

一、RALM是什么？

顺序单次交互：检索器找到与输入最关系的文档，而后言语模型接纳这些文档和输入，发生输入。

顺序屡次交互：在长对话生成和处置多跳疑问时，或者须要在言语模型和检索器之间启动屡次交互。

并行交互：检索器和言语模型独立上班，输入经过加权插值确定。

图2：检索器与言语模型交互的三种不同方式

图3：三种交互类型的路途图。紫色区域代表顺序交互 RALM 模型的上班，白色框示意顺序屡次交互 RALM 模型的上班，黄色区域批示并行交互RALM模型的上班。​

二、检索器（Retriever）

检索增强言语模型（RALM）中检索器（Retriever）的作用和分类：

稠密检索（Sparse Retrieval）：依赖于便捷的术语婚配，如TF-IDF和BM25算法，实用于基于常识的检索义务。

密集检索（Dense Retrieval）：经常使用深度学习技术，经过双编码器架构生成密集的嵌入向量，以提高检索的准确性。

互联网检索（Internet Retrieval）：应用互联网搜查技术，准许非专业人士经常使用RALM，适宜开明畛域和泛化。

混合检索（Hybrid Retrieval）：联合不同检索技术的长处，以提高RALM架构的有效性和鲁棒性。

RALM上班中检索器的总结

三、言语模型（Language Model, LM）

检索增强言语模型（RALM）中言语模型（Language Model, LM）的作用和分类：

自编码器言语模型（AutoEncoder Language Model）：这类模型经过无监视学习来捕捉输入文本的关键特色，罕用于了解义务。

自回归言语模型（AutoRegressive Language Model）：这些模型旨在预测下一个词，基于前面的词，实用于生成义务，如对话生成和机器翻译。

编码器-解码器言语模型（Encoder-Decoder Language Model）：这类模型经常使用编码器-解码器架构来处置文本，实用于须要同时了解源文本和生成目的文本的义务。

RALM方法中的言语模型总结​

四、增强组件（RALM Enhancement ）

如何经过增强组件来优化检索增强言语模型（RALM）的输入品质？

RALM增强方法的分类​

五、数据源（Data Sources）

检索增强言语模型（RALM）中经常使用的经常出现数据源，并依据数据的结构化水平对它们启动了分类：

六、运行（Applications）

检索增强言语模型（RALM）在人造言语处置（NLP）中的各种运行：

RALM运行的分类

七、评价方法与基准（Evaluation）

检索增强言语模型（RALM）的评价方法和基准：

RALM中评价方法的总结

八、局限性与未来展望（Evaluation）

检索增强言语模型（RALM）目前面临的一些限度：

RALM模型的局限性和未来展望的总结

RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing

 本文转载自​​，作者：