大模型检索增强 技术之 RAG

“RAG技术的重难点，是怎样更高效和更准确的检索数据”

常识库技术作为大模型技术的一个关键运行方向，也是对大模型技术的一个关键补充；特意是在问答系统，如自动客服等畛域，常识库有着非同普通的作用。

从技术的角度来说，一个自动客服的好坏，除了大模型自身的品质之外，更多的是由常识库选择的。因此，常识库的作用显而易见，而怎样才干做出一个合格的常识库，要求经常使用哪些技术。

当天，咱们就来探讨一下GraphRAG常识库技术。

在之前的文章中，也有引见过对于常识库技术的一些文章，如​ ​爆火的本地常识库名目是什么？什么是RAG？本地常识库与大模型的相关​ ​。

其实对很多不是特意了解常识库的人来说，总以为常识库和RAG是一个物品。

但理想上，常识库和大模型并没有间接相关，甚至可以说常识库是常识库，大模型是大模型两者之间没有什么关联。它们是两种齐全不同的技术，而且常识库的产生并不是由于大模型。

如今网上常把大模型和常识库放在一块，也经常听到有人说大模型常识库，包含作者自己。

从技术的角度来说，常识库和大模型是独立的两个技术或许说两个产品；而把它们两个启动关联的技术叫做——RAG 检索生成增强。

在之前的文章中也引见过，常识库就相当于咱们理想环球中的图书馆，档案室，资料库；外面寄存了少量的资料，而咱们平时遇到疑问的物品就可以去这些资料库里查资料。

大模型也是如此，由于大模型自身的毛病等疑问，造成大模型在某些方面会体现出常识无余的疑问；因此，就给大模型性能了一个外部资料库，让它可以随时启动查阅，而这个外部资料库就叫做大模型常识库。

对大模型来说，这个资料库是什么样的不关键，怎样治理的，怎样经营的都不关键。

甚至很多人会以为，搭建常识库就必定要用到向量数据库，就必定经常使用向量检索。但理想上并非如此，常识库可以是任何方式，包含向量数据库，传统的结构化数据库和非结构化数据库，甚至是一些乌七八糟的文本文件，音视频等。

由于，从RAG的技术流程过去说，用户收回提问之后，是有RAG去常识库中做常识婚配，而后把婚配到的常识和用户的疑问经过揭示词的方式一块输入给大模型，而后大模型依据这些常识做出回答。

下面就是RAG技术完整的口头流程，可以看出常识库和大模型并没有间接的交加，而是由RAG和常识库启动交换，而后把检索结果交给大模型。

因此，常识库的重难点是怎样愈加高效和准确的存储和检索常识；便捷来说就是，假设有一个图书馆存储了全环球一切的书籍，资料；而后用户想问一个了解什么是大模型的疑问，这时怎样用最快的速度，找到其中最准确，最威望的回答。

而不是给你巴拉巴拉，要想了解什么是大模型就要学习线性代数，概率论，编程，算法等等。只管它们也和大模型相关，但它们并没有准确的回答疑问，而这就是RAG要求做的事件。

那什么是GraphRAG呢？

在传统的RAG技术中，施压的是向量格局的存储与检索，便捷来说就是用embedding模型剖析内容的语义，而后把它们存储到向量数据库中启动检索。

而GraphRAG技术驳回的是一种新的方式来存储和检索数据，那就是常识图谱。

常识图谱其实是驰名的搜查引擎巨头——Google谷歌提出的一种自动搜查引擎；它的定义是结构化的语义数据库——用于迅速形容物理环球中的概念与其相互相关。

从技术的角度来说，常识图谱是经过图结构的方式，把盘根错节的数据整顿成一种便捷的实体，相关实体的三元组，最后聚合少量常识从而成功常识的极速照应和推理。

如下图所示，就是一个便捷的常识图谱：

而便捷的了解常识图谱，就是一种愈加高效组织和检索数据的一种技术；它能让RAG愈加准确和极速的从复杂的常识中检索中要求的数据。

在前面的内容也说过，大模型其实并和睦常识库打交道，它是经过RAG技术给大模型提供常识；因此，RAG技术的好坏就是它检索数据的效率和准确性。

由于基于常识图片构建的RAG技术，检索才干更强，也更准确；因此GraphRAG技术成为了一个抢手的钻研方向。

原文链接：​ ​​ ​​