如何经常使用HippoRAG增强LLM的记忆

译者 | 李睿

审校 | 重楼

大型言语模型（LLM）曾经证实是一种十分贵重的思索工具。经过少量文本、代码和其余媒体数据集的训练，它们能够创作出凑近人类水平的文章、翻译言语、生成图像，还能以消息丰盛的模式回答人们提出的疑问，甚至可以编写不同类型的创意内容。但是，虽然它们配置弱小，即使是最先进的LLM也有一个基本的限度：常识的时效性。它们所“知道”的一切常识都是由所接受的训练数据选择的，这使它们无法顺应新的消息，也无法了解人们的详细需求和偏好。

为了克制这一限度，钻研人员开发了检索增强生成(RAG)。RAG赋予了LLM访问实时降级的数据存储的才干。这种对灵活外部常识库的访问使它们能够灵活地检索相关消息，并将其兼并到他们的照应中。但是，由于这些模型往往依赖于关键字婚配，当面对须要跨多个消息源启动关联的疑问时，规范的RAG成功就会遇到应战——这是一种被称为“多跳” （multi-hop）推理的难题。

遭到大脑存储和提取记忆机制的启示，钻研人员开发了HippoRAG这一陈腐的RAG方法，这种方法在生成反响时能够检索并整合更具意义的起源。本文将深化剖析HippoRAG的上班原理，探求其在传统RAG技术之上的长处，并展望其在人工智能系统中激起全新推理和了解水平的后劲。

在RAG技术存在局限时：寻求更深档次的咨询

在传统的RAG系统中有两个关键组件：检索器和生成器。检索器担任在宏大的文本数据库（常识库）中搜索，这些数据库或者包括维基百科、企业外部文档，甚至团体文件。其上班原理是将疑问和文档转化为数字示意（即嵌入），并应用高效的算法迅速找出与疑问嵌入最为相似的文档。随后，生成器（通常是一个弱小的大型言语模型）将这些检索到的文档作为场景，生成一个片面且消息丰盛的答案。

例如，假设征询RAG系统“巴黎的重要游览景点是什么?”，检索器将在常识库中搜索蕴含巴黎和游览景点消息的文档。它或者会从维基百科、游览博客甚至游览指南中找到文章。而后LLM将经常使用这些检索到的文档来生成照应，或者列出像埃菲尔铁塔、卢浮宫博物馆和凯旋门这样的抢手景点。

虽然这款工具配置弱小，但当面对须要将多个消息片段串联起来以解答疑问的状况时，传统的RAG系统往往显得力所能及——这正是所谓的“多跳”推理难题。假定某人向人工智能助理提问：“我下周去伦敦游览时应该带把伞吗？”为了回答这个疑问，助理需从他的日历中检索游览日期，核实这些日期内伦敦的天气状况，并思索他的团体行李偏好（他是习气随身携带雨伞，还是仅在天气顽劣时才携带？）。但是，传统的RAG系统往往仅依赖于基础的关键字婚配，或者会找到蕴含“伦敦”和“雨伞”的文件，但不必定能了解这些文件与他的游览或其团体行李偏好之间的期间关联性。

相似地，像“谷歌现任首席口头官（CEO）的出世地是哪个国度的首都?”这样的疑问须要将他的出世地与该国的首都咨询起来——这种咨询或者在任何一份文档中都不明白。传统的RAG很难有效地建设这些衔接。

HippoRAG：模拟大脑的记忆指数

HippoRAG是一个新的RAG框架，其设计理念来自于人们的大脑如何存储和检索记忆。人类的大脑不只是将消息存储在孤立的单元中，它在不同概念之间建设了丰盛的咨询网络。这种将相关想法咨询起来的才干使得HippoRAG能够启动复杂的逻辑推理，从而做出推断，并回答须要将多个起源的消息综合在一同的复杂疑问。

经过模拟大脑的记忆索引机制，HippoRAG展现了其共同的长处，为消息检索和推理畛域带来了新的或者性。

受HippoRAG启示的海马体索引切实为大脑中的这种上班模式提供了一个模型：

当体验到新事物时，大脑皮层就会解决，海马体会在相关概念之间建设咨询，构成记忆痕迹。当在今后回想起那段教训的一局部时，海马体会激活相关的咨询，触发重新皮质提取完整的记忆。

为LLM构建更好的记忆

HippoRAG模拟这种受大脑启示的模型，为LLM提供了更复杂的记忆系统。以下讨论HippoRAG是如何运作的：

1.建设海马指数

HippoRAG经常使用LLM从常识库中提取关键概念和相关，构建常识图，其中节点示意概念，边示意概念之间的相关。这个常识图谱就像海马体，贮存着想法之间的咨询。

以下是示例中常识图谱的简化示意：

2.共性化PageRank的查问期间推理

给定一个新疑问，LLM识别关键实体，并将它们映射到常识图中的节点。而后，HippoRAG经常使用一种称为共性化PageRank (PPR)的算法来探求常识图谱，在相关节点上行播激活。这就像海马体激活了相关的记忆痕迹。PPR准许HippoRAG从远离原始实体的多“跳”中有效地搜集消息，在一个步骤中捕捉多跳相关。在以下示例中：

在例子中：PPR或者会高度激活通往“雨”、“变幻莫测的天气”和“包全”等节点的门路，由于它们与“伦敦”和“雨伞”有咨询。

3.单步检索

而后检索最高度激活的节点(以及常识库中与它们相关的文本块)。这为LLM提供了回答疑问所需的消息，包括概念之间的关键咨询。

在示例中，这或者包括原始示例中的文本块1、2和3。

4.经常使用LLM生成答案

LLM如今曾经把握了谜题的一切局部——原始疑问、检索到的常识（经过基于图的衔接丰盛）和任何额外的实时消息。它可以应用这些更丰盛的常识来提供更粗疏、更准确的答案。

在例子中：

从多跳到寻径：人工智能记忆的未来

HippoRAG面前的钻研人员证实，它在多跳推理义务上显著优于规范的RAG方法。但这种方法的含意远远超出了便捷的疑问回答。

由HippoRAG成功的“寻径”检索概念尤其令人兴奋。构想一下，人工智能系统不只可以检索消息，还可以发现概念之间的新咨询，即使这些咨询没有在数据中明白说明。这将扭转迷信发现、法律推理和共性化介绍等畛域的游戏规定，在这些畛域，建设新咨询的才干是必无法少的。

虽然HippoRAG面临着裁减到大规模常识图谱和治理概念-场景掂量等应战，但它代表了构建具备更相似人类记忆才干的LLM的严重飞跃。随着人们继续探求神经迷信和人工智能的交叉点，正在凑近发明能够像人类大脑一样学习、记忆和推理的深度和灵敏性的人工智能系统。

原文题目：LLMs Get a Memory Boost with HippoRAG，作者：Indrajit Bhattacharya,Obaid Sarvana​

链接：