一文读懂GraphRAG大模型常识图谱

大模型常识图谱是指将大型言语模型（LLM）与常识图谱技术相联合的一种技术手腕，旨在应用常识图谱的结构化常识来加弱小模型在人造言语处置义务中的体现。常识图谱经过将消息示意为实体（节点）和相关（边）的网络，模拟了人类结构常识的组成形式，不只能捕捉原始消息，还能捕捉超过多个文档的高阶相关，并具有弱小的推理才干。

GraphRAG是一种应用常识图谱增强检索增强生成的技术。它经过以下几个步骤来优化大模型的性能：

很多技术厂商都曾以为，大言语模型的来到会给“常识图谱”技术带来“代替性”的要挟，毕竟二者都是 服务于常识，服务于文本 。当和一些做AI方面技术公司洽谈名目时，对方一听到咱们还在用“常识图谱”这样的技术，竟有意间体现出一丝轻蔑。以为 AIGC时代 ，大模型可以做任何事，不再须要任何“过期”的AI技术了。

这种反响并不奇异，由于大模型在产生以来，不时被宣传得很“繁华”。人们在激情的驱动下，总是容易 高估新技术 的才干。

有时刻，客户在不齐全了解的状况下，也会如此。有了一些新需求，动不动就间接给倡导，“这物品大模型应该可以做，一点也不难，马上部署一套吧”。

其实，从实质过去看，大模型和其余任何AI模型没有任何值得区别看待的，一切的AI技术模型都是 “对等”的相关 。不同技术有 不同的技术特点 ，适用于不同的业务场景，“数字化转型”也不会一视同仁。常识图谱技术和大模型技术虽然都面向常识服务，但是定位齐全不同。

常识图谱是用符号示意常识， 内容谨严、结构化强，能够对复杂的数据关联启动记载，适宜于推理类义务。

大模型是用向量示意常识， 语义消息丰盛，允许高效检索和各类数据格局的输入和生成，适宜交互类义务。

大模型技术能够更好地理解用户需求，协助用户成功数据剖析论断的总结生成，但是这种 “端到端”的技术战略 ，并不合乎“透明化”的数据服务经营理念。仅依托大模型自身取得业务论断，关于用户来说危险太大了。“外面是个黑盒，假设答案不是我想要的，我就不用了”。这也是大模型相关的技术产品为什么 留存率低 的疑问。

用户对大模型的评估过于随机，换个场景，换个提问形式，成果或者立刻就会大打折扣。模型即服务，这是一切从事大模型技术翻新者都宿愿成功的理念。宿愿交付的模型自身就可以间接拿来应答各式各样的疑问。

这种“大一统”的技术愿景，依然任重道远。每个行业，每个业务条线的底层 运转逻辑 和专业性要求都不一样。

咱们须要为不同的业务需求各自搭建常识框架以及对应的常识库，假设是常识图谱这种用“明文”示意的结构，则愈加利于控制和保养，让更多业务人员介入到常识控制与加工的 数字化的进程 中。常识图谱可以更好地对业务对象和业务环节启动示意，整个业务推理的环节是 “透明化” 、 “可控的” 。

假设AI结果非预期，也可以经过常识图谱的记载以及查问战略的修正，来有针对性地改良，这合乎一个面向数据控制的完整 PDCA闭环 逻辑。

干流的AI产业落地思维是：大模型与常识图谱以及和其余传统AI技术框架的相关，应该是柔性协同的相关，而非齐全代替的相关。

大模型担任从 用户侧解析需求 ，对需求启动散发和路由，在详细的AI处置节点上，还是移交给特定的Agent来处置：比如针对图数据库的查问和推理，甚至基于传统的回归模型或决策树的预测。

这样做一方面充沛应用了企业现有的常识和技术资源，同时，也降落了大模型技术的 构建和运行门槛 （须意识到，大模型实质是个半成品，不可间接处置业务疑问）。

同时，大模型也担任把来自 各Agent 的数据论断启动从新编排和总结输入。 “分而治之”的思维 永远是不过期的，一个复杂的义务得以合成成多个AI单元启动操作，而大模型只有要成功它自身的技术使命。

微软提出的GraphRAG名目备受关注。该名目标重要目标是经过改良消息检索和整顿的形式，优化企业常识库的适用性和照应速度。

GraphRAG的外围思念在于提早整顿和构建常识图谱，并将消息关联起来，以便于极速回答详细或微观的疑问。 传统上，RAG（Retrieval-Augmented Answer Generation）方法在处置详细疑问时体现良好，能够间接在常识库中检索出蕴含答案的段落，并启动融合生成回答。但是，关于微观疑问，如团队成就考查，RAG的效率和准确性则较差。这些疑问要求失掉散落在不同文档中的消息，并整合为连接的答案。

GraphRAG 的上班原理是从索引文档中创立一个常识图谱，这些文档也被称为非结构化数据，例如网页。因此，当 GraphRAG 创立常识图谱时，它实践上是在创立一个“结构化”的示意，示意各种“实体”（如人、地点、概念和事物）之间的相关，使得机器就更容易了解这些相关。

GraphRAG 方法经常使用 LLM 在两个阶段构建基于图谱的文本索引：首先从源文档中推导出实体常识图谱，基于实体个体间的相关水平，创立称之为“社区”的普通主题（上档次）和更细化的主题（低档次）；而后，LLM 会对社区中的每一个主题启动总结，构成一个“数据的分层摘要”。回答疑问时，则经常使用每个社区摘要（Community summary）生成局部回应，之后将一切局部回应再次总结为最终的用户回应。这样，聊天机器人就能够更多地基于常识（即社区摘要）来回答疑问，而不是依赖嵌入。

与 RAG 系统相似，整个 GraphRAG 管道可以分为两个外围配置组件：索引和查问。索引环节经常使用 LLM 来提取节点（照实体）、边（如相关）和协变量（如申明）。而后，它经常使用社区检测技术对整个常识图谱启动分区，并经常使用 LLM 进一步构成摘要。关于特定查问，它可以汇总一切相关的社区摘要以生成全局答案。

GraphRAG的重要长处在于其能够提供更准确、高低文相关且片面的答案，尤其在处置复杂消息和大型数据集上的问答和主题发现才干方面体现突出。与传统的仅基于向量的RAG方法相比，GraphRAG能够清楚提高AI在这些畛域的性能。此外，GraphRAG在衔接扩散消息、增强高低文了解和缩小失误消息（幻觉）方面也展现出了其共同的长处。经过这种形式，GraphRAG不只优化了大模型的可解释性，还增强了其在特定畛域的运行才干。

GraphRAG经过构建常识图谱，将企业常识库中的相关消息启动分类和关联，构成档次结构。这种结构使得回答疑问时，可以依据消息的相关性和档次性极速定位答案。同时，GraphRAG还引入了社区开掘算法，进一步优化消息关联和聚合的环节。虽然GraphRAG具有清楚的后劲，但其实践运行仍面临应战。

首先是常识图谱的构建，这一环节须要少量的人工干预以去除噪声和启动校对。其次是计算资源的消耗，特意是在处置大型常识图谱时，计算复杂度较高。最后，新数据的添加须要频繁降级常识图谱，这或者要求从零开局构建整个图谱，带来额外的计算累赘。

综上所述，GraphRAG提供了一种将传统RAG与现代常识图谱相联合的新门路，有望大幅优化企业常识库的适用性和照应效率。虽然面临一些技术应战，但该名目标后劲不容漠视。

原文链接：​ ​​ ​