常识增强生成才是霸道 优化豪华RAG一倍性能 RAG曾经不够了 KAG

1. 为什么要提出KAG框架

检索增强生成（RAG）技术失掉宽泛运用，应用外部检索系统，清楚优化大言语模型的时效性，并大幅缩小模型幻觉。

为了进一步优化RAG在多跳义务、跨段落义务的性能，作者引入了常识图谱，包括GraphRAG、DALK、SUGRE、ToG 2.0 和 HippoRAG 等。

虽然 RAG 及其优化打算曾经处置了因常识缺乏和更新造成的大局部幻觉疑问，但生成的文本依然缺乏连接性和逻辑性，难以发生正确且有价值的答案，尤其是在法律、医学和迷信等须要剖析推理的专业畛域：

• 首先，实在场景的业务流程普通须要基于常识片段之间特定相关的推理来搜集与回答疑问相关的消息。但RAG 通常依赖于文本或向量的相似性来检索参考消息，会或许造成搜查结果不完整和重复。

• 其次，实在场景往往触及逻辑或数值推理，例如确定一组数据在期间序列中的增减状况，而言语模型经常使用的下一个标志预测机制在处置这类疑问上依然显得力所能及。

为了处置以上疑问，本篇论文作者提出了常识增强生成（Knowledge Augmented Generation，KAG）。

2. KAG框架

KAG框架充沛应用常识图谱和RAG技术的互补长处。不只将图结构整合到常识库，还将常识图谱的语义类型、相关以及常识图谱问答（KGQA）整合到KAG中。

如上图所示，KAG 架构由三大外围组成：KAG-Builder、KAG-Solver 和 KAG-Model。

• KAG-Builder 担任构建离线索引，此模块提出了一个与大言语模型兼容的常识示意框架，并成功了常识结构与文本片段之间的互索引机制。

• KAG-Solver 引入了一个以逻辑方式为指点的混合推理引擎，整合了大型言语模型推理、常识推理和数学逻辑推理。应用语义推理启动常识对齐，以增强 KAG-Builder 和 KAG-Solver 在常识示意和检索方面的准确性。

• KAG-Model 则基于通用言语模型，针对每个模块所需的特定才干启动优化，从而片面优化模块性能。

2.1 常识示意框架 LMFriSPG

为了定义一个对大型言语模型更友好的常识语义表白方式，作者对 SPG 启动了三慷慨面的更新：深化文本高低文看法、灵活属性和常识分层，并将其命名为 LLMFriSPG。

上图展现了 LLMFriSPG：一个专为大型言语模型（LLM）设计的友好型常识示意框架。

LLMFriSPG将实例与概念区离开来，经过概念成功与 LLMs 的对接。

SPG 的属性被划分为常识区和消息区，也就是静态区和灵活区，区分与具有严厉形式解放的决策专业常识以及具有放开消息示意的文档检索索引知知趣兼容。

图中的白色虚线描画了从消息提炼为常识的融合与开掘环节。增强的文档块示意方法为 LLMs 提供了可追溯且易于解读的文本高低文。

其中 ℳ 代表 LLMFriSPG 定义的一切类型