DR

1. DR-RAG有多凶猛？

下面两个表区分展现了DR-RAG与其余几个盛行的RAG框架对比的效果，特意是Adaptive RAG。可以看到，在多个测试数据集上，DR-RAG要比其余框架（比如：Adaptive RAG和Self RAG）准确率都要更高。而且在相反TopK参数的前提下，DR-RAG的召回率更高，从而回答正确的比例也越高。

下面这个图展现了DR-RAG与Adaptive RAG对比的一些例子，从例子里可以看出，DR-RAG在一些疑问上，比Adaptive RAG回答的更准确。

比如下面这个图里的例子，传统检索器能够轻松地失掉高关系性的静态文档（用白色标出），却难以捕捉那些只管关系性不高（用蓝色标出），但关于疑问答案至关关键的灵活文档。

静态关系文档（Static-Relevant Documents，SRD）：对答案生成至关关键且严密关系的文档。

灵活关系文档（Dynamic-Relevant Documents，DRD）：关系性不高，但对答案生成雷同关键的文档。

关于 “谁是彼得·安德烈亚斯·海伯格孩子的妻子？”这个疑问，与“彼得·安德烈亚斯·海伯格”和“孩子/儿子”高度关系的静态关系文档（上图以白色标出）较容易被检索。但是，灵活关系文档（以蓝色标出）由于只与查问中的“配偶/妻子”关系，因此难以被检索。

常识库中关于“配偶”的消息或许十分多，造成这些灵活关系文档在检索环节中排名较低。在静态和灵活关系文档之间，“约翰·路德维格·海伯格”与“妻子”之间的咨询十分严密。假设将查问中的“配偶/妻子”也归入思考，便能轻松地检索到灵活关系文档，从而得出答案。

2. 什么是DR-RAG？

DR-RAG是指：ynamicelevantetrieval-ugmentedeneration，灵活关系检索增强生成。该方法是由现实汽车团队与中山大学、西南大学和四川大学等独特提出的一种新方法。

第一局部的例子，咱们看到了DR-RAG长于回答的疑问类型：发现关系性不高，但是对回答疑问很关键的文档。之所以DR-RAG如此凶猛，是由于DR-RAG驳回了一种 两步检索框架 ，用于开掘查问和文档之间的关系性。

如上图：

• 第一步，依据与查问的高关系度检索静态关系文档（SR-Documents）。

• 第二步， 将这些静态文档与查问联合 ，以检索一系列灵活关系文档（DR-Documents）。

• 最终，逐个挑选DR-Documents，将其与查问及静态文档串联，输入分类器，以挑选出最具关系性的灵活文档。

遗憾的是，找遍了整篇论文，如同没有找到有关这个分类器如何失掉、如何复现的一些细节（兴许是我漏掉了）

为了让RAG回答疑问愈加准确，须要尽或许给出与回答疑问最关键的文档；因此，咱们必定检索十分多文档，以让模型给出愈加片面的回答。

DR-RAG的宗旨是从检索到的文档中挑选出最关系、最关键的文档，并且确保不遗漏LLM回答疑问所需的关键消息。而实践上，仅凭相似性婚配（SM）很难一扫而空一切静态和灵活关系的文档。

理论，大家会经过推升K值来参与DRD的概率，比如：在MuSiQue系统中，将k值从3增至6，仅将召回率从58%优化至76%，依然有许多关系文档未能被检索。此外，不关系的文档或许会给LLMs带来冗余消息。

所以，DR-RAG实践上是在坚持top-k不变的状况下，经过优化基于灵活关系性的文档召回率，来改善检索效果。

3. 功能剖析

3.1 召回率对LLM的影响

召回率对RAG和LLM至关关键。由于当召回率不高时，模型接触的消息不完整、或许缺失，那么容易发生“幻觉”的模型则难以准确回答疑问。在2Wiki数据集中，DR-RAG在仅选用前6个文档时，曾经到达了98%的高回想率。

3.2 冗余消息对LLM的影响

若高低文中的冗余消息得以缩小，大型言语模型便能更透彻地理解查问，缩小曲解。随着输入模型的文档数量增多，有效消息或许激增约三成，但模型在作答时却难以辨识。模型或许会依赖这些冗余消息，给出失误的答案。

在RAG环节中，应尽或许缩小向模型提供冗余或不准确的消息。

以2Wiki数据集为例，当提供应模型的文档数量k为4或6时，从CIS（Classifier Inverse Selection）过渡到CFS（Classifier Forward Selection），召回率的优化并不清楚，反而在评价目的上有所降落。因此，作者提出了CFS方法，用来平衡消息的冗余度和关系性。

3.3 用更少的文档来优化召回率

CFS战略在降落文档数量的同时提高回想率。在二次检索环节中，由于所需文档已被检索，为每对查问-文档找到婚配项似乎成了无法能的义务。这造成实践检索到的文档数量或许少于预约的k。以HotpotQA数据集为例，当k设为6，实践上平均只要5.35份文档被提供应LLMs，这在必定水平上缩小了有关消息的搅扰。

CFS方法在缩小实践检索文档数量的同时，与QDC（Query Documents Concatenation）方法相比，成功了更高的回想率。CFS方法在三大评价目的上均取得了更高的分数，证实了其在缩小冗余输入的状况下，相比其余方法具备更出色的检索功能。

3.4 照应速度优化

相较于以往的RAG框架，DR-RAG在全体流程中成功了更优的期间治理。其余RAG框架在失掉答案前或许需屡次调用LLMs，形成高昂的计算开支。实践上，优化LLMs的推理期间在实践运行中雷同关键。单次调用LLMs就需消耗少量期间，屡次调用则在期间老本上形成渺小应战。

为此，作者设计一个小规模、参数较少的模型，以成功更高效的优化战略，防止频繁调用LLMs。如上表所示，与Adaptive-RAG相比，咱们平均缩小了74.2%的期间消耗。因此，DR-RAG在试验效率上的优化，以及在期间老本上的长处，使其在实践工程运行中具备关键价值。

• 论文原文: