微软 RAG并不是你惟一的处置方案！

将外部数据整合到LLMs中的技术，如检索增强生成（RAG）和微调，获取宽泛运行，但在不同专业畛域有效部署数据增强LLMs面临着严重应战：

数据增强LLM运行中不同查问档次的重要技术总结​

微软亚洲钻研院（MSRA）提出了一种 RAG义务分类方法 ，依据所需的外部数据类型和义务的重要 焦点 ， 将用户查问分为四个档次 ：

四个档次查问的重要焦点​

同时，也将外部数据整合到LLMs中的方式归为三种： 高低文、小型模型和微调 ，强调了它们各自的长处、局限性以及它们适宜处置的疑问类型。

将特定畛域数据注入到大型言语模型（LLM）的三种方式： a) 依据查问提取局部畛域数据作为LLM的高低文输入，b) 用特定畛域数据训练一个较小的模型，而后指点后续输入到LLM的外部消息的整合，以及 c) 间接经常使用外部畛域知识对通用的大型言语模型启动微调，使其成为畛域专家模型。

定义：

提供理想消息的经常出现数据集分层

应战：

处置方案：

三种查问-文档对齐类型

关键点：

定义：

应战：

处置方案：

关键点：

推理查问的示例

定义：

应战与处置方案

Prompt优化老本：优化揭示（Prompt）的环节耗时且计算量大。

有限的可解释性：LLMs对揭示的反响不透明，难以分歧了解和验证LLMs对不同揭示的反响。

L4：隐式推理查问

定义：

畛域内数据：或许包括历史问答记载或人工生成的数据。

筹备知识：或许包括片面的公理系统或两边论断，如法律代码或数学证实。

应战与处置方案

逻辑检索：须要更复杂的检索算法来识别与查问逻辑上相关的文本段。

数据无余：外部数据或许没有明白蕴含与查问相关的指点或答案。

离线学习

STaR和LXS：经常使用LLM生成推理理由。

GL、LEAP、RICP：经过失误识别和准则概括来改良义务。

高低文学习 (ICL)

OpenICL：探求不同的传统方法对ICL成果的影响。

Auto-CoT：经过聚类示例来构建更好的允许学习环节的示例。

微调

指令调整：经常使用监视微调来增强LLMs在特定畛域的才干。

适配器调整、前缀调整、揭示调整：经过优化输入前的可训练向量来提高LLMs的功能。​

最后：数据增强LLM运行中查问档次的总结

本文转载自​ ​PaperAgent​ ​