赋能多模态大模型RAG运行 剑桥团队开源 首个预训练通用多模态前期交互常识检索器

虽然多模态大模型（例如 GPT4-Vision、Gemini 等）展现出了弱小的通用图文了解才干，它们在回答须要专业常识的疑问时体现依然不尽人意。即使 GPT4-Vision 也不可回答常识密集型疑问（图一上），这成为了很多企业级落地运行的瓶颈。

图 1：GPT4-Vision 在 PreFLMR 多模态常识检索器的协助下可以取得关系常识，生成正确的答案。图中展现了模型的实在输入。

针对这个疑问，检索增强生成（RAG，Retrieval-Augmented Generation）提供了一个便捷有效的让多模态大模型成为” 畛域专家” 的打算：首先，一个轻量的常识检索器（Knowledge Retriever）从专业数据库（例如 Wikipedia 或企业常识库）中取得关系的专业常识；而后，大模型将这些常识和疑问一同作为输入，生成准确的答案。多模态常识提取器的常识 “召回才干” 间接选择了大模型在回答推理时是否取得准确的专业常识。

近期， 剑桥大学消息工程系人工默认试验室完整开源了首个预训练、通用多模态前期交互常识检索器 PreFLMR （Pre-trained Fine-grained Late-interaction Multi-modal Retriever）。相比以平经常出现的模型，PreFLMR 有以下特点：

1.PreFLMR 是一个可以处置文文检索，图文检索，常识检索等多个子义务的通用预训练模型。该模型经过百万级的多模态数据预训练后，在多个下游检索义务中取得了低劣的体现。同时，作为一个低劣的基底模型，PreFLMR 在私有数据上稍加训练就能够取得体现极佳的畛域公用模型。

图 2：PreFLMR 模型同时在多项义务上取得极佳的多模态检索体现，是一个极强的预训练基底模型。

2. 传统的密集文本检索（Dense Passage Retrieval, DPR）只经常使用一个向量表征问询（Query）或文档（Document）。剑桥团队在 NeurIPS 2023 宣布的 FLMR 模型证实了 DPR 的单向量表征设计会造成细粒度消息损失，造成 DPR 在须要精细消息婚配的检索义务上体现不佳。尤其是在多模态义务中，用户的问询（Query）蕴含复杂场景消息，紧缩至一维向量极大克服了特色的表白才干。PreFLMR 承袭并改良了 FLMR 的结构，使其在多模态常识检索中有得天独厚的长处。

图 3：PreFLMR 在字符级别（Token level）上编码问询（Query，左侧 1、2、3）和文档（Document，右侧 4），相比于将一切消息紧缩至一维向量的 DPR 系统有消息细粒度上的长处。

3.PreFLMR 能够依据用户输入的指令（例如 “提取能用于回答以下疑问的文档” 或 “提取与图中东西关系的文档”），从宏大的常识库中提取关系的文档，协助多模态大模型大幅优化在专业常识问答义务上的体现。

图 4：PreFLMR 可以同时处置图片提取文档、依据疑问提取文档、依据疑问和图片一同提取文档的多模态问询义务。

剑桥大学团队开源了三个不同规模的模型，模型的参数量由小到大区分为： PreFLMR_ViT-B (207M)、PreFLMR_ViT-L (422M)、PreFLMR_ViT-G (2B) ，供经常使用者依据实践状况选取。

除了开源模型 PreFLMR 自身，该名目还在该钻研方向做出了两个关键奉献：

下文将简略引见 M2KR 数据集，PreFLMR 模型和试验结果剖析。

为了大规模预训练和评价通用多模态检索模型，作者汇编了十个地下的数据集并将其转换为一致的疑问 - 文档检索格局。这些数据集的原本义务包括图像形容（image captioning），多模态对话（multi-modal dialogue）等等。下图展现了其中五个义务的疑问（第一行）和对应文档（第二行）。

图 5：M2KR 数据集中的局部常识提取义务

图 6：PreFLMR 的模型结构。问询（Query）被编码为 Token-level 的特色。PreFLMR 对问询矩阵中的每一个向量，找到文档矩阵中的最近向量并计算点积，而后对这些最大点积求和失掉最后的关系度。

PreFLMR 模型基于宣布于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并启动了模型改良和 M2KR 上的大规模预训练。相比于 DPR，FLMR 和 PreFLMR 用由一切的 token 向量组成的矩阵对文档和问询启动表征。Tokens 蕴含文本 tokens 和投射到文本空间中的图像 tokens。前期交互（late interaction）是一种高效计算两个表征矩阵之间关系性的算法。详细做法为：对问询矩阵中的每一个向量，找到文档矩阵中的最近向量并计算点积。而后对这些最大点积求和失掉最后的关系度。这样，每个 token 的表征都可以显式地影响最终的关系性，以此保管了 token-level 的细粒度（fine-grained）消息。得益于专门的前期交互检索引擎，PreFLMR 在 40 万文档中提取 100 个关系文档仅需 0.2 秒，这极大地提高了 RAG 场景中的可用性。

PreFLMR 的预训练蕴含以下四个阶段：

同时，作者展现了 PreFLMR 可以在子数据集（如 OK-VQA、Infoseek）上进一步微调以在特定义务上取得更好的检索性能。

最佳检索结果：体现最好的 PreFLMR 模型经常使用 ViT-G 作为图像编码器和 ColBERT-base-v2 作为文本编码器，总计二十亿参数。它在 7 个 M2KR 检索子义务（WIT，OVEN，Infoseek， E-VQA，OKVQA 等）上取得了逾越基线模型的体现。

扩展视觉编码愈加有效：作者发现将图像编码器 ViT 从 ViT-B（86M）更新到 ViT-L（307M）带来了清楚的效果优化，然而将文本编码器 ColBERT 从 base（110M）扩展到 large（345M）造成体现降低并形成了训练不稳固疑问。试验结果标明关于前期交互多模态检索系统，参与视觉编码器的参数带来的报答更大。同时，经常使用多层 Cross-attention 启动图像 - 文本投射的效果与经常使用单层相反，因此图像 - 文本投射网络的设计并不须要过于复杂。

PreFLMR 让 RAG 愈加有效：在常识密集型视觉问答义务上，经常使用 PreFLMR 启动检索加弱小大提高了最终系统的体现：在 Infoseek 和 EVQA 上区分到达了 94% 和 275% 的效果优化，经过便捷的微调，基于 BLIP-2 的模型能够击败千亿参数量的 PALI-X 模型和经常使用 Google API 启动增强的 PaLM-Bison+Lens 系统。

剑桥人工默认试验室提出的 PreFLMR 模型是第一个开源的通用前期交互多模态检索模型。经过在 M2KR 上的百万级数据预训练，PreFLMR 在多项检索子义务中展现出微弱的体现。M2KR 数据集，PreFLMR 模型权重和代码均可以在名目主页失掉。