实用于百万级单元格的TableRAG Google新钻研

1. 基于LLM的TableQA存在的疑问

应用LLM来启动表格了解义务往往会将整个表格喂给LLM，但是这种方法存在必定的局限性：

• 首先，受限于LLM高低文长度的限度；比如，一个蕴含100列和200行的中等大小表格，单元格数量超越40,000个，超出了LLaMA和GPT系列等盛行LMs的解决才干。

• 此外，过长的高低文或者会削弱推理才干，比如：Lost-in-the-Middle。

• 最后，随着表格尺寸的参与，计算老本和提前也会清楚回升。

所以，间接将表格所有喂给LLM这种打算不适宜与大型表格。

因此，有人提出一些新的打算用于大型表格的了解义务，如截断表格或仅读取表格的Schema，但是这种方法往往会失落关键消息。

以及，经过检索关键行和列来构建一个蕴含回答查问所需基本消息的子表，将整行和整列编码成稠密或密集的嵌入，以缩小LMs的标志老本。这种方法有两个疑问：

• 关于蕴含数百万单元格的大型表格来说并不事实。

• 将长行和列紧缩成固定大小的嵌入或者会失落语义消息，尤其是当表格蕴含多样化或语义上不太丰盛的内容时（例如，数值）。

2. 什么是TableRAG

基于以上疑问，Google Deepmind等团队联结提出了TableRAG方法。TableRAG融合了形式检索与单元格检索，从表格中提取出外围消息，使得LLM自动体能够依据这些消息解答查问。

上图展现了TableRAG与传统表格了解义务的区别。

(a) - (d)：区分示意4种方法在揭示词中蕴含的数据（阴影局部），其中 （d）是TableRAG方法：

• (a) 完整读取表格 ：LM读取整个表格，在大型表格中往往不事实。

• (b) 只读取Schema ：LM只读取列名和数据类型组成的形式，这种方法会造成表格内容失落。

• (c) 行-列检索 ：将行和列编码后，基于与疑问相似度启动检索。只要行和列的交加被展现给LM。关于大型表格来说，编码一切行和列依然不事实。

• (d) Schema-单元格检索 （TableRAG）：依据与LM生成的疑问关系性，对列名和单元格启动编码和检索。只要检索到的Schema和单元格被提供应LM，从而在编码和推理上都提高了效率。

(e) 在ArcadeQA数据集上的检索结果显示: TableRAG在列和单元格检索方面均优于其余方法，进而增强了后续的表格推理环节。

2.1 TableRAG的外围组件

上图是TableRAG的外围上班流程：疑问经过言语模型裁减为多个形式和单元格查问。这些查问依次用来检索Schema和列-单元格配对。每个查问的前K个候选项汇总成揭示词提供应LLM生成对应对案。

2.2 表格查问裁减

高效解决表格的关键在于准确地识别出查问 所需的列名和单元格值 。与传统的表格了解义务不同的在于，TableRAG独自为Schema和单元格区分生成独立查问。比如：

关于疑问“钱包的平均多少钱是多少？”，经过LLM生成针对列名如“产品”和“多少钱”的潜在查问，以及针对关系单元格值如“钱包”的查问。这些查问用于从表格中检索关系的形式和单元格值。

2.3 Schema检索

生成查问后，Schema检索经过预先训练的编码器失掉关系的列名，fenc会对查问启动编码，并与编码的列名启动婚配以确定其关系性。检索到的Schema数据包括列名、数据类型和示例值。

• 关于分类列，展现频率最高的三个类别作为示例值。

汇总每个查问的前K个检索结果，并依据它们与最凑近查问的相似度启动排序。检索到的Schema提供了表格格局和内容的结构化概览，用于更准确的数据提取。

2.4 单元格检索

Schema检索后，提取回答该疑问所需的特定单元格值。

单元格检索的作用在于：

• 单元格识别：使LLM能够准确地检测表格中特定关键词的存在。例如，区分“tv”和“television”，确保搜查和操作基于准确的数据条目。

• 单元格-列关联：使LLM能够将特定单元格与其关系的列名关联起来。关于解决特定属性的疑问至关关键，如将“钱包”间接与“形容”列关联，成功行索引。

单元格检索在须要经过单元格值启动索引时特意有用。例如：

要回答“平均多少钱是多少？”的疑问，只需识别与多少钱关系的列名，由于平均值的实践计算可以由程序解决。

2.5 编码估算下的单元格检索

在最坏的状况下，不同值的数量或者与单元格的总数相婚配（即全表都用来喂给模型）。为了在这种状况下坚持TableRAG的可行性，引入了一个单元格编码估算B。假设不同值的数量超越B，将编码限度在发生频率最高的B对，从而在解决大型表格时提高效率。

编码估算仅影响单元格检索环节。即使某个单元格未包括在检索中，只需经过形式检索或其余单元格知道了其列名，后续求解器依然可以访问该单元格。

如上图所示，“description”列蕴含自在格局文本，或者造成少量共同的值，许多或者因单元格编码估算而被截断。但是，只需求解器识别了该列，它依然可以对该列口头操作以提取所需消息。

在取得与疑问关系的列名和单元格值之后，LLM可以经常使用这些消息有效地与表格交互。TableRAG与可以以编程形式与表格交互的言语模型自动体兼容。

自动体经常使用了ReAct框架，上图展现了TableRAG如何经常使用ReAct。

2.6 Token复杂性

调用LLM的效率和提前很大水平上取决于输入token的数量。

假定列名、单元格值和疑问的长度均为O(1)。其中，N代表行数，M代表列数，D代表不同文本单元格值的数量，B代表单元格编码估算，K代表顶级检索结果的数量。

关键表格揭示方法的token复杂性如下表：

• 读取表格：将整个表格提供应言语模型，造成推理环节中须要O(NM)数量的令牌。

• 读取Schema：只向言语模型提供形式，仅需O(M)数量的令牌，但会失落表格内容的消息。

• 行-列检索：将一切行和列编码到嵌入中，造成编码环节中须要O(NM)数量的令牌。而后它检索前K个行和列以构建一个K×K的子表启动推理，其复杂性为O(K^2)。

对TableRAG中每一步的token复杂性启动剖析：

• 表格查问裁减：对言语模型的揭示关键基于疑问，通常只蕴含大批词汇，因此这局部的令牌复杂性为O(1)。

• 构建Schema数据库：每个列名都经常使用编码器函数fenc启动编码，造成编码器的令牌复杂性为O(M)。

• 构建单元格数据库：这一操作触及经常使用fenc编码不同的列-值对。当超越限度时，不同对的总数D被限度在B以内。因此，构建单元格数据库的令牌复杂性为O(min(D, B))，确保解决最频繁的数据以优化功能。

• 言语模型推理：查问裁减环节通常发生大概3-5个查问，这些查问的复杂性为O(1)。每个查问随后检索前K个结果，造成言语模型揭示中蕴含的列和单元格值的总复杂性为O(K)。这一步确保言语模型只解决表格中最关系的消息，从而提高生成照应的效率和有效性。

总体而言，由于通常M远小于B和D，TableRAG的令牌复杂性在编码时为O(min(D, B))，在推理时为O(K)，且两者均不依赖于表格的全体大小。因此， TableRAG即使面对大型表格，也能坚持可控的老本，优化计算资源和大规模表格了解义务的照应期间 。

3. 成果如何？

3.1 回答准确性

上表展现了测试结果，TableRAG在ArcadeQA和BirdQA上的一切言语模型中均分歧逾越其余方法，准确率最高。

读取全表的方法在这两个数据集上的体现均不佳，标明它在长高低文中存在劣势。

在三种言语模型中，GPT 3.5 Turbo无论驳回哪种表格揭示方法，都能稳固提供最佳功能。

3.2 检索功能

上表评展现了召回率、准确度和f1分数。

• 在列检索方面，由于列数较少，一切方法都成功了较高的召回率，但TableRAG在两个数据集上都展现了更高的准确度，这标明它在极速识别最关系列方面十分有效。

• ReadSchema和RowColRetrieval的准确度较低，说明这两个方法检索到了更多不关系的列。

• 在单元格检索方面，TableRAG在一切目的上均继续逾越其余方法。TableRAG在单元格检索上的高召回率与其余表格揭示方法相比有了清楚优化，标明它能够检索到后续推理所需的大少数单元格。总

3.3 伸缩性测试

为了探求在相似条件下不同表格大小对功能的影响，基于TabFact创立了一系列分解数据，表格尺寸从50×50到1000×1000不等。

• 如上图所示，ReadTable在初始数据上体现微弱，随着表格尺寸的参与，其准确性急剧降低，在表格尺寸到达100及以上时变得无法行，这是由于高低文长度的限度。

• TableRAG展现了最为稳固和可伸缩的功能，即使在表格尺寸参与到1000行和列时，其功能也只是过度降低，从83.1%降至68.4%，证实了其在解决大型表格方面的有效性。

• ReadSchema和RowColRetrieval随着表格尺寸的参与也显示出功能降低，但依然坚持了必定的准确率，这标明它们相关于ReadTable具备较好的可伸缩性，但在解决大型表格方面不如TableRAG有效。

3.4 与WikiTableQA上最先进技术的比拟

如上表所示，TableRAG逾越了一切现有方法，包括TaBERT 、Text-to-SQL 、Binder 和Dater 。标明TableRAG即使在小规模环境中也具备有效性。

虽然TableRAG旨在应对大规模TableQA义务，但其方法具备通用性，并能在不同规模和复杂性的表格上坚持最先进水平的功能。

3.5 消融钻研

3.5.1 TableRAG中检索方法的影响

上表比拟了TableRAG外部不同的检索方法。

• BM25：驰名的基于统计的检索方法，效率上体现杰出，能够解决一切单元格，但不足语义了解才干。

结果标明：基于嵌入的检索方法功能最佳，逾越了BM25和混合方法，虽然由于编码限度它并未解决整个表格。

3.5.2 检索结果数量K的影响

上图展现了扭转顶级检索结果(K)数量对功能和后续言语模型推理的令牌老本的影响。

结果标明：参与K的数量参与了揭示长度，但并未分歧地优化功能。

较大的K值虽然准许言语模型访问更多消息，但也造成了更长的高低文，或者加剧“Loss in the middle”现象。

TableRAG经过缩小K值的需求，降低了所需的高低文令牌数量，缩小了后续推理的老本，同时依然逾越了其余方法。

3.5.3 编码估算的影响

上图展现了不同的token编码估算(B)如何影响TableRAG和RowColRetrieval的功能。

虽然更高的估算实践上准许检索更多消息，但结果标明这并不总是造成更好的功能。特意是，随着估算的参与，RowColRetrieval的功能有所降低，或者是由于检索到的更多行使得选用正确的行变得愈加复杂，并发生了来自更长列序列的噪声嵌入。

TableRAG在不同估算下坚持了分歧的功能，标明其经过单元格频率构建语料库的方法即使在有限的估算下也能有效地捕捉基本消息。

3.5.4 查问裁减的影响

上图剖析了查问裁减方法的有效性。结果标明：查问裁减分歧地优化了TableRAG在不同数据集和言语模型中的功能。

3.5.5 形式检索和单元格检索

上表剖析了Schema检索和单元格检索对功能的影响。

• 形式检索在不同数据集和言语模型中分歧地优化了推感功能，最大优化了9.4%，无论能否思考单元格值。

• 即使关于列数较少的表格（ArcadeQA中平均20.5列，BirdQA中平均11.1列），形式检索依然有助于只为后续推理提供关系列。

• 单元格检索在一切数据集和言语模型中分歧地提高了准确性，最大优化了11.5%，标明单元格检索可以从表格内容中有效地提取关键消息。

• 论文原文:

本文转载自​​，作者：​​