自顺应调理方法好 大模型揭示学习样本量有玄机

引言：探求文本分类中的共性化示例数量

在人造言语处置（NLP）畛域，预测模型曾经从零开局训练演化为经常使用标志数据对预训练模型启动微调。这种微调的极其方式触及到高低文学习（In-Context Learning, ICL），其中预训练生成模型的输入（解冻的解码器参数）仅经过输入字符串（称为指令或揭示）的变动来控制。ICL的一个关键组成局部是在揭示中经常使用大批标志数据实例作为示例。虽然现有上班在推理环节中对每个数据实例经常使用固定数量的示例，但本钻研提出了一种依据数据灵活调整示例数量的新方法。这相似于在k-最近邻（k-NN）分类器中经常使用可变大小的邻域。该钻研提出的自顺应ICL（Adaptive ICL, AICL）上班流程中，在特定数据实例上的推理环节中，经过火类器的Softmax后验概率来预测经常使用多少示例。这个分类器的参数是基于ICL中正确推断每个实例标签所需的最佳示例数量来拟合的，假定与训练实例相似的测试实例应该经常使用相反（或凑近婚配）的大指示例数量。试验标明，AICL方法在多个规范数据集上的文本分类义务中取得了改良。

论文题目 ：‘One size doesn’t fit all’: Learning how many Examples to use for In-Context Learning for Improved Text Classification

论文链接： ​​ ​​ ​

了解在高低文学习中经常使用示例的动机

高低文学习（In-Context Learning, ICL），经过扭转输入字符串（称为指令或揭示）来控制预训练生成模型（解冻的解码器参数）的输入。ICL的一个关键组成局部是在揭示中经常使用大批标志数据实例作为示例。

动机起源于消息检索（IR），不同的查问由于消息需求的固有特性或查问的制订品质，体现出不同的检索功能。将IR中的查问类比为ICL中的测试实例，以及将本地化示例视为潜在相关文档，假定某些测试实例与训练示例的关联更好（即蕴含它们作为揭示的一局部可以造成正确预测），因此蕴含大指示例就足够了。另一方面，某些测试实例作为查问的检索品质不佳，因此须要进一步检查排名列表以搜集有用的示例。这象征着须要交流查问与文档相关性的概念，以及测试实例对示例的下游有用性。

选用可变数量的本地化示例的想法也相似于为k-NN分类选用可变大小的邻域，关键是同质邻域或者只有要相对较小的邻域就能做出正确预测，而非同质邻域或者须要更大的邻域。这个想法可以运行于ICL，其中一个测试实例假设与多个具备抵触标签的训练实例相似，或者须要更多的示例。

高低文学习(ICL)方法引见

1. ICL的定义和上班原理

高低文学习（ICL）与监视学习不同，不触及在标志示例上训练一组参数θ。相反，后验概率是以下起因的函数：a) 输入测试实例的文本，b) 预训练LLM的解码器参数，c) 揭示指令，d) 可选的一组k个输入示例（通常称为k-shot学习）。在这里，与监视设置不同，函数f没有参数化示意，可以经常使用带有梯度降低的训练集启动学习。函数自身依赖于预训练的LLM参数，输入的标签预测，以及由Nk(x)示意的k个文本单元组成的揭示。

由于LLM的解码器生成一系列单词w1, ..., wl（l是序列的最大长度），类别后验概率经过将p个或者的类别映射到p组不同的等效单词集V(y)来计算，其中y ∈ Zp，这些汇合通常称为verbalisers。

2. ICL中的示例选用和其关键性

ICL的一个最关键的组成局部是搜查组件，它输入训练集中与实例相似的top-k候选集。虽然准则上可以在揭示中蕴含来自训练集的随机示例，但曾经证实本地化示例（即与实例主题相似的示例）可以提供更好的功能。

高低文学习中的自顺应（AICL）

1. AICL的动机和通常基础

自顺应在高低文学习（Adaptive In-Context Learning，简称AICL）的动机源自消息检索（IR）畛域的通常，其中不同的查问由于消息需求的固有特性或查问的结构方式而体现出不同的检索功能。相似地，在人造言语处置（NLP）中，特定的测试实例在经常使用高低文学习（In-Context Learning，简称ICL）时，或者会由于训练示例的选用而影响预测结果。AICL的通常基础与k-最近邻（k-NN）分类器中经常使用可变大小邻域的概念相似，即关于同质的邻域，或者只有要较小的邻域就能做出正确的预测，而关于非同质的邻域，则或者须要更大的邻域。AICL的目的是灵活地顺应每个数据实例所需的示例数量，以提高文本分类义务的功能。

2. AICL上班流程

ICL的上班流程包括两个关键阶段：训练和推理。在训练阶段，首先对训练集中的每个实例口头k-shot推理，逐渐参与k的值，而后基于一些规范（例如起码示例数量造成正确预测）来确定最佳的示例数量。这个最佳示例数量随后用于训练一个分类器，该分类器能够依据训练数据中的相似实例预测测试实例所需的示例数量。在推理阶段，给定一个测试实例，首先经常使用训练好的分类器预测所需的示例数量，而后将这些示例作为额外高低文输入到预训练的言语模型（LLM）中，以启动下游义务的预测。

3. 选用示例数量的方法

选用示例数量的方法是经过监视学习来处置的。关于训练集中的每个实例，首先经常使用逐渐参与的示例数量启动k-shot推理，而后依据一些启示式规范（例如最小示例数量或分类置信度）来确定现实的示例数量。这些现实的示例数量随后用于训练一个分类器，该分类器能够泛化到未见过的数据上，预测测试实例所需的示例数量。

试验设计与数据集

1. 经常使用的数据集和义务说明

试验经常使用了三个文本分类数据集：AGNews、Jigsaw Toxic Comment和SST2。AGNews是一个主题分类数据集，蕴含来自网络的资讯文章，分为环球、体育、商业和科技四个类别。Jigsaw Toxic Comment数据集蕴含从维基百科的讨论页中提取的评论，这些评论被人类评价者依照六个代表有害行为的类别启动了注释。SST2是一个情感剖析数据集，蕴含从电影评论中提取的句子，用于二元分类义务。

2. AICL的不同变体和比拟方法

AICL的变体包括AICL-L和AICL-U，区分运行最小示例数量和基于置信度的启示式来训练预测示例数量的分类器。此外，还比拟了0-shot、静态ICL（SICL）和随机ICL（RICL）方法。SICL经常使用固定数量的示例作为输入，而RICL经常使用从训练集中随机采样的固定数量的示例。这些方法的功能经过准确度、召回率和F分数等目的启动评价，并思考了平均输入大小（AIS）和相对运转期间（RRT）作为效率目的。

试验剖析

1. AICL与其余基线方法比拟

试验结果标明，自顺应高低文学习（AICL）方法在文本分类义务上优于静态ICL（SICL）和随机ICL（RICL）等基线方法。AICL经过灵活调整用于推断的示例数量，防止了非相关（无用）示例的负面影响。AICL学习了主题内容与所需高低文量之间的潜在相关，有效地指点了解码器输入的正确方向。

2. AICL在不同数据集上的体现

在AGNews、Toxicity和SST2等规范数据集上的试验显示，AICL在不同的文本分类义务中均体现杰出。例如，在AGNews数据集上，AICL的平均精度、召回率和F分数均超越了SICL和RICL。这标明AICL能够智能顺应特定畛域，而无需启动畛域特定的调整。

3. AICL的效率和准确性剖析

AICL不只在准确性上体现杰出，而且在效率上也有所优化。AICL能够经常使用更少的输入大小（平均k值和AIS值），这象征着在与SICL相婚配的示例数量下，AICL的计算速度更快。此外，AICL与测试集标签访问的oracle方法相比，仅在有效性和效率上略有落后，尤其是在主题分类和电影评论检测义务（AGNews和SST2）上。

AICL的实践运行

1. 训练κ分类器的实践性

训练κ分类器以预测测试实例的现实示例数量或者在大型训练数据集上不实际践。但是，试验标明，经常使用训练数据的80%就足以超越SICL的功能，这标明κ分类器可以在较小的数据集上有效地训练。

2. AICL在不同训练数据规模下的体现

在不同比例的训练数据上启动的试验标明，即使在训练数据较少的状况下，AICL也能够坚持良好的功能。这为在资源受限的环境中部署AICL提供了或者性，同时也标明AICL对训练数据的规模不太敏感。

论断与未来展望

1. AICL方法总结

本钻研提出了一种陈腐的自顺应高低文学习（Adaptive In-Context Learning, AICL）方法，旨在改良文本分类义务的功能。AICL方法的外围现实是灵活调整用于推理的示例数量，而不是在一切测试实例中经常使用固定数量的示例。这种方法相似于k-最近邻（k-NN）分类器中经常使用可变大小的邻域。经过预测每个测试实例所需的示例数量，AICL能够依据数据自身的特性来调整示例的数量，从而提高预测的准确性和运转时效率。

试验结果标明，AICL在多个规范数据集上的文本分类义务中，相比静态高低文学习（Static ICL, SICL）方法，能够取得更好的成果。AICL经过学习训练集中每个实例所需的最佳示例数量，并将这一消息泛化到未见过的数据上，从而成功了对测试实例的有效推理。此外，AICL在计算效率上也体现杰出，由于经常使用较少的示例可以缩小输入字符串的长度，从而缩短解码期间。

2. 未来展望

未来的钻研将探求自顺应高低文学习（AICL）方法的其余潜在改良方向，例如调整言语模型的揭示模板和口令（verbaliser）。此外，钻研将思考如何在不同的义务和数据集上进一步优化AICL方法，以及如何将AICL与其余类型的学习战略（例如被动学习或元学习）联合起来，以提高模型的泛化才干和顺应性。

思考到在大型训练数据集上启动言语模型推理或者在通常中不太可行，未来的上班还将讨论如何在较小的数据集上有效地训练κ分类器。初步的试验结果标明，经常使用训练数据的80%就足以超越静态高低文学习（SICL）的功能，这为在资源受限的状况下训练κ分类器提供了或者性。

总之，AICL方法为人造言语处置中的高低文学习提供了一种有效的改良战略，未来的钻研将继续在这一方向上深化探求，以成功愈加智能和高效的文本处置才干。

原文链接：​ ​​ ​​