EMNLP 2023

一、概述

PromptMix: A Class Boundary Augmentation Method for Large Language Model Distillation

代码： ​ ​​ ​

Gaurav Sahu, Olga Vechtomova, Dzmitry Bahdanau, Issam H. Laradji

1 Motivation

•应用大型言语模型如GPT3生成新示例以处置文本分类训练数据无余的疑问。

• LLM推理老本比拟高、DistiBERTbase和BERTbase等模型受限于训练数据无余疑问，如何将LLM的常识有效转移到SLM上是一个工业界值得尝试的疑问。

省流版总结:

论文经过提出PromptMix方法来处置提出的疑问，该方法包括两个步骤：

1. 生成接近类别边界的应战性文本增强（但这样做参与了数据集中发生误标的危险）；

2. 经常使用基于揭示的大型言语模型分类器对文本增强启动从新标注，增强生成数据的标签准确性。

Figure 1: PromptMix focuses on generating exam- ples near the class boundary of two classes

具体方法和步骤:

步骤一：应战性文本增强生成: 依据已有的分类数据，在类别边界左近生成新的例子，从而提高模型面对边界状况的识别才干。

prompt分为三个局部，Instruct，Part1: 每个类别简明的概述。part2: 关于每一个类别$$C_{i}$$，随机选用一个$$C_j$$，按必定混合比例生成两者的难样本数据。

留意：生成结果中，有些分类是错的、有些结果是对的，须要进一步优化生成的Example。

步骤二：基于揭示的LLM分类重视标志: 因为在类别边界左近生成的文本增强或者会参与假阳性的危险，所以经常使用基于揭示的LLM分类器对这些数据启动从新标志，以保障生成数据的标签准确性。

3 Conclusion

• PromptMix经过生成有应战性样本和Relabeling战略，可以有效将如GPT3.5-turbo这样的大型LLM转移到更小、更廉价的分类器，如DistilBERT和BERT。

•在Banking77、TREC6、Subjectivity和Twitter Complaints四个文本分类数据集中，2-shot PromptMix在多个5-shot数据增强方法上体现更佳。

二、具体内容

1 Mixup的成果

论断： Mixup能有效的将两个类别的消息启动混合，从而优化最终难样本的分类成果。

2 测试精度&消融试验

展现了在四个不同的文本分类数据集（Banking77、TREC6、SUBJ和Twitter Complaints）上，经常使用不同方法启动数据增强后的测试分类准确率。这些方法包括基线（Baseline）、NN+GPT3.5、Sahu等人的方法（Sahu et al. (2022)）、PromptMix及其变体（包括有无Mixup的PromptMix）、Easy> 说明：

论断：

3 Relabeling的成果

生成的数据因为经常使用Mixup混合战略，很容易发生badcase，应用Relabeling战略可以对这些标签启动批改，试验看出这一步带来成果的优化也十分大。

4 LLM基座对数据增强的影响

论断： 基座模型才干越强，数据增强带来的成果越好，一方面是生成的品质越高带来的，另一方面Relabling阶段，LLM成果越好，也或者分的更准。

三、总结

这篇论文引见了PromptMix，一种陈腐的类边界数据增强方法，用于在训练数据有限的状况下提矮小型言语模型的文本分类成果。该方法经过生成应战性文本并联合Relabeling战略，生成类别准确的难样本，以便更好地迁徙大型模型（如GPT3.5-turbo）的常识到更小、更经济高效的分类器（如DistilBERT和BERTbase）。论文的试验标明，PromptMix在2-shot场景中的成果优于多个5-shot数据增强方法。

论断1: PromptMix经过生成有应战性样本和Relabeling战略可以有效将LLM常识迁徙到小模型。 该方法经过生成接近类别边界的增强数据，而后经常使用LLM启动精准的Relabeling，有效优化了few-shot场景小模型的成果，可以少量降落人工的标注老本。 论断2: PromptMix为文本分类畛域提供了一种新的数据增强战略。 本文所提出的方法在处置大批训练数据的状况下，为优化分类器的功能提供了新的思绪和打算。这象征着咱们用大批样本就可以训练处一个成果十分不错的分类模型，在工业界或者有着比拟大的运行空间。

论断3: Relabeling战略可以带来十分大的成果优化。 说明间接用LLM生成样本成果不必定好，还须要进一步的处置战略，例如经常使用本文提到的Relabing战略，再应用LLM对增强的数据启动优化，从而全体上优化数据增强的品质。