中国人民大学提出新的数据增强方法 大模型真能模拟人类言语

论文题目: LLM-Generated Natural Language Meets Scaling Laws: New Explorations and> 机构:

论文链接: ​ ​​ ​

在人工自动畛域，大型言语模型（LLM）如GPT-4的产生惹起了宽泛关注，特意是它们在人造言语处置（NLP）中的运行。这些模型经过生成与人类人造言语（HNL）极为相似的文本，推进了NLP的开展。但是，虽然LLM在文本生成方面表现杰出，它们在生成人类人造言语的准确性和深度上仍存在不懂。

这篇论文关键讨论了大言语模型(LLM)生成的人造言语与人类人造言语(HNL)之间的对齐疑问和数据增强方法。作者提出了一种新的数据增强方法应用基于缩放定律的含糊计算机制来提高文本分类的效果。经过少量的试验验证，该方法在功能上优于现有的方法。此外，论文还提醒了一些幽默的见地，如Hilberg's law和Taylor's law可以为文本分类带来更多好处等。

LLM与HNL的基本对比

1. 训练和反应机制的差异

LLM通常经过从人类反应中学习的强化学习启动训练，这种方法预设生成的文本与HNL分歧。但是，这一假定的实证实在性尚未获取充沛探求。与之相对，HNL是经过日常交换和常年的言语习得环节构成的，这一环节触及复杂的认知和社会互动起因，这些是LLM难以齐全模拟的。

2. 言语的复杂性和深度

从言语的复杂性来看，HNL具备丰盛的变动和深度，这反映在不同语境下言语的灵敏运用上。相比之下，虽然LLM能够生成语法结构正确的文本，但它们生成的 内容往往缺乏人类言语的巧妙情感和语境深度 。例如，LLM在处置具备双关语或幽默等元素的文本时，或者不可齐全捕捉其言语的巧妙之处。

3. 数据增强与实在性疑问

在经常使用LLM启动数据增强时，一个关键疑问是生成的文本数据（Daug）与人类言语的分歧性。钻研标明，虽然经过LLM生成的文本可以裁减训练数据集，但这些文本的品质和多样性之间的权衡或者会影响模型的最终功能。此外，由于缺乏战略性过滤，或者会蕴含一些低品质或与人类言语差异较大的数据，这一点在训练环节中须要特意留意。

经过对LLM和HNL的这些基本对比，咱们可以看到虽然LLM在模拟人类言语方面取得了必定的成就，但在实在性、复杂性和深度上仍有较大的优化空间。这些差异提醒咱们在将LLM运行于实践NLP义务时，须要细心思索其局限性，并探求更有效的方法来提高其与人类言语的分歧性。

新的数据增强方法：ZGPTDA

在人造言语处置（NLP）畛域，大型言语模型（LLM）如GPT-4的产生，曾经清楚推进了文本生成技术的开展。但是，这些模型生成的文本（LLMNL）与人类人造言语（HNL）的分歧性仍是一个未解之谜。为了处置这一疑问，本文提出了一种新的文本数据增强方法，名为ZGPTDA（基于缩放规律的GPT数据增强方法）。

1. ZGPTDA的动机和目的

ZGPTDA的外围动机是处置LLM生成的文本随机性疑问，即不是一切生成的文本都对训练有同等的价值。这种方法特意关注那些更凑近人类言语的文本，由于分类器的设计初衷是服务于人类，并在事实生存中经常使用。因此，ZGPTDA经过评价这些文本与八个缩放规律的合乎度来确定其实用性，如拟合优度（goodness of fit）等，从而选用出最佳的增强实例。

2. ZGPTDA的成功机制

ZGPTDA首先经常使用GPT-4从原始数据集生成额外的训练文本。而后，这些生成的文本将依据它们与已知的缩放规律（如Zipf定律、Heaps定律等）的分歧性来评价。经过这种模式，ZGPTDA能够量化每个文本实例的“实用性”。具备较高实用性的实例被以为更具代表性，更合乎人类言语的个性，因此更适宜被归入训练环节中。

3. ZGPTDA的评价和效果

经过对比试验，ZGPTDA在多个数据集上的运行显示出了其有效性。例如，在经常使用Bert和RoBerta分类器的测试中，ZGPTDA能够提高7-10%的F1得分，并且在一些状况下超越了最近的AugGPT方法。这些结果验证了ZGPTDA在处置由LLM生成的文本时，经过缩放规律启动挑选和决策的有效性。

总之，ZGPTDA提供了一种新的视角和方法，用于改良基于LLM的文本数据增强技术，特意是在训练数据无余的状况下。经过准确地评价生成文本的人类言语实用性，ZGPTDA有助于提高NLP模型的功能和实用性。

试验设置与验证

在本钻研中，咱们驳回了三个数据集，每个数据集都蕴含由GPT-3.5和人类在相反提醒下生成的文本。为了更好地启动试验，咱们将每个数据集中的LLM生成的人造言语（LLMNL）和人类人造言语（HNL）区分整合。表1展现了一些统计消息，包括文本数量和词频等。

为了验证LLM生成的文本与人类文本的分歧性，咱们驳回了多种统计规律启动量化剖析。这些包括Zipf定律、Heaps定律、Taylor定律等，经过这些定律的参数优化和回归剖析来确定它们的实用性。咱们经常使用R2、Kullback-Leibler散度（KL）、Jensen-Shannon散度（JS）敌对均相对百分比误差（MAPE）等多种目的来权衡拟合的好坏。其中，R2值大于0.9通常示意很强的分歧性。

试验结果显示，在三个数据集上，一切的R2值均高于0.9，甚至在Heaps定律和Mandelbrot定律上超越了0.99。此外，KL和JS散度的最小值（例如在Mandelbrot定律中低至0.001）也强有力地允许了LLM生成的言语与实在散布之间的分歧性。这些结果充沛证明了LLM在言语输入上与人类言语的高度分歧性。

图1明晰地展现了LLM和人类言语输入中产生的定律的分歧性，显示出在不同数据集上的一致趋向。例如，在HC3数据集上，Zipf指数α的差异被限度在0.03以下，显示出对最小致力准则近乎同等。

经过这些严厉的试验设置和验证，咱们不只证明了LLM生成的文本在结构和统计个性上与人类文本的高度相似，而且还为经常使用LLM启动文本数据增强提供了松软的通常基础和通常证据。这些发现为人造言语处置的进一步钻研和运行提供了关键的允许。

深化剖析与讨论

在探求大型言语模型（LLM）如GPT-4在人造言语处置（NLP）中的运行时，一个外围疑问是这些模型生成的言语（LLMNL）与人类人造言语（HNL）的实在对应水平。虽然LLM经过从人类反应中学习而设计，通常上应该能够模拟人类言语，但实践上这一假定的阅历验证依然是一个未知数。这种不确定性使得咱们必定愈加深化地钻研LLM生成言语的实在性和实用性。

1. 言语生成与了解的差异

LLM如GPT-4在生成言语方面的才干无疑是反派性的，但它们无了解言语的才干上却有所无余。这种生成与了解的差异在特定畛域尤为清楚，例如在工业安保畛域，由于缺乏特定畛域的训练数据，LLM在启动危害分类等义务时或者效果不佳。

2. 数据增强的实践运行

在标签数据稀缺的状况下，经常使用LLM生成的标签文原本增强原始训练数据集大小是一种间接有效的战略。这种方法可以在保障生成数据标签的正确性（保真度）和生成数据的多样性（多样性）之间启动权衡。但是，这种方法也存在生成文本的随机性和或者蕴含低品质数据的疑问，这些低品质数据或者会被失误地蕴含在训练集中。

3. 缩放规律的运行

经过引入缩放规律，如Zipf定律、Heaps定律和Mandelbrot规律等，咱们可以从一个新的角度来评价LLMNL与HNL之间的相似性和差异。这些规律协助咱们从统计物理的角度了解言语的复杂性，提供了一种量化言语实质的方法。例如，Zipf定律提醒了词频散布的偏斜性，这可以被视为言语经济性的表现，而Mandelbrot规律则从多重分形剖析的角度提供了对言语自相似性的深化了解。

4. ZGPTDA方法的翻新

在数据增强方面，咱们提出了一种新的方法ZGPTDA，它基于LLM生成文本与缩放规律的合乎度来评价这些文本的实用性。这种方法不只思索了生成文本的品质，还经过决策环节来选用最适宜训练目的的文本实例。ZGPTDA经过试验显示，能够有效提高文本分类的F1分数，并且在多个数据集上的表现优于现有的数据增强方法。

经过这些深化的剖析和讨论，咱们不只加深了对LLM在人造言语处置中运行的了解，还推进了相关技术的进一步开展和优化。这些钻研成绩为LLM在NLP畛域的运行提供了通常基础和通常指点，为未来的钻研方向指明了路线。

总结与未来展望

在本文中，咱们讨论了大型言语模型（LLM）生成的人造言语（LLMNL）与人类人造言语（HNL）之间的相关，并引入了缩放规律来深化剖析这两者之间的相似性和差异。经过宽泛的试验，咱们发现LLMNL与HNL之间存在庞大的偏向，特意是在Mandelbrot的规律中观察到约0.2的指数差异。这一发现不只加深了咱们对言语格调的了解，还为LLM的进一步运行和开展奠定了松软的基础。

此外，咱们提出了一种新的文本分类数据增强方法——ZGPTDA，该方法应用缩放规律的分歧性经过含糊计算机制对GPT-4增强数据启动决策。实践运行场景中的宽泛试验验证了ZGPTDA的有效性和竞争力，其在Bert和RoBerta上的F1得分提高了7-10%，并在DeBerta上的准确率上超越了最近的AugGPT和GENCO方法约2%。

咱们的钻研还提醒了一些幽默的见地，例如Hilberg规律和Taylor规律在文本分类中或者带来更多的好处。这些发现为未来的钻研提供了新的方向，例如在特色工程中优先思索这些规律，以提高效率和完恶人造言语处置的范式。

本文转载自​​，作者：