一种新的大模型参数高效微调方法 RoSA

随着言语模型始终扩展到史无前例的规模，对下游义务的一切参数启动微调变得十分低廉，PEFT方法已成为人造言语处置畛域的钻研热点。PEFT方法将微调限度在一小局部参数中，以很小的计算老本成功人造言语了解义务的最先进功能。

RoSA是一种新的PEFT技术。在一组基准测试的试验中，RoSA在经常使用相反参数估算的状况下优于先前的低秩自顺应(Low-Rank Adaptation, LoRA)和纯稠密微调方法。

本文咱们将深化讨论RoSA原理、方法和结果。并解释为什么它的功能标记着无心义的提高。关于那些宿愿有效地微调大型言语模型的人来说，RoSA提供了一种新的处置打算，该处置打算优于以前的打算。

对参数高效微调的需求

NLP曾经被一系列越来越大的基于transformer的言语模型(如GPT-4)所彻底扭转，经过对少量文本语料库启动预训练，这些模型学习弱小的言语表征，并经过一个便捷的环节转移到下游的言语义务。

随着模型规模从数十亿个参数增长到万亿个参数，微调带来了无法继续的计算累赘。微调GPT-4 1.76万亿参数或许会破费数百万美元的费用。这使实践运行中的部署在很大水平上不实际践。

参数高效微调(PEFT)方法经过将微调限度为每个义务的一小局部参数来处置这个疑问。在最近的文献中提出了一系列PEFT技术，在效率和准确性之间做出了不同的掂量。

一个突出的PEFT方法是低秩顺应(LoRA)。LoRA是由Meta和麻省理工学院的钻研人员于2021年推出的，其动机是观察到transformer在其头部矩阵中体现出低秩结构。

LoRA只对每个变压器头的前k个奇特向量对启动微调，坚持一切其余参数不变。这只有要调优O(k)个额外参数，而对一切n个参数启动片面微调则须要O(n)个。

经过应用这种低秩结构，LoRA可以捕捉下游义务泛化所需的无心义的信号，并将微调限度在这些顶级奇特向量上，使提升和推理愈加有效。

试验标明，LoRA在GLUE基准测试中可以婚配齐全微调的功能，同时经常使用的参数缩小了100倍以上。然而随着模型规模的始终扩展，经过LoRA取得弱小的功能须要参与rank k，与齐全微调相比缩小了计算节俭。

在RoSA之前，LoRA代表了PEFT方法中最先进的技术，只是经常使用不同的矩阵合成或参放大批额外的微调参数等技术启动了过度的改良。

Robust Adaptation(RoSA)引入了一种新的参数高效微调方法。RoSA的灵感来自于持重的主成分剖析(robust PCA)，而不是仅仅依赖于低秩结构。

在传统的主成分剖析中，数据矩阵X被合成为X≈L + S，其中L是一个近似主成分的低秩矩阵，S是一个捕捉残差的稠密矩阵。robust PCA更进一步，将X合成为洁净的低秩L和“污染/损坏”的稠密S。

RoSA从中吸取灵感，将言语模型的微调合成为:

显式地建模残差稠密重量可以使RoSA比独自的LoRA到达更高的精度。

RoSA经过对模型的头部矩阵启动低秩合成来构建L。这将编码对下游义务有用的底层语义示意。而后RoSA选用性地将每层最关键的前m个参数微调为S，而一切其余参数坚持不变。这个步骤会捕捉不适宜低秩拟合的残差信号。

微调参数的数量m比LoRA独自所需的rank k要小一个数量级。因此联合L中的低秩头矩阵，RoSA坚持了极高的参数效率。

RoSA还驳回了一些其余便捷但有成果的提升:

这些架构选用为RoSA建模提供了相似于齐全微调的灵敏性，同时坚持了提升和推理的参数效率。应用这种联合鲁棒低秩自顺应和高度稠密残差的PEFT方法，RoSA成功了精度效率折衷的新技术。

钻研人员在12个NLU数据集的综合基准上对RoSA启动了评价，这些数据集涵盖了文本检测、情感剖析、人造言语推理和鲁棒性测试等义务。他们经常使用基于人工默认助理LLM的RoSA启动了试验，经常使用了120亿个参数模型。

在每个义务上，在经常使用相反的参数时，RoSA的功能都显著优于LoRA。两种方法的总参数都差不多为整个模型的0.3%左右。这象征着LoRA的k = 16, RoSA的m =5120这两种状况下都有大概450万个微调参数。

RoSA还婚配或超越了纯稠密微调基线的功能。

在评价对反抗示例的鲁棒性的ANLI基准上，RoSA的得分为55.6，而LoRA的得分为52.7。这标明了泛化和校准的改良。

关于情感剖析义务SST-2和IMDB, RoSA的准确率到达91.2%和96.9%，而LoRA的准确率为90.1%和95.3%。

在WIC(一项具有应战性的词义消歧测试)上，RoSA的F1得分为93.5，而LoRA的F1得分为91.7。

在一切12个数据集中，RoSA在婚配的参数估算下普遍体现出比LoRA更好的功能。

值得留意的是，RoSA能够在不须要任何特定于义务的调优或专门化的状况下成功这些增益。这使得RoSA适宜作为通用的PEFT处置打算经常使用。

随着言语模型规模的继续极速增长，缩小对其微调的计算需求是一个迫切须要处置的疑问。像LoRA这样的参数高效自顺应训练技术曾经显示出初步的成功，但面临低秩近似的外在局限性。

RoSA将鲁棒低秩合成和残差高度稠密微调无机地联合在一同，提供了一个令人信服的新处置打算。经过思考经过选用性稠密残差回避低秩拟合的信号，它大大提高了PEFT的功能。阅历评价标明，在不同的NLU义务集上，LoRA和不受控制的稠密性基线有了显著的改良。

RoSA在概念上便捷但高功能，能进一步推进参数效率、顺应性表征和继续学习的交叉钻研，以扩展言语默认。