在人造言语处置（NLP）畛域，Transformer是一种反派性的架构。Transformer模型因其出色的言语了解和生成才干而成为了一个里程碑，它们在多种义务中展现出了史无前例的性能，从机器翻译到文本摘要，再到问答系统，Transformer模型曾经成为了当今最先进的技术。虽然取得了庞大的成功，Transformer在执行复杂推理义务时仍面临应战，特意是在须要多步逻辑推理的场景中。这些应战关键表如今模型关于复杂疑问的了解和处置才干上，尤其是当疑问触及到跨步骤的逻辑推导时。
5月27日，宣布于世界最大学术论文平台arXiv的《Towards Understanding How Transformer Perform Multi-step Reasoning with Matching Operation》这篇论文深化讨论了Transformer模型如何经过婚配操作来执行多步推理。来自上海交通大学人造迷信钻研院、数学迷信学院以及华为诺亚方舟试验室的钻研团队经过构建专门的数据集，提醒了Transformer外部的婚配机制，并提出了一种新的婚配矩阵概念来量化模型的婚配才干。他们发现经过庞大的初始化和调整LayerNorm的位置，可以清楚提高模型的婚配才干，从而增强其推理才干。此外钻研还发现Transformer能够在其架构外部并行地执行多个推理步骤，这一发现为了解模型的推理才干提供了新的视角，并为设计更高效的推理模型奠定了基础。
他们钻研的动机源于对Transformer模型在执行复杂义务时的局限性的意识。虽然这些模型在单步推理义务中体现出色，但在须要延续多个逻辑步骤的推理义务中，它们的性能往往会降低。这种现象激起了钻研者们对模型外部如何处置和整合跨步骤消息的猎奇心，以及如何改良模型以更好地执行这类义务的探求。
论文的关键目的是提醒Transformer模型在多步推理义务中的上班原理，并提出有效的方法来增强其推理才干。经过构建专门的数据集和试验，钻研团队不只剖析了模型的婚配机制，还讨论了不同初始化方法和LayerNorm位置对推理才干的影响。此外他们还提出了并行推理机制的概念，并基于此提出了关于模型推理才干下限的猜想。
钻研团队的这些发现不只为咱们提供了如何改良Transformer模型的详细指点，也为未来在更宽泛的人工智能系统中运行多步推理提供了通常基础。随着钻研的深化，咱们等候这些洞见能够推进人工智能向更上档次的认知和推理才干迈进。
Transformer模型是一种基于自留意力机制的深度学习架构，它在处置序列数据时能够同时思考序列中一切元素之间的相关。这种模型的外围长处在于其能够捕捉长距离依赖相关，这在传统的循环神经网络（RNN）和长短期记忆网络（LSTM）中是一个应战。Transformer模型由编码器和解码器组成，其中编码器担任处置输入数据，解码器则生成输入。自留意力机制准许模型在不同位置的输入之间建设间接的咨询，从而提高了处置复杂义务的才干。
多步推理是指在处置疑问时须要启动多个逻辑步骤的推导环节。在人工智能畛域，多步推理被宽泛运行于各种复杂义务，如数学识题求解、法律案件剖析、迷信试验设计等。这些义务通常触及到从给定的消息中推导出新的论断，须要模型具有弱小的逻辑推理和决策才干。多步推理不只能够提高模型的认知才干，还能够协助模型更好地理解和解释复杂的疑问。
最先进的模型，如GPT-4，通常驳回横向思想战略，如思想链（CoT）提醒，它屡次调用模型以生成明白的两边推理步骤。这种方法经过横向延伸思想环节来增强模型的推理才干。在CoT提醒下，一切模型都可以在图1所示的示例义务中输入正确答案。作为横向方法的补充，作者团队的钻研重点是Transformer模型的纵向思想才干，即在模型架构自身内执行多步骤推理的固有才干。他们的目的是提醒模型的推理才干如何随着深度而裁减，而不依赖于外部提醒或屡次调用。CoT提醒和咱们的多步骤推理剖析为提高LLM的推理性能提供了互补的视角。
图1：LLM中多步骤推理的失败案例。正确答案是[r]（由于[w]→ </p>→ e→ [i]→ r他们对每个模型启动了9次测试。
为了深化钻研Transformer模型的推理机制，他们设计了三种类型的多步骤推理数据集，并剖析了模型的外部消息流。他们的钻研标明，Transformer模型关键经过婚配运算来成功多步骤推理。他们提出了婚配矩阵的概念来权衡模型在每一层的婚配才干，发现即使关于未经训练的随机嵌入向量，模型也能坚持良好的婚配才干。这标明Transformer模型或者曾经学习了推理义务的实质。
婚配操作是Transformer模型在执行推理义务时的一种关键机制。它触及到在模型的不同层之间婚配相关消息，以便正确地推导出答案。在多步推理义务中，婚配操作使得模型能够将前一步的输入作为下一步推理的输入，从而构成一个连接的推理链。这种机制关于处置那些须要多个逻辑步骤的义务至关关键，由于它准许模型在每一步中都能够思考到之前一切步骤的消息。经过优化婚配操作，可以清楚提高模型在多步推理义务中的性能和准确性。
这项钻研加深了咱们对Transformer推理机制的了解，并为进一步增强其推理才干提供了新的视角。从这项钻研中取得的洞见有助于设计更高效的推理模型，并探求普通人工智能系统中的推理机制。
为了了解Transformer在多步推理中的机制，他们设计了三种类型的多步推理义务。每两个标志在句子中代表一个推理相关。他们经常使用不同的标志方法生成以下三种类型的数据集：
类型1：最后一个标志是终点，标签是从终点开局的固定步骤推理结果。
类型2：最后一个标志是终点，标签是终点所在推理链的终点。
类型3：最后两个标志区分是终点和指定的推理步骤，标签是从终点开局的指定步骤推理结果。
他们设计了三种链结构：单链、双链和森林链。每个义务的链结构都是共同的。
训练和测试数据：他们设计了一种方法来划分数据，使得训练集中的每一对1步推理对与测试集中的不同。详细来说关于训练集中的序列化推理链[x1][x2]… [xn]，一切标志满足以下条件：
x2i−x2i−1mod5∈[0,1,4]
关于测试集中的推理链，一切标志满足：
x2i−x2i−1mod5∈[2,3]
每个标志的值范围从20到100，即 ( x_i \in [20, 100] )。在这种设置下，他们审核了Transformer执行零样本高低文学习的才干，由于每对推理对在权重学习时期都没有被看到。
他们驳回了仅解码器的Transformer。给定输入序列 ( Xin \in \mathbb{R}^{n \times d} )，其中n是序列长度，d是字典大小，模型首先运行嵌入层（目的嵌入和位置嵌入）来取得输入示意 ( X^{(1)} = X_{tgt} + X_{pos} \in \mathbb{R}^{n \times dm} )。每层的单头留意力计算如下：
其中 ( (W_V{(l)})T ) 示意 ( W_V^{(l)} ) 的转置。第l层的输入取得为：
之后，运行投影层将输入映射到目的空间 ( Y \in \mathbb{R}^{n \times d} )。最终输入经过运行于Y的softmax函数的argmax取得。模型架构和符号的详细形容可以在论文附录A中找到。
图3：执行两步推理的三层Transformer网络的消息流。实线示意经过留意力的消息传输，蓝色实线示意影响本例中结果的留意力消息流。蓝色虚线示意在该示例中影响结果的剩余消息流。
第0-1层：消息融合。第一层的关键性能是奇偶对的消息注入，这是训练集的数据结构的结果，由于训练序列中的奇数位置的标志可以推断其后续的偶数位置的标志。该层的成功关键依赖于位置嵌入。
第1-2层：消息婚配。在消息融合之后，第一层中的偶数位置领有来自两个令牌的消息，这两个令牌不是便捷地相加在一同，而是以“[x2i-1]WV O（0）+[x2i]”，其中WV O“0”=WV（0），TWO“0），T。因此，在层1中出现婚配操作。详细来说，将终点示意为[A]，其查问将具有最大的内积，关键字为“[A]WV O（0）+[B]”，从而将[B]的消息传输到最后一个位置。他们的钻研标明，这种婚配操作不须要“[B]”的介入以及序列的位置编码。相反，它仅经过“[A]”的查问来成功，即F（0）（X tgt A）WQ（1），T和“[A]WV O（0）”的关键字，即F◦LayerNorm（0）.
钻研团队经过一系列精心设计的试验来探求不同初始化方法、LayerNorm位置以及正交噪声参与对Transformer模型多步推理才干的影响。
钻研团队测试了不同的权重初始化方法，包含小的初始化、自动初始化和大的初始化。这些方法经过扭转权重散布的尺度参数来控制模型在训练初期的形态。
试验中比拟了LayerNorm的两种不同位置性能：后置LayerNorm（在自留意力和前馈网络之后）和前置LayerNorm（在自留意力和前馈网络之前）。
为了增强模型的婚配才干，钻研团队引入了正交噪声。这种方法经过在模型的权重矩阵中参与噪声来提高婚配操作的效果。
模型在测试数据集上的准确性是评价模型性能的关键目的。准确性反映了模型在多步推理义务中给出正确答案的才干。
泛化才干指的是模型在未见过的数据上的体现。钻研团队经过在训练和测试数据集上经常使用不同的推理链来评价模型的泛化才干。
婚配才干是经过婚配矩阵来权衡的，它反映了模型在每一层中婚配相关消息的才干。婚配矩阵的最大对角属性是评价婚配才干的关键。
经过这些钻研方法，钻研团队深化讨论了Transformer模型在多步推理义务中的上班原理，并提出了有效的方法来增强其推理才干。这些方法不只关于了解模型的外在机制具有关键意义，还为未来的模型设计和优化提供了新的思绪和方向。
在论文中钻研团队深化讨论了Transformer模型的婚配机制，以成功多步推理。
在Transformer模型中，婚配矩阵的概念是为了量化和了解模型如何在其外部档次之间启动消息婚配。
婚配矩阵是一个数学工具，用于权衡Transformer模型中不同位置之间消息婚配的水平。在模型的每一层，婚配矩阵经过计算输入序列中各个元素之间的关联强度来构建。详细来说，婚配矩阵可以示意为：
其中，( Q )、( K ) 和 ( V ) 区分代表查问（query）、键（key）和值（value）矩阵，( d_k ) 是键向量的维度，softmax 函数用于归一化计算获取的权重。
钻研团队发现，即使关于未经训练的随机标志，婚配矩阵依然能够坚持最大对角属性。这标明模型能够识别并强调序列中最相关的元素，即使在没有经过特定训练的状况下。
泛化才干这一发现也暗示了Transformer模型具有在数据散布之外启动婚配的才干，这关于处置未见过的数据或启动零样本学习尤为关键。
婚配矩阵的这些性质关于模型的推理才干至关关键。在多步推理义务中，模型须要能够准确地婚配和推断出下一步的逻辑，婚配矩阵的效劳间接影响了这一环节的成功。
图4：（a）婚配矩阵h（1）（Xtgt）。对角线元素显示出最大的值，这证明了婚配操作。请留意，X tgt 0～20和X tgt 100～120对应于从随机正态散布初始化的未经训练的令牌。（b） 婚配矩阵h（2）（Xtgt）。（c） 用不同的随机初始化方法为未训练的令牌婚配矩阵h（1）（X）和h（2）（X。最大对角线性质实用于一切状况，标明模型的泛化才干。（d） Ker（1）=WQ（1），TW K（1）WV O（0），T和Ker（2）=WV O。
经过深化了解婚配矩阵的定义和性质，咱们可以更好地掌握Transformer模型在复杂推理义务中的上班原理，以及如何经过改良婚配机制来优化模型的全体性能。这些洞见关于开发更先进的NLP应用具有关键的指点意义。
在多步推理义务中，婚配操作表演着至关关键的角色。它不只准许Transformer模型将前一步的输入作为下一步推理的输入，而且确保了消息在整个推理链中的连接性和分歧性。
婚配操作使得模型能够识别并关联序列中的相关消息，这关于执行须要多个逻辑步骤的义务至关关键。它经过自留意力机制，计算序列中各个元素之间的相关性，从而确定哪些消息是对推理步骤最为关键的。
在处置多步推理义务时，模型须要能够从一个逻辑步骤平滑过渡到下一个。婚配操作经过强化关键消息的示意，使得模型能够有效地启动这种过渡。例如，在处置数学识题时，模型或者须要先识别出疑问中的已知条件，而后再推导出下一步的求解环节。婚配操作确保了模型在这一环节中能够继续跟踪和应用关键消息。
这种机制关于处置复杂的推理义务至关关键。它不只提高了模型的推理效率，还增强了模型的推理准确性。婚配操作确保了模型在不同推理步骤之间能够坚持消息的分歧性，这关于生成准确和牢靠的推理结果是必无法少的。
经过这种形式，婚配操作为Transformer模型提供了一种弱小的工具，使其能够在多步推理义务中体现出色。这种才干关于开发能够处置复杂疑问的人工智能系统具有关键的意义。
在Transformer模型的钻研中，初始化方法和LayerNorm位置关于模型的婚配才干和推理性能有着清楚的影响。
初始化方法选择了模型权重在训练开局时的散布。不同的初始化方法会造成模型在学习环节中采取不同的门路，从而影响最终的推理才干。
小的初始化，即权重值从一个较小的范围内随机选用，被发现有助于模型在学习环节中更好地构成有效的婚配机制。这或者是由于小的初始化缩小了模型在早期训练阶段的适度拟合危险，使得模型能够更好地捕捉和泛化训练数据中的形式。
LayerNorm是一种规范化技术，用于调整神经网络中的激活散布，以促成更快的训练和更好的性能。钻研标明，将LayerNorm搁置在自留意力和前馈网络之后（后置LayerNorm）比搁置在它们之前（前置LayerNorm）更无利于婚配操作的构成。后置LayerNorm或者有助于模型在每个档次中更稳固地学习和婚配消息，从而提高了全体的推理才干。
表1：初始化和LayerNorm的比拟。
图5：不同初始化和LayerNorm的Transformers在训练序列上的消息流和婚配分数的比拟。具有较小初始化和postLayerNorm的模型在两层中都体现出较高的婚配分数。
正交噪声参与是一种正则化技术，它经过在模型的权重中引入噪声来提高模型的泛化才干。在婚配操作中参与正交噪声被发现可以增强模型的婚配才干。这种方法或者经过参与模型权重的多样性，使得模型能够在婚配环节中思考更多的特色和形式，从而提高推理义务中的准确性和鲁棒性。
经过这些方法，钻研团队能够清楚提高Transformer模型在多步推理义务中的婚配才干，这关于优化模型的全体推理性能至关关键。这些发现为未来在Transformer模型上的钻研提供了贵重的见地，并为其余复杂义务中的模型设计提供了指点。
钻研团队讨论了如何增强Transformer模型的婚配才干，以提高其在多步推理义务中的性能。
在Transformer模型的钻研中，初始化方法对模型性能的影响是一个关键的考量起因。
初始化方法选择了模型权重在训练开局时的初始形态。这些权重是模型学习环节中的终点，因此它们的初始值对模型的学习才干和最终性能有着深远的影响。不同的初始化方法会造成模型在学习环节中采取不同的门路，这或者会影响模型在特定义务上的体现，尤其是在多步推理义务中。
小的初始化方法指的是将模型权重初始化为凑近零的小数值。这种方法被发现有助于模型在测试数据集上的泛化才干。泛化才干是指模型对未见过的数据的处置才干。小的初始化经过缩小模型在训练初期的过拟合危险，使得模型能够更好地学习和推行训练数据中的形式。
在多步推理义务中，小的初始化有助于模型更有效地捕捉和应用逻辑相关，从而提高推理才干。经过这些发现，钻研团队证明了在Transformer模型中驳回小的初始化方法可以清楚优化模型在多步推理义务中的性能。
在深度神经网络中，Layer Normalization (LayerNorm)是一种关键的技术，它经过对每一层的激活启动归一化，有助于减速训练环节并提高模型的性能。在Transformer模型中，LayerNorm的位置选用对模型的推理才干有着清楚的影响。
LayerNorm经过规范化输入的散布，协助缓解训练环节中的梯度隐没或爆炸疑问。它对模型的外部形态启动规范化处置，使得训练环节愈加稳固，同时也提高了模型对输入数据变动的鲁棒性。
钻研团队经过试验发现，将LayerNorm搁置在自留意力（Self-Attention）和前馈神经网络（Feed-Forward Neural Network, FNN）模块之后（即后置LayerNorm），比搁置在它们之前（即前置LayerNorm）更无利于模型的推理才干。
后置LayerNorm有助于模型在多步推理义务中更好地整合消息。这或者是由于LayerNorm在处置完留意力和FNN模块的输入后，能够更有效地规范化这些消息，从而为下一步的推理提供了愈加稳固和分歧的基础。
在多步推理义务中，模型须要能够准确地串联起一系列的逻辑步骤。后置LayerNorm经过改善消息流动和整合，有助于模型更准确地执行这一环节。
这种性能使得模型在每一步推理时都能够思考到之前一切步骤的消息，并且在不同推理步骤之间坚持消息的分歧性和连接性。
LayerNorm的位置选用关于Transformer模型在执行复杂的多步推理义务时的性能至关关键。后置LayerNorm的长处在于它能够在模型的每一步中提供愈加稳固和有效的消息整合，从而增强模型的推理才干。
在Transformer模型的优化环节中，正交噪声参与方法被提出作为一种增强模型婚配才干的新技术。这种方法触及在模型的权重矩阵中引入正交噪声，以改善和优化婚配操作的性能。
正交噪声是一种统计上独立的噪声，其特点是不同噪声源之间不存在相关性。经过在权重矩阵中参与正交噪声，可以参与模型权重的多样性，从而使模型在执行婚配操作时能够探求更宽泛的特色空间。
参与正交噪声可以提高模型在处置不确定性和复杂形式时的鲁棒性。这种方法有助于模型在多步推理义务中更准确地识别和关联关键消息，尤其是在面对复杂或含糊的逻辑链时。
图6：不同可学习参数初始值的影响，α（l） 和β（l），关于模型的推理才干。当α（l） ini=0或α（l） 和β（l） 最后具有相反的符号，可以增强模型的推理才干。实线示意训练精度，而虚线示意测试精度。每个试验用五个随机种子启动。
试验结果标明，正交噪声的参与确实能够优化婚配操作，提高模型在多步推理义务中的体现。模型在参与了正交噪声后，在测试数据集上的准确率和推理才干都有所优化，证明了这种方法的有效性。
正交噪声参与方法为Transformer模型的婚配才干提供了一个有效的优化手腕。这种方法经过参与权重的多样性，协助模型在多步推理义务中成功更高的准确性和鲁棒性，是未来模型优化的一个有前景的方向。
钻研团队对Transformer模型的并行推理机制启动了深化钻研。
在Transformer模型中，并行推理是指模型能够在同一层内同时执行多个推理步骤。这一机制关于提高模型处置多步推理义务的效率至关关键。
钻研团队经过剖析消息在模型中的流传形式，提醒了Transformer模型在多步推理义务中的并行推理机制。消息流剖析协助钻研者了解了模型如何在外部档次之间传递和整合消息，特意是在处置复杂的逻辑链时。
当推理步骤的数量超越或等于模型层数时，Transformer模型展现出其并行处置才干。在一层中同时执行多个婚配操作象征着模型可以在不参与额外计算层的状况下，处置更多的逻辑步骤。这种并行性清楚提高了模型处置多步推理义务的效率。
在消息流传的环节中，模型从婚配标志的值逐渐转变为婚配标志的位置。这标明模型在不同层之间不只婚配内容消息，还婚配位置消息。这种变动有助于模型在不同层之间整合不同类型的消息，从而在整个推理环节中坚持消息的分歧性和连接性。
Transformer模型的并行推理机制是其在多步推理义务中高效性能的关键。经过在单层内并行处置多个推理步骤，模型能够更快地成功复杂义务，同时坚持推理环节的准确性。
图7：（a）成功4步推理的4层Transformer模型的消息流。（b） 相关于基于消息属性规定流传消息时的迭代次数，最后一个位置中存储的消息令牌的数量。咱们随机选用1000个句子启动模拟。蓝点示意模拟结果。（c） 每个消息乘以的系数。
钻研团队提出了一个关于模型推理才干下限的猜想，这一猜想基于对模型外部消息处置机制的深化了解。
钻研团队观察到，当暗藏空间维度足够大时，不同的消息可以在独立的子空间中存储，而不会相互搅扰。在这种现实化的假定下，模型的推理才干被以为可以成功指数级的增长。这是由于每参与一层，模型就能够处置更多的消息，并且在每一步推理中都能够并行地处置更多的逻辑步骤。
钻研团队猜想，在现实状况下，假设模型的每一层都能够独立地处置消息，那么模型的推理才干将随着层数的参与而指数级增长。这象征着模型的推理才干下限或者远远超越咱们目前的意识，尤其是在处置复杂的多步推理义务时。
在实践运行中，暗藏空间维度遭到物理资源和计算才干的限度，这象征着现实化假定并不总是成立。此外前馈神经网络（FNN）和其余留意机制的存在也会影响消息的处置形式，进而影响模型的推理才干。因此，虽然通常上模型的推理才干或者成功指数级增长，但实践上模型的推理才干或者介于线性增长和指数级增长之间。
这一猜想为未来Transformer模型的钻研提供了新的视角，提醒咱们在设计和优化模型时须要思考到暗藏空间维度和模型架构的选用，以充散施展模型的推理后劲。同时，这也为咱们提供了一个探求目的，即如何打破现有的限度，成功模型推理才干的最大化。
在Transformer模型的钻研和运行中，实践运行的限度和潜在增长是两个关键的考量起因。
大型言语模型如Transformer通常须要少量的暗藏空间维度来存储和处置消息。但是由于计算资源的限度，模型的暗藏空间维度往往无法到达现实形态，这限度了模型的推理才干。实践运行中，模型或者无法齐全满足通常上的假定要求，如独立子空间的存储和消息的无搅扰传递，从而影响模型的推理性能。
虽然存在上述限度，前馈神经网络（FNN）和其余留意机制的存在为模型提供了额外的才干，使其能够整合和处置不同类型的消息。这些机制有助于模型在有限的暗藏空间维度内成功更有效的消息处置，从而在必定水平上补偿了维度限度带来的影响。
虽然实践运行中的限度对模型的推理才干构成了应战，但随着技术的提高和计算资源的参与，模型的推理才干仍有很大的增长空间。经过优化模型架构、提高计算效率以及开发新的训练战略，咱们可以等候模型在未来能够处置更复杂的推理义务，并展现出更强的推理才干。
Transformer模型在实践运行中虽然遭到必定的限度，但随着技术的开展，它们在推理义务中的性能仍有很大的优化后劲。钻研团队的上班为咱们提供了对这些限度和潜在增长的深化了解，为未来的钻研和运行指明了方向。
本论文的钻研成绩关于了解和优化Transformer模型在多步推理义务中的才干具有关键意义。经过深化剖析婚配机制，钻研团队不只提醒了Transformer外部的上班原理，还提出了增强其推理才干的有效方法。这些发现有助于推进Transformer模型在复杂认知义务中的运行，同时也为AI畛域的钻研者提供了新的钻研方向和思绪。
婚配机制的概念可以裁减到其余AI系统中，特意是那些触及复杂决策和推理的系统。例如，在智能驾驶、医疗诊断、金融剖析等畛域，强化婚配机制可以提高系统处置多步骤疑问的才干。此外，婚配机制的原理也可以运行于改良机器学习模型的训练环节，使其能够更好地从数据中学习和推行常识。
虽然本论文取得了清楚的钻研成绩，但在将婚配机制运行于Transformer模型和其余AI系统中仍存在一些应战和钻研方向。例如，如何在不同类型的义务和数据集上验证婚配机制的普适性和有效性，以及如何进一步优化模型结构和训练战略以提高推理才干。此外，探求如何将婚配机制与其余AI技术（如强化学习、常识图谱）联合，以创立愈加智能和顺应性强的系统，也是未来钻研的关键方向。
参考资料：
本文转载自，作者：
本网站的文章部分内容可能来源于网络和网友发布，仅供大家学习与参考，如有侵权，请联系站长进行删除处理，不代表本网站立场，转载联系作者并注明出处：https://duobeib.com/diannaowangluoweixiu/5638.html
咚波服务与支持