Meta宣布的将系统2模型蒸馏至系统1模型

一、论断写在前面

论文题目：Distilling System 2 into System 1

论文链接：​ ​​ ​

LLMs在推理环节中可以额外消耗计算资源来生成两边思想，这有助于发生更好的最终照应。自思想链以来，曾经提出了许多此类系统2技术，例如重述与照应（Rephrase and Respond ）、系统2留意力（System 2 Attention）和分支-处置-兼并（Branch-Solve-Merge）。

论文钻研了自监视方法(self-supervised)，将系统2技术的高品质输入“编译”（蒸馏，distill）回LLM生成中，而不须要两边推理token序列，由于这种推理曾经被蒸馏到系统1中。

论文启动了跨4种不同System 2 LLM方法和5种不同义务的试验。论文发现，论文的方法能够在多种环境下将System 2推理蒸馏为System 1，有时甚至能逾越System 2老师模型的成果。此外，这些预测如今以极低的计算老本生成。例如，论文在处置成见观念或有关消息的义务（System 2留意力）、廓清和改良某些推理义务的照应（重述与回应）以及对LLM启动细粒度评价（分支-处置-兼并）方面看到了成功的蒸馏。

但是，论文也标明并非一切义务都能蒸馏到System 1，特意是须要链式思想的复杂数学推理义务。这一点在人类中也获取了表现，有些义务没有刻意的System 2推理是不可口头的。

二、论文的便捷引见

2.1 论文的背景

人类 System 1System 1推理被形容为能够识别形式、极速做出判别以及了解便捷或相熟的符号。例如，它用于识别经常出现的交通标记、识别人脸或关联基本符号与特定心情或想法。

人类 System 2关于复杂的疑问处置或例如形象符号（如代数方程或逻辑陈说）的操作，System 2推理被以为是必要的。在心思学中，智能性概念形容了行为变得如此熟练以致于可以在简直没无看法思索的状况下口头，例如驾驶相熟的路途。普通来说，人类被以为经常使用程序记忆将特定义务整合到记忆中，经过通常学习，以便之后无需看法就能口头。无看法才干概念被归类为学习的前期阶段。最后，一团体看法到自己的无能，并无心学习一项技艺，直到取得无看法的才干。最终目的是在无需看法思索的状况下经常使用它，这时它被称为，用深刻的话说，“第二本能”。

模型 System 1论文将间接输入照应而不发生两边输入的神经网络称为系统1模型。虽然如此，这类网络在其层中仍可计算两边的潜在表征，而后输入照应。由于这些形态以向量方式示意，它们通常编码散布式常识而非团圆决策，并且难以间接处置复杂的符号推理义务，这与人类系统1推理存在的疑问相似。虽然如此，许多义务可以间接经过这种方式成功处置，无需两边生成（Radford et al., 2019）。

模型 System 2同一个不可口头复杂多步骤计算的言语模型，在要求其经过少样本揭示或监视训练生成两边步骤到“草稿板”上时，能够成功这些义务。链式思想推理已被证实可以经过零样本揭示、监视训练或大批样本方法从大型言语模型中引发。大型言语模型的预训练使得这种推理能够融入模型中，由于训练语料库中蕴含了人类编写的团圆符号（文本）的推理步骤。这类系统2模型方法输入团圆的token，无利于启动延续正确的逻辑推理步骤——但显然，假设推理生成失误，则存在缺陷。失误的团圆决策难以复原，与或者更容易建模散布的潜在向量推理不同。

生成两边思索环节准许模型启动推理和布局，以成功成功义务或照应指令。论文将这种深思熟虑的思索称为系统2推理，这一律念源自Sloman（1996）和Kahneman（2011）对人类的形容，起初也被运行于人工智能模型。在系统2推理中，消耗少量认知资源来处置复杂疑问和关键决策。因此，在规范的大型言语模型（LLMs）中，论文将系统1定义为间接运行Transformer来依据输入生成照应，而不生成两边token。论文将系统2定义为任何生成两边token的方法，包括口头搜查或屡次揭示，而后最终生成照应的方法。

目前已提出了一系列这样的系统2技术，其中包括思想链（Chain-of-Thought）、思想树（Tree-of-Thoughts）、思想图（Graph-of-Thoughts）、分支-处置-兼并（Branch-Solve-Merge）、系统2留意力（System 2 Attention）、重述和回应（Rephrase and Respond）等等。许多这些方法经过显式推理被证实能发生更准确的结果，但通常会以更高的推理老本和照应提前为代价。由于后者的要素，许多这些方法并未在消费系统中经常使用，消费系统关键经常使用系统1生成。

图1：系统2蒸馏概览。经过在未token数据上运转系统2方法（如分支-求解-兼并（BSM））搜集过滤后的训练样本，这些方法应用额外计算发生更高品质的输入。而后将这些目的蒸馏到规范（系统1）言语模型中

关于人类而言，心思学中将技艺从无看法（系统2）转移到智能（系统1）的环节被称为智能性，并应用程序性记忆。例如，初次驾车下班时，人们或者会消耗少量看法致力启动布局和决策以抵达目的地。经过屡次重复这条路途后，驾驶环节便“编译”为潜看法（Charlton and Starkey, 2013）。雷同，像打网球这样的静止可以变得“司空见惯”。

论文探求了一种相似的技术运行于AI模型。论文的方法以无监视方式启动这种编译，论文称之为系统2蒸馏，给定一组未token样本。关于每个样本，论文运行给定的系统2方法，而后以无监视方式权衡预测品质。例如，关于具有惟一答案的义务，论文驳回自分歧性（self-consistency），屡次采样。关于系统2足够分歧的样本，论文假定此结果应被蒸馏，并将其参与到蒸馏池中。随后，论文微调系统1以婚配系统2方法在搜集的样本池上的预测，但不生成两边步骤。图1展现了将系统2蒸馏为系统1的全体环节。

​2.2 将系统2蒸馏至系统1

2.2.1 设置：系统1与系统2模型​

给定输入 论文x论文，本任务思索繁多模型的情形，即大型言语模型（LLM），该模型具有两种照应形式：

(i) 系统1：间接生成输入 论文y论文。这是经过前向流传底层自回归神经网络（Transformer）的各层以生成输入token来成功的。

(ii) 系统2：论文将系统2模型定义为应用底层Transformer在生成最终照应token之前生成恣意类型的两边输入token 论文z论文 的方法。这或者包括屡次调用（揭示）。

更正式地，论文将一个System 2模型S视为一个函数，该函数接受一个LLM 和输入x，并或者屡次调用LLM以经常使用特定算法生成两边token，而后前往一个输入论文y：

System 2方法或者触及多个揭示、分支、迭代和搜查，同时应用LLM生成两边结果以进后退一步处置。相比之下，一个System 1模型仅思索原始输入x，并间接调用LLM生成输入y：

有许多现有的System 2模型实例。思想链揭示仅须要单个LLM揭示，但仍输入两边生成内容，而后给出最终照应，通罕用于数学和其余推理义务）。

诸如System 2 Attention和Rephrase and Respond（等方法须要两次调用LLM，在前者中，第一次性调用用于关注高低文并消弭成见，而在后者中用于裁减疑问。第二次调用则用于依据两边生成内容最终回答疑问。某些方法更为复杂，例如Branch-Solve-Merge（，它经过LLM生成方案，该方案分支成多个LLM调用，直到最终阶段兼并结果。

论文将对上述四种方法启动试验，但还有许多其余System 2方法，例如Tree-of-Thoughts、Graph-of-Thoughts等。

2.2.2 方法：系统2蒸馏

许多系统2方法实质上在推理时由于屡次揭示调用和生成两边token而清楚较慢。系统2蒸馏的目的是将一切推理从S_II蒸馏回S_I，以便言语模型的间接输入p_θ( x)获取改良。论文假定模型可以访问未token的输入t，从中它可以学习，相似于人类如何在无监视的状况下学习程序记忆。关于基于言语的义务，通常可以访问遵照指令的揭示（输入），由于它们可以由人类搜集，例如颁布的1M Wild-Chat交互，其中提供了输入但正确标签未知。因此，这是一个事实的设置。

所提出方法的第一步是经常使用系统2模型在未token的输入t上生成照应：

这些照应可以间接用作微调系统1模型的系统2蒸馏目的。但是，它们遭到噪声的影响：其中一些照应或者是高品质的，而其余或者是低品质或不正确的。关于触及短照应且通常具有惟一正确（但未知）答案的短方式QA和推理义务，论文因此思索一个无监视的挑选步骤，以尝试提高训练数据品质。论文思索两种变体，两者都依赖于分歧性规范：

•输入自分歧性：论文总共采样S_II(x^ i ; p_θ) N次，并接受少数投票的照应；假设没有少数胜出者，论文摈弃该示例。

•输入扰动下的自分歧性：论文以输入不应扭转的方式扰动输入w，例如扭转揭示中多项选用项的顺序，并为每个扰动计算S_I；假设输入不分歧，论文摈弃该示例。

随后，论文获取分解数据集(X_S_II , Y_S_II)，其中 论文X_S_II是X的过滤子集，目的为Y_S_II)。最后一步是经常使用这个蒸馏的训练集对具有参数pθ的大型言语模型（LLM）启动有监视的微调。论文通常从形态pθ初始化模型，并继续经常使用新数据集启动训练。

微调后，论文取得一个 LLM p_θ，这是一个系统1模型，估量其输入和功能优化与评价的系统2模型相似。

​2.3 试验

2.3.1 训练与评价设置​

论文经常使用 Llama-2-70B-chat作为一切试验的基础模型。论文须要一个足够弱小的基础模型，使其能作为系统2模型表现杰出，同时具有可微调的开源权重，因此选用了此模型。论文思索了几种系统2方法，包括重述与回应（RaR）、系统2留意力（S2A）、分支-处置-兼并（BSM）和思想链（CoT），重点关注每种方法已展现出弱小功能的义务。关于系统1，论文经常使用指令调优的基础模型启动零样本推理，作为规范基线。论文报告每个义务的特定目的，以及“#Tokens”目的，该目的权衡评价集中每个输入生成的平均token数量。关于系统2方法，这包括两边token生成和最终输入token生成。

2.3.2 重述与回应蒸馏（Rephrase and Respond Distillation）

重述与回应（RaR）是一种系统2方法，首先揭示言语模型对原始疑问进后退一步论述的重述，而后基于重述的疑问生成回应，旨在提供更优质的输入。作者引见了两种方法，1步RaR和2步RaR，后者触及两个独自的揭示，而不是像前者那样的组合揭示，详细揭示见附录A.1。他们发现2步RaR在几个对基线LLM具有应战性的推理义务上清楚提高了功能。论文思索了原文中表现良好的两个义务：最后一个字母衔接义务和硬币翻转推理。而后评价能否或者蒸馏这种系统2方法。

蒸馏数据集论文为RaR构建了系统2蒸馏数据集，应用输入的自分歧性。关于每个输入，论文对最后一个字母义务启动八次采样迭代，并对硬币翻本义务的每个阶段启动八次采样迭代。而后，论文经过少数表决来确定最终输入。

2.3.2.1 最后一个字母拼接义务(Last letter Concatenation Task)

此义务并重于符号推理，要求模型拼接给定单词的最后一个字母。例如，指令：“取Edgar Bob中单词的最后一个字母并拼接它们。”正如Deng等人（2023a）所示，此义务从RaR方法的运行中获益清楚。论文经过随机选用1200个共同的英语单词来编译数据集。应用这些单词，论文区分为训练、验证和测试构建了200个样本。

结果总体结果见表1。基准系统1模型（Llama-2-70B-chat）到达30.0%的准确率，被1步和2步RaR的系统2方法（区分为39.5%和44.5%）逾越。经过论文的无监视技术将2步RaR方法蒸馏回系统1 Llama-2-70B-chat模型，论文成功了惊人的98.0%准确率。与零样本聊天模型相比，该模型能有效学习如何处置此义务。重述并回应的蒸馏有效承袭了系统2和系统1的长处。它在坚持系统2的准确性长处的同时，推理老本与系统1相当（见生成token数量）。

剖析与消融试验为了评价论文应用输入自分歧性的无监视挑选步骤的有效性和必要性，论文经过创立一个不运行自分歧性过滤器的蒸馏数据集启动了消融钻研。当论文在这个未经过滤的数据集上经常使用相反的设置对System 2模型启动了蒸馏，其准确婚配准确率到达了87.5%（过滤版本为98%）。这一比拟突显了分歧性过滤的关键作用。虽然如此，在两种状况下，构建训练数据确实比零样本功能有所优化。论文还尝试经常使用相反的过滤技术对System 1预测启动蒸馏，结果准确率较低，为69.5%。

表1：重述并回应的系统2蒸馏：硬币翻转和最后一个字母拼接义务。论文报告准确婚配（EM）测试准确率和生成（两边和输入）token数量

2.3.2.2 硬币翻转推理义务​

这一符号推理义务在钻研中经常被测试，包括在Wei等人（2022）和Deng等人（2023a）的钻研中。它触及从已知初始位置开局，经过一系列人造言语形容的翻转后，确定硬币的最终面（侧面或反面），例如“一枚硬币侧面朝上。Roxas没有翻转硬币。Schneiderman没有翻转硬币。硬币还是侧面朝上吗？”Deng等人（2023a）标明，即使是弱小的言语模型也不可成功成功这一义务，而运行RaR办规律能提高它们的功能。该义务有20k个训练示例（无标签，用于无监视学习），3.33k个验证示例和1.33k个测试示例。

结果总体结果见表1。Llama-2-70B-chat（零样本）在该义务上的成功率为56.1%，而1-Step和2-Step RaR的成功率区分为58.59%和77.2%。因此，论文仅在2-Step方法中看到了清楚的改良。经过论文的无监视技术将2-Step RaR蒸馏回System 1 Llama-2-70B-chat，成功率为75.69%。因此，论文发现论文的蒸馏System 2模型提供了与System 2（2 Step RaR）相当的功能，但无需口头LLM程序。

表2：System 2留意力蒸馏：TriviaQA义务，报告有偏和无偏评价集的准确率

剖析与消融试验Deng等（2023a）的RaR方法蕴含了揭示工程技巧，例如在原始查问后附加"Flip象征着反转。回答是或否疑问"等短语，这已被证实可以提高模型功能。遵照他们的方法，论文经常使用不同的揭示评价了模型功能，见表6。当经常使用"Flip象征着反转"和"Flip象征着反转。回答是或否疑问"等揭示测试Llama-2-70B-chat模型（系统1）时，论文观察到功能清楚优化，从56.11%提高到66.84%。这突显了揭示选用在优化系统1模型功能中的关键作用。但是，这种对揭示工程的依赖也代表了一个局限性，须要额外的人力投入。

论文还尝试对系统1模型启动蒸馏，但获取了较差的功能。在这种状况下，论文雷同观察到不同揭示下功能的动摇。相比之下，蒸馏后的系统2模型在各种揭示下表现出分歧的功能，对揭示变动的敏感度较低。这种分歧性标明，关于蒸馏后的系统2模型，或者不须要启动少量的揭示工程。

2.3.3 系统 2 留意力蒸馏

Weston和 Sukhbaatar 在 2023 年提出了系统 2 留意力（S2A），这是一种有助于缩小模型推理缺陷的方法，如依赖输入中的成见消息或关注有翻开下文。S2A 是一种两阶段推理方法，第一阶段重写输入，使其不蕴含如成见或有翻开下文等不希冀的消息，第二阶段关器重写后的较短高低文（与 Rak 裁减高低文相反），参见图 6。在本钻研中，论文验证了将 S2A 蒸馏到系统 1 的可行性。特意地，论文关注了SycophancyEval问答义务（Sharma 等人，2023），该义务的输入中蕴含已知会侵害大言语模型（LLM）功能的成见消息。论文经常使用了来自 SycophancyEval 的 6668 个示例作为未token训练数据，以及 个示例用于评价，后者被分为成见输入（350 个）和无成见输入（50 个）。

蒸馏数据论文经常使用通用自分歧性（USC）（Chen et al., 2023）来挑选高品质的目的。详细而言，论文采样20个生成结果，而后应用Llama-70B-chat模型配合USC揭示（如图12所示）来组合一个自分歧性（少数）的最终答案，该答案作为蒸馏目的。

结果结果如表2所示，报告了3个随机种子的平均准确率。基线（系统1）LLM在成见局部的准确率较低，正如预期，由于其容易遭到成见输入的影响。S2A清楚优化了成见输入的功能。系统2蒸馏显示出与系统2方法相似的微弱功能。但是，与基线和S2A模型相比，平均经常使用的token数量有清楚缩小。这是由于成见输入往往使基线LLM生成更多的输入token，而S2A还须要生成两边token。图11展现了一个代表性示例。最后，论文经过报告不经常使用USC的结果（最后一行），显示后者提供的结果较差，从而标明经常使用USC启动蒸馏对全体结果的关键性。这突出了在微调环节中经常使用的蒸馏数据品质的关键性。

2.3.4 分支-处置-兼并蒸馏

分支-处置-兼并（BSM）（Saha et al., 2023）由三个模块组成：分支、处置和兼并。这些模块协同任务，将义务分解为多个并行子义务，每个子义务由特定揭示疏导。BSM在LLM作为评判者的情境中已被证实有效，如图14所示。该方法首先揭示言语模型列出针对特定用户查问定制的评价目的（分支）。随后，LLM被查问以基于每个目的独立并行地评价照应（处置）。最后，来自每个分支的分数被平均以得出一个片面的评价决策（兼并）。值得留意的是，这种方法的推理老本是传统（系统1）LLM评价方法的5-6倍，使其适用性大打折扣。论文评价了蒸馏BSM的可行性，旨在保管其长处的同时降落计算老本。

表3 系统 2 分支-处置-兼并 (BSM) 的蒸馏：Open Assistant (OASST2) 和 MT-bench 对 LLM 作为判别者的评价。系统 2 BSM 的蒸馏优于 BSM 自身，甚至优于 GPT4 作为判别者，虽然经常使用的是 Llama-2-70B-chat。蒸馏后的 BSM 具有更高的人类分歧性（分歧性），更少的位置偏向，并且不分歧样本的百分比为 9.1%

蒸馏数据遵照 Yuan 等人 (2024) 和 Li 等人 (2023b) 的方法，论文经常使用了 Open Assistant>评价论文在两个盛行的基准上评价论文的模型，即 OASST2 验证集和 MT-bench (Zheng 等人, 2024)。OASST2 验证集蕴含 273 个样本，仅限于第一轮和英语言语。对照应答的评价在原始顺序和替换顺序下启动。由于论文的蒸馏模型是在 OASST2 训练集上训练的，OASST2 验证集作为散布内评价集，而 MT-bench 则更具散布外个性。MT-bench 是一个盛行的基准，评价 LLM 作为有用 AI 助手对话时对其余 LLM 照应的判别。它蕴含来自 8 个不同畛域的指令，例如写作、推理、数学、编码等。

遵照 Zheng 等人 (2024) 的方法，论文评价了模型投票与人类专家投票之间的分歧性。LLM 作为判别者的一个已知局限是位置偏向，即言语模型 (LLM) 偏向于偏好某些位置而非其余位置。这种偏向在扭转评价揭示中照应的位置时，经常造成模型做出不同的决策。为了量化这一点，论文不只测量分歧性，还计算不分歧样本的百分比以评价位置偏向。

OASST2评价结果 表3提供了在OASST2数据集上的结果。与基线（系统1）大型言语模型相比，思想链（CoT）方法经过提高分歧性和降落不分歧率来改善功能（参见附录中的揭示）。虽然BSM表现优于CoT，但这是以参与推理期间（#To-kens）为代价的。值得留意的是，论文蒸馏的系统2 BSM模型仅需生成四个token，依然优于CoT和BSM。此外，论文基于Llama-2-70B-chat的蒸馏模型超越了GPT-4-0125-preview，成功了更高的人类分歧性和更大的连接性。

MT-Bench评价结果表3也提供了在MT-bench上的结果，该测试作为散布外测试。结果与OASST2评价的结果相照应。思想链（CoT）和BSM都提高了模型功能，但代价是清楚参与的推理老本。论文的蒸馏BSM模型不只成功了更高的人类分歧性和更低的不分歧率，而且须要的计算资源更少。虽然论文的模型在分歧性上略逊于最先进的GPT-4-0125-preview模型，但它仅基于Llama-2-70B-chat在OASST2上的未标注数据启动训练。虽然如此，它在连接性上更优，且在输入token方面推理老本昂贵。

图2：MT-bench上LM评判与人类偏好之间的分歧性，按评价类别划分

表3：GSM8k测试集准确率。少数投票中的投票数k示意为搜集预测答案的投票而采样的候选数量。在这种状况下，系统2的CoT蒸馏成果不佳

按类别剖析在此，论文进一步按类别剖析MT-Bench结果中的分歧性。图2展现了按类别的分歧性。论文观察到，与基础模型（Llama-2-70B-Chat）相比，CoT在一切类别上提高了分歧性。BSM优于CoT，而论文的蒸馏BSM甚至优于BSM。虽然蒸馏BSM在一切类别上相较于基线取得了优越的功能，但在推理、编码和提取方面仍落后于GPT-4-0125-preview。但是，在写作、数学和STEM方面，它超越了GPT-4-0125-preview。

2.3.5 思想链蒸馏

思想链（CoT）已被证实是提高LLM推理才干的有效方法，例如处置钻研生数学识题。LLM生成两边token，这些token是推理（思想）的步骤（链），而后发生最终答案。论文思索了该方法的两个变体：（i）少样本CoT，即从训练集中提供多个[疑问，CoT，答案]示例作为高低文，随后是疑问；（ii）零样本，即在揭示中除了疑问外还参与了“一步一步”思索的明白指令，详见附录图10。

蒸馏数据论文经常使用CoT为GSM8k训练集中的疑问（论文以为这些是无标签的，由Cobbe等人，2021年提出）生成答案，驳回K=10的少数投票方法。由此发生的蒸馏训练集蕴含7461个[疑问, 答案]对，即不蕴含任何两边推理步骤。为了剖析目的计算的自监视目的准确率为56.81%。

评价论文在GSM8k测试集上经常使用不同K值的少数投票方法计算并报告评价准确率。与之前的试验相似，论文报告每种方法预测的平均token数。请留意，论文在启动少数投票时计算一切生成token的平均值，以观察K值的参与如何影响推理老本。论文思索了几个基线：系统1和系统2（CoT）方法在零样本或8样本输入高低文中启动评价。须要留意的是，系统2在8样本状况下象征着在大批样本输入中提供了CoT，而系统1则象征着大批样本示例蕴含疑问和答案，但没有CoT。

结果评价结果如表3所示。首先，正如预期，经常使用CoT方法带来了改良：将其作为少样本高低文的一局部或作为揭示模板中的指令的一局部时，这种方法有所协助。这些改良随同着推理老本的参与：与System 1方法相比，经常使用CoT方法预测的序列长度清楚参与。其次，论文的System 2蒸馏方法在各种解码超参数下表现不佳。GSM8k义务（数学识题）所需的推理类型与论文在此任务中思索的其余义务一模一样。这突显了System 2蒸馏的非平庸性：所提出的蒸馏算法在许多状况下有效，但并非总是如此。这为未来的钻研留下了空间，以说明在何种详细状况下运行蒸馏，以及何时不应运行，或容许以驳回相似于人类的方法。

本文转载自​​，作者：