AI诗人来了！斯坦福和微软联手 用大型言语模型优化诗歌创作

探求大型言语模型（LLMs）在文本空间优化疑问中的后劲

在现代人工智能的钻研与运行中，大型言语模型（Large Language Models，简称LLMs）曾经显示出其在处置复杂言语义务中的弱小才干。从生成文本、了解文档到执行代码，LLMs的运行范围日益扩展。但是，除了这些生成性义务外，LLMs在优化疑问中的运行也开局遭到关注。特意是在文本空间的优化疑问上，LLMs展现出了共同的后劲。

本文旨在讨论LLMs在文本空间优化疑问中的运行后劲，尤其是在接纳方向性反应（directional feedback）时的体现。经过试验钻研，咱们发现LLMs能够在提供方向性反应的状况下，有效地优化各种疑问，从数学函数的最大化到诗歌创作的优化。这一发现不只拓宽了咱们对LLMs才干的了解，也为未来在更宽泛的优化疑问中运行LLMs提供了或许性。

论文题目 : The Importance of Directional Feedback for LLM-based Optimizers

机构 : Stanford University,Microsoft Research

论文链接 :

名目地址 :

了解方向性反应与非方向性反应

1. 方向性反应的定义及其在优化中的作用

方向性反应是一种在优化环节中提供明白改良方向的消息。这种反应可以被视为人造言语空间中一阶反应的一种泛化。例如，当用户反应说“这咖啡对我来说太热了”，这实践上是在批示优化器（在这个例子中是服务员）应该提供一个更凉爽的咖啡。这种反应间接指明了改良的方向，相似于数值优化中的梯度消息，使得优化环节愈加高效和指标明白。

2. 非方向性反应的角色和限度

非方向性反应提供的消息虽然有用，但不详细指明如何调整输入以改善输入。例如，反应“这咖啡的温度不太对劲”通知咱们温度是关键起因，但没有指明是应该更热还是更冷。这类反应虽然能够协助识别疑问畛域，但在没有额外消息的状况下，其在指点详细操作方面的作用有限。这种反应更多地依赖于试错方法，如退化搜查或贝叶斯优化，这些方法通常效率较低，由于它们不能间接应用反应消息来指点搜查方向。

LLM优化器的设计与成功

1. 优化器的基本构架与上班流程

LLM优化器是一种基于大型言语模型的优化工具，它经过搜集输入-鼓励-反应元组来改良生成的提醒，从而提高希冀鼓励。这种优化器应用历史数据来调整可调参数（ptunable），以此来优化后续的输入。优化器的上班流程包括接纳义务形容、生成输入、评价反应和鼓励，而后基于这些消息降级可调参数，循环启动直抵到达优化指标。

2. 如何应用历史优化痕迹分解方向性反应

在没有间接方向性反应的状况下，LLM优化器可以经过剖析历史优化痕迹来“分解”方向性反应。这一环节触及到从过去的输入和鼓励中提敞开息，以推断出改良的方向。例如，经过比拟不同的输入和对应的输入结果，优化器可以学习到哪些变动能够造成功能优化，从而在未来的迭代中疏导优化方向。这种方法虽然不如间接的方向性反应那样间接有效，但在不足明白反应的状况下，依然可以清楚提高优化效率。

试验设置与优化义务

1. 数学函数优化

在数学函数优化的试验中，咱们设置了一个详细的义务，即最小化一个数学函数。咱们选用了几个经典的优化疑问，如Booth函数、McCormick函数、Rosenbrock函数和Six-Hump Camel函数。这些函数的选用是由于它们的最小值不是在[0, 0]点，这为优化提供了应战。试验中，咱们经常使用了一个基于LLM的优化器，该优化器经过历史反应来改良搜查方向。咱们还设计了一个反应分解模块，用于从模型输入和鼓励中分解反应，以改良下一次性输入。

2. 诗歌生成优化

在诗歌生成的优化义务中，咱们创立了一个分解的诗歌写作环境，其中LLM须要依据给定的解放生成诗歌。这些解放或许包括每行的音节数。咱们的指标是优化一个提醒（prompt），使得另一个基于LLM的代理能够生成满足解放的诗歌。咱们设置了不同的义务，例如生成蕴含7、8、9或10个音节的诗行。咱们的优化算法确保提醒的选用能够干燥地提高战略功能。

试验结果与剖析

1. 数值优化试验的结果

在数值优化试验中，咱们观察到LLM作为优化器，在有反应的状况下能够更好地理解历史消息，并提出改良的处置打算。虽然没有明白的梯度计算，LLM能够基于历史观察“改良”。咱们比拟了经常使用GPT-3.5和GPT-4的模型，并发现GPT-4无了解历史和制订新提议方面体现更好。此外，咱们的反应分解模块能够从历史输入和鼓励中分解反应，指点优化器找到更好的处置打算。在没有反应的设置中，分解的反应能够清楚提高功能。

2. 诗歌生成义务的优化成果

在诗歌生成义务的优化试验中，咱们的算法能够牢靠地选用改良战略功能的提醒。与Reflexion代理相比，咱们的算法在每次交互后都能保障功能的优化。这一结果突出了方向性反应在文本优化义务中的关键性。经过优化提醒，咱们能够有效地控制LLM发生的输入，从而满足特定的文本解放，如音节数限度。

这些试验结果标明，无论是在数学函数优化还是诗歌生成义务中，方向性反应都是LLM基优化环节中的关键起因。经过应用环境提供的或分解的反应，LLM能够在各种优化场景中体现出更好的稳固性和效率。

讨论：LLM基于反应的优化后劲与应战

1. 反应类型对优化成果的影响

在LLM的优化环节中，反应类型起着选择性的作用。钻研标明，当LLM接纳到方向性反应时，其优化才干清楚提高。方向性反应，如其名，提供了明白的改良方向，相似于数值优化中的梯度消息。例如，在优化诗歌生成义务时，假设反应是“参与第一行的音节数”，这将间接指点LLM调整其输入以满足特定的解放条件。

相比之下，非方向性反应虽然蕴含有用消息，但不指明详细的改良方向。例如，反应或许仅标明“诗的韵律须要改良”，而没有详细说明应如何调整。这种类型的反应虽然有助于指出疑问畛域，但在指点详细优化执行方面不如方向性反应有效。

2. LLM优化器在不同设置下的体现

LLM优化器在不同的运行场景下展现出不同的体现。在数值优化义务中，即使没有明白的方向性反应，LLM也能经过历史数据推断出优化方向。例如，在优化特定数学函数时，经过剖析历史输入和输入，LLM能够提出改良的倡导，逐渐凑近最优解。

在文本生成义务，如诗歌创作中，方向性反应的关键性愈加凸显。经环节序化地生成反应，如指定音节数或韵律结构，LLM能够更有效地调整其生成战略，以发生满足特定要求的文本。

论断与未来上班方向

1. 方向性反应在LLM优化中的关键性

本钻研强调了方向性反应在LLM基于优化环节中的外围作用。无论是在数值优化还是文本生成义务中，方向性反应都极大地提高了优化效率和成果。这种反应提供了明白的改良方向，使LLM能够有效地调整其战略，以到达更好的优化结果。

2. 探求新的方向性反应生成方法的或许性

鉴于方向性反应的清楚成果，未来的钻研可以探求新的方法来生成更有效的方向性反应。这或许包括开发新的算法来智能识别和提取义务关系的关键消息，或许改良现有的反应分解模块，使其能够在更宽泛的运行场景中生成适用的方向性反应。此外，钻研如何在没有明白外部反应的状况下，应用LLM自身的输入历史来生成外部反应，也是一个有价值的方向。这些致力将进一步拓宽LLM在各种优化义务中的运行后劲。

本文转载自​​，作者：