NATURAL PLAN LLMs在人造言语布局上的基准

一、论断写在前面

论文来自Google DeepMind。

论文题目：NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

论文链接：​ ​​ ​

论文提出了NATURAL PLAN，一个蕴含三个主要义务（游览布局、会议布局和日历调度）的人造言语事实布局基准。论文的评价重点在于LLMs在齐全了解义务状况下的布局才干，经过提供来自Google Flights、Google Maps和Google Calendar等工具的输入作为模型的高低文。

这消弭了在布局方面评价LLMs时对工具经常使用环境的须要。论文观察到，NATURAL PLAN对最先进模型来说是一个应战。例如，在游览布局义务中，GPT-4和Gemini 1.5 Pro区分仅能到达31.1%和34.8%的处置率。论文发现，随着疑问复杂度的参与，模型性能急剧降低：当触及10个市区时，一切模型的体现均低于5%，凸显了最先进LLMs在人造言语布局方面存在清楚差距。

论文还对NATURAL PLAN启动了宽泛的消融钻研，进一步提醒了自校对、少样本泛化以及长高低文情境下的布局等方法在优化LLM布局成果上的（不）有效性。

​二、论文的便捷引见

2.1 论文的背景​

LLM的布局才干仍远落后于人类体现。虽然许多近期上班旨在处置这一疑问，但没有反映实在环球运行的事实基准，难以在增强这些模型的布局才干方面取得无心义的停顿。

布局在机器人学和具身环境中已被宽泛钻研。智能化布局算法已被宽泛运行于此类系统中，以成功布局配置。在这些场景中，布局触及制订一系列执行，当执行这些执行时，可以将代理从一个特定的初始形态带到希冀的环球形态。这些系统理论经常使用布局域形容言语（PDDL）或答案集编程（ASP）作为布局器的底层举措言语。虽然最近的上班曾经探求了LLM驱动的代理在经典布局设置中的后劲，但布局场景并非实践设置，并且它们理论蕴含模板，而非人造言语。

图1：游览布局义务的示例

图2：会议布局义务的示例

图3：日历布置义务的示例

论文引入了NATURAL PLAN，这是一个专为评价大型言语模型（LLMs）处置人造言语形容的布局义务才干而设计的新基准。NATURAL PLAN蕴含三种不同的布局义务，即游览布局、会议布局和日历调度。关于每项义务，论文从现有工具中搜集实在消息。例如，在游览布局中，论文查问Google Flights API，并提供市区间的航班衔接消息作为高低文。图1至图3展现了这些义务及其关系的谷歌工具，这些工具提供的消息作为高低文。

2.2 论文的方法--NATURAL PLAN

NATURAL PLAN是一个旨在评价LLMs执行人造言语表白的布局义务才干的基准。

​2.2.1 数据集类别

NATURAL PLAN蕴含三个布局类别：游览布局、会议布局和日历调度。每个类别旨在捕捉触及某些工具（如Google Flights）的实在环球布局义务。论文将工具经常使用与推理义务分别，并在高低文中提供工具输入，以确保NATURAL PLAN专一于布局。论文置信这将清楚简化评价LLMs布局环节的复杂性。

2.2.1.1 游览布局

游览布局是一项义务，专一于在给定解放条件下布局游览行程。附录A展现了一个示例提醒及其处置方案。该义务是关于确定访问 个市区的顺序。论文参与足够的解放条件，使得义务只要一个处置方案，从而使得对预测的评价变得间接。

2.2.1.2 会议布置

本局部基准专一于在各种给定解放下布置会议。给定 个好友，该义务提供了会议期间和地点。附录A展现了一个示例疑问。指标是在给定的解放条件下，尽或者多地与好友见面，这些解放包括地点之间的游览期间。

2.2.1.3 日历调度

日历调度是一项义务，专一于在多人之间依据现有日程和各种解放条件布置上班会面。论文经过扭转介入会议的人数和上班的天数来调整义务难度。附录A展现了一个示例疑问。

2.2.2 数据集构建

论文经过经常使用相应的工具数据并创立各种解放条件，人工分解了NATURAL PLAN数据集。上方形容了每类义务的详细创立环节。

2.2.2.1 游览布局​

论文创立数据集的模式如下：为了创立一个疑问，论文从欧洲访问量最大的48个市区中随机抽取

个市区。论文还随机抽取总继续期间和在每个市区逗留的天数，设为 的直飞航班，就不能在访问 的或者性。为了协助LLM了解连通性解放，论文查问Google Flights API，并在高低文中提供市区之间的航班连通性消息。

2.2.2.2 会议布局

关于此数据集类别，论文随机抽样人员姓名以布置会议，并相应地抽样地点。论文还抽样期间框架，显示人员的可用性。论文参与了解放条件，例如您将在旧金山访问一天。在此设置中，指标是要尽或者多地会晤好友。为了使疑问愈加实在，期间解放/地点遵照事实环球的地点。游览距离经过查问Google地图API的驾驶期间来预算。

表1：NATURAL PLAN义务的统计数据

2.2.2.3 日历调度

数据集的这一局部包括在多个上班日中布置30分钟或1小时会议的义务，触及不同数量的与会者。论文实例化了两个子集：第一个子集固定会议在特定的一天，例如星期一，同时变动与会者的数量在[2, 7]之间；第二个子集固定与会者数量为2，同时变动会议可以布置的上班日数量为1, 5。每个介入会议的人都有他们今日的现有会议布置（第一个子集）或一周（第二个子集），这是经过向每天参与随机的30分钟会议直到n小时的会议期间被填满来创立的。

论文随机为每个与会者调配n，以确保一半的与会者有忙碌的日程，象征着他们超越一半的上班期间用于会议，而另一半有较轻的日程，不到一半的上班期间用于会议。每个与会者的延续会议被兼并成一个独自的块，如图3所示。一旦论文有了一切与会者的现有日程，论文参与两种类型的解放：1) 最早可用性；2) 防止在特定期间段内散会，以确保疑问有一个繁多的处置方案。

2.2.3 统计数据

表1展现了NATURAL PLAN中触及的行程布局、会议布局和日历调度等多个义务的统计数据。

​2.3 论文的成果

论文启动了一系列试验，以评价最先进的言语模型（LMs）在NATURAL PLAN中布局义务的体现。

2.3.1 模型

论文试验了多个顶尖的LLMs：GPT-4（gpt-4-turbo-2024-04-09），GPT-3.5（gpt-3.5-turbo-0125），GPT-4o（gpt-4o-2024-05-13），以及Gemini 1.5 Flash和Pro 。

2.3.2 设置​

大指示例学习关于NATURAL PLAN中的每个义务，论文提供5个同一义务内的示例作为大指示例，以使LLM经过高低文学习[Brown et al., 2020]从这些示例中学习。此设置还确保输入可以轻松解析以启动评分。

解放复杂性了解为了更好地理解LLMs的布局才干，论文经过控制变量扭转每个义务的难度级别。论文经过扭转解放条件（如人数、市区数、天数等）启动剖析，以更好地理解模型在布局义务复杂性变动中的行为。

大指示例泛化论文经过火别提供便捷和艰巨示例作为高低文示例，启动由易到难和由难到易的泛化钻研。例如，内行程布局中，关于由易到难（由难到易）的泛化，论文提供5个比评价义务虚例少（多）2个市区更便捷（艰巨）的示例。

自我批改论文评价模型能否能在NATURAL PLAN中各种义务类别中自我批改其失误。论文提醒模型识别能否存在任何失误，并在必要时启动自我批改。

长高低文中的高低文布局论文评价模型如何应用长高低文才干启动布局中的高低文学习。论文将测试集分为80%和20%，其中80%用作高低文示例，同时论文在20%的测试集上评价模型性能。论文将经常使用的大指示例数量参与到800个。

评价论文解析LLM的输入，并与黄金方案启动比拟。论文计算LLM生成的方案与黄金方案齐全婚配（EM）的分数。

2.3.3 结果与剖析

表2：5种模型在NATURAL PLAN上的准确性

2.3.3.1 结果

表2展现了在5次尝试设置中，各种LLM在NATURAL PLAN义务中的体现。论文从结果中得出以下见地。

一切模型在NATURAL PLAN上的体现都不佳。Gemini 1.5 Pro在游览布局和日历调度上体现最佳，而GPT-4在会议布局上体现最佳。

在NATURAL PLAN的三个义务中，游览方案是其中最难的，最佳准确率仅为34.8%。值得留意的是，一切模型在这三个义务上的准确率均未超越50%，这标明即使一切必要的工具经常使用消息都已在高低文中提供，人造言语布局关于最先进模型来说依然是一个极具应战性的义务。

2.3.3.2 解放复杂性

图4至图6展现了模型在游览方案中市区数量、会议布置中人数、日历布置中介入者和天数变动下的性能变动。论文观察到以下主要见地：

图5：NATURAL PLAN中会议布局义务的解放复杂性剖析，作为人数的函数

图6：日历调度义务的解放复杂性剖析，作为一天内触及的人数（左）和两个与会者之间选用会议期间的上班日数量（右)的函数

随着市区/人数/与会者/天数的参与，性能降低。关于游览布局，图4显示，当布局中触及更多市区时，模型开局失败。在游览布局中，一切五个模型在触及10个市区时，性能都低于5%。关于会议布局，论文评价了从1到10的人数场景。图S再次显示，随着须要会晤的人数参与，性能急剧降低。超越8人后，一切模型的得分都低于10%。关于日历调度，与其余两个义务相比，参与与会者或天数时，准确性的降低并不清楚。

2.3.3.3 泛化剖析

图7：模型在游览布局义务上的性能，作为市区数量对少数镜头泛化消融的影响函数：E2H=从易到难，H2E=从难到易

图7展现了论文对从易到难和从难到易泛化试验的总结。关于从易到难（从难到易）泛化，论文提供了5个更便捷（更难）的例子，这些例子比义务少2个（多2个）市区，以测试大型言语模型（LLMs）能否能从更便捷（更难）的高低文学习示例中泛化。论文选用游览布局义务来启动消融钻研，由于它是人造布局义务中最艰巨的义务。

总体而言，论文观察到从易到难的泛化成果优于从难到易的泛化，超越了不同的模型家族。第4.2节显示，当义务复杂度较高时，模型的体现更差。这一结果标明，即使是关于最先进的LLMs，了解和应用高低文学习中的艰巨示例依然具备应战性。但是，论文确实观察到，关于GPT-4和Gemini 1.5 Flash，随着义务复杂度的参与，趋向出现了逆转：关于

到8，从难到易的示例比从易到难的示例体现更好。

2.3.3.4 自我批改

图8：自我批改消融试验中，行程布局准确率随市区数量的变动。SC=自我批改

图8展现了内行程布局义务中对模型预测启动自我批改的结果。论文提醒大型言语模型（LLM）审核生成的方案能否正确，假设判定为不正确，则批改方案（见附录B中的提醒）。

自我批改造成一切模型性能清楚降低。幽默的是，如GPT-4和Gemini 1.5 Pro这样的更强模型相比GPT-3.5遭受了更大的损失。如GPT-4和Gemini 1.5 Pro这样的更强模型相比GPT-3.5遭受了更大的损失。这与先前发现自我批改或者造成推理义务性能降低的钻研结果分歧[Huang et al., 2023]。像GPT-4和Gemini 1.5 Pro这样的经过指令调优的强模型或者在被提醒时对自己的处置方案过于自信，自我批改的示例见附录E。

2.3.3.5 长高低文情形下的即时布局

图9 展现了在游览布局和日历调度义务中应用长高低文启动情境布局的状况。Gemini 1.5 Pro在布局义务上展现出弱小的长高低文学习才干，相较于其余模型体现更优

论文钻研了经过应用近期模型的长高低文才干启动情境布局的或者性。图9展现了四种模型在最多800个示例下的性能。

由于弱小的长高低文才干，Gemini Pro 1.5能够应用多达35.5万个高低文示例，并继续显示出稳固的改良。例如，在游览布局中，将示例数量从1参与到800，Gemini Pro 1.5的准确率从2.7%优化至39.9%。与此同时，GPT-4和Gemini 1.5 Flash在20个示例时到达性能峰值，并开局出现性能降低。在日历调度义务中，Gemini 1.5 Pro继续改良至个示例。这些结果展现了情境布局的后劲，其中长高低文才干使得大型言语模型能够应用更宽泛的高低文来优化布局才干。

本文转载自​​，作者：