图遇见大型言语模型 停顿与未来方向的钻研

摘要：在事实环球的运行中，如引文网络、社交网络和动物数据等畛域，图（graph）在表示和剖析复杂相关方面起着至关关键的作用。最近，大型言语模型（Large Language Models, LLMs）在泛滥畛域取得了清楚成功，并且也被运行于与图相关的义务中，以逾越传统的基于图神经网络（GraphNeural Networks,GNNs）的方法，并成功了最先进的性能。本综述首先对现有整合LLMs与图的各类方法启动了片面回忆与剖析。首先，咱们提出了一种新的分类法，依据LLMs在图相关义务中所表演的角色（即增强器、预测器和对齐组件）将现有方法组织为三个类别。随后，咱们沿着该分类法的三个类别系统性地调研了具有代表性的方法。最后，咱们讨论了钻研存在的局限性，并指出了未来钻研的有前景方向。相关论文已启动总结，并将在以下网址继续降级：。

1、引言

图或图论，在当今环球的泛滥畛域中表演着基础性角色，特意是在科技、迷信和物流畛域[援用文献：Ji等人，2021年]。图数据展现了节点之间的结构个性，从而提醒了图内各组成局部之间的相关。许多实在环球的数据集，比如引文网络[援用文献：Sen等人，2008年]、社交网络[援用文献：Hamilton等人，2017年]以及分子结构数据[援用文献：Wu等人，2018年]，实质上都可以用图的方式来表示。

为了处置与图相关的各种义务，图神经网络（Graph Neural Networks,GNNs）[援用文献：Kipf和Welling，2016；Velickovic等人，2018年]曾经成为处置和剖析图数据的最抢手选用之一。GNNs的关键指标是经过节点间的递归信息传递和聚合机制，为不同类型的下游义务失掉节点、边或整个图级别的具有表白力的表示方式。这些机制准许GNNs能够捕捉和流传节点特色信息，从而成功对图结构数据的有效学习和推断。

近年来，诸如Transformer[ Vaswani等人，2017年]、BERT[ Kenton和Toutanova，2019年]、GPT[Brown等人，2020年]及其变体等大型言语模型（LLMs）取得了严重停顿。这些LLMs能够在稍作顺应后轻松运行于多种下游义务，在诸如情感剖析、机器翻译和文本分类等各种人造言语处置义务上展现出出色性能[Zhao等人，2023d]。虽然它们的外围关注点不时是文本序列，但越来越多的钻研兴味在于增强LLMs的多模态才干，使其能够处置包括图[Chai等人，2023年]、图像[Zhang等人，2023b年]和视频[Zhang等人，2023a年]在内的多样化数据类型。

LLMs在图相关义务中的运行日益清楚。借助LLMs，人们与图形交互的方式出现了清楚转变，特意是在蕴含带有文本属性节点的图形上。如图1所示，图与LLMs的集成在泛滥图畛域的各种下游义务中都展现出了成功案例。将LLMs与传统的GNNs结合经常使用可以互惠互利并增强图学习效果。虽然GNNs长于捕捉结构信息，但其关键依赖于语义受限的嵌入作为节点特色，这限度了它们表白节点所有复杂性的才干。而引入LLMs可以使GNNs失掉更强的节点特色，有效捕捉结构和高低文两方面的信息。另一方面，LLMs在编码文本方面体现出色，但在捕捉图形数据中存在的结构信息时往往较弱。将GNNs与LLMs相结合，既可以应用LLMs弱小的文本了解才干，又能施展GNNs捕捉结构相关的优势，从而成功更片面、弱小的图学习。例如，TAPE[He等人，2023年]应用由LLMs生成的与节点（如论文）相关的语义常识来改良GNNs中初始节点嵌入的品质。此外，InstructGLM[叶等人，2023年]用LLMs交流了GNNs中的预测器，经过展平图形和设计指令提醒等技术，应用人造言语的弱小表征才干。MoleculeSTM[刘等人，2022年]将GNNs和LLMs对齐到同一贯量空间中，将文本常识（即关于分子的信息）引入图中，从而优化推理才干。

图1：在泛滥不同的图畛域中，图与大型言语模型（LLMs）的整合在多种下游义务中均展现出成功的运行。

显然，从不同角度来看，LLMs对图相关义务发生了严重影响。为了取得更好的系统化概述，参照Chen等人[2023a年]的钻研，咱们在图2中构建了第一级分类体系，依照LLMs在整个模型流程中所表演的角色（即增强器、预测器和对齐组件）启动分类。咱们进一步细化了这个分类体系，并对初始类别引入了更多粒度。

动机：虽然LLMs越来越多地运行于图相关义务，但这一极速开展的畛域仍缺乏系统的综述。Zhang等人[2023d年]展开了一项前瞻性的考查，宣布了一篇视角论文，讨论了图形与LLMs融合面临的应战和机会。Liu等人[2023b年]提供了另一项相关考查，总结了现有的图基模型，并概述了预训练和顺应战略。但是，两者在综合笼罩范围和专门针对LLMs如何增强图的分类体系方面均存在无余。相比之下，咱们专一于图和文本模态共存的场景，并提出了一个更为粗疏的分类体系，系统地回忆和总结了LLMs在图相关义务上的技术现状。

奉献：本上班的奉献可以从以下三个方面概括。1）结构化的分类体系：经过一个结构化的分类体系，展现了该畛域的宽泛概览，并将现有上班分为四个类别（见图2）。2）片面的回忆：基于提出的分类体系，系统地勾画出了LLMs在图相关义务方面的钻研停顿。3）未来方向的讨论：咱们讨论了现有上班中存在的局限性，并指出了或许的未来钻研方向。

2、前言

在本节中，咱们将首先引见与本次考查亲密相关的两个关键畛域的基本概念，即图神经网络（GNNs）和大型言语模型（LLMs）。接上去，咱们将简明引见新提出的分类体系。

2.1 图神经网络

定义：大少数现存的GNN遵照信息传递范式，其中包括信息聚合和特色降级环节，例如GCN[Kipf和Welling，2016年]和GAT[Velickovic等人，2018年]。它们经过迭代地聚合邻域信息并对它们启动非线性函数降级来生成节点表示。前向流传环节可定义为：

其中，h是第 l 层节点 i 的特色向量，N是节点 i 的街坊节点汇合。函数 M 表示聚合街坊信息的信息传递函数，U 表示输入中心节点特色和街坊节点特色的降级函数。经过重叠多层，GNNs能够从更高阶的街坊那里聚合信息。

（注释：这个公式形容的是图神经网络（GNN）中的一个典型的信息传递（message passing）和节点降级（node updating）环节。这个环节是GNN的外围机制，用于在图中的节点之间流传和聚合信息。上方是对这个公式的详细解释：

-这是第l层中节点i的特色向量。在GNN的每一层，每个节点都会有一个特色向量，它蕴含了节点的信息以及从街坊节点聚合上来的信息。

2. hi(l-1)：

-这是第l-1层中节点i的特色向量。在GNN中，节点的特色向量会随着层数的参与而降级，新的特色向量是基于前一层的特色向量和街坊节点的信息计算失掉的。

-这是节点i的街坊节点汇合。在图中，每个节点都有一些间接相连的节点，这些节点被称为街坊节点。街坊节点的信息关于降级节点的特色向量至关关键。

-这是信息传递函数，用于聚合街坊节点的信息。这个函数定义了如何将街坊节点的特色向量兼并到节点的特色向量中。经常出现的聚合函数包括求和（sum）、取平均（mean）、最大值（max）等。

-这是降级函数，它经常使用中心节点的特色和街坊节点的特色作为输入来降级节点的特色向量。降级函数通常还会结合一些激活函数（如ReLU）来参与模型的非线性。

6. h(jl-1) | vj ∈ Ni：

-这表示关于节点i的一切街坊节点vj，取它们在第l-1层的特色向量h(jl-1)。这是信息传递的一局部，其中每个街坊节点的特色向量都会依据某种规定被聚合。

7.stacking multiple layers：

-经过重叠多层GNN，可以聚合来自高阶街坊（不只是间接街坊，还包括街坊的街坊等）的信息。每一层都会从前一层的特色向量和街坊节点的信息中学习新的特色表示。

总的来说，这个公式展现了GNN如何经过信息传递和节点降级机制来学习图中节点的高阶表示。经过这种方式，GNN能够捕捉图中的结构信息和节点间的复杂相关，从而在各种图相关义务中取得良好的性能。）

图预训练和提醒：虽然GNN已在图机器学习中取得必定成绩，但它们通常须要低廉的标注，并且难以泛化至未见过的数据。为了处置这些疑问，图预训练旨在提取通用常识，使得图模型能更容易地处置不同义务，而无需少量标注老本。干流的图预训练方法可以分为对比学习和生成式方法两大类。例如，GraphCL[You等人，2020年]和GCA[Zhu等人，2021年]遵照对比学习框架，最大化两个增强视图之间的相似性。Sun等人[2023b年]将对比思想裁减到了超图畛域。而GraphMAE[Hou等人，2022年]、S2GAE[Tan等人，2023a年]和WGDN[Cheng等人，2023年]则驳回了掩蔽图的某个成分并尝试重构原始数据的方法。典型的“预训练与微调”学习打算基于预训练义务与下游义务在某些外在义务空间上共享共异性的假定。而在人造言语处置畛域，钻研人员逐渐关注一种新的范式——“预训练、提醒及微调”，其目的是经过从新结构输入数据以顺应预设义务。这一想法也人造地被运行到了图学习畛域。GPPT[Sun等人，2022年]首先经过掩蔽边预测启动图模型预训练，而后将独立节点转换为token对，并将下游分类义务从新表述为边预测义务。此外，All in One[Sun等人，2023a年]提出了一个多义务提醒框架，一致了图提醒和言语提醒的格局。

2.2 大型言语模型

定义：虽然目前关于大型言语模型（LLMs）尚无明白的定义[Shayegani等人，2023年]，但在本考查中咱们给出一个针对所提及LLMs的详细定义。关于LLMs的两项有影响力的考查[Zhao等人，2023d；Yang等人，2023年]从模型规模和训练方法的角度区分了LLMs和预训练言语模型（PLMs）。详细来说，LLMs是指那些经过大规模数据预训练的巨型言语模型（即十亿级别参数量），而PLMs则是指早期预训练的、具有过度参数规模（即百万级别）的模型，这些模型能够在特定义务数据上轻松进一步微调，以成功对下游义务更好的体现。鉴于GNNs参数量相对较小，结合GNNs和LLMs时往往不须要具有大型参数的LLMs。因此，咱们遵照Liu等人[2023b]的思绪，在本考查中将LLMs的定义裁减到包括先前考查中定义的LLMs和PLMs两类模型。

退化历程：LLMs可以依据非自回归和自回归言语建模的方式划分为两大类别。非自回归LLMs通常专一于人造言语了解，驳回“掩码言语建模”作为预训练义务，而自回归LLMs更并重于人造言语生成，经常应用“下一个令牌预测”指标作为其基础义务。像BERT[Kenton和Toutanova，2019年]、SciBERT[Beltagy等人，2019年]和RoBERTa[Liu等人，2019年]等经典的仅编码器模型属于非自回归LLMs类别。最近，自回归LLMs继续开展，例如基于编码器-解码器结构构建的Flan-T5[Chung等人，2022年]和ChatGLM[Zeng等人，2022年]，以及基于仅解码器架构的GPT-3[Brown等人，2020年]、PaLM[Chowdhery等人，2022年]、Galactica[Taylor等人，2022年]和LLaMA[Touvron等人，2023年]。值得留意的是，LLMs在架构和训练方法上的提高催生了新兴才干[Wei等人，2022a]，即经过诸如高低文学习[Radford等人，2021年；Dong等人，2022年]和链式思想[Wei等人，2022b]等技术，在小样本或零样本场景下处置复杂义务的才干。

2.3 提出的分类体系

咱们提出一个分类体系（如图2所示），该体系将触及图形和文本两种模态的代表性技术组织成三大关键类别：(1) LLM作为增强器，其中LLMs被用来优化GNNs的分类性能；(2) LLM作为预测器，其中LLMs应用输入的图结构信息启动预测；(3)GNN与LLM的对齐，经过对齐技术，LLMs语义上增强GNNs的配置。咱们留意到，在某些模型中，由于LLMs介入水平较低，很难将其归入这三大关键类别中。因此，咱们将它们独自归类为“其余”类别，并在图2中提供了它们的详细作用。例如，LLM-GNN [Chen等人，2023b]被动选用节点供ChatGPT注释，从而经过将LLM作为一个标注器来增强GNN的训练。GPT4GNAS[Wang等人，2023a]在图神经网络架构搜查义务中视LLM为一个阅历丰盛的控制器，它应用GPT-4 [OpenAI,2023]探求搜查空间并生成新的GNN架构。此外，ENG[Yu等人，2023]使LLM成为一个样本生成器，用于生成带有标签的额外训练样本，为GNN提供充沛的监视信号。

接上去的章节中，咱们将依照提出的分类体系中的三大关键类别，区分对将LLMs融入图相关义务的方法启动片面综述。

图2：借助大型言语模型（LLMs）处置图义务的模型分类体系及其代表性例子

（注释：经常使用大型言语模型（LLMs）处置图义务的模型分类体系，并且提供了一些代表性的例子。这个分类体系将模型分为几个关键类别，每个类别都有其特定的角色和运行场景。

1. 基于解释的模型（Explanation-based）：

-这一类模型经常使用LLMs来生成解释或理由，以支持图义务的决策环节。例如，TAPE和LLMRec或许生成为什么某个节点对分类或预测特意关键的理由。

2. LLM作为增强器（LLM as Enhancer）：

-在这一类中，LLMs被用来增强图神经网络（GNNs）的性能。GIANT和SimTeG等模型或许会结合LLMs的文本了解才干和GNNs的图结构处置才干来提高全体性能。

3. 基于嵌入的模型（Embedding-based）：

-这些模型经常使用LLMs来生成或改良节点或图的嵌入表示。WalkLM和OFA等模型或许会应用LLMs来学习更丰盛的节点特色表示，这些表示可以用于各种下游义务。

4. 解冻（Frozen）：

-这一类触及到经常使用预训练的LLMs，但不对它们的权重进后退一步的训练或微调。这些模型或许间接经常使用LLMs的输入作为特色或辅佐信息。

5. 扁平化调整（Flatten-based Tuning）：

-这些方法或许触及将LLMs的输入启动扁平化处置，而后对这些特色启动调整或微调，以顺应特定的图义务。

6. LLM作为预测器（LLM as Predictor）：

-在这一类中，LLMs被间接用作预测器，而不依赖于GNNs。GIT-Mol和GraphLLM等模型或许会间接经常使用LLMs来预测节点属性或图的个性。

7. 基于GNN的模型（GNN-based）：

-这些模型结合了GNNs和LLMs，以应用两者的优势。GraphGPT和DGTL等模型或许会经常使用GNNs来处置图结构数据，同时经常使用LLMs来处置文本信息。

8. 对称的（Symmetrical）：

-这一类或许指的是同时经常使用LLMs和GNNs的模型，两者在模型中具有相似的角色或关键性。

9. GNN-LLM对齐（GNN-LLM Alignment）：

-这些模型专一于对齐GNNs和LLMs的输入，以便两者可以更好地协同上班。GraphFormers和GRAD等模型或许会探求如何整合GNNs的空间信息和LLMs的言语信息。

10. LLM作为注释器（LLM as Annotator）：

-这一类模型经常使用LLMs来为图数据提供注释或标签，或许用于半监视或无监视学习场景。

11. LLM作为控制器（LLM as Controller）：

-在这一类中，LLMs或许用来指点或控制GNNs的行为，例如选择哪些局部的图数据更关键或应该被重点关注。

12. LLM作为样本生成器（LLM as Sample Generator）：

-这些模型经常使用LLMs来生成图义务的样本数据，或许用于数据增强或模拟场景。）

3、LLM作为增强器

GNNs已成为剖析图结构数据的弱小工具。但是，干流基准数据集（如Cora[杨等人，2016年]和Ogbn-Arxiv[胡等人，2020年]）驳回浅层嵌入方法（如词袋、跳字模型[Mikolov等人，2013年]或TF-IDF[Salton和Buckley，1988年]）来编码TAG中的文本信息，这无法防止地限度了GNNs在TAG上的性能。LLM作为增强器的方法对应于借助弱小的LLMs提高节点嵌入的品质。由此发生的嵌入会被附加到图结构中，供任何GNNs经常使用，或许间接输入下游分类器以成功各种义务。咱们将这些方法人造地分为两类：基于解释的增强和基于嵌入的增强，取决于它们能否应用LLMs生成额外的文本信息。

3.1 基于解释的增强

为了丰盛文本属性，基于解释的增强方法专一于应用LLMs弱小的零样天性力捕捉上档次信息。如图3(a)所示，通常它们会促使LLMs生成语义丰盛的附加信息，如解释、常识实体和伪标签。典型流程如下：

其中t为原始文本属性，p是设计好的文本提醒，e为LLMs生成的附加文本输入，x∈R和X∈R区分表示维度为D的增强后的节点i的初始节点嵌入和嵌入矩阵，同时应用邻接矩阵A∈R经过GNNs失掉节点表示H∈R，其中d是表示的维度。例如，TAPE[何等人，2023年]是基于解释增强方法的先驱上班，它促使LLMs生成解释和伪标签以增强文本属性。之后，相对小型的言语模型会在原始文本数据和解释上启动微调，以编码文本语义信息作为初始节点嵌入。陈等人[2023a年]探求了LLMs在图学习中的潜在才干。他们首先比拟了可观察嵌入的LLMs与浅层嵌入方法，而后提出KEA来丰盛文本属性。KEA促使LLMs生成一系列常识实体及其文本形容，并经过微调的预训练言语模型和深度句子嵌入模型启动编码。LLM4Mol[钱等人，2023年]试图应用LLMs协助分子性质预测。详细来说，它应用LLMs生成原始SMILES的语义丰盛的解释，而后微调一个小规模的言语模型来启动下游义务。LLMRec[魏等人，2023年]旨在应用LLMs处置图介绍系统中的数据稠密性和数据品质疑问。它经过LLMs强化用户-名目交互边，并生成用户的/名目的侧信息，最后经常使用轻量级的GNN[何等人，2020年]编码增强后的介绍网络。

图3：LLM作为增强器方法的示用意：

a) 基于解释的增强，该方法应用LLMs生成文本属性的解释以增强文本嵌入；

b) 嵌入式增强，该方法间接经过LLMs失掉文本嵌入作为初始节点嵌入。

（注释：这两种方法都旨在改善图义务中文本属性的处置。

1.基于解释的增强（a) Explanation-based enhancement）：

-在这种方法中，LLMs被用来生成文本属性的解释。这些解释是对文本内容的额形状容，可以协助模型更好地理解文本的含意和高低文。

-生成的解释可以与原始的文本嵌入（由传统的言语模型（LM）生成）结合，从而增强节点的表示。这种增强的表示可以更好地捕捉文本属性中的复杂性和深度。

-这种增强的文本嵌入随后可以用于图神经网络（GNNs），以提供更丰盛的节点特色，协助GNNs在图义务中做出更准确的预测。

2. 基于嵌入的增强（b) Embedding-based enhancement）：

-在这种方法中，LLMs间接用来生成文本嵌入，这些嵌入作为图义务中节点的初始表示。

-与基于解释的方法不同，这里LLMs生成的嵌入不须要与任何其余文本嵌入结合，而是间接作为节点的特色输入到GNNs中。

-这种方法应用了LLMs弱小的语义了解才干，间接将文本数据转换为嵌入空间中的向量表示，这些向量能够捕捉文本的复杂语义信息。

图片中的图示还展现了一些可选操作，如调整（Tuned）或解冻（Frozen）LLMs的权重。调整象征着对LLMs进后退一步的训练或微调，以顺应特定的图义务。解冻则象征着经常使用LLMs的预训练权重，不对其启动任何修正。

这两种方法都应用了LLMs在处置文本数据方面的优势，经过增强文本属性的表示来优化图学习义务的性能。经过这种方式，可以将LLMs的言语了解才干与GNNs的结构学习才干结合起来，以处置更复杂的图义务。）

3.2 嵌入式增强

参见图3(b)，基于嵌入式的增强方法间接应用LLMs输入文本嵌入作为GNN训练的初始节点嵌入：

增强：x= f(t)

图学习：H = f(X, A)

此类方法要求使用具有嵌入可见性或开源的LLMs，由于它须要间接访问文本嵌入并结合结构信息对LLMs启动微调。许多先进LLMs（例如GPT4[OpenAI,2023年]和PaLM[Chowdhery等人，2022年]）是闭源的，并仅提供在线服务。严厉的限度使得钻研人员无法访问其参数和输入的嵌入。这类方法大多驳回级联方式，并应用结构信息辅佐言语模型在预训练或微调阶段捕捉信息，以便最大水平地运行于大规模运行。典型的例子是GALM[Xie等人，2023年]，它在一个给定的大规模图谱语料库上预训练PLMs和GNN聚合器，以捕捉对少量运行最有价值的信息，而后针对特定下游运后退一步微调框架以优化性能。

有几项钻研努力于经过在LLMs的微调阶段融入结构信息来生成节点嵌入。代表性的是GIANT[Chien等人，2021年]，它经过一种新型的自我监视学习框架微调言语模型，该框架驳回XR-Transformers处置链接预测上的极其多标签分类疑问。SimTeG[段等人，2023年]和TouchUp-G[朱等人，2023年]遵照相似的方式，两者都经过相似链接预测的方法微调PLMs，协助它们感知结构信息。两者之间的巧妙差异在于，TouchUp-G在链接预测时经常使用负采样，而SimTeG则驳回参数高效的微调方式减速微调环节。G-Prompt[黄等人，2023b年]在PLMs末端引入了一个图适配器，以协助提取具有图看法的节点特色。一旦训练成功，义务特定的提醒被整合出去，以发生针对各种下游义务的可解释节点表征。WalkLM[Tan等人，2023b年]是一种无监视的通用图表示学习方法，第一步是在图上生成带属性的随机游走并经过智能化文本化程序组成大抵无心义的文本序列；第二步则是应用文本序列微调LLM并从LLM中提取表征。METERN[金等人，2023b年]引入相关先验令牌来捕捉相关特异性信号，并经常使用一个言语编码器跨相关建模共享常识。LEADING[薛等人，2023年]有效地微调LLMs并将LLM中的危险常识转移到下游GNN模型中，从而降落计算老本和内存开支。

最近的一项上班OFA[刘等人，2023a年]尝试提出一个通用图学习框架，该框架可以应用繁多图模型口头顺应性下游预测义务。它经常使用人类可读的文本形容一切节点和边，并经过LLMs将不同畛域的它们编码到同一空间中。随后，经过在输入图中拔出义务特定的提醒子结构，框架能够顺应性地口头不同的义务。

3.3 讨论

LLM作为增强器的方法在TAG上展现出出色的性能，能够有效捕捉文本和结构信息。此外，它们还体现出弱小的灵敏性，由于GNNs和LLMs是即插即用的，准许它们应用最新技术来处置遇到的疑问。这类方法（特意是基于解释的增强方法）的另一个优势是它们开拓了经常使用闭源LLMs辅佐图相关义务的路线。但是，虽然一些论文宣称其具有良好的可裁减性，实践上，当处置大规模数据集时，LLM作为增强器的方法确实触及清楚的开支。以基于解释的方法为例，关于蕴含N个节点的图，它们须要向LLMs的API查问N次，这确实是一项渺小的老本。

4、LLM作为预测器

这个类别面前的外围思念是应用LLMs在一致的生成范式下，对宽泛的与图相关的义务（如分类和推理等）启动预测。但是，将LLMs运行于图模态时，面临共同应战，关键要素在于图数据通常缺乏间接转化为顺序言本的简单方式，由于不同的图以不同的方式定义结构和特色。在本节中，咱们将模型大抵分为基于展温友好面GNN预测两类，依据能否应用GNNs为LLMs提取结构特色。

（注释：这个类别的外围思想是经常使用大型言语模型（LLMs）来预测和处置各种与图相关的义务，比如图的分类和逻辑推理等。但是，当咱们想用LLMs来处置图数据时，会遇到一些特意的应战。这是由于图的结构和特色通常是很复杂的，而且不像文本那样可以很容易地转换成一连串的文字。所以，在这局部内容中，咱们会看到两种关键的方法来处置这个疑问。第一种是“基于展平”的方法，它或许象征着把图的结构和特色转换成一种可以被LLMs处置的方式。第二种是“平面GNN预测”，这种方法经常使用图神经网络（GNNs）来协助LLMs了解图的结构特色。这两种方法都是为了让LLMs更好地处置和预测图数据。）

4.1 基于展平的预测

目前大少数应用LLMs作为预测器的尝试驳回了将图转化为文本形容的战略，这有助于LLMs经过文本序列间接处置图数据。如图4(a)所示，基于展平的预测通常包括两个步骤：(1) 经常使用展平函数Flat(·)将图结构转化为节点或令牌的序列Gseq；(2)而后运行解析函数Parse(·)从LLMs生成的输入中检索预测标签，如下所示：

图结构展平：G= Flat(V, E, T ,J )

预测：Y˜ = Parse(f(G, p))

其中，V、E、T 和J 区分代表节点汇合、边汇合、节点文本属性汇合和边文本属性汇合。p 表示图义务的指令提醒，而Y˜ 是预测失掉的标签。

（注释：在许多尝试中，人们通常把图数据转换成一连串的文字形容，这样大型言语模型（LLMs）就可以间接处置这些图数据了。这个环节大抵分为两步，就像图4(a)展现的那样：

1. 图结构展平：首先，咱们经常使用一个叫做“展平函数”的物品，它把复杂的图结构（包括节点、边、节点上的文本信息和边上的文本信息）转换成一序列的节点或令牌，咱们把这串物品叫做Gseq。

2. 预测：而后，咱们用一个叫做“解析函数”的物品，从LLMs依据Gseq和一些提醒（这些提醒通知咱们LLMs咱们如今要做什么义务）生成的输入中提取出预测的标签。

用数学符号来表示就是：

- 咱们先失掉一个序列Gseq，它是由节点V、边E、节点的文本属性汇合T和边的文本属性汇合J经过展平函数Flat(·)失掉的。

- 接着，咱们用LLMs的函数fLLM，输入是Gseq和义务提醒p，最后失掉一个预测的输入Y˜。

这里的V、E、T和J区分代表图中的节点、边、节点的文本属性和边的文本属性。p是咱们给LLMs的指令提醒，通知它咱们如今要成功什么义务。Y˜是咱们想要预测的结果，也就是标签。）

图4展现了LLM作为预测器的方法示用意：

a) 展平战略为基础的预测方法，经过不同的展平战略将图形结构与LLM相结合；

b) 基于GNN的预测方法，应用GNN捕捉结构信息供LLM经常使用。

（注释：两种经常使用大型言语模型（LLMs）作为预测器的方法

1. 基于展平的预测（a) Flatten-based prediction）：

-在这种方法中，图结构经过某种展平战略被转换成一个序列，这样LLMs就可以处置它了。展平函数（Flat(·)）将图的节点和边转换成一个线性序列，或许还包括节点和边的文本属性。

-这个序列（Gseq）随后被输入到LLM中，LLM依据这个序列生成预测结果。这个环节或许触及到一些额外的步骤，比如解析LLM的输入来提取最终的预测标签（Y˜）。

2. 基于GNN的预测（b) GNN-based prediction）：

-在这种方法中，图神经网络（GNNs）首先被用来捕捉图的结构信息。GNNs经过信息传递和节点降级机制来学习节点的嵌入表示，这些嵌入表示蕴含了图的结构特色。

-学习到的嵌入表示（或许是1跳或2跳街坊的信息）随后被用作LLM的输入。这样，LLM可以应用GNNs提供的结构信息来启动预测。

一些详细的步骤和组件：

- 图结构和文本属性（Graph Structure & Attributes）：这是原始图数据的两个组成局部，结构特色形容了节点和边如何衔接，而文本属性或许蕴含了节点和边的形容或标签。

- 展平（Flattening）：这是将图数据转换成序列的环节，以便LLMs可以处置。

- GNN序列（GNN Sequence）：这是经过GNN处置后失掉的节点序列，它蕴含了却构信息。

- LLM：这是大型言语模型，它接纳展平后的序列或GNN的嵌入表示，并生成预测结果。

这两种方法都试图将图数据转换为LLMs可以处置的格局，但它们在如何预备输入数据和如何应用LLMs方面有所不同。基于展平的方法间接处置图的结构，而基于GNN的办规律先经常使用GNNs来提取结构信息，而后将这些信息传递给LLMs。）

模型的解析战略通常规范化。例如，思索到LLM（大型言语模型）的输入往往蕴含其推理和逻辑环节，特意是在链式思索（CoT）场景中，一些钻研上班[如Fatemi等人，2023；Zhao等人，2023c；Chen等人，2023a；Guo等人，2023；Liu和Wu，2023；Wang等人，2023b]应用正则表白式从输入中提取预测标签。某些模型[如Chen等人，2023a；Fatemi等人，2023；Wang等人，2023b；Chai等人，2023；Huang等人，2023a]进一步将LLM的解码温度设置为0，以缩小LLM预测的变异性并取得更牢靠的结果。另一个方向是将图义务方式化为多选问答疑问[Robinson和Wingate，2022]，其中LLM被批示在提供的选项当选用正确答案。例如，一些钻研[如Huang等人，2023a；Hu等人，2023；Shi等人，2023]经过在零样本环境下给出选项并在提醒中附加指令来解放LLM的输入格局，比如“关于你的答案，不要给出任何推理或逻辑”。此外，还有一些方法，如GIMLET[Zhao等人，2023a]和InstructGLM[叶等人，2023]，对LLM启动微调以间接输入预测标签，使它们无需额外的解析步骤就能提供准确的预测。

（注释：在这些模型中，钻研人员通常会驳回一些规范的方法来从大型言语模型（LLMs）的输入中提取有用的信息。由于LLMs在处置疑问时会展现它们的思索环节，就像人在处置疑问时会一步步地推理一样。有些钻研是这样的：

- 他们会用相似“查找和交流”这样的技术（正则表白式）来找出LLMs输入中的关键信息，也就是预测的答案。

- 有些模型会让LLMs的输入愈加确定，不那么随机。他们经过调整一个叫做“解码温度”的设置来成功这一点，把它设为0，这样LLMs就只给出最或许的答案，而不是很多或许性。

- 另一种方法是把图的疑问变成一个多项选用题，而后让LLMs从几个选项当选用正确的答案。这就像是在问LLM：“在这些选项中，哪一个是对的？”

- 有些钻研还会特意通知LLMs不须要给出解释，只要要间接给出答案。这样，输入的答案就很便捷，不须要再启动额外的处置。

- 最后，也有一些方法会特意训练LLMs，让它们间接输入预测的标签，这样就不用再去剖析LLMs说了什么，间接就能失掉预测结果。

所以，这些方法都是在尝试让LLMs更好地理解和处置图相关的疑问，并且尽或许间接和明晰地给出答案。）

相比于解析战略，展平战略展现出清楚的变动性。接上去，咱们将依据LLM参数能否降级这一条件，组织整顿展平方法。

LLM解冻形态下

GPT4Graph[Guo等人，2023]应用诸如GML[Himsolt,1997]和GraphML[Brandes等人，2013]等图形形容言语来表示图形结构。这些言语提供了规范化的语法和语义，用于表示图形内的节点和边。受言语学句法树[Chiswell和Hodges,2007]启示，GraphText[Zhao等人，2023c]应用图-句法树将图形结构转换为一系列节点序列，而后将其输入到LLM中启动无需训练的图形推理。此外，ReLM[Shi等人，2023]经常使用简化的分子输入线性表白系统(SMILES)字符串，为分子图形结构提供一维线性化表示。图形数据也可以经过邻接矩阵和邻接表等方式表示。若干方法[Wang等人，2023b; Fatemi等人，2023; Liu和Wu, 2023;Zhang等人，2023c]间接驳回数值化组织的节点列表和边列表，以纯文本方式描画图形数据。GraphTMI[Das等人，2023]还进一步探求了不同模态，如motif和图像，以便将图形数据与LLM相结合。

（注释：在大型言语模型（LLM）的解冻形态下，象征着咱们不训练或调整LLM的外部参数，而是间接经常使用它来处置图数据。这里有几种不同的方法来表示图，让LLM能够了解并启动推理：

1. 图形形容言语：

-有些钻研，比如GPT4Graph，经常使用不凡的图形形容言语（比如GML和GraphML）来形容图的结构。这些言语有自己的规定和语义，就像咱们用单词和句子来交流一样，它们用来形容节点和边的相关。

2. 图-句法树转换：

-GraphText这种方法遭到言语学中句法树的启示，它把图的结构转换成一系列的节点序列，就像句子中的单词顺序一样，而后这些序列可以间接输入到LLM中，让LLM启动图推理，而不须要额外的训练。

3.一维线性化表示：

-ReLM这种方法用一种简化的分子表示系统（SMILES）来表示分子图。这种表示就像一个线性的字符串，可以很容易地被LLM读取和了解。

4.邻接矩阵和邻接表：

-有些方法经过邻接矩阵或邻接表来表示图，这些都是数学上罕用的表示图的方式。邻接矩阵是一个表格，显示了图中每对节点之间能否有边衔接；邻接表则是列出了每个节点的街坊节点。

5. 数值化的节点列表和边列表：

-还有一些方法间接用数值列表来表示图中的节点和边，就像列出了一个清繁多样。这种纯文本的形容方式可以让LLM间接读取图的信息。

6. 多模态表示：

-GraphTMI这种方法探求了不同的模态，比如图的motif（图案）和图像，来结合图数据和LLM。这象征着它不只仅经常使用文本，还或许经常使用图像等其余类型的数据来协助LLM更好地理解图。

这些方法都是在尝试用不同的方式把图的信息转换成LLM能够处置的格局，让LLM能够读取和推理图数据，而不须要对LLM启动任何训练或调整。）

另一方面，经常使用人造叙说表白图形结构的方法也正在稳步开展。陈等人[2023a]和胡等人[2023]都将援用网络的结构信息整合到提醒中，这是经过明白地经常使用单词"援用(cite)"表示边相关，并经常使用论文索引或题目表示节点成功的。而黄等人[2023a]并未经常使用“援用(cite)”来表示边，而是经过罗列节点随机选用的k跳街坊来形容相关。此外，GPT4Graph[Guo等人，2023]和陈等人[2023a]模拟了GNN的聚合行为，总结街坊的属性作为额外输入，旨在提供更多结构信息。值得留意的是，Fatemi等人[2023]讨论了多种节点和边的表示方法，总共测验了11种战略。例如，他们经常使用索引或字母表示节点，并运行箭头或括号来表示边的相关。

（注释：在形容图结构时，钻研人员也在尝试用更人造的言语来表白。这里有一些详细的方法：

1. 整合援用网络信息：

-陈等人和胡等人在他们的钻研中，把援用网络的结构信息放到了提醒中。他们用“援用”这个词来明白表示节点之间的衔接相关，就像论文之间相互援用一样。节点则用论文的索引或题目来表示。

2. 形容节点的街坊

-黄等人则用了一种不同的方法。他们不是用“援用”来表示衔接，而是列出一个节点的几跳街坊，这样也能表白节点之间的相关。

3. 模拟GNN的聚合行为：

-GPT4Graph和陈等人的钻研中，他们模拟了图神经网络（GNN）的聚合行为。他们总结了一个节点的街坊们的属性，而后把这些信息作为额外的输入，协助模型更好地理解图的结构。

4. 探求不同的表示战略：

-Fatemi等人的钻研中，他们探求了很多不同的表示方法。他们用索引或字母来表示节点，用箭头或括号来表示节点之间的边相关，总共测试了11种不同的战略。

所以，这些方法都是在尝试用更人造和直观的方式来形容图结构，让大型言语模型（LLM）能够更好地理解和处置图数据。）

LLM调优方面

GIMLET[Zhao等人，2023a]驳回了基于距离的位置嵌入技术，以增强LLM对图形结构的认知才干。在对图形启动位置编码时，GIMLET定义了两个节点之间的相对位置为它们在图形中的最短距离，这一做法在图形变换器畛域的文献中失掉了宽泛运行[如Ying等人，2021的钻研]。相似于黄等人[2023a]的上班，InstructGLM[叶等人，2023]设计了一系列基于最大跳层级别的可裁减提醒。这些提醒准许中心论文节点经过运用人造言语表述的衔接相关，与其任何指定跳层级别的街坊建设间接关联，从而能够与恣意希冀的临近层级建设咨询。

（注释：在调整大型言语模型（LLM）以更好地处置图网络方面，有几种方法：

1. 基于距离的位置嵌入（GIMLET）：

-GIMLET这种方法用了一个技巧，就是给图中的每个节点一个特意的位置编码，这个编码是基于节点之间最短的距离。就像是给每个节点在图里的位置调配一个坐标，这样模型就能更容易了解哪些节点是“近”的，哪些是“远”的。这个方法在图处置的钻研中曾经被证实是很有用的。构想一下，当你想教会一个模型了解一张复杂的网状结构时，就像教一团体了解一个社交网络或化学分子结构那样，位置信息至关关键。GIMLET就是教模型关注节点间的相对位置，它把每对节点之间的距离看作是在这个图形中的“最短门路”，这样一来，模型就能更准确地掌握不同节点间的相关远近。这种思想在处置图形数据的图形变换器技术中十分盛行，比如Ying等人在2021年的钻研就曾讨论过相似的方法。

2. 可裁减提醒（InstructGLM）：

-InstructGLM设计了一系列提醒，这些提醒可以让模型了解图中的节点不只与它的间接街坊有相关，而且可以与更远的节点建设咨询。就像是通知模型，一个节点可以经过几个“跳”（或许说是两边节点）与图中的其余节点衔接起来。这样，模型就能了解图中更复杂的结构和相关了。这个方法有点像制造一份详细的导航指南，只不过它是为大型言语模型定制的。他们设计了一系列灵敏的提醒模板，这些模板能够逐级展开，就像是层层递进的地图索引一样。这样，模型就能轻松追随指引，从一个中心节点登程，无论要探求几步之遥的街坊节点还是更远档次的相关节点，都能经过人造言语表白的衔接线索中转目的地。这样做的好处是，模型不只能了解单个节点的文本信息，还能结合图形结构的高低文相关，成功愈加精准的信息处置和推理。

这些方法都是在尝试让LLM更好地理解图的结构，经过给节点加上位置信息或许经过设计特意的提醒来形容节点之间的相关。这样，当LLM须要处置图数据时，它就能更准确地理解图中的信息，并做出更好的预测或决策。）

4.2 基于GNN的预测

GNN（图神经网络）已在经过递归的信息交流和节点间聚合，了解图形结构方面展现出出色的才干。如图4(b)所示，与基于展平预测（行将图形数据转化为文本形容作为LLM的输入）相比，基于GNN的预测充沛应用GNN的优势，将图形数据中存在的外在结构个性和依赖相关与LLM相结合，使LLM具有结构感知才干，如下所示：

图形学习：H = f(X, A)

预测：Y~ = Parse(f(H, p))

其中X代表节点嵌入矩阵，A为邻接矩阵，H表示与图形相关的结构感知嵌入。基于GNN的预测雷同依赖于一个解析器从LLM中提取输入。但是，将GNN表示集成到LLM中通常须要调整，在训练环节中提供理想的输入，这使得LLM的预测格局更容易规范化。

（注释：图神经网络（GNN）就像是一个专门钻研图形的专家，它很长于经过在图里的节点之间传递和分享信息来了解图形的结构。就像你在好友圈里据说了一些八卦，而后经过这些信息来了解你的好友们都是谁，他们之间是什么相关。

在图4(b)中展现的基于GNN的预测方法，就是先用GNN来了解图形，而后把失掉的信息通知LLM。这就像是先把图里的信息整顿好，而后再通知LLM，这样LLM就可以更容易了解这些信息了。

这里的X是每个节点的特色，可以构想成每个节点的一些团体信息，比如年龄、兴味等。A是邻接矩阵，它通知咱们哪些节点是好友（即哪些节点是相连的）。H是GNN了解后失掉的新信息，它蕴含了节点之间相关的新了解。

而后，咱们用一个解析器从LLM那里失掉咱们想要的答案。这就像是你问LLM一个疑问，而后LLM依据它从GNN那里失掉的信息来回答你。

通常，为了让LLM更好地理解GNN给它的信息，咱们或许须要对LLM启动一些调整，让它知道怎样用这些信息来给出咱们想要的答案。这样，LLM的预测就能更合乎咱们的希冀，也更容易了解。）

各种战略已被提出以融合由GNN学习的结构形式以及LLM捕捉的高低文信息。例如，GIT-Mol[Liu等人，2023c]和MolCA[Liu等人，2023d]都成功了BLIP-2的QFormer[Li等人，2023a]作为跨模态投影器，将图编码器的输入映射到LLM的输入文本空间。为了有效启动图-文本交互，驳回了多种指标函数和不同的留意力掩蔽战略。GraphLLM[Chai等人，2023]在前缀调优阶段经过对图形表示施加线性投影，失掉增强型前缀，使LLM能够与图形变换器协同作用，归入对图形推理至关关键的结构信息。此外，GraphGPT[Tang等人，2023]和InstructMol[Cao等人，2023]都驳回便捷的线性层作为轻量级对齐投影器，将编码后的图形表示映射到一些图形令牌，而LLM长于将这些令牌与多样化的文本信息对齐。DGTL[Qin等人，2023]则间接将合成的图形嵌入注入LLM每一层，突出显示图形拓扑和语义的不同方面。

（注释：在图数据处置中，钻研人员提出了各种方法来结合图神经网络（GNN）学习到的结构信息和大型言语模型（LLM）捕捉的高低文信息。这里有几个例子：

1.跨模态投影器：

-像GIT-Mol和MolCA这样的钻研，经常使用了一种叫做BLIP-2的QFormer作为跨模态投影器。这个投影器的作用就像是翻译员，它把GNN输入的图信息转换成LLM能了解的文本信息。

2. 图-文本交互：

-为了协助LLM和图信息有效地交流，钻研人员经常使用了不同的指标函数和留意力掩蔽战略。这些技术协助LLM更好地理解图的结构和文本内容。

3. 增强型前缀：

-GraphLLM钻研中，在调整模型的环节中，经常使用了线性投影来增强图形表示，这样LLM就可以更好地和图变换器一同上班，了解图形的结构信息。

4. 轻量级对齐投影器：

-GraphGPT和InstructMol钻研中，经常使用了便捷的线性层来把图形表示转换成图形令牌。这些令牌是LLM能够处置的不凡标志，它们协助LLM把图形信息和文本信息对齐。

5. 注入图形嵌入：

-DGTL钻研中，间接把图的嵌入信息放到LLM的每一层中。这样做可以让LLM在处置文本的同时，也关注到图的拓扑结构和语义信息。

总的来说，这些方法都是在尝试让LLM更好地理解和处置图数据，经过把图的结构信息转换成LLM能够处置的格局，让两者能够有效地结合，从而提高处置图义务的才干。）

4.3 讨论

间接将LLM用作预测器在处置图形的文本属性方面显示出优势，尤其是在零样本色能上与传统GNN相比体现出色。最终指标是开发和完善将图形结构信息编码成LLM能够有效地理解和操作的格局的方法。基于展平的预测在有效性方面或许具有优势，而基于GNN的预测往往效率更高。在基于展平的预测中，LLM的输入长度限度造成每个节点只能访问其几跳内的街坊，这使得捕捉长程依赖性变得艰巨。此外，由于不触及GNN，无法处置诸如异质性等GNN固有疑问。另一方面，关于基于GNN的预测，由于深度变换器早期层梯度隐没疑问[Zhao等人，2023a; Qin等人，2023]，训练附加的GNN模块并将其拔出LLM中启动联结训练颇具应战性。

5、GNN与LLM对齐

GNN与LLM的嵌入空间对齐是一种有效结合图形与文本模态的方法。GNN-LLM对齐确保在特定阶段保管每个编码器的共同配置，并协调它们的嵌入空间。本节概述了对齐GNN与LLM的技术，依据能否对GNN和LLM等同注重或优先思索某一模态，这些技术可以分为对称和非对称两类。

5.1 对称对齐

对称对齐是指在对齐环节中对图形和文本模态启动对等处置。这类方法确保两种模态的编码器在各自的运行中都能到达相当的体现水平。典型的对称对齐架构如图5(a)所示，驳回双塔样式，区分经常使用独立的编码器对图形和文本启动编码。在对齐环节中，两种模态仅一次性交互。像SAFER[Chandra等人，2020]这样的方法经常使用便捷拼接来处置这两种独立的嵌入，但这种方法在成功结构信息和文本信息无缝融合方面存在无余，造成两种模态松懈耦合。因此，大少数双塔样式模型驳回对比学习技术促成对齐，相似于CLIP[Radford等人，2021]用于视觉和言语模态的对齐。普通来说，这些方法包括两个步骤：第一步是特色提取，失掉图形表示和文本表示；第二步是经常使用修正过的InfoNCE损失函数的对比学习环节，其方程式如下：

其中g代表特定图形的表示，t表示对应图形文本的表示。s(·, ·)表示评分函数，赋予正对高分值，负对低分值。τ是一个温度参数，|G|表示训练数据集中图形的数量。两个编码器的参数都是经过反向流传基于对比损失启动降级。

图5展现了GNN-LLM对齐方法的示用意：

a) 对比、对称对齐，驳回拼接或对比学习方法运行于图形嵌入和文本嵌入；

b) 迭代对齐，属于对称对齐类别，旨在成功两种模态嵌入间的迭代交互；

c) 图形嵌套对齐，一种对称对齐方式，它将GNN与Transformer交织在一同；

d) 常识蒸馏对齐，属于非对称对齐，经常使用GNN作为老师模型来训练言语模型使其具有对图形结构的了解才干。

Text2Mol[Edwards等人，2021]提出了跨模态留意力机制，实如今早期融合图形和文本嵌入。经过transformer解码器成功，Text2Mol经常使用LLM的输入作为源序列，GNN的输入作为指标序列。这种设置准许留意力机制学习多模态关联规定，而后应用解码器的输入启动对比学习，与GNN处置后的输入配对。

MoMu [Su等人，2022]、MoleculeSTM [Liu等人，2022]、ConGraT [Brannon等人，2023]和RLMRec[Ren等人，2023]共享相似的框架，驳回配对的图形嵌入和文本嵌入成功对比学习，但在细节上仍存在差异。MoMu和MoleculeSTM均从PubChem[Wang等人，2009]搜集分子，前者从已宣布的迷信论文中检索相关文本，后者应用分子的相应形容。ConGraT将此架构裁减至分子畛域之外，已在社交、常识和援用网络上验证了这种图形-文本配对对比学习方法的有效性。RLMRec倡导经过对比建模将LLM的语义空间与介绍系统中的单干相关信号（标明用户-名目交互）的表示空间对齐。

相似G2P2 [Wen和Fang，2023]和GRENADE[Li等人，2023b]的钻研进一步推动了对比学习的经常使用。详细来说，G2P2增强了对比学习的粒度，并在微调阶段引入了提醒。在预训练阶段，它在三个档次上运行对比学习：节点-文本、文本-文本摘要和节点-节点摘要，从而强化了文本和图形表示之间的对齐。提醒在下游义务中得以运用，体现出在大批样本和零样本文本分类及节点分类义务上的弱小性能。另一方面，GRENADE经过整合以图为中心的对比学习和双档次的以图为中心的常识对齐（包括节点级别和邻域级别对齐）启动优化。

不同于以往方法，迭代对齐方法如图5(b)所示，对两种模态对等看待，但在训练环节中经过准许模态之间启动迭代交互而区别开来。例如，GLEM [Zhao等人，2022]驳回希冀最大化（EM）框架，其中一个编码器迭代为另一个编码器生成伪标签，使它们能够对齐它们的表示空间。

5.2 非对称对齐

当对称对齐旨在给予两种模态等同注重时，非对称对齐则专一于准许一种模态辅佐或增强另一种模态。钻研中，主导方法是应用GNN处置结构信息的才干来强化LLM。这些钻研可分为两大类：嵌套式图变换器和具有图看法的蒸馏方法。

嵌套式图变换器，如图5(c)所示的GraphFormer[杨等人，2021]就是一个例子，它经过将GNN集成到每个变换器层来展现非对称对齐。在LLM的每一层中，节点嵌入来自第一个令牌级嵌入，该嵌入对应于[CLS]标志。这一环节触及搜集一切相关节点的嵌入并运行于图变换器，而后将输入与输入嵌入拼接，并传递给LLM的下一层。Patton[金等人，2023a]裁减了GraphFormer，提出两种预训练战略——网络高低文明的掩码言语建模和掩码节点预测，特意实用于富含文本的图。在分类、检索、重排序和链接预测等各种下游义务中，它的体现十分出色。

另外，GRAD[Mavromatis等人，2023]驳回具有图看法的蒸馏方法来对齐两种模态，如图5(d)所示。它应用GNN作为老师模型为LLM生成软标签，促成了聚合信息的传递。此外，由于LLM共享参数，在LLM参数降级后，GNN可以从改良的文本编码中受益。经过迭代降级，开收回一个具有图看法的LLM，由于去除了GNN，因此在推理阶段提高了可裁减性。与GRAD相似，THLM[邹等人，2023]驳回异构GNN来增强LLM的多阶拓扑学习才干。它经过两种不同的战略同时预训练LLM和辅佐GNN。第一种战略并重于预测节点能否为指标节点的高低文图的一局部。第二种战略应用Masked LanguageModeling义务，有助于LLM开展弱小的言语了解才干。预训练环节完结后，摈弃辅佐GNN，并对LLM启动微调以顺应下游义务。

5.3 讨论

为了对齐GNN和LLM，对称对齐以对等的方式看待每种模态，目的是同时增强GNN和LLM，从而发生能有效处置触及两种模态义务的编码器，应用各自编码优势提高模态特异性表征。此外，非对称方法经过将图编码器拔出变换器中或间接经常使用GNN作为老师来增强LLM。但是，对齐技术在面对数据稀缺性疑问时面临应战。特意是只要少数图数据集（例如分子数据集）蕴含原生的图-文本对，这限度了这些方法的实用范围。

表格1：按颁布期间顺序陈列的文献汇总，列出了应用LLM协助图相关义务的各类模型。其中“微调”指能否须要对LLM的参数启动微调，♡符号表示该模型驳回了参数高效微调(PEFT)战略，比如LoRA和前缀调优。"提醒"标明在LLM中经常使用了文本格局的提醒，无论是手动还是智能设置的。

义务缩写说明：Node代表节点级别的义务；Link代表边级别的义务；Graph代表图级别的义务；Reasoning代表图推理义务；Retrieval代表图文检索义务；Captioning代表图形容生成义务。

6、未来开展方向

表1总结了依照提出的分类法，应用LLMs辅佐处置图相关义务的模型。基于上述回忆与剖析，咱们以为该畛域仍有很大的优化空间。本节咱们将讨论应用LLM了解图数据才干所面临的局限性，并列出一些后续钻研值得进一步探求的方向。

1.处置非TAG疑问：应用LLMs辅佐学习带有文本属性的图曾经体现出出色性能。但是，在事实环球场景中普遍存在少量缺乏丰盛文本信息的图结构数据。例如，在交通网络（如PeMS03[宋等人，2020年]）中，每个节点代表一个运转中的传感器，在超像素图（如PascalVOC-SP[德维迪等人，2022年]）中，每个节点代表一个超像素块。这些数据集并没有在每个节点上附带文本属性，且难以用人类可了解的言语来形容每个节点的语义含意。虽然OFA[刘等人，2023a]提出用人类可了解的文本形容一切节点和边，并经过LLMs将其嵌入同一空间，但这种方法或许并不实用于一切畛域（如超像素图），在某些特定畛域和数据集上的性能或许不尽理想。因此，探求如何应用LLMs弱小的泛化才干协助构建实用于无丰盛文本信息的图的基础模型是一项有价值的钻研方向。

2.应答数据暴露疑问：LLMs中的数据暴露疑问已成为讨论焦点[Aiyappa等人，2023年]。由于LLMs经过大规模文本语料库的预训练，它们很或许至少接触并记忆了局部经常出现基准数据集的测试数据，特意是关于援用网络而言。这使得依赖早期基准数据集的钻研牢靠性遭到质疑。此外，陈等人[2023a]证实了特定的提醒或许会增强LLMs对应记忆的“激活”，从而影响评价结果。黄等人[2023a]和何等人[2023]尝试经过搜集新的援用数据集防止数据暴露疑问，确保测试论文采样自ChatGPT截止日期之后的期间段，但这依然局限于援用畛域，且其数据集中图结构的影响不清楚。因此，从新扫视用于准确评价LLMs在图相关义务上性能的方法至关关键，同时建设偏心、系统且片面的基准也是必须的。

3.提高迁徙才干：迁徙才干不时是图畛域的一大应战[Jiang等人，2022年]。由于各图的共同个性和结构，从一个数据集到另一个数据集，或许从一个畛域到另一个畛域的常识迁徙并非易事。不同图在大小、连通性、节点类型、边类型以及全体拓扑方面差异清楚，间接在它们之间转移常识较为艰巨。虽然LLMs由于在海量语料库上启动了宽泛预训练，显示出了在言语义务上低劣的零样本/少样天性力，但在应用LLMs中嵌入的常识提高图相关义务的迁徙才干方面的探求相对有限。OFA[刘等人，2023a]试图经过将一切节点和边形容为人类可读文本，并用繁多LLM未来自不同畛域的文本嵌入同一贯量空间成功跨畛域的一致方法。优化迁徙才干这一主题仍值得深化钻研。

4.提高可解释性：可解释性，又称为可解释度，指的是以人类可了解的方式来解释或展现模型行为的才干[Zhao等人，2023b年]。LLMs在处置图相关义务时相比GNNs显示出更好的可解释性，关键归因于LLMs能为图推理生成用户友好的解释，包括第3节讨论的生成额外解释作为增强器，以落第4节提及的提供推理环节作为预测器。已有钻研标明，在提醒范式内探求解释技术，如高低文学习[Radford等人，2021年]和思想链[Wei等人，2022b年]，经过向LLM输入一系列演示和提醒以疏导其生成特定方向的输入并解释其推理环节。进一步的钻研应该努力于优化可解释性。

5.提高效率：虽然LLMs在图学习上展现出有效性，但它们在期间和空间效率上或许不如专门设计的图学习模型如GNNs，尤其是在依赖序列图形容启动预测的状况下（如第4节所述）。例如，经过API（如ChatGPT和GPT-4）访问LLMs时，计费模型关于处置大规模图会发生高昂老本。此外，开源LLMs本地部署的训练和推理均需消耗少量期间及配件资源。现有钻研[Duan等人，2023年；Liu等人，2023c年；Ye等人，2023年；Chai等人，2023年；Liu等人，2023d年；Tang等人，2023年]已尝试驳回诸如LoRA[胡等人，2021年]和前缀调优[Li和Liang，2021年]等参数高效微调战略使LLMs顺应愈加高效。咱们置信，更多的高效方法可以解锁在有限计算资源下运行LLMs处置图相关义务的后劲。

6.表白才干的剖析与改良：虽然LLMs最近在图相关义务上取得了一些成就，但其实践上的表白力仍未失掉充沛探求。规范的信息传递神经网络被以为具有与1-Weisfeiler-Lehman（WL）测试相当的体现力，这象征着在1跳聚合下它们无法区分非同构图[Xu等人，2018年]。因此，有两个基本疑问显现进去：LLMs了解和处置图结构的有效水平如何？其表白才干能否逾越了GNNs或WL测试？此外，置换不变性是典型GNN的一个幽默个性，在几何图学习中尤为关键[Han等人，2022年]。探求如何赋予LLMs这一个性也是一个幽默的钻研方向。

7.将LLMs作为智能体：目前结合LLMs和图的运行中，LLMs经常表演增强器、预测器和对齐组件的角色。但在更复杂的场景中，这些运行或许并未充散施展LLMs的潜能。最新钻研曾经开局探求LLMs作为智能体的新角色，如生成智能体[Park等人，2023年]和畛域特定智能体[Bran等人，2023年]。在一个由LLM驱动的智能体系统中，LLMs充任智能体的大脑，辅以布局、记忆和工具经常使用等关键组件[Weng，2023年]。在复杂图相关场景，如介绍系统和常识发现中，将LLMs视为智能体首先将义务合成为多个子义务，而后针对每个子义务识别最适合的工具（如GNNs）或许能够取得更好的性能体现。此外，将LLMs作为智能体运行于图相关义务有或许构建出弱小且高度泛化的处置打算。

论断

近年来，LLMs在图相关义务中的运行曾经成为了一个突出的钻研畛域。在本次综述中，咱们的指标是深化引见现有的将LLMs运行于图畛域的各种战略。首先，咱们引入了一种陈腐的分类法，依据LLMs在其中表演的不同角色，即增强器、预测器和对齐组件，将触及图形和文本两种模态的技术分为三类。其次，咱们依照这个分类体系系统地回忆了代表性钻研成绩。最后，咱们讨论了一些局限性，并指出了几个未来的钻研方向。经过这次片面的回忆，咱们旨在提醒在LLMs辅佐下的图学习畛域的停顿与应战，从而激起该畛域进一步的优化和开展。

Li Y, Li Z, Wang P, et al. A survey of graph meets large language model:Progress and future directions[J]. arXiv preprint arXiv:2311.12399,2023.

AIRoobt ，作者：AIRoobt

原文链接:​ ​​ ​