基于预训练模型的常识图谱嵌入编辑

一、引言

常识图谱和大型言语模型都是用来表示和处置常识的手腕。不同于大型言语模型，常识图谱中的常识理论是结构化的，这样的结构让其具备更强的准确性和可解释性。常识图谱嵌入（Knowledge Graph Embedding，KGE）是一种将常识图谱中的实体和相关转化为低维度、延续的向量空间表示的技术。这种转化使得复杂的相关和属功能够以向量方式表白，从而便于机器学习算法启动处置。这些技术为各种常识密集型义务（例如消息检索、问答和介绍系统）提供了贵重的后端允许。最近的一些上班标明，基于预训练言语模型的常识图谱嵌入可以充沛应用文本消息进而取得较好的常识图谱表示功能。

但是，现有的常识图谱嵌入模型普通是作为一个静态工件被部署在服务中，一经训练好常识图谱表示模型就很难顺应新出现的实体以及处置理想常识出现修正的状况，比如，假设让一个在2021年以前训练的常识图谱表示模型去预测<美国、现任总统、？>，那么它最有或者给出的答案是唐纳德·特朗普。但是随着美国总统大选举办，总统换届，到2021年总统就变成了乔·拜登。因此，如何高效地修正其中过期或失误的常识成为了一个应战。为处置这一疑问，本文提出了一种基于预训练言语模型的常识图谱嵌入编辑方法——KGEditor。不同于间接编辑大型言语模型外部的常识，常识图谱嵌入编辑是针对常识图谱中的理想性常识启动操作。并且编辑常识图谱嵌入须要思考常识的复杂结构，比如一对多，多对多等常识结构。

二、方法

（1）义务定义

随着外部环球的变动，须要将新的理想参与到现有KG中去。因此有必要将这些新的三元组常识灵敏地拔出到KGE中。所以引出了第二个子义务ADD，其目的是将前一阶段训练中没有的全新常识植入到模型中去，这相似于KG中的演绎推理设置，但是整个模型是不须要从新训练的。这两种义务表示如图所示：

本文将编辑KGE模型的义务全体定义如下：

（2）Metrics

Success@1 metric (Succ@k): KGE编辑的牢靠性是经过链接预测来判别能否将原有失误的常识成绩修正回来。为了验证编辑效果的有效性，本文驳回了常识图谱补全的设定，即经过对候选实体分数启动排名，生成一个实体列表。经过计算正确实体出如今位置K来定义修正后的模型的牢靠性，定义为Success@1 metric (Succ@k)，其公式如下：

Retaining Knowledge Rate of Change: 常识稳固性是试图去评价编辑方法在成功降级特定三元组常识时，能否对常识图谱表示模型失掉的其他常识O带来了影响。本文这里重要驳回两种评价方式来探求编辑方法关于常识图谱表示模型的影响大小，区分是常识坚持率和常识的变动率。常识坚持率Retain Knowledge (RK@k)代表的是原始模型预测的实体，在编辑成功后依然能够正确推断进去的概率。首先本文设定了一个专门用于稳固性测试的数据集：L-test。L-test数据集搜集了原始模型预测进去的Top 1的三元组数据，作为观测数据集。假设编辑前后的KGE模型预测相对应的三元组预测坚持不变，则以为编辑遵照常识部分性，即不会影响其他理想。经过计算保管常识部分性的比例作为常识编辑稳固性的权衡规范，其定义如下所示：

Edited Knowledge Rate of Change: 为了更好观察编辑对稳固性影响的大小，本文引入了两个额外的目的来权衡编辑带来的影响大小。即编辑常识的变动率（Edited Knowledge Rate of Change）和保管常识的变动率（Retaining Knowledge Rate of Change），两个公式定义如下：

(3)模型选用

本文驳回的常识图谱嵌入模型都是基于预训练的常识图谱嵌入模型。文中将这类模型进一步细分为两种方式：其一是以KG-BERT为代表的FT-KGE（Finetuning Knowledge Graph Embedding）模型，其二是以NN-KG代表的PT-KGE（Prompt Tuning Knowledge Graph Embedding）模型。

，如KG-BERT，KG-BERT将KG中的三元组视为文本序列。这类方法经过对由[SEP]和[CLS]等不凡token衔接的相关和实体的三元组的形容启动训练，而后将形容序列作为微调的输入。理论经常使用[CLS]来启动二元分类来判别三元组的非法性，注释如下：

(4)Datasets

为了构建常识图谱编辑数据集，本文借助了目前常识图谱中经常出现的两个基准数据集：FB15k237和WN18RR。

：未来确定编辑对象，本文搜集了在KGE模型链接预测义务上具备应战性的数据。即本文采样了链接预测中，实体排序在2,500以上的数据（模型难以预测正确的三元组补全数据）。关于稳固性测试集，本文将模型原天性够预测坚持在top k的数据保管上去，做为L-test数据集。其构建的详细流程如图所示：

：关于ADD义务数据集构建，本文驳回了常识图谱补全义务中的演绎推理义务设定（应用已有的常识图谱中的消息来预测或推断缺失的相关和实体），测试数据集中的实体常识都是在训练中没有见过的，所以可以看作为新增的常识。

在FB15k-237和WN18RR上本文都驳回相反的数据集设定，处置方式也坚持分歧。经过以上操作，本文最终可以失掉以下四个数据集： E-FB15k237 ， A-FB15k237 ，，和。其中详细的统计如表所示：

(5)KGEditor

本文首先在一些通用的常识编辑方法上启动初步的试验测定，发现现有的常识编辑方法存在以下疑问。首先基于额外参数的编辑方法CaliNet不论是在Edit还是ADD义务上，体现都比拟普通，其效果不如给予额外模型的编辑方法，如MEND和KE等。但是MEND和KE的编辑效率是低的，其额外模型的参数须要去生成网络参数，所以其编辑所须要训练的参数也会随着暗藏层纬度的增大而参与，不会比微调的方式更浪费资源。所以本文总结两种方法的优缺陷，经过综合两者的长处，提出了一个新的编辑方法：nowledgeraphmbeddings E（KGEditor），其详细表示如图所示：

KGEditor可以在不失落编辑功能的前提下，尽或者浪费编辑的资源开支。这样可以浪费更多的资源成功愈加高效的编辑。直观过去讲，本文构建了一个与FFN架构相反的附加层，并应用其参数启动常识编辑。但是额外FFN层的参数不是依托微调训练，而是应用额外的超网络来生成附加层的额内查整参数。其公式如下：

三、试验

(1)试验结果

本文应用现有的一些干流常识编辑范式与KGEditor启动比拟，其中详细包含CALINET、MEND和Knowledge Editor。为了对照，本文对一些其他基础范式基线也启动了对比，首先是间接在大批降级常识上启动微调的范式和Zero-Shot的方法。其次关于K-Adapter这种经常使用额外参数的方法与CALINET启动比拟，其中详细的试验结果如下所示。

此外，本文还钻研了在常识图谱表示编辑环节中，不同数量的编辑理想对模型功能的影响。经过在E-FB15k237数据集上启动不同数量编辑的试验，本文剖析了编辑数量对常识牢靠性和部分性的影响。其中重要关注三种模型：KE、MEND以及KGEditor在不同编辑数量下的体现，结果如下所示。

本文还讨论和评价不同基于预训练的常识图谱表示初始化方法在编辑范式上的运行效果。经过在EDIT义务上对FT-KGE和PT-KGE的方法启动试验，本文剖析了它们在常识牢靠性和部分性方面的功能体现，结果如图所示。

(2)Case剖析

咱们随机筛选了一个编辑的Case，并经过可视化展现了编辑前后的实体变动来更明晰地观察KGEditor的功能体现。下图展现了常识编辑运行前后，预测实体位置的清楚变动。即在对模型启动编辑后，正确的实体清楚接近圆心，展现了编辑KGE模型的有效性。

四、Demo

为了繁难读者更直观了解咱们的上班，咱们在huggingface的Space平台，应用Gradio去搭建了一个繁难Demo。咱们会在结果处展现编辑前后预测实体的变动，详细如下图所示。

五、总结

本文重要引见了常识图谱嵌入模型的编辑上班。区别于传统的编辑预训练言语模型的义务，KGE编辑是基于常识图谱中的理想性常识启动操作。此外，本文提出了一个新的编辑方法——KGEditor。KGEditor是一种高效修正模型中常识的一种方法，能够有效地浪费计算资源的开支。此外，咱们的上班还有一些无余之处，比如如何去编辑常识图谱中的一对多以及多对多常识？如何在KGE模型中做到继续降级？这都是一些未来的上班。