不平衡场景下的多模态常识图谱补全

一、引言

多模态常识图谱补全（MMKGC）经过将实体的结构、视觉和文本消息归入常识图谱的示意学习模型中，来预测多模态常识图谱中缺失的三元组。在这个环节中，来自不同模态的消息将共同用于度量一个三元组的正当性。现有的MMKGC方法往往自动MMKG上的模态消息是完整的，或许驳回便捷的方法成功缺失模态消息的补全，漠视了实体之间模态消息的不平衡疑问，造成模态消息融合不充沛以及原始模态消息的低效应用。模态消息的不平衡性重要体如今两个方面，首先，在常识图谱推理时，不同的模态消息施展着共同的作用，应该被自顺应地思考。但是，现有方法未能充沛处置模态融合疑问，由于模态消息理论被不灵敏地一致地融入到结构消息的示意空间中。其次，在图像和文本形容中，有效的特色理论是有限的且难以提取。在实践场景中，从多个异构数据源构建的常识图谱甚至或许存在模态缺失，这进一步限度了MMKGC中模态消息的经常使用。为了成功更好的MMKGC功能，关键是有效应用基本消息以及失掉更高品质的多模态消息。这种需求可以总结为监禁不平衡模态消息的力气以用于MMKGC。为处置上述疑问，咱们提出了自顺应多模态融合和模态反抗训练（AdaMF-MAT）来监禁不平衡模态消息的力气以用于MMKGC。AdaMF-MAT经过自顺应模态权重成功多模态融合，并经过模态反抗训练进一步生成反抗样本以增强不平衡模态消息。咱们的方法是MMKGC模型和训练战略的共同设计，可以优于19个最近的MMKGC方法，并在三个公共MMKGC基准测试上取得了新的最先进结果。

二、方法

论文中提出的方法的总体框架如下图所示。特色编码器被设计用于区分编码不同的模态特色（视觉/文本/结构）。每个FC代表一个全衔接的投影层。自顺应多模态融合模块被设计用于自顺应地失掉融合的联结嵌入。模态反抗训练模块驳回生成器生成分解的多模态嵌入以构建反抗样本。KGC解码器充任反抗训练环节中的判断器，在训练环节中将经过这些反抗样本失掉增强。

在模态反抗训练的环节中，论文驳回了一个两层的MLP作为生成器，针对输入的实体结构消息生成其视觉和文本的特色，并进一步讲这些特色组分解一个个"天然实体"，再进一步组分解"天然三元组"，而后经过在这些天然三元组和实在的三元组之间启动反抗式的训练，来到达增强实体的多模态消息，缓解其不平衡散布的疑问。整个算法流程的伪代码如下：

三、试验与剖析

试验局部，论文驳回了三个MMKG基准数据集DB15K, MKG-W和MKG-Y来启动衔接预测的试验，同时选取了19个不同的常识图谱补全方法(含单模态方法、多模态方法、负采样方法等三类)。重要的试验结果如下：

从试验结果中可以看到本论文提出的方法相比于基线模型有十分大的优化，在MRR和Hit@1等目的上区分优化了6%和8%，同时试验启动了更多的试验来验证了该方法在不同水平的模态缺失场景下的才干，结果标明相比于其余baseline模型，本文提出的模型有清楚的功能优化，同时，模态反抗训练可以作为一个通用的模块，在不同的MMKGC模型中都起到增强有限模态消息的作用。

四、总结

在这篇论文重要探讨了在多模态常识图谱补全（MMKGC）中应用模态消息的疑问，并提出了一个名为AdaMF-MAT的陈腐多模态常识图谱补全框架，以处置现有方法的局限性。现无应用模态特色的方法相对毛糙，以一种通用的形式看待模态消息。论文中的方法AdaMF-MAT驳回自顺应模态融合来多样化应用多模态消息，并经过模态反抗训练来增强多模态嵌入。试验标明，AdaMF-MAT能够胜过一切现有的基线方法，并在MMKGC义务中到达最佳形态（SOTA）结果。

作者：