一文彻底搞懂多模态

多模态学习（Multimodal Learning）是一种应用来自不同感官或交互方式的数据启动学习的方法，这些数据模态或者包括文本、图像、音频、视频等。多模态学习经过融合多种数据模态来训练模型，从而提高模型的感知与了解才干，成功跨模态的消息交互与融合。

接上去 分三局部：模态示意 、多模态融合 、跨模态对齐， 一同来总结下多模型的外围：多模态学习

MultiModal

一、模态示意

什么是 模态示意 （Modal Representation ）？ 模态示意是将不同感官或交互方式的数据（如文本、图像、声响等）转换为 计算机可了解和解决的方式 ，以便启动后续的计算、剖析和融合。

表征学习（Representation Learning）旨在从原始数据中智能提取有效特色， 构成计算机可了解的模态示意 ，以保管关键消息并促成跨模态交互与融合。

表征学习

表征学习（Representation Learning）≈ 向量化（Embedding）-- 架构师带你玩转AI

什么是多模态联结示意（Joint Representation）？ 多模态联结示意是一种将多个模态（如文本、图像、声响等）的消息独特映射到 一个一致的多模态向量空间 中的示意方法。

多模态联结示意经过 神经网络、概率图模型 未来自不同模态的数据启动融合，生成一个蕴含多个模态消息的一致示意。 这个示意不只保管了每个模态的关键消息，还能够在不同模态之间建设咨询 ，从而允许跨模态的义务，如多模态情感剖析、视听语音识别等。

多模态示意

什么是多模态协同示意（ Coordinated Representation 多模态协同示意是一种将 多个模态的消息区分映射到各自的示意空间 ，但映射后的向量或示意之间 须要满足必定的相关性或解放条件的方法 。这种方法的外围在于 确保不同模态之间的消息在协同空间内能够相互单干，独特提升模型的功能

多模态示意

二、多模态融合

什么是多模态融合（ MultiModalFusion？ 多模态融合 能够充沛应用不同模态之间的互补性 ， 它将抽取自不同模态的消息整分解一个稳固的多模态表征 。从数据解决的档次角度将多模态融合分为 数据级融合、特色级融合和指标级融合

多模态融合

多模态融合

三、跨模态对齐

什么是跨模态对齐 （MultiModalAlignment）？ 跨模态对齐是经过各种技术手腕，成功不同模态数据（如图像、文本、音频等）在特色、语义或示意层面上的婚配与对应。 跨模态对齐重要分为两大类：显式对齐和隐式对齐。

跨模态对齐

什么是显示对齐（Explicit Alignment）？ 间接建设不同模态之间的对应相关，包括无监视对齐和监视对齐。

无监视对齐：应用数据自身的统计个性或结构消息，无需额外标签，智能发现不同模态间的对应相关。

监视对齐： 应用额外的标签或监视消息指点对齐环节，确保对齐的准确性。

显式对齐

什么是隐式对齐（Implicit Alignment）？ 不间接建设对应相关，而是经过模型外部机制隐式地成功跨模态的对齐。这包括留意力对齐和语义对齐。

留意力对齐： 经过留意力机制灵活地生成不同模态之间的权重向量，成功跨模态消息的加权融合和对齐。

语义对齐：在语义层面上成功不同模态之间的对齐，须要深化了解数据的潜在语义咨询。

隐式对齐

原文链接：​ ​​ ​