一文彻底搞懂Embedding

Word2Vec是一种宽泛经常使用的词嵌入（Word Embedding）技术， 它能够将单词示意为高维空间中的密集向量，从而捕捉单词之间的语义和语法相关。 Word2Vec重要蕴含两种模型：Skip-Gram（跳字模型）和CBOW（Continuous Bag of Words，延续词袋模型）。

Skip-Gram与CBOW模型的重要差异在于训练形式：Skip-Gram 经过核心词预测高低文词汇 ，相似于 “由点及面” 的裁减；而CBOW则是 应用高低文词汇预测核心词 ，相似于 “由面定点” 的填充。 前者器重于从部分到全体的推理，后者则强调全体对部分的反映。

一、Word2Vec

一种基于神经网络的词嵌入技术，它的指标是将单词映射到实数向量空间中，使得语义相似的单词在向量空间中的距离较近。 这种映射是经过在大规模文本语料库上训练神经网络模型来成功的。 Word2Vec经过学习单词的共现消息，能够在向量空间中模拟出无心义的语义相关，似乎义词、反义词等。

实质是一个神经网络模型，目的是经过模型训练学习失掉一个矩阵（Matrix C），一个示意词与词之间关联相关的矩阵。

二、Skip-Gram

Skip-Gram（跳字模型）：Skip-Gram模型经过给定的核心词来预测其高低文中的单词。详细来说，关于文本中的每一个单词，Skip-Gram模型将其视为核心词，并尝试预测该词周围必定窗口大小内的其余单词（即高低文单词）。

Skip-Gram模型似乎一个词汇侦探，经过核心词“线索”去“追踪”并预测其周围的高低文词汇，以此构建词汇间的语义网络。

Skip-Gram模型训练： 经过遍历文本中的核心词及其高低文，经常使用核心词词向量预测高低文单词散布，计算预测与实在散布间的损失，并应用反向流传降级模型参数与词嵌入矩阵，以提升词向量示意。

三、CBOW

CBOW（延续词袋模型）： CBOW（Continuous Bag of Words，延续词袋模型）与Skip-Gram雷同，CBOW模型 经过给定的高低文单词来预测核心词 。详细来说，关于文本中的每一个核心词，CBOW模型会将其周围必定窗口大小内的其余单词（即高低文单词）作为输入，并尝试预测该核心词。

CBOW模型相似于一个初级的完型填空游戏，其中高低文中的词汇（已知选项）被用来“填空”预测出缺失的核心词（答案），从而提醒词汇间的语义咨询和形式。

CBOW模型训练： 经过遍历文本中的核心词及其高低文，经常使用核心词词向量预测高低文单词散布，计算预测与实在散布间的损失，并应用反向流传降级模型参数与词嵌入矩阵，以提升词向量示意。

原文链接：​ ​​ ​​