多场景验证有效 排序模型必定要尝试的特色交叉技巧

当天给大家引见两篇经典的上班，这两篇上班都是针对介绍系统中排序模型的优化，方法有一些相似之处，都是应用门控网络对底层特色启动交叉。 最关键的在于，这类方法曾经在很多实在业务场景中被验证成果清楚 ，十分值得还没有运行这类方法的同窗启动尝试。

论文题目 ：MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask

下载地址 ：​ ​​ ​

MaskNet是2021年宣布的一篇上班，引入instance-guided的mask，并经常使用该mask对embedding layer和hidden layer启动element wise乘法，成功bit-wise的留意力机制。本文在三个工业数据集上验证了MaskNet的有效性，证实了本文方法能够有效捕捉高阶特色交互。

MaskNet的外围模块是Instance-Guided Mask，结构如下图所示，由两层FC layer组成，第一层称为aggregation layer，第二层为projection layer。输入为feature embedding layer。留意第一层FC layer宽度较宽，第二层FC layer宽度相对较小，坚持和输入维度相反。失掉mask之后可以将其用于embedding层或许是隐层。

instance-guided mask可以以为是一种不凡的bit-wise的attention机制或许是门机制，经常使用instance中蕴含的global 高低文消息指点训练中的参数降级，有效捕捉复杂特色交互。mask中数值大的元素以为更关键，可以boost emb/hidden中的对应元素。mask中数值小的元素以为相对来说不关键或许以为是噪音，相应的 emb/hidden中的对应元素会被减小，到达弱化噪音，强化有用信号的指标。

基于Instance-Guided Mask可以组成MaskNet中的基础结构，MaskBlock，蕴含三个组件：layer normalization, instance-guided mask, feed-forward hidden layer，可以有两种输入，当输入为Feature Embedding时，计算方法如下：

当输入为上一层MaskBlock的输入时，多个MaskBlock可以堆叠构成一个更深的网络：

MaskBlock作为一个基本的构成单元，可以用于搭建Serial Model（SerMaskNet）和Parallel Model（ParaMaskNet），构成最终的MaskNet结构。其中SerMaskNet是相似于期间序列预估义务，ParaMaskNet相似于多专家网络/多头留意力机制。两种网络结构图如下所示：

本文在三个工业CTR数据集上验证了MaskNet的有效性，SermaskNet在Malware和Avazu数据集取得最优成果，在Criteo数据集上取得次优成果。ParaMastNet在Criteo数据集上取得最优成果，在Malware和Avazu数据集上取得次优成果。

论文题目 ：Kuaishou-PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information

下载地址 ：​ ​​ ​

PEPNet是快手在2023年KDD宣布的一篇上班，但是其在宣布之前就曾经在多个场景取得了清楚成果，程维排序模型的基础组件之一。

不同的场景中，user和item有堆叠，因此不同场景中存在特性。不同的task也存在依赖相关。为每个场景中的每个义务训练独自模型，开发老本和后续迭代老本较大，并且因为没有充沛应用场景和义务之间的特性，只能失掉次优解。而将一切数据混合训练会因为多个场景数据量和多个义务指标的稠密性产生跷跷板现象。目前已有的解法包括以下两种：

multi-domain方法 ：将多个畛域的特色对齐，但是疏忽了多个target之间的依赖；

multi-task方法 ：拟合多个target的散布但是疏忽了多个domain特色空间的语义差异；

事实中的介绍系统是一个 multi-task && multi-domain 疑问，目前工业界不足在这种疑问上的解法。

特性化建模一直是介绍系统的外围。multi-domain && multi-task义务可以以为是user和item在不同situation下的交互，因此特性化建模可以协助缓解multi-task && multi-domain中的double seesaw疑问。目前的很多做法在网络输入层经常使用特性化先验常识（如item_id, user_id等），但随着网络越来越深，这些特性化常识作用越来越小。因此本文提出了PEPNet， 在正确的中央以正确的模式添加用户特性化消息，经过增强特性化来消弭multi task && multi domain义务中的预估偏向。模型结构如下图所示：

：注入畛域特定的先验消息。经常使用domain-side特色作为输入，包括domain ID和domain特定的特性化数值特色，如用户行为/商品曝光的数值统计特色。℧