两阶段超长周期用户行为序列建模方法总结

当天这篇文章引见的主题是介绍系统中，基于两阶段的超长周期用户兴味建模系列上班。重要引见业内比拟有代表性的由快手宣布的3篇上班，从2020年最开局的SIM初次提出的两阶段行为序列建模方法，到2022年KDD上宣布的TWIN对两阶段分歧性的优化，再到2024年CIM上提出的在TWIN基础上引入档次聚类进一步监禁长周期建模才干。

1.背景

在介绍系统的排序模型中，用户行为序列建模局部的迭代不时是最外围的收益起源。用户行为序列建模迭代，又可以从空间和期间两个维度启动优化。在空间上，经过引入不同类型的行为序列、完善行为序列表征、建设不同用户行为序列相关优化消息丰盛度；在期间上，经过引入更长周期的历史序列完整描写用户长周期兴味。

在期间上的优化，一个外围难点如何处感功能疑问。随着引入序列的增长，模型的计算期间会随之增长，很难在线上运行。为了处置这个疑问，快手提出了一系列基于两阶段的超长周期行为序列建模方法，其外围理路是将长周期行为序列拆分红两个阶段，第一阶段经常使用计算复杂度较低的方法极速从全周期序列检索出或许对预测有协助的局部，缩短序列长度，第二阶段再经常使用诸如attention等复杂模型进一步启动序列建模。

2.SIM：两阶段建模

行为序列建模的外围是从历史序列中找到和指标item相关最亲密的局部，作为模型的输入。普通驳回attention的方法，然而其在长周期序列引入中一方面计算复杂度高，一方面模型拟合也比拟艰巨。SIM提出了一种两阶段的长周期建模方法，由General Search Unit和Exact Search Unit两个局部组成。General Search Unit用于从长历史行为序列当选出和候选商品最相关的几个子序列，Exact Search Unit用于更精细的婚配，可以驳回相似DIEN等的方法。

关于General Search Unit有hard search和soft search两种。Hard search比拟便捷，间接选用和候选商品相反类目的历史行为；Soft search驳回向量检索的模式计算历史行为和候选商品的婚配分，其中商品向量驳回一个辅佐CTR义务来学习常年数据和候选广告之间的相关性获取。

3.TWIN：优化两阶段分歧性

上述两阶段建模的方法中，GSU阶段和ESU阶段存在不分歧疑问，即GSU挑选的打分和ESU挑选的打分并不是相反的计算逻辑，造成GSU挑选出的TopK不是全局最优解，或许在ESU中以为最优的结果在GSU中被过滤掉了。下图也展现了这种不分歧性。可以看出，GSU和ESU的差异还是比拟大的，假设能处置二者的分歧性疑问，能带来比拟大的收益。

为了处置这个疑问，TWIN在GSU局部启动了变革，让GSU也启动轻量级的attention计算优化和ESU的分歧性。在GSU局部，将特色分为外部特色和交叉特色。外部特色指的是item自身的特色，例如商品id、视频作者等，这局部特色不随着用户交互变动，因此可以间接缓存起来，线上不用每次都计算。关于交叉特色局部，每一维特色都经常使用一个全衔接层映射成1维。经过这种模式，将attention计算的期间复杂度从