斯奇拉姆排序 一种介绍系统中的排序学习的原创算法

作者 | 汪昊

审校 | 重楼

排序学习在介绍系统中的运行在最近数年来十分稀有。经典的算法比如 BPR 和 CLiMF 早在 10 多年前就曾经被发明。因此当 2023 年国际会议 AIBT 2023 上有学者提出斯奇拉姆排序时，泛滥听众眼前一亮。该算法因此取得了最佳论文报告奖。本文将率领读者一品该算法的细节，从而深化了解介绍系统算法。

在 2023 年完结的国际学术会议 AIBT 2023 上，Ratidar Technologies LLC 宣读了一篇基于偏心性的排序学习算法，并且取得了该会议的最佳论文报告奖。该算法的名字是斯奇拉姆排序 (Skellam Rank)，充沛应用了统计学中的原理，联合 Pairwise Ranking 和矩阵合成，同时处置了介绍系统中的准确率和偏心性的疑问。由于介绍系统中的排序学习的原创算法很少，外加斯奇拉姆排序算法功能优秀，因此在会议上取得了钻研奖项。

1、基本原理

上方咱们来引见斯奇拉姆算法的基本原理：

咱们首先回想一下泊涣散布：

泊涣散布的参数λ的计算公式如下：

两个泊松变量的差值是斯奇拉姆散布：

在公式中，咱们有：

函数Ik(X)叫做第一类贝塞尔函数。

有了这些最基本的统计学中的概念，上方让咱们来构建一个 Pairwise Ranking 的排序学习介绍系统吧！

咱们首先以为用户给东西的打分是个泊涣散布的概念。也就是说，用户东西评分值听从以下概率散布：

之所以咱们可以把用户给东西打分的环节形容为泊松环节，是由于用户东西评分存在马太效应，也就是说评分越高的用户，打分的人越多，以致于咱们可以用某个东西的评分的人的数量来近似该东西的评分的散布。给某个东西打分的人数听从什么随机环节呢？人造而然的，咱们就会想到泊松环节。由于用户给东西打分的概率和该东西有多少人打分的概率相近，咱们人造也就可以用泊松环节来近似用户给东西打分的这一环节了。

咱们上方把泊松环节的参数用样本数据的统计量代替，获取上方的公式：

咱们上方定义 Pariwise Ranking 的最大似然函数公式。妇孺皆知，所谓 Pairwise Ranking 指的是咱们应用最大似然函数求解模型参数，使得模型能够最大水平坚持数据样本中已知的排序对的相关：

由于公式中的 R 是泊涣散布，所以它们的差值，就是斯奇拉姆散布，也就是说：

其中变量 E 是依照如下方式定义的：

咱们把斯奇拉姆散布的公式带入最大似然函数的损失函数 L ，获取了如下公式：

在变量 E 中产生的用户评分值 R ，咱们应用矩阵合成的方式启动求解。将矩阵合成中的参数用户特色向量 U 和东西特色向量 V 作为待求解变量：

这里咱们先回忆一下矩阵合成的概念。矩阵合成的概念是在 2010 年左右的时刻提出的介绍系统算法，该算法可以说是历史上最成功的介绍系统算法之一。时至今天，依然有少量的介绍系统公司应用矩阵合成算法作为线上系统的 baseline，而时下大热的经典介绍算法 DeepFM 中的关键组件 Factorization Machine，也是介绍系统算法中的矩阵合成算法后续的改良版本，和矩阵合成有千头万绪的咨询。矩阵合成算法有个里程碑论文，是 2007 年的 Probabilistic Matrix Factorization，作者应用统计学习模型对矩阵合成这个线性代数中的概念从新建模，使得矩阵合成第一次性有了扎实的数学通常基础。

矩阵合成的基本概念，是应用向量的点乘，在对用户评分矩阵启动降维的同时高效的预测未知的用户评分。矩阵合成的损失函数如下：

矩阵合成算法有许多的变种，比如上海交大提出的 SVDFeature，把向量 U 和 V 用线性组合的方式启动建模，使得矩阵合成的疑问变成了特色工程的疑问。SVDFeature 也是矩阵合成畛域的里程碑论文。矩阵合成可以被运行在 Pairwise Ranking 中用以取代未知的用户评分，从而到达建模的目的，经典的运行案例包括 Bayesian Pairwise Ranking 中的 BPR-MF 算法，而斯奇拉姆排序算法就是自创了雷同的思绪。

咱们用随机梯度降低对斯奇拉姆排序算法启动求解。由于随机梯度降低在求解环节中，可以对损失函数启动少量的简化从而到达求解的目的，咱们的损失函数变成了上方的公式：

应用随机梯度降低对未知参数 U 和 V 启动求解，咱们获取了迭代公式如下：

其中：

另外有：

其中：

关于未知参数变量 V 的求解相似，咱们有如下公式：

其中：

另外有：

其中：

整个算法的流程，咱们用如下的伪代码启动展现：

2、有效性验证

为了验证算法的有效性，论文作者在 MovieLens 1 Million alt="图片">

经过图 1 和图 2 ，咱们发现斯奇拉姆排序在 MAE 这一名目的上体现优秀，但在 Grid Search 的整个试验环节中，无法不时保证功能优于其余算法。但是在图 2 中，咱们发现斯奇拉姆排序在偏心性目的上一骑绝尘，遥遥上游于另外 9 种介绍系统算法。

上方咱们看一下该算法在 LDOS-CoMoDa 数据汇合上的体现：

经过图3和图4，咱们了解到斯奇拉姆排序在偏心性目的上一骑绝尘，在准确性目的上体现优秀。论断和上一个试验相似。

斯奇拉姆排序联合了泊涣散布、矩阵合成和 Pairwise Ranking 等概念，是一个无法多得的介绍系统排序学习算法。在技术畛域，把握排序学习技术的人只占把握深度学习的人的人数的1/6，因此排序学习属于稀缺技术。而能够在介绍系统畛域发明原创性排序学习的人才更是少之又少。排序学习算法，把人们从评分预测的狭窄视角中束缚了进去，让人们看法到最关键的事件是顺序，而不是分值。基于偏心性的排序学习，目前在消息检索畛域中大火，特意是 SIGIR 等顶会，十分欢迎基于偏心性的介绍系统的论文，宿愿能够获取读者们的关注。

【作者简介】

汪昊，前 Funplus 人工默认试验室担任人。曾在 ThoughtWorks、豆瓣、百度、新浪等公司担任技术和技术高管职务。在互联网公司和金融科技、游戏等公司任职 12 年，关于人工默认、计算机图形学和区块链等畛域有着深入的见地和丰盛的阅历。在国际学术会议和期刊宣布论文 42 篇，取得IEEE SMI 2008 最佳论文奖、ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023 最佳论文报告奖。