ICLR24

这篇文章给大家引见一下ICLR2024中，用对比学习强化时期序列预测的一篇上班。这篇文章是韩国KAIST宣布的上班，经过在时期序列预测中引入对比学习，成功对Encoder建模窗口以外全周期时期序列消息的运行。

论文题目 ：SELF-SUPERVISED CONTRASTIVE FORECASTING

下载地址 ：​ ​​ ​

背景

长周期时期序列预测不时是业内钻研的焦点，然而现有的方法，大少数都是在一个时期窗口内建模，行将原来的时期序列宰割成多个片段，每个片段外部独自的启动训练和预测。

比如原来的完整时期序列长度是10000，每个训练的时期序列长度或者只要200。这种只在一个窗口内启动建模的模式， 没有思考完整时期序列的消息 。这会造成，两个时期序列片段原本属于同一个完整的时期序列，有一些法令消息是相似的，然而模型在训练时却不可捕捉这个消息。

如下图所示，完整的时期序列存在必定的周期性，整个长度为10。然而假设以一个反常的Encoder长度训练模型，提取的片段完整表现不出这种长周期性消息。

建模方法

为了处置这个疑问，本文的外围提出了一种 基于自相相关数的对比学习loss 。自相相关数权衡了一个时期序列和自身T个时期步提前后的相相关数，自相相关数越大，说明时期序列具备更强的T周期性。比如一个齐全以年为周期的时期序列，假设把时期序列移动365个时期步，将移动前后的时期序列计算相相关数，其结果是1。

文中便应用这个消息优化时期序列示意的学习。在一个batch内，时期序列是来自同一个完整时期序列的多个窗口（也或者来自多个，本文重要以一个完整序列启动钻研），并且这些窗口大略率具备比拟大的时时期隔，由于是随机采样的。

首先标志出每两个时期序列之间的时时期隔T，而后计算两两时期序列距离为T的自相相关数，这个自相相关数描写了这两个时期序列的相关相关。以这个自相相关数为label，构建对比学习的正样对，并以对比学习为指标优化序列表征 。

经过这种模式，成功了应用完整时期序列消息的目的，在示意空间中拉近在完整时期序列中T自相关性系数高的时期序列片段表征。

基于上述的对比学习框架，文中提出了一种新的长周期时期序列预测模型。在经常出现的基于趋向项、节令项合成的时期序列预测模型结构基础上，引入了一个基于上述对比学习提取长周期示意的分支，最后由3个分支融合到一同启动预测。

其中，长周期分支的Encoder局部经常使用了TCN模型，也可以交流成其余模型。经过ReVIN和逆向ReVIN操作对输入的时期序列启动规范化。最后以MSE为loss启动模型优化。

试验成果

在试验中，本文对比了多种长周期时期序列预测的成果，本文提出的方法取得了清楚的成果优化。

同时，文中也剖析了在试验数据集中，窗口外的自相关性是宽泛存在的，也从一个角度验证了这种全周期时期序列消息提取的必要性。

本文转载自​ ​圆圆的算法笔记​ ​​​，作者：