一文汇总时序预测新思绪

在最近的期间序列预测钻研上班中，有一类上班将图学习和期间序列联合了起来，从图学习的视角了解期间序列预测。这类上班中，一种是用图学习建模多变量间的相关，处置多元时序预测疑问；另一种是间接把期间序列中的各个期间步看成图中的一个节点，用图学习建模期间步之间的依赖相关。这篇文章汇总了近期4篇图学习视角处置期间序列预测疑问的上班。

ForecastGrapher

论文题目 ：ForecastGrapher: Redefining Multivariate Time Series Forecasting with Graph Neural Networks

下载地址 ：​ ​​ ​

本文从图学习的角度处置多元期间序列预测疑问，将每个变量当成图中的一个节点。

在iTransformer这篇上班中，将transformer作用到channel维度。这个环节其实很想图学习，将每个变量的序列先映射成一个表征，再相似graph attention network的方式计算图中两两节点之间的表征再融合。本文收到这个启示，提出用图学习的方法间接建模多变量期间序列，将多元时序预测疑问转换成了图回归义务。

全体模型分为时序表征和图学习两个局部。每个变量视为图中的一个节点，首先经常使用一个便捷的MLP网络，将一个变量的期间序列映射成一个表征向量。同时，将变量ID、日期特色也添加到表征中。在图学习阶段，一方面须要定义图中的临接矩阵，即各个节点之间的相关。这里经常使用的方法相似时空预测中的罕用方法，用节点embedding内积+激活函数智能学习两两节点之间的打分作为邻接矩阵。

在图模型局部，提出了Group Feature Convolution建模方法。在GCN的基础上，文中将每个变量的表征先扩大维度再分组，每个分组内用不同尺寸的CNN启动图学习。用这种多粒度的图学习方法，代替原始的图学习中固定的消息流传和会聚规定，让图学习环节学习愈加灵敏。最后，再经过一个可学习的权重，对不同分组的图学习表征启动融合，经常使用一个映射网络映射到预测结果。

论文题目：DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting

下载地址：​ ​​ ​

本文提出了一种多元期间序列建模中，融合channel dependent和channel independent的方法，外围理路是经过聚类将多元期间序列分红多个类簇，以此挑选出具备相关的变量，再在每个类簇内经过经常使用channel dependent的建模方法，而类簇间经常使用channel independent的建模方法。

多元期间序列建模疑问中，channel dependent只管可以建模各个变量之间的消息，但是关于每个变量来说，也会引入一些有关变量，带来相关建模的噪声，造成成果不如channel independent。因此本文宿愿经过聚类的方式，提早开掘有相关相关的变量作为一个group，对group外部的变量启动channel dependent的建模，缩小有关变量噪声的搅扰。

详细的，文中外围分为聚类和预测两个局部。在聚类局部，首先经常使用一个基于GRU的autoencoder，对期间序列启动编码，获取隐空间表征H。同时，初始化预先定义类簇数量的embedding，用H和这些类簇embedding计算相似度后，获取该变量序列应该被调配到哪个类簇。另外还有一路图聚类模型，这个模块间接应用GCN建模各个变量之间的相关，图邻接矩阵随机初始化。图聚类和自编码器表征聚类这两局部学习获取的聚类散布经过KL散度启动分歧性解放。在图聚类环节中会添加autoencoder生成的隐形态编码优化学习成果。全体的聚类经常使用Kmeans优化指标启动拟合。

另一局部是预测局部，预测局部基于transformer结构，在同一个序列的patch间，以及依据下面聚类结果启动变量序列间的建模。在变量间attention中，依据聚类结果设定mask，成功mask attention只建模同一聚类簇外部的变量间相关。

FourierGNN

论文题目：FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective

下载地址：​ ​​ ​

之前的多变量时序预测或许时空预测，都须要将期间序列建模和图学习融合起来，例如并行融合、串联融合等，在之前时空预测专题中启动过详细引见。但是这种方式，总出借是两种建模方式的拼接，不可充沛融合期间和空间的消息。

NIPS 2023的这篇文章，提出了一种一致的建模视角，将整个多元期间序列看成一个超图。超图是图的一个扩大，原始的图中，一条边只能衔接个点，而超图中，一条边可以衔接多个点。关于多元期间序列，每个时辰的每个变量都视为一个图上的节点，将同一个时辰的多个变量用一条边相连，期间维度相关也启动连边。最后，可以间接在这个超图上一致启动期间序列建模，文中驳回Fourier Graph Nerual Network成功一致建模。经过这种方式，将期间和空间消息融为同一种图方式，不再须要独立建模时空消息再启动融合，是一种纯图视角的建模。

论文题目：MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting

下载地址：​ ​​ ​

本文提出一种基于超图的长周期期间序列建模方法，外围是为了同时建模不同scale之间和不同期间步之间的相关。期间序列的scale、temporal之间存在复杂的依赖相关，如何同时充沛建模二者之间的相关是一个难点。本文提出构建一个超图处置。

首先，底层经过多scale建模生成不同粒度的表征。经常出现的方法是，底层输入最细粒度的期间序列，而后逐层经常使用卷积+pooling的方式逐渐会聚，生成不同粒度的表征，每个scale每个期间窗口的表征可以视为图中的一个节点。接上去，构建3种类型的超图，区分是intra-scale、inter-scale、mixed-scale，各种超图区分衔接不同的节点汇合，以学习不同的依赖相关。Intra-scale重要用来学习scale外部的时序依赖相关，因此将同一个scale的必定相邻期间窗口内的节点用一个超边衔接。Inter-scale用来建设不同scale之间的相关，因此将相邻窗口的底层节点、这些节点公共的父节点等一个期间维度上不同scale的节点用超边衔接。

在建模环节中，驳回Tri-Stage Message Passing Mechanism启动消息传递，包含 node-hyperedge、hyperedge-hyperedge、hyperedge-node三个阶段，在超图上启动消息融合，区分成功节点到超边、超边到超边、超边到节点的消息会聚。

本文转载自​​，作者：