在期间序列中的运行 Model 一文总结分散模型 Diffusion

分散模型是目前生成式AI中的最外围模块，在Sora、DALL-E、Imagen等生成式AI大模型中都取得了宽泛的运行。与此同时，分散模型也被越来越多的运行到了期间序列中。这篇文章给大家引见了分散模型的基本思绪，以及几篇分散模型用于期间序列的典型上班，带你了解分散模型在期间序列中的运行原理。

分散模型建模思绪

生成模型的外围是，能够从随机便捷散布中采样一个点，并经过一系列变换将这个点映射到指标空间的图像或样本上。分散模型的做法是，在采样的样本点上，始终的去噪声，经过多个去除噪声的步骤，生成最终的数据。这个环节很像雕塑的环节，最开局从高斯散布采样的噪声就是最开局的原资料，去噪声的环节就是始终在这个资料上凿掉多余局部的环节。

下面所说的就是逆向环节，即从一个噪声中逐渐去掉噪声，获取图像。这个环节是一个迭代的环节，要教训T次的去噪，一点点从原始采样点中把噪声去掉。在每个步骤中，输入上一个步骤生成的结果，并且须要预测噪声，再用输入减去噪声，获取期间步的输入。

这里就须要训练一个预测步骤噪声的模块（去噪模块），这个模块输入的步骤t，以及步骤的输入，预测噪声是什么。这个预测噪声的模块，是经过正向环节启动的，和VAE中的Encoder局部比拟像。在正向环节中，输入一个图像，每个步骤采样一个噪声，将噪声加到原始图像上，获取生成的结果。而后再以生成的结果和步骤t的embedding为输入，预测生成的噪声，以此到达训练去噪模块的作用。

分散模型在期间序列中的运行

TimeGrad: Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting（2021）

TimeGrad是最早经常使用分散模型做期间序列预测的方法之一。在基础的分散模型基础上，TimeGrad给每个期间步的去噪模块额外输入了一个hidden state，这个hidden state是经常使用RNN模型对历史序列、外部变量启动编码获取的，以此指点分散模型生成序列的环节。全体的逻辑如下图所示。

在去噪模块的网络结构上，重要驳回了卷积网络，输入包含上一个步骤的输入序列和RNN输入的hidden state经过上采样生成的结果，二者区分过卷积后相加，用于噪声预测。

CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation（2021）

这篇文章经常使用分散模型建模期间序列填充义务，全体建模模式和TimeGrad比拟像。如下图所示，最开局期间序列是有缺失值的，首先对其填充上噪声，而后经常使用分散模型逐渐预测噪声成功去噪，经过多个步骤后最终获取填充结果。

整个模型的外围也是分散模型训练去噪模块。外围是训练噪声预测网络，每个步骤输入的步骤embedding、历史的观测结果以及上一个时辰的输入，预测噪声结果。

网络结构上经常使用Transformer，包含期间维度上的Transformer和变量维度的Transformer两个局部。

DSPD & CSPD: Modeling Temporal>本文提出的方法相比TimeGrad回升了一个档次，是经过火散模型间接建模生成期间序列的函数自身。这里假定每一个观测点都是从一个函数中生成的，而后间接建模这个函数的散布，而不是建模期间序列中数据点的散布。因此，文中将分散模型中减少的独立噪声改成随期间变动的噪声，并训练分散模型中的去噪模块成功对函数的去噪。

TDSTF: Transformer-based Diffusion probabilistic model for Sparse Time series Forecasting（2023）

这篇文章将分散模型运行到ICU中的关键信号提取。文中的外围一方面是关于稠密不规定的医疗时序数据的处置，经常使用value、feature、time三元组示意序列中的每个点，对确实值局部经常使用mask。另一方面是基于Transformer和分散模型的预测方法。全体的分散模型环节如图，跟图像的生成模型原理是相似的，依据历史的期间序列训练去噪模型，而后在前向流传中逐渐从初始噪声序列中减掉噪声。

详细的分散模型中噪声预测的局部驳回的是Transformer结构。每个期间点由mask以及三元组组成，输入到Transformer中，作为去噪模块预测噪声。详细结构包含3层Transformer，每个Transformer包含2层Encoder和2层Decoder网络，Decoder的输入经常使用残差网络衔接，并输入到卷积Decoder生成噪声预测结果。

本文转载自​​，作者：