基于Transformer的期间序列综述

引言：探求期间序列生成的关键性和应战

期间序列数据的生成是数据迷信畛域中的一个关键而具备应战性的钻研方向。期间序列数据宽泛存在于各种关键畛域，如医疗肥壮、金融市场、气候预测等，这些数据的有效生成可以极大地推进相关畛域的开展。例如，医疗畛域中的生命体征数据可以用于诊断和监测病人的肥壮状况；金融畛域中的股票市场数据用于预测股价的涨跌；气候数据的剖析可以预警风险天气，从而缩小或者的灾祸损失。

虽然期间序列数据的关键性显而易见，但在生成模型的钻研与运行上，相较于图像、文本等数据的生成，期间序列的生成方法钻研相对较少。这一钻研的无余限度了深度学习在期间序列畛域的运行，由于深度学习模型通常须要少量的数据启动训练。此外，期间序列数据的隐衷包全、数据共享等疑问也促使钻研者寻觅能够有效生成期间序列数据的新方法。

生成模型的开展为期间序列数据的生成提供了新的或者性。特意是变换器神经网络（Transformer Neural Network, TNN）的发生，为处置期间序列数据提供了新的工具。TNN的并行训练才干和对大数据集的顺应性使其在生成模型中占据了关键位置。但是，TNN在期间序列生成方面的运行还不够宽泛，这一畛域的开明性和多样性为未来的钻研提供了宽广的空间。

本文旨在讨论TNN在期间序列生成中的运行，并经过文献综述的方式，剖析现有钻研的无余与后劲，为未来的钻研方向提供指点。

论文题目 ：A Survey of Transformer Enabled Time Series Synthesis

机构 ：Mississippi State University, Engineer Research and Development Center, Department of Defence

论文链接 ：​ ​​ ​

期间序列数据的普遍性和关键性

期间序列数据无处不在，关于现代社会的运作至关关键。从医疗肥壮的生命体征监测，到气候站的天气预告，再到可穿戴设施中的减速度计数据用于跌倒检测，期间序列数据的运行范围宽泛。在金融市场中，期间序列模型用于股票买卖；在生态环境监测中，用于预测物种存活；在工业消费中，用于预测机械缺点。这些运行显示了期间序列数据在日常生存和上班中的关键性。

关于数据迷信通常者而言，期间序列生成的价值日益参与。它不只可以在数据匮乏的期间域疑问中允许深度学习，还可以在数据共享时包全隐衷，并且有助于创立更可解释、更经得起测试的系统。虽然期间序列的生成方法曾经存在一段期间，但经常使用现代生成AI的方法比传统算法更为优越，应当尽或者地被驳回。

图1：生成反抗网络关键由两个模块组成，即生成器和判断器。训练好的生成器满足用户的需求。为了施加退化压力，判断器被训练以辨别分解样本和实在样本。反抗游戏训练生成器更好地诈骗判断器，发生真切的样本。理想的收敛状况是，判断器只能对出现的实例的实在性启动猜想（50-50）。假设须要的话，可以在多个点提供条件消息。

Transformer神经网络（TNN）与期间序列生成

Transformer神经网络（Transformer Neural Network, TNN）与最近生成AI的提高亲密相关。TNN实用于并行训练打算，并且可以处置从网络上抓取的大规模数据集，这使得大型TNN模型成为近期大少数前沿生成模型的支柱。虽然TNN在图像和多模态义务中获取了宽泛运行，它在期间序列预测中也显示出了后劲，但在期间序列生成方面的运行还不够宽泛。

文献考查显示，关于TNN与期间序列生成的钻研相对较少。虽然与其余网络架构如生成反抗网络（GANs）、分散网络和变分自编码器等相比，TNN在期间序列生成畛域的运行还比拟少，但已有的钻研标明，纯TNN或与其余架构混合的TNN都显示出了良好的后劲。这种多样性以及该畛域的开明性为进一步的发明性钻研提供了或者。

虽然TNN在其余畛域的运行比拟成熟，但在期间序列生成畛域仍有很大的开展空间。这种差距与期间域义务的不凡需求相符，深度学习通常者将是这种更好生成方法的关键受益者。因此，未来的钻研须要更多地关注如何将TNN更有效地运行于期间序列数据的生成中。

图 2：Transformer 蕴含两个堆栈，编码器（左）和解码器（右），源自早期的序列到序列模型。两种堆栈类型都由延续块组成，在这里仅显示每个堆栈中的一个块。关键-查问-值留意力机制将查问源作为值源的一个函数投影为与键源的相关性。自留意经常使用一切三个源的相反序列，而编解码器留意经常使用编码器堆栈输入作为键和值源。Vaswani 等人经常使用了“后规范化”操作，在每个关键操作之后搁置归一化。最近的钻研标明，“前规范”性能更优。

深化讨论TNN在期间序列生成中的运行

Transformer Neural Networks (TNN) 曾经在多种数据生成畛域显示出其弱小的才干，尤其是在图像、声响、文本和视频生成中。但是，相较于其余畛域，TNN在期间序列生成中的运行相对较少。期间序列数据的关键性显而易见，它们宽泛存在于医疗、气候预警、金融市场等关键畛域。因此，探求和裁减TNN在期间序列生成中的运行显得尤为关键。

TNN的并行训练才干和处置大规模数据集的才干使其成为生成模型的理想选用。虽然如此，目前关于TNN在期间序列生成方面的钻研还相对较少，这也象征着在这一畛域还有很大的钻研和运行空间。

1. Informer: 高效的期间序列预测模型

Informer模型是一个基于TNN的期间序列预测模型，它经过概率稠密留意力机制来提高模型的预测效率和准确性。这种方法可以有效防止在关键矩阵中启动少量的点乘运算，从而放慢计算速度并缩小资源消耗。Informer不只在多个期间序列预测义务中体现优秀，而且其生成式的预测格调也为后续的生成义务提供了或者。

2. AST: 联合辅佐判断器的混合预测模型

AST模型是一个联合了辅佐判断器的混合期间序列预测模型。它经常使用了一种不凡的稠密留意力机制，并经过与判断器的反抗训练来进一步优化预测的准确性。这种联合预测和生成压力的模型不只能够提高预测性能，还能在必定水平上模拟条件生成模型的性能。

3. GenF: 混合生成预测模型

GenF模型是一个旨在处置自回归预测中误差累积疑问的混合生成预测模型。该模型经过数学上的优化，平衡了自回归预测和间接预测之间的相关，有效缩小了预测误差。这种方法的翻新之处在于它可以在预测必定期间范围内的值时，智能生成局部期间序列，从而提高全体预测的准确性和效率。

4. TTS-GAN: 纯TNN生成反抗网络

TTS-GAN是一个齐全基于TNN的生成反抗网络，专一于动物信号数据的生成。该模型应用TNN的弱小性能，经过反抗训练的方式生成高品质的期间序列数据。TTS-GAN的成功运行展现了TNN在纯生成义务中的后劲，也为相关畛域的钻研提供了新的方向。

5. MTS-CGAN: 条件生成反抗网络

MTS-CGAN是在TTS-GAN基础上进一步开展的条件生成反抗网络。这个模型可以接受类标签和期间序列投影作为条件，经过调整条件和潜在空间样本的权重来生成特定条件下的期间序列数据。MTS-CGAN的开发不只提高了生成数据的品质，还为条件生成模型的钻研提供了新的思绪。

6. Time-LLM: 应用大型言语模型启动期间序列预测

Time-LLM模型经过从新编程预训练的大型言语模型（LLM），将其运行于期间序列预测义务。这一翻新的运行不只展现了预训练模型在非言语义务中的后劲，还为期间序列预测提供了一种新的方法。Time-LLM的成功通常标明，将大型预训练模型运行于期间序列生成和预测是一个有前景的钻研方向。

试验结果与剖析

1. 试验结果概述

在本次钻研中，咱们考查了基于Transformer的期间序列生成模型，并对12种不同的方法启动了深化剖析。这些方法涵盖了从纯生成模型到混合预测模型的多种类型，每种方法都针对特定的期间序列数据和义务启动了优化。试验结果显示，虽然这些方法在设计和训练稳固性方面各有长处，但仍存在一些独特的应战，如训练复杂性、生成数据的品质评价以及模型的泛化才干。

2. 具体剖析

3. 总结

虽然各模型在其特定畛域内体现良好，但全体上期间序列生成畛域依然缺乏一个一致的性能评价规范，这造成了方法间的间接比拟艰巨。此外，模型的泛化才干和训练稳固性也是未来须要进一步钻研的关键疑问。

总结：TNN在期间序列生成中的影响

1. TNN与期间序列生成的现状

Transformer Neural Networks（TNN）曾经在多个畛域显示出其弱小的生成才干，尤其是在人造言语处置（NLP）中。但是，在期间序列生成的运行中，TNN的后劲尚未被充沛开掘。期间序列数据的关键性显而易见，它触及到从医疗肥壮监测到金融市场剖析等多个关键畛域。虽然如此，相较于其余畛域，如图像和文本，期间序列生成畛域中关于TNN的钻研相对较少。

2. TNN在期间序列生成中的运行

虽然TNN在期间序列生成中的运行相对较少，但已有的钻研标明，TNN能够有效处置期间序列数据的生成义务。TNN的并行处置才干和对长序列的处置才干使其成为处置期间序列数据的有力工具。此外，TNN的自留意力机制能够捕捉期间序列中的长距离依赖，这关于预测未来的期间点或生成整个期间序列尤为关键。

本文转载自​​，作者：