期间序列预测 为时序预测智能生成隐式Prompt NLP大模型新作

当天给大家引见一篇最新的大模型+期间序列预测上班，由康涅狄格大学宣布，提出了一种将期间序列在隐空间和NLP大模型对齐，并应用隐空间prompt优化期间序列预测成果的方法。

论文题目：S2IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

1.疑问背景

大模型在期间序列上的运行越来越多，重要分为两类：第一类经常使用各类期间序列数据训练一个期间序列畛域自己的大模型；第二类间接经常使用NLP畛域训练好的文本大模型运行到期间序列中。因为期间序列不同于图像、文本，不同数据集的输入格局不同、散布不同，且存在distribution shift等疑问，导以至用一切期间序列数据训练一致的模型比拟艰巨。因此，越来越多的上班开局尝试如何间接经常使用NLP大模型处置期间序列关系疑问。

本文的聚焦点也在第二种方法，即使用NLP大模型处置期间序列疑问。现有的方法很多驳回对期间序列的形容作为prompt，然而这种消息并不是一切期间序列数据集都有。并且现有的基于patch的期间序列数据处置方法，也不可齐全保留期间序列数据自身的一切消息。

基于上述疑问，这篇文章提出了一种新的建模方法，外围建模思绪，一方面将期间序列经过tokenize处置后映射成embedding，另一方面将这些期间序列空间的表征对齐到大模型中的word embedding上。经过这种模式，让期间序列的预测环节中，可以找到对齐的word embedding关系的消息作为prompt，优化预测成果。

2.成功方法

上方从数据处置、隐空间对齐、模型细节等3个方面引见一下这篇上班的成功方法。

数据处置：因为期间序列的distribution shift等疑问，本文对输入序列做了一步趋向项节令项合成。每个合成后的期间序列，都独自做规范化，而后宰割成有堆叠的patch。每一组patch对应趋向项patch、节令项patch、残差patch，将这3组patch拼接到一同，输入到MLP中，获取每组patch的基础embedding表征。

隐空间对齐：这是本文中最外围的一步。Prompt的设计对大模型的成果影响很大，而期间序列的prompt又难以设计。因此本文提出，将期间序列的patch表征和大模型的word embedding在隐空间对齐，而后检索出topK的word embedding，作为隐式的prompt。详细做法为，经常使用上一步生成的patch embedding，和言语模型中的word embedding计算余弦相似度，选用topK的word embedding，再将这些word embedding作为prompt，拼接到期间序列patch embedding的前方。因为大模型word embedding大多，为了缩小计算量，先对word embedding做了一步映射，映射到数量很少的聚类中心上。

模型细节：在模型细节上，经常使用GPT2作为言语模型局部，除了position embedding和layer normalization局部的参数外，其他的都解冻住。优化指标除了MSE外，还引入patch embedding和检索出的topK cluster embedding的相似度作为解放，需要二者之间的距离越小越好。最终的预测结果，也是

3.试验成果

文中对比了和一些期间序列大模型、iTransformer、PatchTST等SOTA模型的成果，在大局部数据集的不同期间窗口的预测中都取得了比拟好的成果优化。

同时，文中也经过t-SNE可视化剖析了embedding，从图中可以看出，期间序列的embedding在对齐之前并没有显著的类簇现象，而经过prompt生成的embedding有显著的类簇变动，说明本文提出的方法有效的应用文本和期间序列的空间对齐，以及相应的prompt，优化期间序列表征的品质。

​本文转载自​​，作者：