NeurIPS24 针对时序预测中时期戳特色的钻研

这篇文章给大家引见一下北邮在NeurIPS 2024中宣布的一篇时期序列预测上班，重点钻研了假设有效应用时期戳特色优化时序预测成果，相关方法可以嵌入到现有的各类SOTA时序预测模型中。

论文题目 ：Rethinking the Power of Timestamps for Robust Time Series Forecasting: A Global-Local Fusion Perspective

下载地址 ：

钻研背景

现有的时期序列预测方法大多依赖于数值型的历史数据，并且假定这些数据的散布是相对稳固的。虽然这类方法能够在捕捉数据中的线性相关和周期性法令方面体现良好，但在面对由外部起因惹起的非颠簸性和异常状况时，它们往往显得力所能及。

比如，在节假日或不凡事情时期，人们的生产行为、出行形式等会出现清楚变动，造成相关目的出现不同于平时的动摇。假设模型不能充沛思考这些外部起因的影响，其预测结果或者会偏离实践状况，进而影响决策的准确性。

此外，事实环球中的数据经常因异常事情而遭受污染，如电力系统缺点造成的异常高耗电量。缺乏对全局形式的深化了解使得现有打算易受形式异常及数据噪声的影响。

时期戳包括丰盛的全局性节令特色，本应成为优化预测准确性的贵重资源。例如，上班日理论会在特定时段迎来交通高峰期。遗憾的是，钻研大多聚焦于部分观测的数值型数据，仅将时期戳作为可有可无的辅佐消息源。

消融钻研标明，即使去掉时期戳消息，大部分模型的体现也不会有清楚进化，这反映出关于以时期戳为代表的全局消息应用无余。

建模方法

针对上述疑问，作者提出了一种通用框架GLAFF。作为一款插件，GLAFF能够无缝集成就任何预测骨干之中，借助全局消息增强干流模型的鲁棒预测才干。

相较于经过early fusion整合时期戳消息的传统方法，基于late fusion的GLAFF不只成功了不同类型消息间的平衡应用，还能有效抵御来自繁少数据源的噪声搅扰，从而清楚增强了整个系统的稳固性和牢靠性。

GLAFF插件的全体架构下图所示。在骨干网络依据部分观测提供初始预测后，GLAFF应用全局消息对齐启动批改。

详细而言，它先经过Attention-based Mapper对包括全局消息的时期戳启动独自建模，并将它们映射到合乎规范散布的观测值。随后，为了处置滑动窗口的观测值中存在异常的场景，作者应用 Robust Denormalizer对初始映射启动逆规范化，从而减轻数据漂移的影响。最后，Adaptive Combiner在预测窗口内灵活调整全局映射和部分预测的组合权重，发生最终的预测结果。

Attention-based Mapper ：驳回Transformer模型中的编码器架构，包括了嵌入层、留意力模块以及投影层。相似于少数基于Transformer的编码器，GLAFF经过嵌入层将同一时期的时期戳向量视为一个标志，以形容该向量的属性。紧随其后，多头自留意力被运行于标志间的交互，以建模时期戳之间的相互依赖，并由前馈网络独自处置以启动序列示意。最后，经常使用投影层来取得初始映射结果。借助留意力机制的长距离依赖性和并行计算才干，Attention-based Mapper得以对以时期戳为代表的全局消息做到更充沛的建模。

Robust Denormalizer ：针对数据漂移现象，GLAFF对以时期戳为代表的全局消息采取了一种解纠缠的两阶段建模战略。第一阶段中，由Attention-based Mapper间接发生的原始映射值被假定遵照正态散布法令，以此降落建模时期戳与观测值之间依赖的难度。在第二阶段，基于历史窗口内初始映射值和实践观测值之间的散布偏向，Robust Denormalizer再区分将初始映射值逆规范化为最终映射值，以减轻数据漂移的影响。规范的逆规范化操作理论思考均值和方差的差异。但是，这种方法容易遭到极值的影响，在观测数据含有异常时体现得不够鲁棒。作者区分经常使用中位数和分位数范畴代替均值和规范差，使得Robust Denormalizer对异常状况愈加持重。

Adaptive Combiner ：鉴于事实环球的复杂性，模型偏向的数据偏好应该随着在线概念漂移而始终变动。过后期序列形式明晰稳固时，应该给予鲁棒的全局消息更多的关注。过后期序列形式含糊多变时，应该给予灵敏的部分消息更多的关注。因此，作者提出了一种数据依赖战略来始终降级模型选用战略，自顺应的灵活调整全局消息和部分消息的组合权重。Adaptive Combiner依据历史窗口内全局映射值和实践观测值之间的偏向，灵活调整预测窗口内全局映射值和部分预测值的组合权重。之后，模型依据组合权重对双源消息启动求和，得出最终的预测结果。

试验成果

在九个罕用数据集上的试验结果标明，GLAFF分歧地增强了四个宽泛经常使用的干流预测基线的功能，充沛证实了其有效性和优越性。

除了评价目的之外，预测品质也至关关键。如下图所示，经过两个典型数据集上的对比剖析可以看出，GLAFF生成的结果不只愈加凑近实践状况，而且关于部分异常值具备更好的抵制才干，而其余独自运作的骨干模型则容易遭到此类扰动的影响。

本文转载自​​，作者：​​