聊聊基于 Informer BiGRU

1 翻新模型成果：

1.1模型评价：

1.2 风电功率预测可视化：

1.3 电力负荷预测可视化：

2 模型翻新点引见

2.1联合Informer和BiGRU-GATT的优点

经过将这两种模型并行经常使用，可以更好地捕捉不同期间尺度上的形式，提高预测的准确性和鲁棒性。

2.2 并行模型架构

并行经常使用Informer和BiGRU-GATT，经过两个分支并行学习，可以使模型在不同的期间尺度上启动消息提取和解决：

（1）Informer部分：

（2）BiGRU-GATT部分：

多特色序列数据同时经过基于GlobalAttention优化的BiGRU网络,GlobalAttention是一种用于增强模型对输入序列不同部分的关注水平的机制。在 BiGRU 模型中，全局留意力机制可以协助模型更好地聚焦于输入序列中最相关的部分，从而提高模型的功能和泛化才干。在每个期间步，全局留意力机制计算一个权重向量，示意模型对输入序列各个部分的关注水平，而后将这些权重运行于 BiGRU 输入的特色示意，经过对一切位置的特色启动加权，使模型能够更有针对性地关器关键的时域特色, 提高了模型对多特色序列时域特色的感知才干。

这种架构能够更片面地捕捉时序数据的特色，优化模型的预测功能。

2.3 模型融合

将Informer和BiGRU-GATT的输入拼接在一同，经过一个全衔接层融合不同模型的特色。这种融合形式使得模型能够同时应用Informer的全局消息提取才干和BiGRU-GATT的部分时序相关建模才干。

2.4 高效计算

Informer的经常使用大大提高了长期间序列的计算效率，同时BiGRU-GATT的经常使用确保了部分时序消息的充沛应用。这种组合在保障高效计算的同时，优化了预测的精度和牢靠性。

3 Informer 详解，三大翻新点

3.1 概率稠密留意力机制（ProbSparse Self-attention）

概率稠密自留意力是Informer模型中引入的一种稠密自留意力机制。其外围现实是经过概率方法选用最关键的一部分留意力权重启动计算，而疏忽那些对结果影响较小的权重。这种方法能够清楚降落计算复杂度，同时坚持较高的模型功能。

3.2 多尺度特色提取-消息蒸馏

Informer的架构图并没有像Transformer一样在Encoder的左边标注来示意N个Encoder的重叠，而是一大一小两个梯形。横向看完单个Encoder（也就是架构图中左边的大梯形，是整个输入序列的主堆栈）。

Encoder的作用是Self-attention Distilling，因为ProbSparse自相关机制有很多都是用V的mean填充的，所以自然就存在冗余的attention sorce ,因此在相邻的Attention Block之间运行卷积与池化来对特色启动下采样，所以作者在设计Encoder时，驳回蒸馏的操作始终抽取重点特色，从而获取值得重点关注的特色图。

3.3 期间编码

Informer在原始向量上不止参与了Transformer架构必备的PositionEmbedding（位置编码）还参与了与期间相关的各种编码：

在 LSTF 疑问中，捕捉远程独立性的才干须要全局消息，例如分层期间戳（周、月和年）和无法知期间戳（假期、事情）。

详细在这里参与什么样的GlobalTimeStamp还须要依据实践疑问来确认，假设计算高铁动车车站的人流量，显然“假期”的期间差就是十分关键的。假设计算公交地铁等通勤交通工具的人流量，显然“星期”可以更多的提醒能否为上班日。

4 风电功率等数据集引见

4.1 导入数据

风电功率数据集一共35040个样本，15个特色，取前6000条数据启动可视化

4.2 数据集制造与预解决

详细引见见提供的文档！

5 基于Informer-BiGRU-GATT的并行预测模型

5.1定义Informer-BiGRU-GATT并行预测网络模型

5.2 设置参数，训练模型

50个epoch，MSE 为0.01284，Informer-BiGRU-GATT并行预测成果清楚，模型能够充沛应用Informer的长期间依赖建模才干和BiGRU-GATT的短期依赖捕捉才干征，收敛速度快，功能优越，预测精度高，适当调整模型参数，还可以进一步提高模型预测体现。

6 结果可视化和模型评价

6.1 预测结果可视化

6.2 模型评价

由预测结果可见，在Informer-BiGRU-GATT并行预测模型下拟合成果良好，经过这种设计，可以充沛应用Informer和BiGRU-GATT的优点，成功高效且准确的时序预测,组合预测成果清楚！

本文转载自​​，作者：​​