informer模型

### Informer模型概述

Informer模型是在2019年被提出的时间序列预测工具，在2020年的ICLR会议上获得了最佳论文奖，这表明了该模型在时间序列预测领域的重要性[^1]。此模型基于Transformer架构进行了改进，特别针对长时间序列数据优化了计算效率和内存消耗。

#### 原理说明

传统Transformer存在高空间复杂度的问题，当输入长度增加时，所需存储量会迅速增长至不可接受的程度。为此，Informer引入了一种称为ProbSparse自注意力机制的技术来解决这一挑战。这种新方法能够在保持高效的同时显著减少所需的计算资源，使得处理更长的历史记录成为可能。

import torch.nn as nn

class ProbAttention(nn.Module):
    """概率稀疏自注意层"""
    
    def __init__(self, mask_flag=True, factor=5, scale=None, attention_dropout=0.1, output_attention=False):
        super(ProbAttention, self).__init__()
        ...

#### 实现细节

为了提高性能并降低开销，除了上述提到的概率稀疏化外，还采用了其他几种策略：

- **Generator-Discriminator Pairs (GDP)**：用于增强训练过程中的稳定性；
- **Self Attention Distillation (SAD)**：有助于进一步压缩模型尺寸而不损失精度；
- **Log-Sparse Strategy**：允许仅关注最有可能影响未来趋势的关键历史片段；

这些特性共同作用下，使Informer能够更好地捕捉长期依赖关系，并且相比同类解决方案具有更快的速度和更低的成本。

#### 应用场景

实际应用方面，Informer已被证明适用于多种类型的连续数值型变量预测任务，比如电力负荷估计、交通流量监控以及金融市场走势预判等。特别是在涉及大量过往观测值的情况下表现尤为突出。一个具体的例子就是利用Informer来进行船舶轨迹预测，通过适配特定行业的特征向量作为额外输入维度，可以有效提升预报准确性[^2]。