informer结构图解释
时间: 2023-11-28 14:05:28 浏览: 45
Informer的结构图主要包括以下几个部分:
1. Informer的体系结构是基于稀疏注意力机制设计的。稀疏注意力使得“活跃”查询在注意力分数中处于“头”区域,而“惰性”查询则处于“尾”区域。为了选择“活跃”查询而非“惰性”查询,引入了ProbSparse Attention机制。
2. 多个Layer stacking replicas,用于对输入进行多层堆叠和复制。
3. Decoder部分负责处理长序列输入,并使用0进行padding的方式处理目标部分。
4. Outputs是Generative style对目标部分进行预测的结果,采用一步生成预测的方式,而不是动态解码。
5. Self-attention Distilling的目的是减少维度和网络参数,对于图中蓝色圆圈部分和蓝色长方体进行处理。
综上所述,Informer的结构图解释了其体系结构中各个部分的功能和作用。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [Informer2020:AAAI 2021接受论文“ Informer”的GitHub存储库](https://download.csdn.net/download/weixin_42131342/15711123)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [Informer整体流程](https://blog.csdn.net/weixin_49967436/article/details/121736079)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]