取代transformer

引用\[1\]中提到了一种基于self-attention的结构方法，类似于Transformer模型，但去掉了decoder部分，直接使用全连接的映射。实验结果显示，去掉encoder和decoder之间的attention反而提升了效果。引用\[2\]中也提到，将attention替换为更简单的傅里叶变换可以提升效果。因此，可以考虑使用这些方法来取代Transformer模型。同时，引用\[3\]中的研究也探讨了Transformer在时间序列预测中的作用，并提出了对Transformer的挑战。因此，可以结合这些研究成果来选择适合的替代方案。
#### 引用[.reference_title]
- *1* *2* *3* [华为最新提出的时序预测Mixers，取代Transformer实现效果速度双提升](https://blog.csdn.net/qq_33431368/article/details/129222438)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]