魔改的transformer

魔改的Transformer是指对原始的Transformer模型进行改进和优化的工作。这些改进主要是为了提高Transformer模型的运行效率和性能。引用\[2\]中提到了一些针对Transformer的魔改工作，其中包括优化Transformer的Attention计算代价、长序列建模优化等方面的研究。这些改进工作旨在减少Transformer模型在处理长序列时的计算量，并提高其在不同领域的应用效果。另外，引用\[3\]中提到了一种名为Topformer的魔改Transformer模型，它在移动端上使用了Transformer的注意力机制来增强特征，但由于注意力计算的效率问题，只能在下采样64倍的分辨率上进行特征增强。总之，魔改的Transformer是通过对原始模型进行改进和优化，以提高其效率和性能的一种工作。
#### 引用[.reference_title]
- *1* *2* [Transformer提效之路——一文梳理各种魔改版本Transformer](https://blog.csdn.net/fareise/article/details/123149198)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [有哪些令你印象深刻的魔改Transformer？](https://blog.csdn.net/CV_Autobot/article/details/128991253)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]