FLatten Transformer: Vision Transformer using Focused Linear Attention

Flatten Transformer是一种使用Focused Linear Attention的Vision Transformer。它采用了类似于传统Transformer的self-attention结构，但在关注机制上进行了改进。具体来说，Flatten Transformer使用了Focused Linear Attention来代替传统的self-attention。Focused Linear Attention通过将注意力权重分配给图像的不同区域，使得模型能够更加关注重要的图像特征。

在Flatten Transformer中，图像首先被拆分成小块（patch），然后通过一个Embedding层转换成token。这个Embedding层将图像数据转换成一个向量，其形状为[num_token, token_dim，以适应Transformer Encoder的要求。接下来，Flatten Transformer使用Focused Linear Attention来计算每个token之间的关联性，并根据计算得到的注意力权重对它们进行加权求和。最后，经过Transformer Encoder和MLP Head的处理，模型可以输出对图像进行分类的结果。

关于Flatten Transformer的详细结构和实现，你可以参考引用中提供的论文和引用中提供的GitHub代码。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [狗都能看懂的Vision Transformer的讲解和代码实现](https://blog.csdn.net/weixin_42392454/article/details/122667271)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]