bottleneck transformer(botnet)

Bottleneck Transformer（BoTNet）是一种融合了卷积神经网络（CNN）和自注意力机制（Self-Attention）的网络结构。它在Multi-Head Self-Attention结构前后加上1×1卷积，与ViT中的Transformer block有一定的相似性。

BoTNet的主要结构包括：
1. Multi-Head Self-Attention（MHSA）：这是BoTNet的关键组件，用于捕捉输入序列中的全局依赖关系。通过对输入序列进行多头自注意力计算，能够有效地对不同位置之间的关系进行建模。这一部分与ViT中的Transformer block类似。
2. Bottleneck结构：BoTNet引入了Bottleneck结构，即在MHSA结构前后加上了1×1卷积。这样的设计能够减小计算量并提高模型的效率。同时，这种结构也使得BoTNet与具有MHSA的ResNet bottleneck block有一定的相似性，但在残差连接、标准化层等方面存在微小的差异。

总之，Bottleneck Transformer（BoTNet）是一种融合了CNN和Self-Attention的网络结构，通过MHSA和Bottleneck结构的组合实现了对输入序列的建模和特征提取。它与ViT中的Transformer block有一定的相似性，并且可以看作是具有Bottleneck结构的Transformer block。