Bottleneck Transformer Block

Bottleneck Transformer Block是一种结合了多头自注意力机制（MHSA）和残差网络（ResNet）bottleneck结构的Transformer块。作者指出，具有MHSA层的ResNet bottleneck块可以被视作具有bottleneck结构的Transformer块，尽管它们在残差连接、归一化层等方面存在细微差异。

Bottleneck Transformer Block在结构上与传统的Transformer模型有一定的相似性。它包含一个MHSA层，用于实现自注意力机制，以便对输入序列中的不同位置进行信息交互。同时，它还包含了残差连接和归一化层等常见的Transformer组件。

Bottleneck Transformer Block的引入主要是为了在视觉识别任务中解决纯Transformer模型对输入尺寸敏感的问题。传统的ViT模型对输入尺寸有固定要求，无法适应大尺寸图像的目标检测和实例分割等任务。通过将注意力机制嵌入到CNN的bottleneck结构中，Bottleneck Transformer Block可以更好地处理大图像输入，并在计算效率上提供一定的改进。

总的来说，Bottleneck Transformer Block是一种结合了MHSA和残差网络bottleneck结构的Transformer块，用于在视觉任务中处理大尺寸图像输入并提高计算效率。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>