Bottleneck Transformer替换C3
时间: 2023-10-14 11:04:38 浏览: 180
![ZIP](https://csdnimg.cn/release/download/static_files/pc/images/minetype/ZIP.png)
bottleneck-transformer-pytorch:Pytorch中瓶颈变压器的实现
Bottleneck Transformer可以替换C3,因为具有多头自我注意(MHSA)层的ResNet bottleneck blocks可以被视为具有bottleneck blocks结构的Transformer块。具体来说,Bottleneck Transformer中的bottleneck block可以被看作是具有bottleneck结构的Transformer block。在Bottleneck Transformer中,归一化层使用的是Batch Normalization,而不是Transformer中的Layer Normalization。此外,Bottleneck Transformer中的bottleneck block使用了三个非线性,而Transformer中的FFN块只使用了一个非线性。另外,Bottleneck Transformer中的MHSA层没有输出投影,而Transformer中的MHSA块包含输出投影。最后,Bottleneck Transformer通常使用SGD与计算机视觉中常用的动量优化器进行训练,而Transformer通常使用Adam优化器进行训练。因此,在替换C3时,可以考虑使用Bottleneck Transformer来代替。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [视觉Transformer>>2021:Bottleneck Transformers for Visual Recognition](https://blog.csdn.net/m0_56533033/article/details/122182453)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *3* [bottleneck-transformer-pytorch:Pytorch中瓶颈变压器的实现](https://download.csdn.net/download/weixin_42111465/15605077)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]
阅读全文
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pptx](https://img-home.csdnimg.cn/images/20210720083543.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)