transformer BIT

BIT是一种使用transformer结构进行变化检测的孪生网络。它使用Resnet作为背骨(backbone)结构。具体的结构分析可以参考作者在这个链接中的详细说明。在BIT的实现过程中，它的数据结构比较简单。

Transformer和RNN都是用线性层或MLP来进行语义空间的转换，但是它们在传递序列信息的方式上有所不同。RNN是通过将上一个时刻的信息输出传递给下一个时刻作为输入来传递序列信息。而Transformer使用自注意力机制(self-attention)来全局地捕捉整个序列的信息，并通过MLP进行语义转换。

在Transformer中，自注意力机制是一个关键的组成部分，它可以有效地利用序列信息。该机制可以在BIT中使用，但需要说明的是，这个机制在Transformer中并不是BIT工作的创新，而是之前就被提出并应用于其他工作中的一种方法。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [BIT 变化检测模型复现 深度学习学习笔记 基于transformer结构的图像处理模型](https://blog.csdn.net/persist_ence/article/details/129687895)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [Transformer详解（李沐大神文字版，干货满满！）](https://blog.csdn.net/qq_42068614/article/details/129417385)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]