transformer基于像素级的变化检测

基于像素级的变化检测中，transformer被用来对双时间图像内的长范围上下文进行建模。具体来说，我们使用一个CNN骨干网络（如ResNet）从输入图像对中提取高层语义特征，然后使用空间注意力将每个时间特征图转换成一组紧凑的语义tokens。接下来，我们使用一个transformer编码器在两个tokens集中建模上下文，得到了富有上下文的tokens。这些tokens被一个连体transformer解码器重新投影到像素级空间，以增强原始像素级特征。最终，我们从两个细化的特征图计算特征差异图像(FDIs)，然后将它们送到浅层CNN以产生像素级变化预测。

相关问题

基于transformer的遥感图像变化检测

BIT是一种基于transformer的遥感图像变化检测模型。它由三个主要组件组成：Siamese Semantic tokenizer、transformer encoder和Siamese transformer。其中，Siamese Semantic tokenizer将像素到概念生成一个紧凑的语义tokens为每个时间输入；transformer encoder建模语义上下文概念的时空；Siamese transformer投影相应的语义tokens回到像素空间获得每个时间的精炼特征映射。算法1显示了基于变化检测的BIT模型的推理细节。

具体来说，BIT模型的输入是两个遥感图像，分别为$t_1$和$t_2$。首先，Siamese Semantic tokenizer将$t_1$和$t_2$中的像素转换为语义tokens。然后，transformer encoder将这些tokens作为输入，建模它们之间的时空关系。最后，Siamese transformer将这些tokens投影回到像素空间，生成$t_1$和$t_2$的特征映射。通过比较这两个特征映射，BIT模型可以检测出$t_1$和$t_2$之间的变化。

基于纯transformer的遥感影像变化检测

基于纯transformer的遥感影像变化检测是一种新型的变化检测方法，它使用transformer模型来对遥感影像中的变化进行建模和检测。下面是基于纯transformer的遥感影像变化检测的步骤：

1. 输入图像对：将两个时间点的遥感影像作为输入图像对。

2. 特征提取：使用一个卷积神经网络（CNN）从输入图像对中提取高层语义特征。

3. 空间注意力：使用空间注意力将每个时间特征图转换成一组紧凑的语义tokens。

4. Transformer编码器：使用一个transformer编码器在两个tokens集中建模上下文，得到了富有上下文的tokens。

5. Transformer解码器：使用一个连体transformer解码器重新投影到像素级空间，以增强原始像素级特征。

6. 特征差异图像：从两个细化的特征图计算特征差异图像(FDIs)。

7. 变化检测：将特征差异图像送到浅层CNN以产生像素级变化预测。