Transformer语义分割

Transformer在语义分割中的使用主要有两种方式：patch-based Transformer和query-based Transformer。其中，patch-based Transformer是将图像分成多个小块，然后对每个小块进行特征提取和编码，最后将这些小块的特征进行整合得到整张图像的特征表示；而query-based Transformer则是通过在图像中引入一些查询向量，来对图像中的不同区域进行编码和分类。近期的研究表明，基于Transformer的语义分割模型在医学图像分割等领域也取得了很好的效果。