图像分割引入transformer
时间: 2023-08-22 11:09:20 浏览: 52
近年来,全卷积神经网络(FCNN)在医学图像分割中取得了巨大的成功,其中U-Net是一个典型的体系结构。然而,由于卷积层的局限性,FCNN在学习远程空间相关性方面存在一定的限制。受自然语言处理领域中基于变压器的模型的启发,研究人员开始探索将变压器引入计算机视觉领域。变压器具有自我注意机制,可以动态地突出显示输入序列的重要特征并了解其长期依赖性。
一项最新的研究提出了一种名为UNETR的新型架构,利用变压器进行体积医学图像分割。与传统的FCNN不同,UNETR将3D分割任务重新设计为1D序列到序列的预测问题。它使用纯变压器作为编码器,从输入的补丁序列中学习上下文信息。通过跳过连接,编码器提取的表示与解码器在多个分辨率上进行合并,以预测分段输出。
该研究在医学分割十项全能(MSD)数据集上验证了UNETR对脑肿瘤和脾脏分割任务的有效性,并与其他模型进行了比较,结果显示了良好的性能。这是首次提出将完全基于变压器的编码器应用于体积医学图像分割的研究。考虑到体积数据在医学成像中的广泛应用,UNETR为基于变压器的分割模型在各种应用中铺平了道路。
总而言之,引入变压器作为编码器的UNETR架构在体积医学图像分割中取得了很好的效果。通过利用变压器的自我注意机制和全局上下<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [UNETR:用于3D图像分割的Transformer](https://blog.csdn.net/weixin_42046845/article/details/115156902)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)