swin transformer多任务

Swin Transformer是一种多任务学习框架，被用于解决多个视觉任务，如深度估计、语义分割、reshading重着色、表面法线估计、2D关键点检测和边缘检测。该框架使用了一种称为MulT的端到端transformer模型，该模型将图像编码为共享表示，并使用基于特定任务的transformer解码器头对每个视觉任务进行预测。这个框架通过共享注意力机制来建模任务之间的依赖关系。
在几个多任务基准上的评估结果显示，MulT框架的性能优于现有最先进的多任务卷积神经网络模型和各自的单任务transformer模型。
在MulT框架中，来自transformer解码器模块的特征图被输入到不同的特定任务头，以进行后续预测。每个任务头包括一个线性层，用于输出一个H×W×1的特征图，其中H、W是输入图像的尺寸。网络使用基于加权和的任务特定损失来进行联合训练，该损失在每个任务的groundtruth和最终预测之间计算。对于分割、旋转和深度任务，使用交叉熵损失，对于表面法线、2D关键点、2D边和重着色任务使用L1损失。此外，还使用这些损失来保持与基线方法的一致性。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [CVPR2022 MulT: 端到端的多任务学习transformer](https://blog.csdn.net/qq_35831906/article/details/124859367)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]