跨任务注意机制在多任务学习中的应用——提升场景理解

"本文主要探讨了多任务学习中的跨任务注意机制，并强调了其在场景理解中的应用，特别是在2D语义分割、密集深度估计、表面法线估计和边缘估计等任务中的价值。作者提出了一个新的多任务学习架构，利用相关引导注意和自我注意来促进任务间的相互增强，提高平均表示学习效果。文章通过广泛的实验验证了该方法在合成和真实数据集上的优势，并将其扩展到多任务无监督域自适应设置。提供的代码库地址为https://github.com/cv-rits/DenseMTL。" 在深度学习领域，多任务学习(MTL)已经成为解决复杂场景理解的有效途径。传统的单任务学习方法往往专注于单一任务的性能提升，而MTL则旨在通过共享参数和信息交流，实现不同任务之间的互补和协同，从而提高整体模型的泛化能力。在这种框架下，多个任务共享一个编码器，而每个任务拥有特定的解码器，如图1所示，解码器之间通过注意力机制进行信息交换，形成所谓的“多任务交换块”(mTEB)。 跨任务注意机制是MTL的关键组成部分，它允许模型关注不同任务之间的相关性。相关引导注意是指模型根据任务之间的相关性调整注意力分配，例如，深度估计和语义分割任务之间可能存在紧密关联，深度信息可以帮助识别语义边界。自我注意则让模型能够关注自身任务的内部特征，以强化任务特定的表示学习。 在本文中，作者通过实验证明了提出的多任务学习架构在2D语义分割、密集深度估计和表面法线估计等多个任务上优于单一任务模型和竞争性的基线方法。实验不仅覆盖了有监督的设置，还扩展到了无监督的域自适应环境，展示出模型的广泛适用性和鲁棒性。 此外，多任务学习在实际应用中，尤其是在机器人和自动驾驶等领域，有着显著优势。例如，几何任务如深度和法线估计可以辅助语义任务，减少错误传播，反之亦然。通过在一个统一的系统中处理多个任务，可以更好地应对现实世界中的挑战，提高系统的稳定性和可靠性。 跨任务注意机制是多任务学习的核心，它促进了不同任务间的互补和协同，提高了整体模型的性能。这项工作对于理解如何有效地整合和利用多种视觉任务的信息，以实现更全面的场景理解具有重要意义。