视觉transformer中的多模态令牌融合方法（TokenFusion）

Yet up until the date of this work, the attempt of extend-ing vision transformers to handle multimodal data remainsscarce. When multimodal data with complicated alignmentrelations are introduced, it poses great challenges in design-ing the fusion scheme for model architectures.The keyquestion to answer is how and where the interaction of fea-tures from different modalities should take place. Therehave been a few methods for transformer-based vision-language fusion, e.g., VL-BERT [35] and ViLT [15]. Inthese methods, vision and language tokens are directly con-catenated before each transformer layer, making the overallarchitecture very similar to the original transformer. Suchfusion is actually alignment-agnostic, which means theinter-modal alignments are not explicitly utilized. We alsotry to apply such intuitive fusion methods on multimodalvision tasks (Sec. 4).Unfortunately, this intuitive trans-former fusion cannot bring promising gains or may evenresult in worse performance than the single-modal counter-part, which is mainly due to the fact that the inter-modalinteraction is not fully exploited. There are also several at-tempts for fusing multiple vision modalities. For example,TransFuser [24] leverages transformer modules to connectCNN backbones of images and LiDAR points. However,these methods still neglect to find an effective and generalmethod to insert inter-modal alignments into transformers.121860视觉transformer的多模态令牌融合0Yikai Wang 1 Xinghao Chen 2 Lele Cao 1 Wenbing Huang 3 Fuchun Sun 1 Yunhe Wang 201北京国家信息科学与技术研究中心（BNRist），智能技术与系统国家重点实验室，清华大学计算机科学与技术系2华为诺亚方舟实验室3清华大学人工智能产业研究院0wangyk17@mails.tsinghua.edu.cn，xinghao.chen@huawei.com，caolele@gmail.com0hwenbing@126.com，fuchuns@tsinghua.edu.cn，yunhe.wang@huawei.com0摘要0已经出现了许多transformer的改编版本来解决单模视觉任务，其中堆叠了自注意力模块来处理像图像这样的输入源。直观地说，将多个模态的数据输入到视觉transformer中可能会提高性能，但是内部模态的注意力权重可能会被稀释，从而极大地削弱最终的性能。在本文中，我们提出了一种针对基于transformer的视觉任务量身定制的多模态令牌融合方法（TokenFusion）。为了有效地融合多个模态，TokenFusion动态检测无信息的令牌，并用投影和聚合的跨模态特征替换这些令牌。残差位置对齐也被采用，以在融合后明确利用跨模态对齐。TokenFusion的设计允许transformer学习多模态特征之间的相关性，而单模态transformer架构基本保持不变。在各种同质和异质模态上进行了大量实验，并证明TokenFusion在三个典型的视觉任务中超过了最先进的方法：多模态图像到图像的翻译，RGB-depth语义分割以及点云和图像的3D物体检测。代码将会发布。01. 引言0Transformer最初在自然语言领域被广泛研究作为一种非递归序列模型[37]，并很快扩展到受益于视觉语言任务。最近，许多研究进一步采用transformers来处理计算机视觉任务，并具有良好适应的架构。0变体已经在许多单模视觉任务中展现出巨大潜力，例如分类[5, 19]，分割[41, 44]，检测[2, 7, 20, 45]，图像生成[14]。0我们旨在通过多模态数据受益于学习过程，同时利用跨模态对齐，这在许多视觉任务中是自然存在的，例如，通过相机内外参数，可以将世界空间点投影到相机平面上的像素上。与无对齐融合（将在第3.1节中描述）不同，有对齐融合明确涉及不同模态之间的对齐关系。然而，由于引入了跨模态投影到变压器中，有对齐融合可能会极大地改变原始模型的结构和数据流，这可能会削弱单模态架构设计或预训练期间学习到的注意力的成功。因此，人们可能必须确定多模态投影和融合的“正确”层/令牌/通道，并重新设计架构或调整优化设置以适应新模型。为了避免处理这些具有挑战性的问题并继承大部分原始单模态设计，我们提出了多模态令牌融合，称为TokenFusion，它可以自适应有效地融合多个单模态变压器。我们对每个单模态变压器进行单独修剪，然后利用其他模态的投影对齐特征替代修剪单元。这种融合方案对原始单模态变压器的影响被认为是有限的，因为它保持了重要单元的相对注意力关系。TokenFusion还在允许多模态变压器继承单模态预训练参数方面表现出优越性，例如，在ImageNet上。为了证明所提方法的优势，我们考虑了广泛的任务，包括多模态图像翻译、RGB-depth语义分割和基于图像和点云的3D物体检测，涵盖了四个公共数据集和七种不同的模态。TokenFusion在这些广泛的任务中取得了最先进的性能，证明了其巨大的有效性和普适性。具体而言，TokenFusion在具有挑战性的SUN RGB-D和ScanNetV2基准上实现了64.9%和70.8%的mAP@0.25的3D物体检测。Transformers in computer vision. Transformer is orig-inally designed for NLP research fields [37], which stack-ing multi-head self-attention and feed-forward MLP layersto capture the long-term correlation between words. Re-cently, vision transformer (ViT) [5] reveals the great poten-tial of transformer-based models in large-scale image clas-sification. As a result, transformer has soon achieved pro-found impacts in many other computer vision tasks such assegmentation [41,44], detection [2,7,20,45], image gener-ation [14], video processing [18], etc.Fusion for vision transformers. Deep fusion with mul-timodal data has been an essential topic which potentiallyboosts the performance by leveraging multiple sources ofinputs, and it may also unleash the power of transform-ers further. Yet it is challenging to combine multiple off-the-rack single transformers while guaranteeing that suchcombination will not impact their elaborate singe-modal de-121870计算机视觉中的变压器。变压器最初是为NLP研究领域设计的[ 37]，它堆叠多头自注意力和前馈MLP层，以捕捉单词之间的长期相关性。最近，视觉变压器（ViT）[ 5]揭示了基于变压器的模型在大规模图像分类中的巨大潜力。因此，变压器很快在许多其他计算机视觉任务中取得了深远的影响，如分割[ 41 , 44 ]，检测[ 2 , 7 , 20 , 45]，图像生成[ 14 ]，视频处理[ 18]等。视觉变压器的融合。深度融合多模态数据一直是一个重要的课题，它通过利用多个输入源潜在地提高性能，同时还可以进一步释放变压器的能力。然而，将多个现成的单变压器组合在一起是具有挑战性的，同时又要保证这种组合不会影响它们精心设计的单模态结构。02. 相关工作0signs. [ 1 ]和[ 18]使用变压器处理连续的视频帧，进行时空对齐，并通过相关多帧来捕捉细粒度模式。关于多模态数据，[ 24 , 38]利用变压器模块的动态属性来组合CNN骨干网络，融合红外/可见图像或LiDAR点云。[ 8]将CNN融合方法中的粗到细的经验扩展到图像处理任务中的变压器。[ 12]采用变压器通过简单的特征串联来组合高光谱图像。[ 22]在图像块和音频频谱图块之间插入中间令牌作为瓶颈，以隐式学习跨模态对齐。然而，这些工作与我们的工作不同，因为我们希望构建一个通用的融合流程，将现成的视觉变压器组合起来，而无需重新设计它们的结构或重新调整它们的优化设置，同时明确利用跨模态对齐关系。03. 方法论0本部分旨在提供所提方法的完整概述。我们首先在第3.1节中介绍了两种用于视觉Transformer的简单多模态融合方法。鉴于这两种直观方法的局限性，我们随后在第3.2节中提出了多模态标记融合。我们在第3.4节和第3.5节中详细阐述了同质和异质模态的融合设计，以评估我们方法的有效性和普适性。03.1. 视觉Transformer的基本融合0假设我们有第i个输入数据x(i)，其中包含M个模态：x(i) = {x(i)m ∈ R N × C } M m=1，其中N和C分别表示标记和输入通道的数量。为了简单起见，在接下来的章节中我们将省略下标(i)。深度多模态融合的目标是确定一个多层模型f(x)，其输出尽可能接近目标y。具体来说，在本文中，f(x)通过基于Transformer的网络架构来近似。假设模型总共包含L层，我们将第l层（l =1，...，L）的输入标记特征表示为e_l = { e_lm ∈ R N × C'} M m=1，其中C'表示所在层的特征通道数。最初，e_1m是通过对x_m进行线性投影获得的，这是一种广泛采用的方法，用于将输入标记（例如图像块）向量化，以便第一个Transformer层可以接受标记作为输入。我们为输入模态使用不同的Transformer，并将f_m(x) =e_L+1m表示为第m个Transformer的最终预测。给定第m个模态的标记特征e_lm，第l层计算0ˆ e l m = 通过 MSA � LN ( e l m ) 得到，e l +1 m =通过 MLP � LN (ˆ e l m ) 得到，(1)0其中MSA、MLP和LN分别表示多头自注意力、多层感知机和层归一化。ProjTm′(xm[nm]) = h(xm′[nm′]),(2)3.2. Multimodal Token FusionAs described in Sec. 1, multimodal token fusion (Token-Fusion) first prunes single-modal transformers and furtherre-utilizes the pruned units for fusion. In this way, the infor-mative units of original single-modal transformers are as-sumed to be preserved to a large extent, while multimodalinteractions could be involved for boosting performance.As previously shown in [30], tokens of vision transform-ers could be pruned in a hierarchical manner while main-taining the performance. Similarly, we can select less in-formative tokens by adopting a scoring function sl(el) =MLP(el) ∈ [0, 1]N, which dynamically predicts the impor-tance of tokens for the l-th layer and the m-th modality. Toenable the back propagation on sl(el), we re-formulate theMSA output ˆelm in Eq. (1) asˆelm = MSA�LN(elm) · sl(elm)�.(4)We use Lm to denote the task-specific loss for the m-thmodality. To prune uninformative tokens, we further add atoken-wise pruning loss (an l1-norm) on sl(elm). Thus theoverall loss function for optimization is derived asL =M�m=1�Lm + λL�l=1��sl(elm)���,(5)where λ is a hyper-parameter for balancing different losses.For the feature elm ∈ RN×C′, token-wise pruning dy-namically detects unimportant tokens from all N tokens.Mutating unimportant tokens or substituting them withother embeddings are expected to have limited impacts onother informative tokens.We thus propose a token fu-sion process for multimodal transformers, which substituteunimportant tokens with their token projections (defined inSec. 3.1) from other modalities. Since the pruning processis dynamic, i.e., conditioned on the input features, the fusionprocess is also dynamic. This process performs token sub-stitution before each transformer layer, thus the input fea-ture of the l-th layer, i.e., elm, is re-formulated aselm = elm ⊙ Isl(elm)≥θ + ProjMm′(elm) ⊙ Isl(elm)<θ,(6)where I is an indicator asserting the subscript condition,therefore it outputs a mask tensor ∈ {0, 1}N; the parameterθ is a small threshold (we adopt 10−2 in our experiments);and the operator ⊙ resents the element-wise multiplication.In Eq. (6), if there are only two modalities as input, m′will simply be the other modality other than m. With morethan two modalities, we pre-allocate the tokens into M − 1parts, each of which is bound with one of the other modal-ities than itself. More details of this pre-allocation will bedescribed in Sec. 3.4.3.3. Residual Positional AlignmentDirectly substituting tokens will risk completely under-mining their original positional information.Hence, themodel can still be ignorant of the alignment of the projectedfeatures from another modality. To mitigate this problem,we propose the method of Residual Positional Alignment(RPA) that leverages Positional Embeddings (PEs) for mul-timodal alignment.As illustrated in Fig. 1 and Fig. 2 which will be detailedlater, the key idea of RPA lies in injecting equivalent PEs to121880其中 ˆ e l m表示MSA的输出。在视觉任务的多模态融合中，不同模态的对齐关系可能是明确可知的。例如，像素位置通常用于确定图像和深度的相关性；相机内外参数在将3D点投影到图像中也很重要。基于对齐信息的参与，我们考虑以下两种Transformer融合方法。无对齐融合不明确使用模态之间的对齐关系。它期望对齐关系可以从大量数据中隐式学习到。对齐不明感融合的常见方法是直接连接多模态输入标记，这在视觉语言模型中被广泛应用。同样，第l层的输入特征e_l也是不同模态的标记级连接。尽管无对齐融合方法简单且对原始Transformer模型的修改可能最小，但它很难直接从已知的多模态对齐关系中受益。对齐感融合明确利用模态间的对齐关系。例如，这可以通过选择与相同像素或3D坐标对应的标记来实现。假设x_m[n]是第m个模态输入x_m的第n个标记，其中n = 1，∙ ∙∙，N_m。我们将从第m个模态到第m′个模态的“标记投影”定义为0其中h可以简单地是一个恒等函数（对于同质模态）或一个浅层多层感知机（对于异质模态）。当考虑整个N个标记时，我们可以方便地将“模态投影”定义为标记投影的串联：0Proj M m ′ ( x m ) = 通过 Proj T m ′ ( x m [1]);  ∙ ∙ ∙  ; ProjT m ′ ( x m [ N ])得到。方程（3）仅描述了输入端的融合策略。我们还可以通过投影和聚合特征嵌入 e m在不同模态特定模型之间执行中间层或多层融合，这可能使特征交互更多样化和准确。然而，随着基于Transformer的模型复杂性的增加，仅针对两种模态（例如2D和3D检测Transformer）搜索最佳融合策略（例如层和标记应用投影和聚合）可能成为一个极其困难的问题。为了解决这个问题，我们在第3.2节中提出了多模态标记融合。B1B2B3B4B5B6B1B2A3A4B5B6A1A2A3A4A5A6×"TokensPEsPatchesResidual PEs for alignment after mixingA1A5B6A4A3Transformer blocksB2Multi-HeadAttentionFFNPE1PE2PE3PE4PE5PE6!"PE1PE2PE5PE6PE4PE3+̸121890Token融合     PEs0图1.TokenFusion用于同质模态的框架，以RGB和深度为例。两种模态都被发送到一个共享的变压器，同时共享位置嵌入。0后续层。此外，PE的反向传播在第一层之后停止，这意味着只有第一层的PE的梯度被保留，而其余层在整个训练过程中都被冻结。这样，PE的作用是对齐多模态令牌，而不考虑原始令牌的替换状态。总之，即使一个令牌被替换，我们仍然保留其原始的PE，将其添加到来自另一个模态的投影特征中。03.4. 同质模态0在常见的生成任务（多模态图像到图像的翻译）或回归任务（RGB深度语义分割）的设置中，同质视觉模态x1，x2，...，xM通常与像素对齐，这意味着在RGB或深度输入中位于相同位置的像素应该共享相同的标签。我们还期望这种属性使基于变压器的模型从联合学习中受益。因此，我们在MSA和MLP层中采用共享参数来处理不同的模态；但是依靠模态特定的层归一化来解耦归一化过程，因为不同的模态在它们的统计平均值和方差方面可能存在很大差异。在这种情况下，我们将方程（6）中的函数h设置为恒等函数，并且我们还让n m ′ = nm，这意味着我们总是用相同位置的令牌替换每个被修剪的令牌。TokenFusion用于融合同质模态的整体示意图如图1所示。对于两个输入模态，我们采用双向投影，并分别对两个模态进行令牌逐个修剪。然后根据方程（6）执行令牌替换过程。当存在M >2个模态时，我们还对所有模态进行令牌逐个修剪，并使用额外的预分配策略根据m来选择m'，具体根据方程（6）进行选择。具体而言，对于第m个模态，我们随机将N个令牌预分配到M-1个组中，每个组的大小相等。0分组大小。这种预分配是在训练过程开始之前进行的，并且获得的分组将在整个训练过程中保持不变。我们将分组分配表示为a m ′ ( m ) ∈ {0, 1}^N，其中a m ′ ( m )[n] =1表示如果第m个模态的第n个令牌被修剪，它将被相应的第m'个模态的令牌替代，否则a m ′ ( m )[n] = 0。在获得了M>2个模态的预分配策略后，方程（6）可以进一步发展为更具体的形式：0e l m = e l m ⊙ I s l ( e l m ) ≥θ0M �0m ′ =1m ′ � = m0a m ′ ( m ) ⊙ Proj M m ′ ( e l m ) ⊙ I s l ( el m ) <θ . (7)03.5. 异构模态0在本节中，我们进一步探讨了TokenFusion如何处理异构模态，其中输入模态展示了完全不同的数据格式和大的结构差异，例如，变压器架构的不同层数或嵌入维度。一个具体的例子是同时学习基于点云的3D物体检测和基于图像的2D物体检测，它们使用了不同的变压器。尽管已经有了专门设计用于3D或2D物体检测的变压器模型，但仍然缺乏一种快速有效的方法来组合这些模型和任务。TokenFusion用于融合异构模态的整体结构如图2所示。与同质情况不同，我们用一个浅层多层感知器（MLP）来近似方程（2）中的令牌投影函数h，因为这些异构模态的变压器可能具有不同的隐藏嵌入维度。对于以3D点云和2D图像为输入的3D物体检测，我们根据相机内参和外参将每个点投影到相应的图像上。同样，我们还将3D物体标签投影到图像上，以获得相应的2D物体标签。我们以端到端的方式训练两个独立的变压器，其参数不共享。对于以点云为输入的3D物体检测，我们遵循Group-Free[20]中使用的架构，其中N个采样种子点和K个学习的提议点被视为输入令牌，它们被发送到变压器以预测K个点的3D边界框和物体类别。对于以图像为输入的2D物体检测，我们遵循YOLOS[7]中的框架，它将N个图像补丁和K个对象查询发送到变压器，以预测K个2D边界框及其相关的物体类别。跨模态投影将种子点映射到图像补丁，即N个点到N个图像的映射。具体而言，我们对N个种子点令牌应用令牌逐个修剪。一旦某个令牌获得了较低的重要性分数，…12190012345601254420A1A2A3A4A50令牌PEs0补丁0混合后用于对齐的残差PEs0B2A40PEs 变换器块0A20FFN0多头0注意力0EEEEEE0EEEEEE0PE1PE2PE3PE4PE50采样  骨干0PE1PE2PE3PE4PE50A3A50MLP0MLP0×"0图像0点云0采样0点云0点0FFN0! " Proj0令牌融合0图2.TokenFusion用于具有点云和图像的异质模态的框架。两种模态都被发送到各自的变换器模块，同时具有各自的位置嵌入。需要额外的模态间投影（Proj），这与同质模态的融合不同。0我们将该令牌的三维坐标投影到相应图像输入上的二维像素上。现在可以根据二维像素定位特定的图像补丁。假设该投影基于被修剪的第n个种子点的第n个图像补丁。我们用下标“point”和“img”分别将Eq.（2）中的m和m'替换为“point”和“img”，即Proj T img (x point [n point]) = h(ximg [n img])。因此，令牌投影捕获的n point和nimg之间的关系满足0� u, v, z � � = K ∙ R t ∙ � x n point, y n point, z n point, 1 (8)0n img = �v/z�0P0× W0P0+ �u/z�0P0, (9)0其中K ∈ R 4 × 4和R t ∈ R 4 ×4是相机的内参和外参矩阵，[x n point, y n point, z npoint]表示第n个点的三维坐标，u、v、z是临时变量，其中�u/z�、�v/z�实际上是图像的投影像素坐标，P是视觉变换器的补丁大小，W表示图像宽度。04. 实验0为了评估提出的TokenFusion的有效性，我们使用最先进的方法对同质和异质模态进行了全面的实验。实验在完全不同的七种模态和四种应用场景下进行，使用PyTorch[23]和MindSpore [13]实现。04.1. 多模态图像到图像的转换0多模态图像到图像的转换任务旨在基于不同的图像模态生成目标图像模态作为输入（例如，Normal+Depth →RGB）。我们使用Taskonomy[42]数据集对TokenFusion在这个任务中进行评估，该数据集是一个包含约400万个室内场景图像的大规模数据集，这些图像是从600个建筑物中捕获的。0Taskonomy除了每个RGB图像外，还提供了10多种多模态表示，例如深度（欧几里得或z缓冲）、法线、阴影、纹理、边缘、主曲率等。每个表示的分辨率为512×512。为了便于与现有的融合方法进行比较，我们采用与[39]相同的采样策略，结果是1000个高质量的多模态图像用于训练，500个用于验证。我们的实现包含两个变换器，分别作为生成器和判别器。我们在补充材料中提供了配置细节。生成器/判别器输入或生成器预测的分辨率为256×256。我们采用两种不同的架构设置，即具有10层的小型（Ti）版本和具有20层的小型（S）版本，这两种设置仅在层数上有所不同。两个变换器的学习率都设置为2×10-4。我们在两个变换器中都采用了重叠的补丁，受到[41]的启发。在这个任务的实验中，我们为所有输入模态采用共享的变换器，并使用单独的层归一化（LNs）来计算不同模态的均值和方差。具体来说，用于补丁的线性投影中的参数，MSA中的所有线性投影（例如，关键字、查询等）以及MLP的参数在不同模态之间是共享的。这种机制大大减小了总模型大小，正如在补充材料中讨论的那样，甚至比使用单独的变换器获得更好的性能。此外，我们还为不同的模态采用了共享的位置嵌入。我们令Eq.（5）中的稀疏权重λ=10-4，Eq.（7）中的阈值θ=2×10-2，用于所有这些实验。我们的评估指标包括RGB预测的FID/KID和其他预测的MAE/MSE。这些指标在补充材料中介绍。结果。在表1中，我们与广泛的基线方法和一个SOTA方法[39]进行了比较。same data settings. All methods adopt the learned ensem-ble over the two predictions which are corresponded to thetwo modality branches. In addition, all predictions have thesame resolution 256×256 for a fair comparison. Since mostexisting methods are based on CNNs, we further providetwo baselines for transformer-based models including thebaseline without feature fusion (only uses ensemble for thelate fusion) and the feature fusion method. By comparison,our TokenFusion surpasses all the other methods with largemargins. For example, in the Shade+Texture→RGB task,our TokenFusion (S) achieves 43.92/0.94 FID/KID scores,remarkably better than the current SOTA method CEN [39]with 29.8% relative FID metric decrease.In supplementary materials, we consider more modalityinputs up to 4 which evaluates our group allocation strategy.Visualization and analysis. We provide qualitative re-sults in Fig. 3, where we choose tough samples for com-parison. The predictions with our TokenFusion obtain bet-ter natural patterns and are also richer in colors and details.In Fig. 4, we further visualize the process of TokenFusionof which tokens are learned to be fused under our l1 spar-sity constraints. We observe that the tokens for fusion fol-low specific regularities. For example, the texture modalitytends to preserve its advantage of detailed boundaries, andmeanwhile seek facial tokens from the shade modality. Inthis sense, TokenFusion combines complementary proper-ties of different modalities.121910输入1 输入2 最先进的0通过CEN进行CNN融合0通过特征连接进行Tran0仅使用输入1的Transformer输出0仅使用输入2的Transformer输出0单模态输出 多模态输出0通过TokenFusion进行Transformer融合0图3. 在图像到图像翻译（纹理+阴影 →RGB）的验证数据集上进行比较。所有输入/输出图像的分辨率为256×256。第三/第四列由单模态预测，接下来的三列由CEN[39]，直观的特征连接进行的Transformer融合和我们的TokenFusion预测。最佳视图为彩色和放大。04.2. RGB-深度语义分割0然后我们在另一个均匀的场景上评估TokenFusion，即使用RGB和深度进行语义分割，这是一种非常常见的多模态任务，已经提出了许多方法以获得更好的性能。我们选择了典型的室内数据集，NYUDv2 [31]和SUN RGB-D[32]。对于NYUDv2，我们遵循标准的相同数据设置。所有方法都采用了在两个模态分支上对应的两个预测的学习集成。此外，为了公平比较，所有预测都具有相同的分辨率256×256。由于大多数现有方法都是基于CNN的，我们还为基于Transformer的模型提供了两个基准，包括没有特征融合的基准（仅在后期融合中使用集成）和特征融合方法。通过比较，我们的TokenFusion在很大程度上超越了所有其他方法。例如，在阴影+纹理 →RGB任务中，我们的TokenFusion（S）取得了43.92/0.94的FID/KID分数，比当前的SOTA方法CEN[39]相对FID指标下降了29.8%。在补充材料中，我们考虑了多达4个的多模态输入，以评估我们的组分配策略。可视化和分析。我们在图3中提供了定性结果，选择了一些难样本进行比较。我们的TokenFusion预测获得了更好的自然模式，并且在颜色和细节上也更丰富。在图4中，我们进一步可视化了TokenFusion的过程，其中学习到的令牌在我们的l1稀疏性约束下进行融合。我们观察到，融合的令牌遵循特定的规律。例如，纹理模态倾向于保留其详细边界的优势，并同时从阴影模态中寻找面部令牌。从这个意义上说，TokenFusion