多任务学习网络结构 NDDR-CNN与分层特征融合

3205NDDR-CNN：通过神经判别降维在多任务CNN中进行分层特征融合高元1马嘉毅2赵明波3刘伟1李伟. Yuille41腾讯人工智能实验室2武汉大学3香港城市大学4约翰霍普金斯大学{ethan.y.gao，jyma2010，mbzhao 4}@ gmail.com，wl2223@columbia.edu，alan. jhu.edu摘要在本文中，我们提出了一种新的卷积神经网络（CNN）结构的通用多任务学习（MTL），它使自动特征融合在每一层从不同的任务。这与最广泛使用的MTL CNN结构形成对比，MTL CNN结构经验上或经验上共享某些特定层上的特征（例如，共享除了最后一个卷积层之外的所有特征所提出的分层特征融合方案是通过以一种新的方式组合现有CNN组件来进行计算的，具有清晰的数学可解释性，如判别维数约简，这被称为神经判别维数约简（NDDR）。具体而言，我们首先根据通道将来自不同任务的具有相同空间分辨率的特征连接起来维度然后，我们证明了在一个CNN中可以通过1×1卷积、批量归一化和权重衰减来实现区分维数的降低。现有CNN组件的使用确保了端到端训练和所提出的NDDR层的可扩展性，以“即插即用”的方式支持各种最先进的CNN架构。详细的烧蚀分析表明，所提出的NDDR层易于训练，对不同的超参数也具有鲁棒性。不同的任务集与各种基础网络架构的实验表明，我们所提出的方法的性能和理 想 的 推 广 。 我 们 论 文 的 代 码 可 以 在https://github.com/ethanygao/NDDR-CNN 上找到。1. 介绍自2012年的开创性工作以来，深度卷积神经网络（CNN）已经极大地推动了各种计算机视觉任务的限制。CNN模型可以自然地集成分层特征和分类器，这些特征和分类器可以以端到端的方式进行训练* 表示相应的作者。内尔。受益于此，在基本的计算机视觉任务中已经看到了显着的改进，例如图像分类[14[8，9，13，25，35，36，42-图[1可以进一步提高CNN性能的主要因素之一是多任务学习（MTL），它致力于同时学习多个相关任务。这是因为相关的任务可以通过共同学习某些共享的，或者更准确地说，相互相关的表示来相互受益[13，19]。源自MTL中不同任务的多个监督信号可以被视为隐式数据增强（标签上）或自适应正则化（不同任务之间）[39]。这使得能够学习适用于多个任务的相互关联的表示，从而避免过度拟合并导致更好的泛化能力。最常见的是，MTL的CNN结构是通过共享所有卷积层来自动确定的，并在完全连接的层上进行分裂以获得特定于任务的损失。然而，随着不同的层学习低级、中级和高级特征[57]，一个自然的问题出现了：为什么我们认为MTL中不同任务的低级和中级特性应该是相同的，特别是当任务之间的关系很松散的时候？如果不是，那么共享特征直到最后一个卷积层是最佳的吗？Misraet al. [31]揭示了在不同层的共享/分裂给出了不同的性能。特别是，在某些层上不适当的特征共享可能会降低某些甚至所有任务的性能。此外，CNN的深层本质使得彻底测试所有可能的结构以找到最佳共享/分裂方案是不可行的。为了解决这个问题，Misraetal.使用可训练标量对来自多个CNN级别的不同任务的特征进行加权求和，并实现了最先进的性能[31]。我们从另一个角度考虑这个问题，从不同的任务中杠杆化所有的层次特征这是因为通过不同任务训练的CNN层可以被视为不同的特征描述符，因此fea3206从它们学习的结果可以被视为输入数据的不同我们假设这些特征，从多个特征描述符（即，来自多个任务的不同CNN级别）包含输入数据的附加判别信息，这些信息应该在MTL中被利用以获得更好的性能。具体来说，从K个单任务网络（来自K个任务）开始，利用所有任务的分层特征的直接尝试是：我们可以根据特征通道维度将来自不同任务的具有相同空间分辨率的所有任务专用特征连接起来。之后，我们希望CNN通过接收这些连接的特征作为输入，为每个任务学习一个区分特征嵌入。然而，大多数现有的CNN都有精心设计的结构，它们只接收具有固定数量特征通道的特征（张量）。通过连接特征，如果我们有K个任务，我们基本上将通道的数量放大K倍这使得不可能将这些连接的特征馈送到CNN的后续层。CNN的这一特性促使我们对级联特征进行区分性降维。其目的是学习一个有区别的特征嵌入，并降低特征维数，使其能够满足后续层的输入通道要求。特征变换是解决判别维数约简问题的重要方法之一。它旨在学习一个投影矩阵，将原始的高维特征投影到低维表示中，同时保留尽可能多的区分信息在本文中，我们表明，从特征变换的角度来看，判别降维是密切相关的现代CNN的一些常见的操作。具体来说，判别维数约简中的变换实际上等价于1×1卷积。此外，对变换权值的范数的约束（即，1 ×1卷积层的权重）和输入特征向量可以表示为通过重量衰减和批次归一化[17]，重新定义。我们将这些操作的组合称为神经判别性简化（NDDR）。因此，我们能够通过NDDR层将来自不同任务的原始单任务网络理想地，所提出的网络结构可以在CNN中端到端地训练，而无需任何特殊操作。值得注意的是，本文侧重于通用MTL的一般结构。所提出的NDDR层以一种新颖的方式结合了现有的CNN组件，其具有明确的数学可解释性，如区分性降维。此外，使用现有的CNN组件是可取的，以保证我们的方法的可扩展性，以各种国家的最先进的CNN架构，其中所提出的NDDR层可以以“即插即用”的方式使用本文的其余部分组织如下。首先，我们描述了NDDR层，并提出了一种新的NDDR-CNN及其变体NDDR-CNN-CNN，用于第二节中的MTL。3.第三章。之后，我们讨论了第二节的相关工作2，我们表明，我们的方法可以推广几个国家的最先进的方法，可以被视为我们的特殊情况。在第4节中，进行了消融分析，其中建议了我们网络中使用的超参数。在此基础上，在不同的网络结构和不同的任务集上进行实验。5，展示了我们提出的方法的良好性能和理想的推广性。我们在第二节中作总结发言。六、2. 相关作品各种计算机视觉任务受益于MTL [41]，例如检测[8，9，13，36，42-在[12，34，49]中研究了几个人脸相关任务，包括人脸地标检测、属性检测（如微笑和眼镜）、性别分类和人脸定位Yim等人使用面部对齐和重建作为面部识别的辅助任务[56]。序列数据的MTL也在[24]中进行了研究。最近，Kokkinos提出了一个UberNet，它可以同时处理大量的低、中、高级视觉任务[19]。基于CNN的MTL理论近年来也得到了很大的发展。Long和Wang提出了一种深度关系网络，以实现全连接层的特征共享[28]。从薄网络开始，提出了一种自上而下的逐层加宽方法，以自动确定要分割的层[29]。Yang和Hospedales在初始化时使用张量分解来共享MTL权重[55]。还研究了组合任务特定损失的权重，并提出了贝叶斯方法来预测这些权重[18]。十字绣网络使用可训练标量来融合（即，加权和）来自不同任务的相同级别中的层处的特征[31]。最近，水闸网络在每个任务的特征上预先定义了几个子空间，并学习权重以融合不同子空间的特征[40]。我们的方法也涉及到歧视性降维。判别降维技术的目标是通过学习保留大部分判别信息的低维嵌入来线性判别分析（LDA）是最常用的判别维数约简方法之一，其目的是通过最大似然估计来寻求最优投影矩阵。3207LL最小化类间方差，同时最小化类内方差[30]。此外，低级别层与神经判别维数减少（NDDR）层等操作度量学习[26]也可以被看作是一种区分具体地说，设Fi∈RN×H×W×C是输出fea-降维技术由网络中的网络引入[22]，1×1卷积已广泛应用于许多现代CNN架构中。图[14，16，23，46]。例如，它在ResNet中用于减少训练的权重数量，通过产生一个任务的中间层l的tures（以张量排列）i. 关于K个任务，根据通道维度连接来自它们的特征给出：F1=[F1，...， F K] ∈ RN×H×W×KC.（一）tleneck单元 还实现了1×1在特征金字塔网络中，在单个任务上融合分层特征（在不同的CNN级别中）[23]。注意我们不要声称1×1卷积是我们的创新。相反，我们使用1×1卷积和批量归一化判别降维学习一个反式的形成W，以减少输入特征的维数，同时保持大多数判别信息：Fi=F Wi，（2）和重量衰减的一种新的方式，这产生了一个NDDRll层.换句话说，我们将多任务特征融合范式表述为判别性降维问题，并使用由1×1卷积、批量归一化和权重分解组成的NDDR层来学习来自多个任务的特征嵌入现有CNN组件的使用确保了我们的方法以“即插即用”的方式扩展到各种最先进的CNN架构3. 方法在本节中，我们提出了一种新的方法来自动学习多任务CNN中分层特征融合的最佳结构代替在最后一个卷积层分裂以用于不同的任务特定的损失），我们考虑我们首先将判别维数降低与1×1卷积联系起来，并提出了NDDR层。然后，提出了一种新的多任务网络，即NDDR-CNN，其中NDDR层被用来连接原始的单任务网络。此外，一个变量-介绍 了 NDDR-CNN 的一 种新 算法 ，即 NDDR-CNN-ANN，它能够通过快捷连接将梯度直接路由到最后，我们给出了建议的网络的实施细节。3.1. NDDR层如前所述，我们的目标是利用从不同任务中学习到的分层特征。它不像最广泛使用的方法，该方法在最后一个卷积层上共享所有低（和中）层特征并分裂网络。为了做到这一点，我们首先根据通道尺寸连接来自不同任务的任务特定特征。然后，我们使用一种判别降维技术来减少特征通道，使得输出特征满足下一个CNN层的通道维度要求。我们指的是新的CNN其中Wi∈RKC×M，M

下载后可阅读完整内容，剩余1页未读，立即下载