7936ILSVRC监督ILSVRC自监督职前训练计划X源数据集ResNetHRNet模型架构X选择源模型集成的可移植性检验Andrea Agostinelli Jasper Uijlings Thomas Mensink Vittorio Ferrari谷歌研究{agostinelli，jrru，mensink，vittoferrari}@ google.com（第二节）第3.1节）图1.概述了我们预测源模型系综可转移性的方法我们从一个大型的预训练源模型池开始，并通过组合多个源模型来形成候选集合对于每个候选集合，我们预测目标数据集上的性能与有效的可转移性度量。我们的实验表明，这个指标与实际性能进行微调后的合奏目标数据集。因此，它可以用来选择最好的合奏没有昂贵的微调阶段。摘要我们解决了迁移学习中的集成选择问题：给定一个大的源模型池，我们希望选择一个模型集成，在对目标训练集进行微调后，在目标测试集上产生最佳性能。由于微调所有可能的集合在计算上是禁止的，我们的目标是使用计算有效的可转移性度量来预测目标数据集上的性能。我们提出了几个新的transferability指标，专为这项任务，并评估他们在一个具有挑战性的和现实的迁移学习设置se-mantic分割：我们创建了一个大型和多样化的源模型池，考虑17个源数据集，涵盖了各种各样的图像域，两种不同的架构，和两个预训练方案。给定该池，然后我们自动选择一个子集以形成在给定目标数据集上表现良好我们将我们的方法选择的集合与两个基线进行比较，这两个基线选择单个源模型，或者（1）来自与我们的方法相同的池平均超过17个目标数据集，我们分别以6.0%和2.5%的相对平均IoU优于这些基线1. 介绍在迁移学习中，我们希望重新使用在源任务上学习的知识来帮助学习目标任务。计算机视觉中最常见的迁移学习形式是在通用ILSVRC数据集上预训练单个源模型[3，14，26，31，33，38，59，80]，然后在目标数据集上对其进行微调然而，通常更具体的领域方法可以带来更好的结果[49，54，75]。因此，具有大量不同源模型的池是有益的，使得其包含适合于许多不同目标任务的那么问题就变成了：我们如何自动有效地为给定的目标任务选择好的源模型？最近，引入了可转移性指标来解决这个问题[4，44，55，65，66，76]。一般的目标是选择一个单一的源模型，在目标训练集上进行微调后，在目标测试集上产生最佳性能可转移性度量使我们能够有效地选择这个模型，而无需对目标训练集进行昂贵虽然以前的可移植性度量考虑选择一个单一的源模型，在本文中，我们的目标是选择一个子集包含多个源模型，形成一个合奏。集成是一种用于提高模型准确度、分布外稳健性和估计不确定性的通用技术[7，17，23，24，39，40，56，70]。毛皮-评估可转移性指标（第四、预测可转移性（第二节）3.2）目标训练集选择包围圈（第第五章）源模型合奏Enhancing meansIoU微调评价目标测试集预测可转移性7937N此外，通过聚合多个源模型，我们可以组合来自多个源数据集和图像域的知识，这可能有利于特定的目标任务。因此，在本文中，我们提出了几个设计用于集成选择的可转移性度量扩展以前的工作。为了评估系综选择，我们引入了一个实验装置。我们将语义分割视为一项任务，具有真正多样化的源模型池，因为我们在跨越各种图像领域的17个完整数据集上训练它们，同时还改变它们的模型架构和预训练方案（图1）。相比之下，以前的作品通常集中在图像分类[4，44，55，65，66，76]，考虑在较窄的范围内，大多数4个源数据集[44，55，65，76]，并且通常通过从单个实际数据集中采样不同的类子集来人工生成多个数据集[4，55，65，66]。概括起来，我们做了以下贡献：（1）我们设计了集成选择的可转移性度量(2)我们考虑一个具有挑战性的应用场景，具有巨大的和真正多样化的源模型池的语义分割(3)我们将我们的方法选择的集合与两个基线进行比较，这两个基线选择单个源模型，或者来自与我们的方法相同的池;或者来自包含大型源模型的池，每个模型都具有与集合相似的能力。平均超过17个目标数据集，我们分别以6.0%和2.5%的相对平均IoU优于这些基线5.2）。2. 相关工作迁移学习。 最常见的反式- 计算机视觉中的fer学习是在ILSVRC'12 [18，37]上预训练模型一些作品将其扩展到使用更大的源数据集，例如ImageNet 21 k（9 M图像），JFT-300 M（300 M图像）[18，37，52]或Open Images（1.7M图像）[75]。其他工作考虑自我监督的预训练，使未标记的源数据集的使用（例如，[12、13、30、34、43]）。一些研究深入探讨了迁移学习在何种情况下有效。Mensink等人[49]研究了具有截然不同的图像域和多个视觉任务的数据集之间的迁移学习Mustafa等人[51]研究了医学成像中的迁移学习。最后，Taskon- omy [78]建立了视觉任务之间的关系（例如，语义分割、深度预测等）。 在Taskonomy的成功之后，一些作品调查了视觉任务相关性是否可以预测[6，19，20，[61，62]而不是用蛮力计算[78]。只有少数的作品同时从多个源数据集进行迁移学习。 刘等[46]火车使用来自多个教师的知识的学生模型（即，源模型），这在存储器和计算上都是昂贵的。[60]第60话：我是谁？将多个源模型的参数转换为目标模型。这需要在训练期间将所有源模型存储在内存中，限制了可扩展性。相比之下，我们选择一个en-animals从一个大池的源模型在计算和内存效率的方式。可转让性最近，几篇论文介绍了可转移性度量。H-score [4]根据类间和类内方差衡量源模型特征对目标任务的区分度。LEEP [55]测量基于源模型预测构建的分类器在目标任务上的表现LEEP [44]在源模型特征之上训练高斯混合模型（GMM）。然后，它测量建立在这些GMM预测之上的分类器在目标任务上的表现。LogME [76]基于一个公式来估计目标任务的准确性，该公式集成了在源模型特征之上构建的所有可能的线性分类器OTCE [65]应用源模型从源和目标数据集中提取图像特征。然后利用这些特征之间的最优转换来计算领域差异和任务差异。最后，NCE [66]考虑了一种更严格的设置，其中源和目标数据集由相同的图像组成。他们的方法在源和目标标签之间使用条件熵，这避免了训练模型，因此计算效率很高。为了将我们的工作放在上下文中：（1）而不是选择一个单一的源模型[4，44，55，65，76]，我们做合奏选择，第(2)代替图像分类[4，44，55，65，66，76]，我们解决语义分割。（3）我们考虑的源数据集比以前的作品更多（17 vs最多4 [65]）。(4)我们考虑完整的数据集，而以前的工作通常从单个实际数据集中采样不同的类子集[4，55，65，66]。包围模型。集成机器学习模型是提高准确性的经典方法[7，17，24，29，39，42]，其中具有不同的模型通常很重要。最近，在不确定性估计和分布外鲁棒性的背景下研究了深度神经网络的集成[2，23，40，56]。3. 方法我们考虑语义分割的源模型集成选择问题。给定N个源模型和一个目标数据集，目标是选择一个源模型的集合，在对目标训练集进行微调后，该集合在目标测试集上产生最佳性能。由于微调所有可能的集合在计算上过于昂贵，我们使用计算上有效的可转移性度量来预测目标数据集上的性能秒3.1讨论了什么是一个好的源模型池，并描述了我们如何构建这个池。秒3.2描述了我们在语义分割任务中使用可转移性度量的设置。秒3.3描述了LEEP [55]，7938N#源数据集# pre-trainingschemes # modelarchitectures #源模型#候选人我们我们LEEP LogME OTCELEEPSec.5 秒 4[55][76][65][44]17 10-15 1 1 4 32 1-2 1 1 42 1-2 9 10 1 1368 15 9 10 4 4141K 455 9 10 4 41表1.比较我们的实验设置（见第二节）。 4和5）到以前的作品跨数据集源选择。我们从源数据集的数量、预训练方案和模型架构方面比较了源模型的多样性。最后一行表示给定目标数据集的池中的候选源模型（或在我们的情况下的集合）的数量对于[44，55，65，76]，我们考虑他们最大的源选择实验。一种用于单源选择的可转移性度量。我们在SEC中将此作为起点。3.4定义我们的用于集成选择的四个可转移性度量。3.1. 准备源模型我们希望创建一个包含大量源模型的池，原因有三：（1）这增加了对于任何给定的目标数据集，至少存在一个好的源模型的机会。(2)我们需要坏的源模型来验证我们的可转移性度量正确地选择好的源模型而丢弃坏的源模型。（3）一个群体只有在其个体成员是多样的（因此是互补的）时才能胜过个体成员[5，17，24，29，39]。因此，我们通过三种方式整合多样性来构建源模型池：我们使用17个不同的源数据集，两种模型架构和两种预训练策略。选项卡. 1总结了此设置与相关工作的比较。源数据集。图像域是影响迁移学习是否成功的最重要因素之一[49，54，57]，因此我们希望覆盖广泛的图像域。此外，执行迁移学习最自然的方式是将每个数据集作为一个整体来考虑（而不是对数据集进行二次采样以模拟数据集变化[4，55，65，66]）。因此，我们采用[49]的现实跨数据集迁移学习设置进行语义分割2）。虽然这种设置在[49]中定义，但该工作没有探索任何可转移性度量。模型架构。我们考虑两种语义分割架构，每个架构都有一个主干和一个线性分类层。作为第一个主干，我们选择HR-NetV 2 [69]，这是ResNet的高分辨率替代品。它以不同的分辨率维护并行特征表示，这有助于密集预测任务[41，49，69]。由于集成包含多个模型，我们选择了一个轻量级版本：HRNetV 2-W28（23M参数）。作为第二个主干，我们采用了ResNet50的高分辨率变体[32]。首先，我们删除了最后两个ResNet块中的下采样操作，而在-表2.本文中使用的语义分割数据集增加扩张率[73]。其次，我们使用具有不同膨胀率的5个平行无环卷积添加了一个上采样层，这扩大了滤波器的视野，而不会影响空间分辨率[11]。最后，我们删除了最后一个ResNet块的最后四层，使这个主干具有与HRNetV 2-W28相同的参数数（我们称这个模型为ResNet 23 M）。由于我们构建的所有集成都包含相同数量的源模型，这确保了它们也具有相同数量的参数，从而可以在它们之间进行公平的比较。培训前计划。在ILSVRC'12上进行完全监督的预训练此外，自我监督的预训练正在取得快速进展，甚至可以超过完全监督的预训练[34，43]。为了最大化模型多样性，我们通过使用两种类型的ILSVRC'12预训练权重创建每个源模型的两个变体训练源模型。我们有17个源数据集，两个架构和两个预训练方案。我们为每个组合训练这些模型只训练一次，并在所有实验中重复使用。3.2. 设置语义分割在大多数以前的作品[4，44，55，65，66，76]中，转移能力度量主要应用于图像分类，其中图像与一个标签相关联相反，在语义分割中，我们在像素级进行预测，因此我们将每个像素xi及其地面真值标签yi视为单独的示例（xi，yi）。语义分割中的数据点数量为比图像分类高大约6个数量级。为了降低计算成本，我们采样1000像素每幅图像来计算每个可转移性度量。此外，语义分割数据集通常具有较大的类不平衡性，这会对结果产生负面影响。因此，我们对像素进行采样，与其在目标数据集中的类别标签的频率成反比。数据集域#类#火车图像Pascal Context [50]Pascal VOC [22]居民消费60225K10KADE20K [79]消费者15020K[10，36，45]第二季消费者134118KKITTI [1]驱动30150CamVid [8]驱动23367城市景观[15]驱动333K印度驾驶数据集（IDD）[67]驱动357K美国（公告牌百强单曲榜）[77]驱动207K[53]第五十三话驱动6618KISPRS [58]空中64KiSAID [71，74]空中1627K[63]第六十三话室内375K[第16话]室内4119KSUIM [35]水下81525vKITTI 2 [9，25]综合驱动943KvGallery [72]合成室内844K7939YΣ1−.YΣ1.ΣSDYZZ|∈ D∈ Y ×Zˆ|DS我 我我S我S我 我3.3. LEEP作为单源可转移性度量我们想要一个可转移性度量，适合于选择语义分割模型的集合。我们从LEEP [55]开始，它基于概率分布，有几个原因。首先，与通常的图像分类和单源选择相比，每像素预测和集合选择都增加了计算和LEEP算法计算量小，只需要对目标训练集进行一次前向传递分布，这对于N个模型的大池是不可行的。相反，我们假设源模型是独立的，产生一个简化的联合条件分布：SP（y|z1，z2，. zS）P（y|（3）s=1我们通过应用（3）来扩展（2）以定义一个新的度量：通过源模型，无需额外的培训。其次，LEEP是内存高效的，因为它存储预测而不是特征，而不是替代指标[4，65，76]。nMS LEEP = n i=1日志Ss=1.zs<$∈ZsP（yi|zs）ps（zs|xi）最后，从LEEP出发，我们可以推导出多源设置的清晰的数学公式。LEEP计算单个源模型s和目标训练集Dt之间的可转移性分数，n= ni=1Ss=1logps（yi|xi）=100%=1LEEPs（四）训练样本（xi，yi）t。将s应用于目标样本，对于源标签空间中的每个源类别z，. LEEP的核心理念将源标签空间中的预测与目标标签空间中的预测相关联。 为此，我们将s应用于t，然后计算经验联合分布P（y，z）测量所有标签对（y，z）。接下来，我们可以计算经验条件分布-因此，MS-LEEP可以被视为根据单模型度量LEEP采取最佳源这表明，其他现有的可转移性度量[4，44，66，76]可以类似地适用于集成选择。Encourage LEEP（E-LEEP）. 我们现在从不同的角度来处理这个问题，强调我们要预测模型集合的传输性能。因此，我们认为集合预测是平均的。b）计算P（y|z）作为P（y，z）. 给定源模型s，我们P（z）S个人模型预测的年龄。考虑（1）作为单源预测器ps（yi|（1）我们可以构造现 在 可 以 构 建 一 个 分 类 器 ， 称 为 E 期 望 E 预 测 器（EEP）：p（y|x）=P（y|z）p（z|（x）（1）z∈Z这里ps（yi xi）是模型s分配给像素xi处的地面实况标签yi的概率。LEEP被定义为Dt上预测值的对数平均值：n预测的合奏作为1ΣSs=1通过相应地重新公式化（2），我们得到一个新的度量：1ΣLEEP= 1log p（y |x）（2）i=1E−LEEP= ni=1 logpen s（yi|（六）我们可以看到LEEP测量了分类器EEP在t上执行，其中更好的可转移性与更高的LEEP分数相关联。3.4. 多源选择可转移性度量我们设计了四个适用于多源选择的可转移性度量我们所有的方法都基于EEP预测器（1），它为建立源模型之间的关系提供了数学基础。在所有情况下，我们的集成包含固定数量S的源模型。多源LEEP（MS-LEEP）。将LEEP扩展到多源设置的一种自然方法是计算S源模型上的联合概率分布，Snp en s（yi|xi）=ps（yi|（五）n7940TP+FP+FN和总和：E-LEEP使用平均预测的对数，而MS-LEEP使用对数预测的平均值。你好虽然MS-LEEP和E-LEEP估计像素分类准确度，但语义分割性能通常以Intersection-over-Union（IoU）来衡量。 在实践中，对于IoU，我们计算真阳性（TP），假阳性（FP），假阴性（FN），并计算TP。IoU是按类单独计算的，然后平均为一个指标（平均IoU）。为了设计一个更直接地接近平均IoU的可转移性度量，我们首先使用集成预测器（5）来计算目标训练集dictions，其中每个模型在其自己的标签空间中进行预测但这需要计算联合概率yi=arg maxpy∈Yen s（y|（七）7941|. （图）。因此，计算效率是一个重要的·|-|s=1Σ××其中y现在在整个目标标签空间上迭代（与作为一个地面实况标签yi相反）。最后，我们使用这些预测来计算在IoU-EEP可转移性度量下的平均IoU。该度量也较少依赖于源的概率输出分类器通常校准不良[27]，因此可能会对度量产生负面影响。SoftIoU-EEP。在 等 式 中 应用arg max。 （7）消除校准误差。 但它也丢失了概率分布pens（x i）中的细粒度信息，这可能有助于对类似模型进行排名。因此，我们建议引入对于每个像素xi，我们不计算True Positives，而是聚合它们的置信度pens（yi xi）（其中yi是该像素的地面真值标签因此，正确预测的置信度越高，预测的可转移性就越高。我们通过聚合1个pens（yi xi）来对误差（FP和FN）进行模拟。由于误差在分母中，因此它们的置信度越高，预测的可转移性越低。4. 评估可转移性指标4.1. 实验装置评估可移植性度量的标准过程是考虑给定目标数据集的几个候选源模型，并测量它们之间的相关性。(A)可转移性得分和（B）在目标训练集上对源模型进行微调后，目标测试集上的实际性能[44，55，65，76]。在本文中，我们考虑多个候选源模型集成为一个给定的目标数据集。为了测量所需的相关性，我们计算可转移性，如第二节所示。3.4，我们还需要计算目标数据集上每个集合的实际性能。考虑系综会带来额外的计算挑战。从N个源模型的池 中 出来 的 S个 源 模型 的 可 能 集 合的 数 量 非 常 大（bino-NS在我们的实验设计中。有效地测量整体的实际性能。给定一个候选集合，我们单独微调每个成员模型，并将其单独应用于目标测试集。然后，我们将其预测的平均值作为集合预测。最后，我们以平均IoU来衡量实际的集成性能。通过单独考虑每个合奏成员的预测，我们可以在合奏中重用它们。因此，我们只需要在目标测试样本上为每个模型运行一次推理，而不管模型参与的集成数量。虽然也可以将每个集合作为一个整体进行微调，但这对于该实验来说在计算上太昂贵我们在SEC的一个不同的设置中这样做。五、包围尺寸。我们把模型的数量固定在一个集合中-B =S= 3我们发现S=3是一个很好的折衷方案，可以从多样化的集合中受益，同时限制整体计算（更多细节请参见附录。垫）。子采样候选源模型。 对于给定的目标数据集，候选源模型的总数是64（68减去在该目标上训练的4）。我们减少了候选人的数量，以获得两种类型的加速。首先，这需要在目标训练集上微调较少的源模型。但更重要的是，候选系综的数量随N而析因地增长：对于N=64和S=3，有41k个可能的系综。虽然这对于计算我们的可转移性指标来说不是问题，但在目标测试集上评估41k集成的性能在计算上是禁止的。因此，我们如下所述限制N=15，产生455个候选系综。对于每个目标数据集，我们对15个源模型进行采样，如下所示。由于最终目标是选择一个高性能的引擎，因此我们为该目标选择了5个良好的源模型。我们首先计算来自完整池（N=64）的3个源模型的所有集合的所有可转移性度量。然后，我们在所有指标中选择排名最高的集合中的5个最常见的模型由于我们想评估区分好的和坏的源的能力，我们随机包括另外10个源模型。目标数据集。我们考虑五个目标数据集：Cam- vid[8]，ISPRS [58]，vKITTI 2 [9]，KITTI [1]和PascalVOC [21]。由于迁移学习在训练图像有限的情况下特别有趣[37，49，52]，我们遵循[49]并将每个目标训练集限制为150张图像。相关性测量：加权Kendall Tau。当可移植性度量可以根据候选源模型（或集合）的实际性能对其进行排序时，它是有用的。准确的预测性能值不太重要。因此，我们使用秩相关性度量[44，49]。此外，由于在实践中我们主要关心选择一个高性能的合奏，我们遵循[76]并使用加权版本的Kendallτ，考虑到排名靠前的项目比排名靠后的项目更重要[68]。基线可转移性度量。由于没有先前提出的源模型ensem- bles的可转移性度量，我们引入了一个简单的基线。它基于三个因素：（1）在源测试集上评估的源模型性能Ps，（2）根据图像数量的源数据集大小Ns，以及（3）通过源类的数量Cc测量的源数据集丰富度.对于包含S个源模型的候选集合，我们将该基线计算为：BASE=S（Ps Ns Cs）。 该基线是目标不可知的，有 利 于 广 泛 的 源 数 据 集 （ COCO ， ADE 20 k ，Mapillary）和最佳模型架构（HRNetV 2- W28，预训练的完全监督;因为它通常导致更高的Ps）。7942·|Camvid463.503.754.004.25遥感学会0.90.88：0.694.500.71.51.20.62.02.53.01.31.40.701.50.50.40.40.30.40.30.20.10.30.20.10.00.500.55：0.50：0.690.30.300.250.200.150.100.40 0.42 0.440.46Camvid ISPRS vKITTI 2 KITTI PVOC目标数据集图3.比较我们的可转移性指标，超过5个目标数据集。我们显示 了 目 标 测 试 集 上 的 度 量 和 实 际 平 均 IoU 之 间 的 加 权KendallSoftIoU-EEP整体表现最好。选项卡. 3 .第三章。尽管每种相关性度量都基于不同的数学假设，但图2.预测的可转移性之间的关系（y轴）以及目标测试集（5个目标数据集中的2个）上的实际平均IoU性能（x轴）。每个图将455个候选集合显示为单独的点，并且还报告相应的加权Kendall这些分数通常很高，证明了我们的可转移性指标的成功。4.2. 结果图2定性地显示了两个目标数据集上所有可转移性指标的预测可转移性和实际平均IoU之间的关系在所有实验中，我们都看到了良好的正相关性，这表明我们的指标工作得很好。我们还看到，集成性能变化很大，这取决于所使用的源，证明了具有良好的集成选择机制的量化，图3报告加权肯德尔的τ用于我们的可转移性指标和基线（对于所有5个目标数据集）。我们所有的可转移性指标通常都能获得高分，在每个目标数据集上都显著优于基线。在我们的指标中，直接LEEP变体MS-LEEP和E-LEEP表现同样出色。接下来，IoU-EEP表现最差，这表明考虑概率分布Pens（xi）很重要。最后，SoftIoU-EEP表现最好，证实了直接近似目标测试集的性能度量（平均IoU）的好处。平均而言，SoftIoU-EEP的τ为69.3%，优于基线20.3%，MS-LEEP为3.1%，E-LEEP为3.6%，IoU-EEP增长8.4%。由于单源可转移性指标的相关工作有时会报告标准的Kendallτ[44]或（线性）Pearson系数[44，55，65]，我们也在目标数据集和可转移性度量保持不变。5. 评估集成选择5.1. 实验装置我们现在转向集成选择：我们使用我们最好的可转移性度量SoftIoU-EEP来选择具有最高预测可转移性的集成。我们在目标训练集上微调这个集合，并在目标测试集上进行评估每个目标数据集只选择一个集合，在其上执行昂贵的微调和评估，使我们能够扩展我们的实验设置，超出我们在第二节所做的。4.第一章我们现在使用所有N=64个源模型作为候选模型，而不是使用N=15。此外，而不是仅仅微调单个合奏成员，我们增加了一个额外的合奏特定的微调步骤。我们比较了两个基线，它们选择了一个单一的源模型。改进了合奏的实际表现。给定一个集合，我们首先在目标训练集上单独微调每个成员，如第二节所示。4.1.之后，我们执行额外的集合特定的微调，以通过重新加权其成员的类预测来改进它。具体来说，我们冻结每个成员的主干，并在其上附加一个光头，该光头为每个类分配权重和偏差，然后将其预测平均为单个集合预测。然后，我们在目标训练集上微调这个集合的光头虽然由该头部引入的附加参数的总数取决于目标类的数量，但实际上它在144和2700之间，与组成集合的模型中的参数总数相比可以忽略不计包围尺寸。 我们在Sec中设置S = 3。4.第一章：0.61：0.54：0.59：0.68基地MS-LEEPE-LEEPIoU EEP软IoU EEPSoftIoU-EEPE-LEEPIoU-EEPMS-LEEP加权肯德尔斯7943测量方法加权Kendall肯德尔基础MS E IoU sIoUPearson基础MS E IoU sIoUCamvid0.510.690.700.500.680.300.560.550.370.510.460.740.730.560.70遥感学会0.450.610.540.590.680.220.410.370.410.440.290.600.550.590.63vKITTI20.560.570.580.600.600.380.490.510.510.530.540.660.670.620.70KITTI0.220.620.650.540.660.170.500.540.420.530.250.690.730.620.74PVOC0.710.810.820.810.830.420.590.610.580.610.660.840.830.730.81平均0.490.660.660.610.690.300.510.520.460.520.440.710.700.620.72表3. 5个不同目标数据集的相关性度量，通过将度量预测的可转移性与目标测试集上的实际平均IoU进行比较获得。方法快捷键指：（BASE=基线）、（MS=MS-LEEP）、（E=E-LEEP）、（IoU=IoU-EEP）、（sIoU=SoftIoU-EEP）。SoftIoU-EEP整体表现最好。参见第4.1了解有关设置的更多详细信息。目标数据集。我们现在考虑Tab中的17个数据集中的每一个。2作为目标数据集（而不是第5节中的5）。4）.在Sec。4，我们在[49]定义的低数据范围内研究迁移学习（即每个数据集有150个目标训练图像，COCO和ADE 20k有1000个，因为它们包含许多类）。基线B1：选择单个源模型。我们测试了与选择单个源模型的标准相比，聚合多个源模型是否有利于迁移学习[44，55，65，76]。为此，对于给定的目标数据集，我们使用与集成选择相同的64个源模型池然后，我们根据LEEP [55]选择具有最高预测可转移性最后，我们在目标训练集上对其进行微调，并在目标测试集上进行评估。基线B1L：选择单个大型源模型。我们我还提出了一个更强的基线，它选择了一个单一的大模型，参数数量与我们的合奏之一相同。S=3的系综具有69 M个参数，因为HRNetV 2-W28和ResNet 23 M都具有23 M个参数。根据初步实验，我们使用了最好的模型：HRNetV 2-W 48在ILSVRC'12上预训练完全监督它为语义分割提供了出色的性能[69]，也用于[41，49]。对于这个基线，我们需要构建一个新的大型源模型池为此，我们训练了17个大型模型，每个源数据集一个（Tab。2）。然后，给定一个目标数据集，我们使用LEEP [55]选择一个模型（从16个模型中，不包括目标数据集）。5.2. 结果与基线B1和B1L的比较。我们首先考虑由我们的可转移性度量SoftIoU-EEP选择的集合在基线B1上所做的改进。平均而言，在所有17个数据集中，从同一池（B1）中选择一个集合而不是单个模型可以将结果提高相对+6.0%的平均IoU。这表明我们池中的源模型是互补的，将几个模型组合成一个整体会带来明显的好处。接下来，我们在图4中显示，从我们的池中选择集合甚至优于基线B1L，基线B1L从较大模型的池中选择单个模型，每个模型具有图4.每个目标测试集上的相对平均IoU增益，由我们的SoftIoU-EEP度量选择的集合在基线B1 L上进行。为了清楚起见，我们将0垂直线设置为对应于B1L的性能。在所有目标数据集上，平均改进为2.5%。我们没有显式显示基线B1，因为它的性能比B1L差（讨论请参见正文）。容量类似于我们的一个合奏（+2.5%相对平均IoU）。当查看单个目标数据集时，选定的集合在其中10个中比B1L提高了2%以上。相比之下，B1L仅优于合奏一次（在Pascal Context上）。我们的结论是，选择一个引擎带来了坚实的精度优势，选择一个单一的模型，即使在控制总容量。哪些多样性因素更重要？通常，集成受益于其成员模型的预测多样性[5，17，28，47]。为了了解哪些差异因素在我们的迁移学习环境中是重要的（第二节）。3.1），Fig. 图5显示了SoftIoU-EEP选择哪些源模型作为每个目标数据集的获胜集合的一部分我们观察到以下模式：（1）一些目标数据集被多个源数据集很好地覆盖。对于这些情况，我们的度量通过选择在这些不同数据集上训练的源模型来生成多样性。例如，对于ScanNet（室内）作为目标，我们的指标选择在Sun（室内）、COCO和7944来 源 A 来源B来源CABC包围KITTIScannet孙PContextiSAIDADE20KCocoMapillary市目标数据集图5.对于每个目标数据集（x轴），我们显示了SoftIoU-EEP选择的集合中的3个源模型。当多个源数据集覆盖目标的图像域时，我们的度量通过选择在这些不同的源数据集上训练的模型来生成多样性当目标存在单一的强源数据集时，我们的度量仅选择此源数据集，而是通过不同的架构和预训练方案来生成多样性（参见驱动域的目标）。注意：我们不考虑在与目标相同的数据集上训练的源模型（灰色单元格）。ADE20K和COCO、ADE20K一样，包含了很多室内图像。在这些情况下，选择的主干是使用完全监督的预训练的HRNetV 2- W28，这通常是性能最好的主干（选择的所有源模型的76%）。(2)对于其他目标数据集，存在一个强大的源数据集，其本身已经覆盖了目标域中的大多数例如，Mapillary是驾驶领域中最大的数据集，涵盖了所有内容。我们的方法很好地选择了Mapillary作为所有目标驾驶数据集的唯一源数据集（ Cityscapes ， IDD ， BDD ， Camvid ， vKITTI 2 和KITTI作为唯一的第二个源- Cityscapes）。在这些情况下，我们的度量通过在选定的集合中改变模型架构和预训练方案来(3)最常选择的源数据集具有更多的训练样本、更多的标签和更大的图像多样性（Mapillary，扫描ADE20KMapillary孙可可PContextISPRS IDD城市KITTISUIMvKITTI2BDDCamvidPVOCvGallery0.2 0.3 0.4 0.5 0.6 0.7平均IoUCOCO，ADE20K）。这些观察结果与早期的工作一致，这些工作显示了域内源图像[49，54，75]和大而宽的源集合[37，48，49，64]的好处。包围与其成员图6我们将所选集合的平均IoU与其成员模型的平均IoU进行比较。平均而言，该组合比最好的成员提高了4.6%，比最差的成员提高了18.6%。这些改进表明，被选为获奖合奏的一部分的来源确实是多样化的（否则合奏不可能超过其最好的成员）。因此，我们得出结论，我们的可转移性度量是很好的选择一组不同的源模型。最后，为了评估学习组合模型预测的重要性，我们重新评估了结果，但现在使用模型预测的简单未加权平均值这仍然比最好的单个合奏成员高出+2.9%。因此，我们的改进-图6. 获胜组合与其组件源模型相比。部分是真正由于集成模型（无论是固定的组合器头，或与一个学习）。6. 结论我们首次设计了用于集成选择的可转移性度量。我们在一个具有挑战性和现实性的语义分割迁移学习设置中对它们进行了评估，其中包括17个源数据集，涵盖了各种图像领域，两个模型架构和两个预训练方案。我们的实验表明，我们的可转移性指标排名相关以及与实际的迁移学习的per-person。此外，我们的最佳度量选择了一个性能优于两个基线的集合，这两个基线选择了一个单一的源模型（即使在均衡容量之后）。HRNet监督ResNet监督HRNet-SelfSupervisedResNet-SelfSupervised源数据集目标数据集7945引用[1] Hassan Alhaija ， Siva Mustikovela ， Lars Mescheder ，Andreas Geiger，and Carsten Rother.增强现实满足计算机视觉：城市驾驶场景的高效数据生成。InternationalJournal of Computer Vision，2018。三、五[2] James Urquhart Allingham，Florian Wenzel，Zelda E Mariet，Basil Mustafa，Joan Puigcerver，Neil Houlsby，Ghas-senJerfel，VincentFortuin，BalajiLakshminarayanan，Jasper Snoek，Dustin Tran，CarlosRiquelme，and Rodolphe Jenatton.稀疏MoE满足有效的合奏。在arXiv，2021年。2[3] Hossein Azizpour 、 Ali Sharif Razavian 、 JosephineSullivan、Atsuto Maki和Stefan Carlsson。通用卷积表示的可传递性因素。IEEE Trans. on PAMI，2015. 1[4] Yajie Bao ，Yang Li ，Shao-Lun Huang ，Lin Zhang，Lizhong Zheng，Amir Zamir，and Leonidas Guibas.任务迁移学习中迁移性的信息论分析在ICIP，2019年。一、二、三、四[5] 卞亦君和陈欢欢。什么时候多样性有助于分类集成的泛化？IEEE Transactions on Cybernetics，2021。三、七[6] 丹尼尔·博里亚，罗希特·米塔帕利，朱迪·霍夫曼。可扩展的 多样 化模 型选 择， 用于可 访问 的迁 移学 习。Advances in Neural Information Processing Systems，34，2021。2[7] 利奥·布莱曼装袋预测器。机器学习，1996年。一、二[8] G. J. Brostow，J. Fauzur和R.西波拉视频中的语义对象类：高清晰度地面实况数据库。帕特Rec. Letters，30（2）：88-97，2009. 三、五[9] YohannCabon，NailaMurray，andMartinHumenberger.2.第二章Arxiv，2020年。三、五[10] Holger Caesar Jasper Uijlings 和 Vittorio Ferrari COCO-Stuff：上下文中的东西类。 在CVPR，2018年。 3[11] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Trans. on PAMI，2017. 3[12] 陈婷，西蒙·科恩布里斯，穆罕默德·诺鲁齐，和葛offrey Hinton.视觉表征对比学习的一个简单框架。在ICML，2020。二、三[13] Xinlei Chen，Kaiming He.探索简单的连体表示学习。在CVPR，2021年。2[14] 布莱恩·朱，瓦什什特·马德哈万，奥斯卡·贝邦，朱迪·霍夫曼
我的内容管理
展开
