语义分割中的无监督领域自适应的鲁棒性研究

9194语义分割中无监督领域自适应的鲁棒性研究Jinyu Yang1、Chunyuan Li1、Weizhi An1、Hehuan Ma1、Yuzhi Guo1、Yu Rong2、Peilin Zhao2、Junzhou Huang11德克萨斯大学阿灵顿分校、2腾讯人工智能实验室{jinyu.yang，chunyuan.li，weizhi.an，hehuan.ma，yuzhi.guo} @ mavs.uta.eduyu.hotmail.com，masonzhao@tencent.comjzhuang@uta.edu摘要最近的研究表明，深度神经网络对对抗性示例是脆弱的，即，具有轻微但有意的扰动的输入被网络错误地分类。这种脆弱性使得一些安全相关的应用程序（例如，自动驾驶汽车中的语义分割），并引发了对模型可靠性的极大关注第一次，我们全面评估了现有的UDA方法的鲁棒性，并提出了一个强大的UDA方法。它植根于两个观察：i）UDA方法在语义分割中的鲁棒性仍然未被探索，这在该领域中引起了安全性问题;以及旋转和拼图）有利于分类和识别任务中的模型鲁棒性这些观察促使我们提出对抗性自我监督UDA（或ASSUDA），其通过输出空间中的对比损失来对常用基准的广泛实证研究表明，ASSUDA能够抵抗对抗性攻击。1. 介绍语义分割旨在预测给定图像中每个像素的语义标签，这在自动驾驶[19]和医疗诊断[28]中起着重要作用然而，逐像素标记是极其耗时且劳动密集的。例如，需要90分钟来注释Cityscapes数据集的单个图像[6]。虽然具有免费可用标签的合成数据集[29，30]为模型训练提供了机会，但在合成数据上训练的模型在将其直接应用于感兴趣的真实数据时会遭受显着的受无监督域自适应（UDA）在图像分类中的成功启发，近年来提出了各种用于语义分割的UDA方法这些方法的关键思想是通过最小化源域和目标域之间的边缘分布距离来学习域不变表示[15]，调整结构化输出空间[38，5]，或者通过图像到图像的转换来减少外观差异[1，51，18]。另一种替代方案是通过自训练明确地探索来自目标域的监督信号。关键思想是交替地在目标数据上生成伪标签，并使用这些标签重新训练模型。大多数现有的最先进的UDA方法在语义分割依赖于这种策略，并表现出显着的性能改善。[54、18、48、44、31]。然而，上述UDA方法的关键问题之一是它们可能易受对抗性攻击。换句话说，UDA模型的性能可能在不明显的扰动下显著降低不幸的是，UDA方法的鲁棒性在文献中仍然很大程度上未被探索。随着UDA方法在安全相关领域的应用越来越广泛，这些方法鲁棒性的不足导致了大量的安全问题。例如，即使是交通标志上的小幅度扰动也可能对自动驾驶汽车造成灾难性后果[9，33]，例如危及生命的事故。自监督学习（SSL）旨在学习视觉任务的更多可转移和可推广的特征（例如分类和识别）[8，10，12，4]。SSL的关键是设计借口任务，例如旋转预测，自拍和拼图，以获得未标记数据上的自导出监督信号最近的研究表明，SSL在提高模型鲁棒性和不确定性方面是有效的[13]。然而，通常使用的借口任务被设计为捕获给定图像或图像块的全局表示。这样的借口任务无法提供关键的监督信号-9195nals用于需要细粒度或像素级表示的分割任务[49]。在本文中，我们首先进行了全面的研究，以评估现有的UDA方法在语义分割的鲁棒性我们的研究结果表明，这些方法可以很容易地愚弄小扰动，并显示出显着的性能下降。为了解决这个问题，我们引入了一个新的UDA方法称为ASSUDA鲁棒地适应领域知识的城市场景语义分割。我们方法的关键见解是利用对抗性示例的正则化能力。具体来说，我们提出了对抗性自我监督，通过输出空间中的对比损失来最大化干净图像与其对抗性示例之间的一致性。对抗性示例旨在i）为未标记的目标数据提供细粒度的监督信号，以便可以学习更多可转移和可推广的特征; ii）通过利用对抗性训练和自我监督来提高我们的模型对对抗性攻击的鲁棒性我们的主要贡献可以概括为i）据我们所知，本文首次系统地研究了语义分割中现有的UDA方法如何容易受到对抗性攻击。我们认为这项研究提供了新的见解，这一领域：ii）我们提出了一个新的UDA方法，利用对抗训练和自我监督，以提高模型的鲁棒性; iii）全面的实证研究证明了我们的方法在两个基准设置上对对抗性攻击的鲁棒性，即，”GTA5 to Cityscapes” and《城市风景2. 相关工作无监督域自适应无监督域自适应（UDA）是指没有标签可用于目标域的场景在过去的几年中，提出了各种UDA方法用于语义分割，其可以主要概括为三个流：i）通过直接最小化两个域之间的表示距离来适应域不变特征[15，53]; ii）通过将图像从源域平移到目标域来对齐像素空间[1，25]; iii）对齐结构化输出空间，这是受到源输出和目标输出在结构布局方面具有实质相似性的事实的启发[38]。然而，简单地对齐跨域分布在传递用于语义分割的像素级领域知识方面具有有限的能力。为了解决这个问题，最近的研究将自我训练整合到现有的UDA框架中，并展示了最先进的性能[54，18，48，44]。我们的方法，而不是诉诸于自我监督的整合，ING对比学习到现有的UDA方法。该策略具有两个优点：i）提供对目标域的监督，这被证明对以下是鲁棒的：标签损坏; ii）鼓励模型学习更多可转移和鲁棒的特征。另一个主要的区别是，我们的方法主要集中在提高模型对对抗性攻击的鲁棒性，这是被现有的UDA方法所忽视的自我监督学习自我监督的目的是通过从数据本身获得免费的监督来利用大量未标记的数据。这通常通过训练自我监督任务（也称为，借口任务），即，预训练微调和多任务学习。具体地，预训练微调首先对借口任务执行预训练，然后对下游任务进行微调。相比之下，多任务学习同时优化借口任务和下游我们的方法属于后者，其中下游任务是预测目标域的分割标签。为了通过自我监督学习可转移和可概括的特征，必须设计针对下游任务的借口任务。常用的借口任务包括范例[8]、旋转[10]、预测两个随机补丁之间的相对位置[7]和拼图[26]。受此启发，最近的UDA方法将自我监督引入到分割自适应中，以学习域不变特征表示[43，35]。虽然这些常用的借口任务有助于跨域特征对齐，但它们主要被设计为捕获全局特征，因此在学习语义分割中必不可少的细粒度表示方面具有有限的能力相比之下，本文提出使用对抗性示例来构建借口任务。具体来说，我们通过输出空间中的对比损失来最大化每个图像与其对抗示例之间的一致性。这与在潜在空间中执行对比学习的[4]不同。此外，我们的方法不是专注于单域任务[14，16]，而是针对UDA环境进行定制，因此，i）鼓励我们的方法学习更多的可转移特征，这些特征是域不变的和细粒度的; ii）训练的模型对标记腐败和对抗性攻击更鲁棒。另一个密切相关的工作是[46]，它与我们分享了类似的精神，但有明显的区别：i）而不是扰动中间特征映射，我们对输入图像进行扰动;ii）我们的目标是提高模型的鲁棒性，而不是在干净图像上的分割精度。对抗性攻击先前的研究表明，对抗性攻击通常在机器学习方法中观察到，例如SVM [2]和逻辑回归[22]。最近的出版物表明，神经网络也非常容易受到对抗性扰动的影响[36，11]。更糟糕的是，对抗性攻击被证明可以在不同的模型之间转移[37]，即，生成的对抗性示例，9196X {x}·LL·LL←SSSi=1j=1xη∈S图1.BDL [18]在“GTA5 to Cityscapes”上的鲁棒性研究，（A）传统范例使用干净的测试数据来评估BDL的性能;（B）我们使用PSPNet作为代理模型来生成扰动的测试数据，然后将其用于评估BDL;（C）BDL预测的干净图像及其分割输出;（D），（E）和（F）表示（C）的扰动图像，其中ε = 0。1，ε = 0。25，且ε = 0。5，分别与他们的BDL预测。虽然这些扰动是不明显的，但它们可以很容易地欺骗BDL，从而导致显著的性能下降。字典的准确性具体来说，我们的方法利用了对抗性训练和自我监督，从而使我们能够生成更强大和更可推广的特征。3.1. 初步语义分割中的UDA考虑语义分割中的UDA问题，其中标记源定义域X {（x（i），y（i））}ns 和未标记的靶结构域扰动试验数据生成三组扰动数据（j）nt不给出了我们的目标是学习一个分割=0。1，ε= 0。25，且ε= 0。5所示。攻击一个特定的模型对其他模型也是有害的为了充分理解深度神经网络（DNN）中的对抗性攻击具体来说，[11]提出了一种快速梯度符号方法（FGSM），只需 一 个 梯 度 步 骤 即 可 有 效 地 生 成 对 抗 性 示 例 。DeepFool [24]通过迭代线性化图像分类器来生成最小扰动。通过利用差分进化，[34]使我们能够生成一个像素的对抗扰动来准确地攻击DNN。与上述研究不同的是，这些研究的重点是...模型fθC（），其保证在目标域上的准确预测。形式上，典型UDA模型的损失函数定义为：Lseg（xs，ys;θC）+αLdis（xs，xt），（1）其中SEG是典型的分割目标，不确定域距离。 最常用的dis是对抗性损失adv，其通过主鉴别器DθD（）[15，1，38]鼓励区分性和域不变特征表示，其形式化为：为了创建对抗性攻击，我们的方法使用对抗性示例为UDA模型构建借口任务，并Ladv（xs，xt;θC，θD）=E[logDθD（fθC（xs））]+E[log（1−DθD（fθC（xt）]（二）进而提高模型的鲁棒性。这是因为一个干净的图像和它的对抗性示例应该有相同的分割输出。因此，我们可以免费获得监督，并鼓励我们的方法学习分割任务的判别表示。3. 方法我们首先简要回顾了UDA、对抗训练和自我监督的初步情况。然后，我们进行了首次实证研究，以表明现有的UDA方法容易受到对抗性攻击，这引起了人们对这些方法在安全关键领域的应用的极大关注为了解决这个问题，我们提出了一种新的域自适应方法称为ASSUDA，以提高模型的鲁棒性，而不满足太多的预对抗训练回想一下，普通对抗训练的目标是：arg minE（x，y）D[maxL（fθ（x+n），y）]（3）其中，S是所有已知的扰动，x+η是具有扰动η的x的一个附加示例。为了获得η，最常用的攻击方法是FGSM [11]：η=sign（xL（fθ（x），y）），（4）其中ε是扰动的幅度。生成的广告示例x~是人类无法感知的，但可以容易地欺骗深度神经网络。最近的研究进一步证明，仅在对抗性示例上训练模型可以提高模型一高mIoUBCDPSPNet低mIoUEF摄动表1.预训练BDL在干净测试数据上的性能与不基地ϵGTA5城市SYNTHIA到城市VGG160.10.250.541.3 →30.541.3 →14.641.3 →7.1039.0 →29.339.0 →13.639.0 →5.90ResNet1010.10.250.548.5 →36.248.5 →19.948.5 →6.5051.4 →41.251.4 →26.651.4 →11.09197的鲁棒性[21]。9198·XXS不i=1S不S不i=13.2. UDA方法尽管现有的UDA方法实现了破纪录的预测准确性，但它们对对抗性攻击的鲁棒性仍未得到探索。我们假设它们也容易受到对抗性攻击，这使得在安全关键场景中应用它们具有风险。为了填补这一空白并验证我们的假设，我们通过以下两个步骤对BDL [ 18 ]进行黑盒攻击：1）对于测试数据中的每个干净图像，我们首先通过攻击PSPNet [ 52 ]生成其对抗性示例，其中ε=0。1，ε=0。25，则n=0。分别为5个; 2）然后，我们在生成的对抗样本（或扰动的测试数据）上评估预训练的BDL模型（图1）。这种设置背后的基本原理是：i）最近最先进的语义分割中的UDA方法[42，17，48，44，31]与BDL具有相似的精神，因此对这种方法进行试点研究将具有代表性; ii）黑盒攻击假设攻击者只能访问受害者模型的非常有限的信息，这是现实世界中的常见情况。因此，黑盒攻击如果能够奏效，将是非常危险的; iii）对抗性攻击可以在不同的模型之间转移[11]，即，为攻击代理模型而生成的对抗性示例对其他模型也是有害的。我们在此执行黑盒攻击，以检查UDA模型上对抗性示例的可转移性如表1所示，尽管性能卓越由于BDL对干净的测试数据的影响，即使是轻微的和不明显的扰动也会导致显著的性能下降。例如，BDL（具有VGG16骨架）在由ε = 0生成的扰动测试数据上仅实现30.5%的平均IoU（mIoU）。1，而在干净的数据上为41.3%。通过增加扰动比ε，性能可能会进一步下降（图1），这表明BDL很容易被测试数据上的轻微扰动所欺骗，即使扰动是由代理模型产生的。这项实证研究表明，现有的UDA方法也可能容易受到对抗性扰动的影响，这可能使它们在一些与安全相关的领域特别危险。3.3. 对抗性自我监督UDA为了解决这个问题，最直接的方法是对抗训练（等式3），其需要类标签来生成对抗示例。然而，我们无法在sce下访问目标数据的标签-域鉴别器最小化一致性最大化协议图2.所提出方法的概述。对于源图像x ~s和目标图像x ~t的每个采样对，我们生成它们的相对于y的自适应示例x~s和x~t。分割模型f（）和域鉴别器被训练以最大化/最小化一致性并对齐跨域表示。用于视觉任务的深度神经网络[13]。尽管如此，通常使用的借口任务（例如，旋转预测和拼图）对全局表示进行建模，并且在学习用于语义分割的区别性特征时不能提供关键的监督信号。这些挑战提出了一个问题：我们能否利用对抗训练和自我监督的优势来提高UDA方法在语义分割中的鲁棒性？为了回答这个问题，我们建议通过使用对抗性示例来构建一个借口任务（图2）。具体来说，我们认为一个干净的图像和它的对抗性的例子作为一个积极的对，并最大限度地提高协议的分割输出的对比损失。这是因为一个干净的图像和它的对抗性示例应该共享相同的分割图。与在潜在空间中使用对比损失的[4]不同，我们的借口任务在输出空间中执行，以学习用于语义分割的区分性表示。为了使来自源域的知识适应目标域，将域判别器应用于源输出和目标输出。值得一提的是，域鉴别器最小化域级差异，而对比度损失在像素级上执行。我们的模型建立在BDL [18]上，该BDL生成变换后的源图像Xs→t和X t的伪线性Yt′。 为了简单起见，除非另有说明，否则在本文的其余部分中，我们使用s来表示s→t。每次培训迭代r，从Xs和Xt随机采样N个源-目标对的小批量，得到2N个示例：UDA的nario（等式1）。现有UDA的成功{x（i），x（i）}N不. 其adversarialeexample{x<$（i），x<$（i）}N方法严重依赖于自训练策略，该策略交替地生成用于所述方法的高度置信的伪标签。由以下方式生成：x~（i）=x（i）+msign（▽x[Lseg（x（i），y（i）;θC）]）目标域并使用这些标签重新训练模型ss（5）[18、17、44、31、45]。虽然伪标签提供了一个操作-x~（i）=x（i）+ε符号（▽[L（x（i），y（i）;θ）]）为目标数据生成对抗性示例的机会ttmx段 tt′C这些标签通常有噪声并且不太准确。亨德里克斯等人证明自监督提高了鲁棒性其中εm是训练扰动幅度。G_i_n表示这4N个数据点{x（i），x（i），x~（i），x~（i）}N，附加扰动附加扰动Si=19199−{X}{X}Σ××××αα算法一：整个训练过程。日志、（x（k）（六）#对抗性攻击对于k ∈ {1，…，N} doS不k=14Nk=1St每对e个示例{x（i），x~（i）}被认为是一个位置。正对（α可以是s或t，以表示源域或目标域），而其他4个N2例被认为是反面例子。我们将正对（i，j）的对比损失定义为输入：源数据s、Ys和目标数据t，分割模型初始化为θC，域鉴别器初始化为θD，批量大小N，训练迭代次数R结果：θC和θDexp（sim（fθC-Σ[k=i]（x（i）），fθθC（x（j）θCforr←1toRdo采样一批源-目标对{x（k），x（k）}N2生成广告示例：{x~（k），x~（k）}N其中sim（U，V）=exp（−dist（U，V）/（2σ））为高斯-stk=1定义x（4k−3）=x（k），x（4k−2）=x（k），x（4k−1）=在用于测量两个分割输出张量U和V之间的相似性的sian核中，dist（;）是欧几里得距离。对比损耗Lω n（xs，x~s，xt，x~t;θC））在所有的正态分布上计算。对（参见算法1）。 综合来看，培训工作...Stx~（k），x（4k）=x~（k）端#对抗性自我监督对于i ∈ {1，…，4N}和。j∈ {1，…4N}做Σ−dist（x（j）（x（i））C fθC我们的目标的目标是最小最大L总，其中L总是：i =0，i =0，i =0，i = 0（2σ2）θC θD端定义=−logexp（si，j）i、jLtotal= Lseg（xs，ys;θC）+ Lseg（x~s，ys;θC）+#对比损失4Nk=1 1[k=i]exp（si，k）Lseg（xt，yt′;θC）+ Lseg（x~t，yt′;θC）+Lcon=1ΣN[4k−3，4k−1+4k−1，4k−3+- -γLadv（xs，xt;θC，θD）+γLadv（x~s，x~t;θC，θD）+δLωn（xs，x~s，xt，x~t;θC），（七）端4k2，4k+#更新模型参数θC←θC−β▽θCLtotalθD←θD−λ▽θDLtotal其中δ和γ是两个超参数。因此，我们的模型可以通过自我监督的方式利用对抗性示例的正则化能力，从而提高模型对对抗性攻击的鲁棒性。整个训练过程在算法1中详细描述。4. 实验数据集遵循与先前研究相同的设置，我们使用GTA5[29]和SYNTHIA-RAND-CITYSCAPES[30]作 为 源域 ， 并 使 用 Cityscapes [6]作 为 目标 域 。GTA5由24，966张图像组成（分辨率：1914年1052）与像素级语义标签，这是从一个照片级逼真的开放世界游戏，被称为侠盗猎车手V收集。SYNTHIA-RAND-CITYSCAPES数据集由虚拟城市生成，包括9，400张图像（分辨率：1280 760），具有精确的像素级语义注释。Cityscapes是从50个城市收集的大规模街道场景数据集。共5，000张图像（分辨率：2048 1024）包含在Cityscapes中，其中包含2，975个训练图像，500个验证图像和1，525个测试图像。我们遵循传统，使用来自Cityscapes的训练图像作为目标域，并使用验证图像作为干净的测试数据。在该领域中遵循相同的实验协议，我们使用两种网络架构：使用VGG 16 [32]主干的DeepLab-v2 [ 3 ]和使用ResNet 101主干的DeepLab-v2。域鉴别器具有5个卷积层，其中内核为4 × 4，步长为2，每个卷积层后面都跟随一个参数化的i，j=4Nk=1 1exp（sim（f（x（i）），fC9200--返回θC和θD0.2除了最后一个每层的通道号为64、128、256、512、1。在DeepLab-VGG 16中使用初始学习率为1 e-4和动量为（0.9，0.99）的Adam优化器。我们将步长衰减应用于步长为30000且下降因子为0.1的学习率。在DeepLab-ResNet 101中使用动量为0.9且权重衰减为5e-4的随机梯度下降优化器DeepLab-ResNet 101的学习率初始化为1 e-4，并通过多项式策略以0.9的幂降低。在域鉴别器中使用具有动量（0.9，0.99）和初始学习速率1 e-6的Adam优化器我们设置m=1。在等式5中 为 0 。 代 码 和 数 据 可 在 https://github.com/uta-smile/ASSUDA上获得。为了评估模型的鲁棒性，我们首先生成扰动测试数据。 具体而言，PSPNet[52]由于其受欢迎程度而被用作代理模型我们使用FGSM生成三组扰动测试数据，其中ε=0。1，ε=0。25，且ε=0。五、然后将生成的扰动数据集用于性能评估。为了与现有的UDA方法进行公平的比较，我们将-从原始论文中加载预训练的模型并执行评估。4.1. 实验结果由于现有UDA方法的鲁棒性仍未被探索，因此我们首先在本节中全面评估它们对对抗性攻击的鲁棒性（表2和表3）。9201GTA5城市景观FDA [48]73.918.5 69.7 7.5 2019 - 06 - 22 10：0032.0 10.2 42.4[38]第三十八话71.922.7 70.8 7.6 7.9 16.5 15.4 8.3 71.8 12.2 52.6 33.8 0.6 65.8 15.8 7.6 0.0 0.7 0.125.49.635.0PCEDA [47]0的情况。190.925.0 73.5 6.3 2019- 12 - 16 10：00 9.825.133.4 11.2 44.6BDL [18]64.021.9 70.0 10.0 3.9 8.4 20.5 12.8 77.4 22.3 79.2 49.8 13.8 73.2 17.8 12.1 0.0 7.8 15.230.5 10.8 41.3我们90.62019 - 10- 1539.30.4三十九点七FDA25.43.424.50.51.62.47.76.458.61.244.86.51.414.64.90.40.10.11.310.8 31.4 42.4AdaptSegNet5.45.043.81.22.23.76.32.531.33.922.86.20.011.94.30.10.00.00.07.927.1 35.0PCEDA0的情况。2534.61.540.90.61.62.29.611.1 56.40.543.8 12.72.028.07.03.70.01.05.013.8 30.8 44.6BDL25.44.755.12.81.51.39.14.361.31.554.1 26.70.120.76.51.50.00.71.014.6 26.7 41.3我们89.7 30.4 78.2 13.4 11.4 11.1 19.4 14.5 79.2 27.0 84.8 49.7 19.0 78.6 17.1 18.13.07.217.2 35.24.539.7FDA22.00.43.20.01.30.11.90.633.81.122.60.10.00.10.00.00.00.00.04.637.6 42.4AdaptSegNet0.10.014.40.02.10.72.90.423.30.08.40.20.00.10.00.00.00.00.02.832.2 35.0PCEDA0的情况。526.80.115.00.11.30.12.52.318.10.015.40.10.02.00.20.00.00.00.04.440.2 44.6BDL27.80.936.80.51.20.12.70.934.10.025.15.40.00.70.00.00.00.00.07.134.2 41.3我们75.7 11.7 66.12.76.03.713.68.666.8 14.0 79.1 37.24.059.07.29.60.40.16.024.8 14.9 39.7FDA [48]85.8 27.8 70.28.67.417.9 30.7 23.4 70.8 22.4 59.7 53.8 26.5 71.6 29.2 26.86.323.1 38.3 36.9 13.5 50.4FADA [41]53.2 19.7 65.26.314.1 21.3 19.08.274.4 21.6 55.7 50.3 14.8 73.2 13.49.11.09.620.5 29.0 20.2 49.2[27]第二十七话89.1 31.1 76.6 11.3 16.4 14.9 25.3 15.8 80.8 29.4 74.9 54.3 23.3 78.7 32.1 39.20.021.5 30.8 39.27.146.3[20]第二十话75.8 21.3 69.8 11.97.312.7 24.68.877.1 20.4 66.9 51.0 19.6 65.4 28.7 31.32.515.2 24.8 33.49.843.2MaxSquare [23]0的情况。128.69.352.03.93.19.729.1 10.3 73.6 10.2 41.7 46.1 19.1 36.1 26.5 10.70.217.2 28.0 24.0 22.4 46.4[38]第三十八话80.9 21.2 66.37.45.77.425.26.576.2 12.5 69.9 45.6 11.7 71.3 21.88.01.66.514.3 29.5 12.9 42.4PCEDA [47]89.8 31.8 75.8 17.49.226.9 31.1 30.0 80.0 19.3 85.6 55.2 27.5 79.4 30.2 34.40.020.3 38.3 41.29.350.5BDL [18]75.5 31.3 75.38.88.517.1 29.3 23.0 76.9 22.4 80.5 51.2 25.8 51.9 24.0 33.31.620.3 31.3 36.2 12.3 48.5我们89.3 37.7 81.3 21.0 18.3 28.6 29.0 31.4 81.8 33.9 82.2 51.9 25.9 80.4 34.9 31.30.030.4 33.1 43.30.643.9FDA50.86.751.01.63.73.517.26.349.51.560.9 28.3 12.8 49.1 14.54.61.22.625.0 20.6 29.8 50.4Fada54.1 14.8 50.42.28.26.84.70.959.47.432.8 29.93.053.64.10.31.20.75.917.9 31.3 49.2Intrada26.43.046.30.44.50.78.60.530.90.443.9 21.31.247.5 8.337.50.00.26.513.6 32.7 46.3族58.39.452.75.02.71.314.72.158.53.064.5 37.6 14.0 46.1 20.0 13.61.83.617.3 22.4 20.8 43.2MaxSquare0的情况。2515.22.337.92.71.51.015.81.854.11.530.6 14.37.231.5 11.81.60.00.713.8 12.9 33.5 46.4AdaptSegNet66.94.832.81.32.40.713.21.260.62.465.3 19.61.549.08.21.20.00.10.817.5 24.9 42.4PCEDA76.43.050.91.53.311.5 18.1 10.0 59.30.659.4 37.0 16.1 49.6 11.65.60.02.625.2 23.3 27.2 50.5BDL40.77.256.63.12.04.020.35.562.71.565.8 19.4 15.3 30.28.08.40.06.421.2 19.9 28.6 48.5我们87.9 26.6 75.0 11.1 12.5 24.4 26.0 28.3 74.2 19.5 81.8 48.7 22.9 78.5 31.8 34.20.027.2 30.2 39.04.943.9FDA14.50.923.21.05.31.17.60.928.40.057.93.00.28.23.80.00.00.01.68.342.1 50.4Fada17.47.618.11.22.10.40.50.129.20.011.83.80.218.50.00.10.00.00.05.843.4 49.2Intrada26.43.046.30.44.50.78.60.530.90.443.9 21.31.247.58.37.50.00.26.513.6 32.7 46.3族33.00.639.22.31.80.18.40.236.20.338.1 21.53.438.09.43.40.00.14.312.6 30.6 43.2MaxSquare0的情况。517.00.333.60.62.20.49.90.429.50.031.23.50.428.85.70.40.00.01.38.737.7 46.4AdaptSegNet43.00.210.10.72.80.27.30.134.80.058.14.90.018.60.80.30.00.00.09.632.8 42.4PCEDA30.40.036.60.21.71.54.01.227.10.08.19.70.47.41.20.00.00.05.37.143.4 50.5BDL9.70.125.90.00.80.28.10.643.50.013.74.84.37.62.60.00.00.21.96.542.0 48.5我们82.9 10.0 49.83.44.512.7 20.7 19.9 59.95.878.6 35.9 12.6 60.2 18.9 18.20.010.8 15.5 27.4 16.5 43.9ϵ路人行道建筑壁围栏极红绿灯交通标志植被地形天人骑手车卡车总火摩托车自行车MioumIoU丢弃mIoU*9202表2.“GTA5到城市景观”的定量研究。VGG16（上部）和ResNet101（下部）在该实验中用作骨架。性能是在19个常见类上测量的，标准是：每类IoU，平均IoU（mIoU），mIoU下降（模型在受到攻击后的性能下降）和mIoU*。mIoU越高且mIoU下降越低，模型越稳健。每列中的最佳结果以粗体突出显示。表3）。然后，我们在两个广泛使用的基准设置上对我们 的 方 法 进 行 比 较 ， 即 “GTA5 to Cityscapes” 和“SYNTHIA to Cityscapes”。三个标准，即，mIoU、mIoU drop和mIoU * 用于性能评估。具体地，mIoU和mIoU表示扰动测试数据和干净测试数据上的平均IoU，而mIoU下降指示性能降解（即，mIoU和mIoU*之间的区别）。因此，mIoU越高且mIoU下降越低，模型越稳健。如表2所示，我们在所有三种对抗性攻击上都取得了最佳性能特别是，即使是轻微的对抗性扰动也会误导Adapt- SegNet [38]和BDL [18]，并显著降低其性能。9203从SYNTHIA到CityscapesFDA [48]68.5 28.4 72.7 0.4 0.3 22.25.119.1 57.6 75.7 45.8 18.8 55.6 18.55.131.5 32.87.740.5PCEDA [47]BDL [18]0的情况。180.934.925.021.273.547.86.30.07.10.214.220.524.09.227.420.276.267.270.374.345.049.019.917.570.057.220.311.99.82.525.134.637.229.33.99.741.139.0我们88.2 46.5 46.5 0.0 0.1 24.68.423.8 79.3 81.2 54.4 24.5 78.2 22.49.244.4 41.3 -2.2 39.1FDA46.3 16.0 38.7 0.0 0.24.92.58.931.3 38.98.65.317.76.01.35.414.5 26.0 40.5PCEDABDL0的情况。2575.68.011.48.959.131.10.00.00.40.19.68.75.56.912.99.863.152.045.054.130.722.913.44.934.925.68.62.52.50.824.513.324.813.616.325.441.139.0我们87.4 41.6 73.7 0.0 0.1 23.28.723.0 75.7 78.8 49.7 21.1 72.5 20.37.539.5 38.90.239.1FDA42.24.914.2 0.0 0.10.61.01.726.21.90.50.41.50.10.10.16.034.5 40.5PCEDABDL0的情况。566.20.61.11.047.924.80.00.00.40.03.11.62.51.95.02.347.835.818.818.610.02.21.90.18.34.13.20.11.10.010.20.514.25.926.933.141.139.0我们68.8 21.8 57.1 0.0 0.1 17.96.815.6 65.9 54.2 30.4 12.8 43.15.94.125.3 26.9 12.2 39.1FDA [48]83.4 32.4 73.5✗✗✗13.1 18.9 71.6 79.5 56.1 24.9 77.5 27.6 18.2 42.8 47.74.852.5FADA [41]74.0 32.5 69.8✗✗✗6.815.8 57.0 58.3 46.78.655.1 18.04.59.835.1 17.4 52.5DADA [40]80.0 33.8 75.0✗✗✗8.09.462.1 76.3 49.7 14.3 76.3 27.85.231.7 42.37.549.8MaxSquare [23][38]第三十八话0的情况。170.179.523.334.772.876.6✗✗✗✗✗✗6.74.17.25.460.261.077.680.848.749.313.818.363.772.117.426.13.17.520.129.837.341.910.94.848.246.7PCEDA [47]64.5 33.4 77.1✗✗✗17.6 16.5 50.1 81.3 48.9 24.8 71.9 25.7 13.3 41.0 43.6 10.0 53.6BDL [18]79.2 33.7 75.3✗✗✗5.68.761.1 80.6 45.0 21.7 65.7 26.78.524.5 41.2 10.2 51.4我们89.1 46.6 78.2✗✗✗11.4 16.9 76.1 81.5 52.6 26.7 79.9 35.3 25.0 37.5 50.5 -1.1 49.4FDA8.69.040.8✗✗✗3.97.121.5 51.3 14.56.935.35.40.014.4 16.8 35.7 52.5Fada80.8 23.5 59.3✗✗✗1.73.750.6 15.6 26.20.821.26.20.32.122.5 30.0 52.5达达58.0 11.5 42.7✗✗✗4.54.231.9 41.2 23.46.053.98.30.414.0 23.1 26.7 49.8MaxSquareAdaptSegNet0的情况。2570.328.44.67.653.156.8✗✗✗✗✗✗8.14.46.02.637.226.461.062.811.222.53.99.842.344.26.98.30.41.13.410.223.721.924.524.848.246.7PCEDA15.47.264.9✗✗✗9.39.827.0 71.4 35.3 13.9 52.0 12.32.225.4 26.7 26.9 53.6BDL46.99.165.5✗✗✗4.05.934.7 68.5 22.7 12.5 50.7 10.81.212.8 26.6 21.3 51.4我们87.4 25.0 70.7✗✗✗10.9 18.2 60.0 74.9 43.8 20.7 64.8 17.74.529.9 40.78.749.4FDA0.00.07.2✗