RDA：傅立叶对抗攻击的鲁棒域自适应

8988RDA：通过傅立叶对抗攻击的鲁棒域自适应黄佳兴，关大燕，肖浩然，卢世健*新电信企业认知与人工智能实验室，南洋理工大学{嘉兴.黄大雁.关浩然.肖世坚.陆}@ ntu.edu.sg摘要无监督域自适应（UDA）涉及标记源域中的监督损失和未标记目标域中的非监督损失，这通常面临更严重的过拟合（比经典监督学习）1.210.80.60.40.2不含FAA1.210.80.60.40.2由于监督源损失具有明显的域间隙无监督目标丢失通常是噪声的，由于缺乏注释。本文介绍了RDA，一种鲁棒的域自适应技术，它引入了对抗性攻击来减轻UDA中的过度拟合。我们通过一种新的傅立叶对抗攻击（FAA）方法实现了鲁棒的域自适应，该方法允许大幅度的扰动噪声，但对图像语义的修改最小，由于“域间隙”的存在，形成器对其生成的对抗样本的有效性至关重要。具体来说，FAA将图像分解为多个频率分量（FC），并通过扰动某些捕获很少语义信息的FC来生成对抗样本。 使用FAA生成的样本，训练可以继续00 2 4 6 8 10 12迭代1041.210.80.60.40.200 2 4 6 8 10 12迭代1041.210.80.60.40.200 2 4 6 8 10 12迭代10400 2 4 6 8 10 12迭代1041.210.80.60.40.200 2 4 6 8 10 12迭代1041.210.80.60.40.200 2 4 6 8 10 12迭代104平损格局，带来更稳健的域适应。在多个领域自适应任务上的大量实验表明，RDA可以以优异的性能与不同的计算机视觉任务一起工作。1. 介绍深度卷积神经网络（CNN）[39，70，21]在各种计算机视觉任务中定义了新的技术状态[7，44，60，20，39，70，21]，但由于域间隙的存在，它们的训练模型经常过度拟合训练数据，并且对于来自不同来源的数据表现出明显的性能下降。无监督域自适应（UDA）已被调查，以解决域的差距，利用未标记的目标数据。为此，大多数现有的UDA工作[34，35，75，78，48，80，8，9]涉及源数据上的监督损失和目标数据*通讯作者。图1. 我们强大的域自适应功能可有效缓解过拟合：在无监督域自适应中，使用源数据的监督学习（第1行）和使用目标数据的无监督学习（第2行和第3行，用于对抗学习和自我训练）都遭受了明显的过度拟合，如第1列中训练损失减少（蓝色曲线）与目标测试损失增加（红色曲线）所示。我们的傅立叶对抗攻击（FAA）生成了新的对抗样本，它可以调节训练损失的最小化，并有效地减轻过度拟合，减少目标测试损失，如第2列所示（最佳颜色）。用于学习在目标域中表现良好的模型。然而，如图所示。1，这些方法通常面临更严重的过拟合（与经典的监督学习相比），因为UDA中的监督源损失具有额外的域间隙（对于目标域中的测试数据），并且由于缺乏注释，无监督目标损失通常是有噪声的。过拟合存在于几乎所有的深度网络训练中，这是不期望的，并且通常会降低深度网络训练的泛化能力。损失损失损失损失损失损失Supervised 源损失目标测试日志SSSupervised 源损失目标测试日志SS云叙佩 提供服务的挞葛 试验损失（AL）目标试验损失S云叙佩提供服务的挞葛 试验损失（AL）目标试验损失S云叙佩 提供服务的挞葛 试验损失（ST）目标测试日志SS云叙佩提供服务的挞葛 试验损失（ST）目标测试日志SS8989训练的深度网络模型，同时应用于新数据。识别是否发生过拟合的一种方法是检查泛化间隙，即测试损失和训练损失之间的差异是否增加[13]，如图所示。1.一、已经研究了各种策略，通过权重正则化[19]，dropout[71]，mixup [93]，标签平滑[72]，批量归一化[30]等来减轻过拟合。然而，所有这些策略都是为监督和半监督学习设计的，其中训练数据和测试数据通常具有非常相似的分布。对于领域自适应学习，由于忽略了不同领域数据之间广泛存在的领域差距，它们并不适合。我们设计了一种鲁棒的域自适应技术，引入了一种新的傅立叶对抗攻击（FAA）技术，以减轻无监督域自适应中的过拟合。FAA通过生成对抗性样本来减轻过拟合，该样本防止监督和无监督UDA损失的过度最小化，如图所示。1.一、具体地说，FAA将训练图像分解为多个频率分量（FC），并且只扰动捕获很少语义信息的FC。与限制扰动噪声的大小以保持图像语义完整的传统攻击不同，FAA允许在其生成的对抗样本中进行大幅度的扰动，但对图像语义的修改最小。该特征对于无监督域自适应是至关重要的，无监督域自适应通常涉及明确的域间隙，因此需要具有大扰动的对抗样本。通过在训练中引入FAA生成的对抗样本，网络可以继续本文的贡献可以概括为三个方面。首先，我们确定了无监督域自适应中的过拟合问题，并引入对抗性攻击，通过防止训练对象过度最小化来减轻过拟合。其次，我们设计了一种创新的傅立叶对抗攻击（FAA）技术来生成新的对抗样本，以减轻域自适应中的过拟合。FAA是一种通用的算法，它可以有效地处理有监督的信源丢失和无监督的目标丢失。第三，我们在语义分割、对象检测和图像分类方面对多个计算机视觉任务进行了广泛的实验。所有的实验表明，我们的方法减轻过拟合和提高域适应一致。2. 相关作品域适配：域自适应已被广泛研究，以减轻数据注释的约束。大部分现有工程大致可分为三类。第一类是基于对抗训练的其采用鉴别器来对齐特征、输出或潜在空间中的源域和目标域[46，78，48，75，67，24，80，76，25，88，95，18，28]。第二类是基于图像平移的，其适应图像外观以减轻域间隙[41，92，90，94]。第三类是基于自训练的，其预测伪标签或最小化熵以引导从目标样本的迭代学习[99，98，49，16，26，17]。域自适应涉及两种典型的训练损失，即，在标记源数据上的监督损失和在未标记目标数据上的非监督损失。现有技术的方法倾向于使两种类型的损失过度最小化，这直接导致具有次优适应的偏离模型，如图1所示。1.一、我们设计了一个强大的主适应技术，解决了这个问题，防止损失过小化。网络培训中的过度拟合：过度拟合是深度网络训练中的常见现象，在深度学习和计算机视觉社区中已被广泛研究[2，5，54，62，84，82]。大多数现有的作品通过某些正则化策略来处理过拟合，例如权重衰减[19]，dropout [71]，l1正则化[74]，混合[93]，标签平滑[72]，批量归一化[30]，虚拟对抗训练[51]，flooding [31]等。然而，这些策略主要是为监督或半监督学习设计的，这些学习不适合通常涉及域间隙和无监督损失的自适应学习。我们设计了一种对抗性攻击技术，有效地减轻了领域自适应学习中的过拟合。对抗性攻击：对抗性攻击已经在各种安全问题中得到了研究。例如，[73]表明对抗性样本很容易混淆CNN模型。以下工作通过快速梯度符号[14]，最小对抗扰动[53]，通用对抗扰动[52]，无梯度攻击[1]，可转移对抗样本生成[43]等从不同方面改进了对抗攻击。对抗攻击也已应用于其他任务，例如，[96，51]采用对抗样本来减轻监督和半监督学习中的过度拟合，[79]生成对抗样本用于数据增强，[42，89]增强可转移特征以实现域散度最小化。大多数现有的对抗性攻击方法通常限制扰动噪声的大小，以最小化图像语义的修改。然而，这种生成的对抗样本不能很好地解决域自适应学习中的过拟合，这通常涉及相当大的域差距。我们设计了一种创新的傅立叶对抗攻击技术，该技术允许在没有幅度约束的情况下生成对抗样本，但对图像语义的修改最小，更多细节将在随后的小节中描述。8990·--⊂··--{}refDF·refrefD∈∈zN否则，Nrefrefrefz，z，...，zref}的等效带宽。，z{}D F3. 方法我们通过傅立叶对抗攻击实现鲁棒域自适应，如图所示 二、培训中心-以及表示图像质心（i. 例如， 图像中心在（H/2，H/2））。 等式{z1，z2，...， zN−1，z N}=D（z;N）可以正式定义为：包括两个阶段，即进攻阶段和防守阶段。防御阶段 给定训练图像，攻击阶段.z（i，j），如果n−1d（（i，j），（ci，cj））n，学习识别具有允许大幅度扰动噪声的有限语义信息的正确FC。它还学习生成对抗样本（具有可扰动的FC），并对图像语义进行最小修改。在防御阶段，所生成的对抗样本被应用于通过防止训练损失的过度最小化来减轻过度拟合，更多细节将在随后的小节中描述。3.1. 任务定义我们专注于无监督域自适应（UDA）的问题。给定标记的源数据Xs、Ys和未标记的目标数据Xt，我们的目标是学习在Xt上表现良好的任务模型F。基线模型仅使用标记的源数据进行训练：Lsup（Xs，Ys;F）=I（F（Xs），Ys），（1）其中L（）表示精度相关损失，例如，标准交叉熵损失。3.2. 傅立叶对抗攻击我们提出的傅立叶对抗攻击（FAA）生成对抗样本来攻击训练损失，以在域自适应中解决过拟合问题，如图所示。二、 在对抗样本生成中，它首先采用傅立叶变换将输入图像分解为多个频率分量（FC），然后将扰动注入到非语义FC，这允许大幅度的扰动，但对图像语义的修改最小。傅立叶分解：受JPEG [81，58]和频域学习[27，33]的启发，我们将图像x变换到频率空间并将其分解为多个FC，这允许显式操纵每个FC和更可控的扰动。我们采用傅里叶变换将x转换到频率空间，并进一步将其分解为等效带宽的多个FC：z=F（x），zfc=D（z;N），其中，（）表示傅里叶变换[4];z表示x的频率空间表示;（z;N）表示将z分解成N个FC{12N −1N其中d（，）表示欧几里德距离，N表示输入应该被分解成多少个FC，并且η表示FC索引。为了得到z fc=z1，z2，…zN−1，z N=（z;N），我们通过将n从1变为N来执行等式N次。如果x没有平方大小，我们首先在此过程之前对短边进行上采样，使其与长边相同，并在处理后将其下采样回原始大小 如果X具有多于一个通道（例如，，RGB图像xRn×n×3），我们独立地处理每个通道。对 抗 性 攻 击 ： 利 用 分 解 的 FC zfc=z1 ，z2，…zN−1，z N，我们通过扰动部分FC来攻击域自适应损失，而不需要幅度约束。具体来说，我们采用可学习的门模块[32，77，87，50]来选择某些FC进行扰动。该门G向每个FC分配二进制分数，其 中 G 与 Gumbel-Softmax 一 起 工 作 ， Gumbel-Softmax是一种用于分类变量的可区分采样机制，可以通过标准的反向传播进行训练。详情请参阅[32，77，87，50]。给定参考图像（随机选择的目标域图像），在FC表 示zfc=z1 ， z2 ， … ， zN−1 ， zN=（ （x_ref）;N），我们采用该门模块来阻挡一些FC（全部重置为零），并且应用所选择的FC来扰动输入图像x的对应FC：zfc=（1−G（zfc））zfc+G（zfc）zfc，（2）其中可学习门模块G启用选择要扰动哪些FC的二进制通道注意。具体而言，对于输入图像的已识别FCx，我们提取参考图像X_ref的相应FC并将它们用作扰动噪声。我们以这种方式生成对抗样本，因为扰动噪声（即，来自目标自然图像的z（fc）的非语义FC相比于来自目标自然图像的z（fc）的非语义FC更合理和有意义。 随机噪声/信号，如在许多现有的对抗性样本生成方法中。此外，目标样本的非语义FC的使用减轻了域间间隙，这有助于提高域自适应中的目标域性能。随着扰动的FCzfc，我们将它们全部转换回来我们考虑一个灰度图像xRH×H来正式定义（z;N）。因此我们有zCH×H，其中C表示复数。我们使用z（i，j）来索引（i，j）处的z，样品xFAA：xFAA=F−1（C（z（fc）），（3）（i，j）=0，(via逆傅立叶变换）以得到对抗性的8991C·D·一一一∗一攻击阶段（通过寻找对抗性样本最大化训练损失）更新！傅立叶对抗攻击（FAA）模块XsAs公司简介SrefF（D修好了！z^in公司简介我补SzfcrefG公司简介伦不任务模型FF（DS维Xt的tFAA模块公司简介不zfc在G双向训练Xs修好了！一公司简介SFFT和FCs门分解模块空间加权逆FFT与模块合成S更新！我补S源流源图像目标流量目标图像维FAA流程输入图像伦XsXt不源靶Xt的t公司简介任务模型F公司简介S公司简介不样品不FAA模块防御阶段（通过学习对抗性示例最小化训练损失）我补充监督S源损失伦不样品无监督目标丢失ref参考图像���FÆÆ输出图像原始FCs归零FCs可扰动FCs扰动FC图2.概述了我们提出的通过傅立叶对抗攻击（FAA）的鲁棒域自适应（RDA）RDA有一个双向的训练过程，包括进攻阶段和防守阶段。给定一个训练图像，攻击阶段学习以最小的图像语义修改生成对抗样本。在防御阶段，生成的对抗样本被应用于通过防止训练损失的过度最小化来减轻过度拟合给定输入图像，FAA将其分解为多个FC表示，识别可扰动的FC，然后通过与随机选取的参考图像中的相应FC的加权和来扰动它们FFA的目标是最大化任务损失，同时确保图像语义的最小修改其中（）表示（;N）的逆过程，其通过对频率信道上的所有元素求和来将分解的z，kFourier分解与对抗性攻击可以如下组合以形成FAA：但是它可以是其他类型的损失，例如监督或无监督训练损失。门相关损失和重建损失定义为：. Σ（G（z fc）），如果Σ（G（zfc））>N*p，xFAA=A（x），⑷L记录（X; A）= |R（X）− R（A（X））|、其中，获取图像X并且经由所描述的FAA输出对抗样本XFAA。具 有 两个具有可学习参数的子模块，即、门模块G和用于空间加权映射S一代A中的其余操作都是确定性的作为傅里叶变换及其逆（F（·）和F−1（·）），分解和重组（D（·;N）和C（·））3.3. FAA培训提出的FAA涉及三种类型的损失，包括任务损失（即， UDA培训损失在这项工作中）即受攻击的阈值损失、限制可扰动FC的比例的门相关损失以及旨在最小化图像语义上的攻击影响的重建损失。给定输入图像XRH×W ×3，任务模型F和傅立叶攻击者A，我们用L（X;A，F）表示任务损失。注意，任务损失是指UDA训练损失其中G（z，k）是如等式（1）中所描述的门控过程。二、R是一个带通滤波器，用于获得中频内容[27]其捕获语义信息（例如，结构和形状），并且因此一致性损失可以确保所选择的FC包含最少的语义信息。p是将可扰动FC的最大数量约束Np的超参数，FAA的总体培训目标由以下方面制定：maxL（X;A，F）− Lgat（X;A）− Lrec（X;A）（5）3.4. 鲁棒域自适应第3.2节和第3.3节描述了通过FAA生成对抗样本的“攻击阶段”。 本节介绍了所提出的鲁棒域自适应技术，其中FAA用于在“防御阶段”中具体来说，我们应用Lgat（X;A）=0，否则，8992一一一F不一一AA·sup转转--→→- -- -算法1通过傅立叶对抗攻击（FAA）提出的鲁棒域自适应。要求：输入数据X;任务模型F;傅立叶攻击器1：对于iter= 1到Max Iterdo2：从数据集中均匀地采样一批X3：防御阶段（最小化损失）：4：经由等式（1）更新F六个5：攻击阶段（损失最大化）：6：通过等式更新五个第七章： 端8：返回FFAA生成的对抗样本，以防止域自适应中UDA训练损失的过度最小化。给定任务模型F和傅立叶攻击器，任务模型F的训练目标由下式表示：minL（X;A，F）（6）两种攻击的优化函数（即，当量5）和防御（即，当量6）是通用的并且适用于各种任务和数据。具体地，模型F可以用于语义分割、对象检测或图像分类任务。数据可以是具有监督源损失的标记源数据或具有非监督目标损失（诸如对抗损失）的未标记目标数据[75，48，80，89]。55，42，29，66]、自训练损失[ 99，98，41，83，37，90]或熵损失[ 80，15]等。下面是监督损失和基于自训练的无监督损失，以供参考：Ls（Xs;A，F）=I（F（A（Xs）），Ys），Lun（Xt;A， F）=l（F（A（Xt）），Y（t），其中L（）表示精度相关损失，例如，交叉熵损失;（X s）和（X t）是受FAA扰动的输入，并且Yt是未标记的目标数据的伪标签。总之，我们的鲁棒域自适应具有双向训练框架，包括攻击阶段和防御阶段，如图所示。二、在攻击阶段，任务模型F是固定的，攻击者生成对抗样本以增加训练损失。在防御阶段，F是固定的，F被更新以减少训练损失。这两个阶段以交替方式进行，并形成双向训练框架（对抗训练）。详情请参考算法1。该双向训练框架使用FAA通过迫使UDA损失在小值附近振荡来防止UDA损失的过度最小化。换句话说，它确保任务模型F可以继续4. 实验本节介绍了实验，包括数据集和实施细节、语义分割的域适应（使用消融研究）、对象检测和图像分类任务以及讨论，更多细节将在随后的小节中描述。4.1. 数据集用于语义分割的适配：我们考虑两个合成到真实的分割任务：1）GTA5 [61] Cityscapes [10]和2）SYNTHIA [63]Cityscapes。GTA5包含24，966个合成图像，与Cityscapes共享19个对于SYNTHIA，我们使用Cityscapes包含2975/500个训练/验证图像。在[75，99]之后，我们适应Cityscapes训练集并在Cityscapes验证集上进行评估。用于对象检测的适配：我们考虑两个适应任务：[68 ]第68话我的世界（2）城市景观BDD100k [91]。对于Cityscapes，我们在实验中将实例分割注释转换为边界框。Foggy Cityscapes是通过在Cityscapes图像上应用合成雾而创建的。BDD100k包含100k图像，其中70k用于训练，10k用于验证。在[86，66，9]之后，我们在实验中使用BDD100k子集，其中包括36，728个训练图像和5，258个验证图像。适应图像分类：我们采用了两个适应基准VisDA 17[57]和Office-31 [64]。VisDA17包括12个类别的152，409个Gories作为源，55，400幅真实图像作为目标。办公室-31包含来自Amazon（A），Webcam的31个类的图像(W)和DSLR（D），分别具有2817、795和498个图像我们评估六个任务A→W，D→W，W→D，A→D，D→A和W→A，如[98，64，69]所示。4.2. 实现细节语义分割：我们使用DeepLab-V2 [7]和ResNet 101 [21]作为分段网络，如[75，99]所示。我们使用SGD优化器[3]，动量为0。9和权重衰减1e4。 初始学习率为2。5e4 并且通过幂0的多项式策略衰减。9[7]。物体检测：与[86，66，9]一样，我们使用更快的R-CNN [7]和VGG-16 [70]作为检测网络。我们使用SGD优化器[3]，动量为0。9和权重衰减5e4。对于50k次迭代，初始学习率为1e3，对于另外20k次迭代，初始学习率降低到1e 4 [86，66，9]。在所有实验中，我们将图像短边设置为600，并采用RoIAlign [20]进行特征提取。图像分类：为了进行公平比较，我们遵循[98，64，69]并使用ResNet-101/ResNet-50 [21]（前8993转转转方法路SW构建壁围栏极TLTSVeg.地形天空PR骑手车卡车总线火车电机自行车Miou基线[21]75.816.877.212.521.025.530.120.181.324.670.353.826.449.917.225.96.525.336.036.6+FAA-S89.839.181.727.619.934.235.923.382.129.576.658.326.082.132.545.215.326.933.545.2AdaptSeg [75]86.536.079.923.423.323.935.214.883.433.375.658.527.673.732.535.43.930.128.142.4+FAA-S89.138.782.028.523.633.234.922.283.734.077.559.026.683.533.845.815.828.333.946.0+FAA-T91.044.382.328.121.735.636.818.784.238.373.761.428.585.938.645.714.932.433.347.1+FAA91.244.782.527.724.736.736.524.784.938.178.462.227.484.939.346.712.931.936.748.0ST [99]88.526.382.024.519.933.637.619.882.726.276.860.026.682.928.931.06.324.531.242.6+FAA-S91.452.181.632.626.435.336.222.584.635.877.360.527.984.137.043.817.225.635.947.8+FAA-T91.649.083.232.726.538.946.523.683.235.377.960.128.585.538.141.416.925.636.448.5+FAA92.052.682.533.928.539.445.733.684.338.480.560.429.185.439.944.416.229.635.150.1CLAN [48]87.027.179.627.323.328.335.524.283.627.474.258.628.076.233.136.76.731.931.443.2+FAA92.053.482.832.529.836.836.628.583.335.877.161.230.183.836.846.211.728.635.648.6高级工程师[80]89.433.181.026.626.827.233.524.783.936.778.858.730.584.838.544.51.731.632.445.5+FAA92.149.082.531.228.638.337.127.184.839.479.161.329.185.038.246.614.332.436.949.1国际开发协会[56]90.637.182.630.119.129.532.420.685.740.579.758.731.186.331.548.30.030.235.846.3+FAA91.450.383.433.027.237.738.427.084.441.879.959.730.685.137.747.514.231.235.349.3CRST [98]91.055.480.033.721.437.332.924.585.034.180.857.724.684.127.830.126.926.042.347.1+FAA92.756.484.434.329.238.248.847.185.542.486.062.332.985.340.849.822.723.036.852.6BDL [41]91.044.784.234.627.630.236.036.085.043.683.058.631.683.335.349.73.328.835.648.5+FAA92.854.185.333.828.141.046.147.684.842.782.863.532.584.137.050.315.523.236.551.7CrCDA [29]92.455.382.331.229.132.533.235.683.534.884.258.932.284.740.646.12.131.132.748.6+FAA92.955.283.431.831.139.447.846.483.438.485.761.231.085.739.146.312.033.438.951.7SIM卡[83]90.644.784.834.328.731.635.037.684.743.385.357.031.583.842.648.51.930.439.049.2+FAA92.253.784.634.229.138.047.045.385.043.884.960.329.285.239.547.312.432.344.352.0TIR [37]92.955.085.334.231.134.940.734.085.240.187.161.031.182.532.342.90.336.446.150.2+FAA93.055.584.033.028.238.146.645.884.941.786.161.233.784.238.346.515.334.944.652.4FDA [90]92.553.382.426.527.636.440.638.982.339.878.062.634.484.934.153.116.927.746.450.5+FAA93.155.084.733.129.538.749.344.984.841.680.262.333.285.637.351.318.534.645.352.8表1.在任务GTA5 Cityscapes上的域自适应语义分割实验（+FAA-S、+FAA-T和+FAA分别表示将我们的FAA应用于攻击监督源损失、无监督目标损失和两种类型的损失）。方法路SW构建墙*围栏*杆*TLTSVeg.天空PR骑手车总线电机自行车MioumIoU*基线[21]55.623.874.69.20.224.46.112.174.879.055.319.139.623.313.725.033.538.6PatAlign [76]82.438.078.68.70.626.03.911.175.584.653.521.671.432.619.331.740.046.5AdaptSeg [75]84.342.777.5---4.77.077.982.554.321.072.332.218.932.3-46.7CLAN [48]81.337.080.1---16.113.778.281.553.421.273.032.922.630.7-47.8高级工程师[80]85.642.279.78.70.425.95.48.180.484.157.923.873.336.414.233.041.248.0国际开发协会[56]84.337.779.55.30.424.99.28.480.084.157.223.078.038.120.336.541.748.9CrCDA [29]86.244.979.58.30.727.89.411.878.686.557.226.176.839.921.532.142.950.0TIR [37]92.653.279.2---1.67.578.684.452.620.082.134.814.639.4-49.3+FAA89.151.378.78.90.127.119.117.082.483.955.827.784.539.626.938.345.753.4CRST [98]67.732.273.910.71.637.422.231.280.880.560.829.182.825.019.445.343.850.1+FAA89.349.679.312.90.137.220.629.883.784.062.628.084.937.130.148.248.655.9BDL [41]86.046.780.3---14.111.679.281.354.127.973.742.225.745.3-51.4+FAA89.747.582.76.20.131.825.022.782.384.859.026.283.439.231.537.946.954.8SIM卡[83]83.044.080.3---17.115.880.581.859.933.170.237.328.545.8-52.1+FAA88.347.882.89.31.136.724.526.879.483.762.532.181.736.329.246.448.055.5FDA [90]79.335.073.2---19.924.061.782.661.431.183.940.838.451.1-52.5+FAA89.439.079.88.11.233.022.628.181.882.060.930.182.741.437.548.947.955.7表2.在任务SYNTHIA Cityscapes上的域自适应语义分割实验（+FAA意味着包括FAA以攻击域自适应中的监督源丢失和无监督目标丢失）。用ImageNet [11]训练）作为骨干。我们使用动量为0的SGD优化器[3]。9和重量衰减5e-4。学习率为1e-3，批量大小为32[98]。我们将参数p和FC的数量N设置为0。1和96。带通滤波器R遵循[27]，具有中通和低/高抑制设计，以获得中频捕获语义信息的内容（例如，结构和形状）。4.3. 领域自适应语义分割表1示出了语义分割任务GTA5 Cityscapes的实验结果。 可以看出 FAA是通用的，可应用于攻击基线和（用于防止监督源损失中的过拟合）和最先进的UDA方法（用于防止监督源损失和无监督目标损失中的过拟合）。 此外，结合FAA改进了基线和UDA方法，清晰一致。我们使用对抗对齐[75]和自训练[99]对两种代表性UDA 方法 进行 消融研 究， 其中+FAA-S ，+FAA-T 和+FAA分别解决了监督源损失，无监督目标损失和两种损失的过度拟合。可以看出，+FAA-S和+FAA-T都以大幅度改善结构域适应。这表明有监督的源目标和无监督的目标目标都引入了8994转转转转转转方法人骑手车卡车总线火车mcycle自行车地图基线[60]24.430.532.610.825.49.115.228.322.0MAF [22]28.439.543.923.839.933.329.233.934.0SCDA [97]33.538.048.526.539.023.328.033.633.8DA [9]25.031.040.522.135.320.220.027.127.6MLDA [85]33.244.244.828.241.828.730.536.536.0DMA [38]30.840.544.327.238.434.528.432.234.6中央美术学院[23]41.938.756.722.641.526.824.635.536.0SWDA [66]36.235.343.530.029.942.332.624.534.3+FAA39.541.347.034.539.344.031.928.438.3中央档案室[86]32.943.849.227.245.136.430.334.637.4+FAA37.446.448.332.646.539.332.335.339.8表3.在自适应任务Cityscapes上的域自适应对象检测的实验结果Foggy Cityscapes（+FAA意味着在域自适应中包括FAA以攻击有监督的源丢失和无监督的目标丢失方法人骑手车卡车总线mcycle自行车地图基线[60]26.922.144.717.416.717.118.823.4DA [9]29.426.544.614.316.815.820.624.0SWDA [66]30.229.545.715.218.417.121.225.3+FAA32.032.249.719.823.918.524.028.6中央档案室[86]31.431.346.319.518.917.323.826.9+FAA32.933.151.421.824.519.126.229.9表4.自适应任务Cityscapes BDD100k上的域自适应对象检测的实验结果（+FAA意味着在域自适应中包括FAA以攻击有监督的源丢失和无监督的目标丢失避免过拟合，FAA有效缓解过拟合。此外，+FAA的表现显然是最好的。这表明，防止两个学习目标过度最小化是互补的，因为两个学习目标中的过度填充以不同的方式影响泛化。具体地说，有监督的源损失具有do-main gap，并且过度最小化它会引导模型过度记忆源数据，而无监督的目标损失是有噪声的，并且过度最小化它会导致具有累积误差的偏离解决方案。表2示出了语义分割任务SYNTHIA Cityscapes的实验结果。 我们可以观察到FAA以与表1中类似的方式改进了现有技术的UDA方法。注意，由于空间限制，我们仅将FAA应用于一些代表性的UDA方法。4.4. 域自适应目标检测表3示出了任务Cityscapes Foggy Cityscapes上的域自适应对象检测。 可以看出，FAA将mAP提高超过+2。[66]和CRDA [86]。请注意，由于篇幅限制，我们没有将FAA应用于其他列出的UDA方法。表4示出了任务Cityscapes上的域自适应对象检测BDD100k。可以看出，包括-如表3所示，FAA一致地优于现有技术的UDA方法。请注意，由于篇幅限制，我们没有将FAA应用于4.5. 域自适应图像分类我们提出了在Ta中的VisDA17的实验结果。表5中的每级精度。可以看出，结合FAA优于最先进的UDA方法，这是因为显然这适用于采用更强主链ResNet-152的UDA方法[59，69]。表6显示了在Office-31上的域自适应图像分类实验（全部使用相同的主干ResNet-50）。我们可以看到，结合FAA导致了鲁棒的域自适应，并以大幅度一致地改进了图像分类。4.6. 讨论分割中领域自适应的定性说明我们将我们的鲁棒领域自适应（RDA）与最近的领域自适应方法[75]在语义分割任务上进行了定性比较。如图3所示，建议的RDA明显优于基线。过度拟合缓解：我们将FAA与现有的过度拟合缓解方法进行了比较。大多数现有方法通过向隐藏单元注入噪声（Dropout）、标签丢弃（Label smooth）、梯度上升（Flooding）、数据和标签混合（Mixup）、基于梯度的对抗攻击（FGSM）、基于虚拟标签的对抗攻击（VAT）等，通过某些网络正则化来解决过拟合。表7显示了任务GTA Cityscapes的实验结果。可以看出，现有的正则化在域自适应任务中表现不佳。主要原因是现有的方法被设计用于监督和半监督学习，其中训练和测试数据通常具有很小的域间隙。所提出的FAA通过明显的性能增益减轻了过拟合，因为它允许大幅度的扰动噪声，这对于其生成的对抗样本的有效性至关重要，因为UDA中存在由于空间限制，我们提供了更多的可视化8995转方法Aero自行车总线车马刀电机人植物滑板火车卡车是说Res-101 [65]55.153.361.959.180.617.979.731.281.026.573.58.552.4MMD [45]87.163.076.542.090.342.985.953.149.736.385.820.761.1DANN [12]81.977.782.844.381.229.565.128.651.954.682.87.857.4耳鼻喉科[15]80.375.575.848.377.927.369.740.246.546.679.316.057.0中文（简体）87.060.983.764.088.979.684.776.988.640.383.025.871.9ADR [65]87.879.583.765.392.361.888.973.287.860.085.532.374.8SimNet-Res152 [59]94.382.373.547.287.949.275.179.785.368.581.150.372.9GTA-Res152 [69]------------77.1CBST [99]87.278.856.555.485.179.283.877.782.888.869.072.076.4CBST+FAA90.680.379.6