+v：mala2255获取更多论文振幅谱变换开放复合域自适应语义分割[StarCount*] Jogendra Nath Kundu公寓式酒店，伊斯坦布尔：马上预订;Venkatesh Babu11印度科学研究所，班加罗尔2谷歌研究摘要开放复合域自适应（Open compounddomain adaptation，OCDA）是一种实用的自适应设置，它考虑单个标记源域与多模态未标记目标数据的复合我们假设，密集的中间层特征的域相关和任务相关因素的改进的解纠缠可以极大地现有技术通过在空间CNN输出上采用对抗域鉴别器来然而，我们发现，从深度CNN特征的基于傅立叶的幅度谱中获得的潜在受此启发，我们提出了一种新的特征空间幅度谱变换（AST）1。在适应过程中，我们采用AST自动编码器有两个目的。首先，仔细挖掘源-目标实例对，通过改变AST-潜在的，在特定层处进行跨域特征风格化（AST-Sim）的模拟第二，在稍后层操作的AST的任务是通过将域内容的潜在内容固定到平均原型来规范化（AST-规范）域内容我们简化的自适应技术不仅是无聚类的，而且也没有复杂的对抗对齐。我们在OCDA场景分割基准上实现了领先的性能。1引言深度学习在挑战语义分割任务方面取得了前所未有的成功（Long et al.2015）。在完全监督的环境中（Chenet al.2018;Kundu，Rajput，and Babu2020），大多数方法都是在训练和测试数据来自相同输入分布的假设下运行的。虽然这些方法在Cityscapes等几个基准上运行良好（Cordts et al.2016），但它们对看不见的数据集的泛 化 能 力 差 通 常 被 认 为 是 主 要 缺 点 （ Hoffman etal.2016）。在现实环境中部署时，它们无法复制基准性能。这归因于输入分布或域转移的差异（Torralba等人，2011）。一个简单的解决方案是对目标域样本进行注释。然而，注释的巨大成本和将来可能遇到的分布变化的多样性使得这不可行。解决此问题，无监督域*平等贡献1项目页面：https://sites.google.com/view/ast-ocdaseg自适应（DA）已经成为一种合适的问题设置，其目的是将知识从标记的源域转移到未标记的目标域。近年来，出现了几种用于语义分割的无监督DA技术。例如，从对抗性对齐（Tsai et al. 2018; Kundu，Lakkakula，and Babu 2019; Kundu et al. 2018），风格转移（霍夫曼等。2018）、伪标签自我训练（Zou etal.2019）等。然而，这些方法假设目标域是单个分布。这种假设在实践中难以满足，因为测试图像可能来自混合或连续变化或甚至不可见的条件。例如，可以从不同的天气条件收集用于自动驾驶应用的数据（ Sakaravian et al.2018 年 ） 或 一 天 中 的 不 同 时 间（Sakaraban et al. 2020）或不同城市（Chen et al. 2017年b）。为了实现现实的DA设置，Liu等人（2020）通过在靶标中引入混合结构域（化合物）此外，开放域仅可用于评估，表示未见过的域。OCDA的总体趋势（见表1）是将复杂问题分解为多个更简单的单目标DA问题，并采用现有单峰DA方法的变体。为了实现这种分解，Chen等人。（2019）依靠无监 督聚类来获得 子目标聚类。 聚类后，DHA（Park et al. 2020）和MOCDA（Gong et al. 2021）拥抱 特 定 领 域 的 学 习 。 DHA 使 用 单 独 的 判 别 器 ，MOCDA使用单独的批量范数参数（针对每个子目标聚类），然后对两者进行复杂的对抗性对齐训练。虽然这种领域特定的学习似乎对复合领域有益，但它损害了开 放领域的 通用化。 为了解 决这个泛 化问题，MOCDA提出了在线模型更新的开放领域。请注意，这种额外的更新会影响部署友好性。在这项工作中，我们的主要目标是设计一个简单而有效的OCDA技术。为此，我们的目标是取消a）对抗性比对，b）子目标聚类，c）结合特定领域的组件，以及d）在线模型更新（参考表1的最后一行）。为此，我们揭示了关键的见解，同时探索沿着解开领域相关和任务相关的线索在不同层次的分割架构，arXiv：2202.04287v1 [cs.CV] 2022年2+v：mala2255获取更多论文→→表1：与先前OCDA工程的特性比较。请注意，集群是指子目标集群，I2 I n/w表示图像到图像转换网络和光盘。表示使用了对抗性策略。复杂 模型更新高级训练开放（via Disc.）域显式领域特定学习聚类额外网络OCDA（Liu等人，2020）C×××Disc.DHA（Park et al.2020年）C×C（分离盘。（每个集群）CI2In/w，Disc.MOCDA（Gong等人，2021）CC（网上更新）C（单独BN（每个集群）CHypern/w，Disc.我们××××AST结构。我们进行对照实验，通过引入域区分度度量（DDM）来量化深度特征与未暴露域标签的不必要的DDM的准确性表明了在不同层上对深层特征的域标签进行分类的容易程度我们观察到，更深的层持有更多的领域特异性，并确定这是一个主要的因素，穷人的一般化。 为了缓解这一点，现有技术（Park et al.2020）在空间深度特征上采用域鉴别器。我们问，我们能不能找到一个比原始空间深度特征更有利于域区分的表示空间能够这样做将为我们提供更好的控制来操纵表示空间以进行有效的适应。为此，我们从最近使用频谱分析来帮助域自适应的激增中汲取动力（Yang和Soatto 2020; Yang等人，2012年）。2020b; Huang et al. 2021年）。这些方法采用不同形式的傅立叶变换（FFT）来分别处理相位和幅度分量，以便执行内容保持的图像增强。受此启发，我们建议使用从原始深度特征的幅度谱导出的潜在神经网络映射作为所需的表示空间。为此，我们开发了一种新的特征空间幅度谱变换（AST）来自动编码幅度，同时保留相位。我们凭经验证实，AST-潜伏的DDM始终高于相应的原始深度特征的DDM。据我们所知，我们是第一个使用频谱分析空间深层特征。AST-潜在奠定了一个合适的基础，以更好地辨别领域相关的因素，这反过来又允许我们操纵相同的，以帮助OCDA。我们建议以两种方式操纵AST潜伏期。首先，仔细挖掘的源-目标实例对在特定层通过改变AST-潜在的进行跨域特征风格化（AST-Sim）其次，在后面一层操作的AST的任务是通过将域内容的潜在内容固定到平均原型来规范化域内容（AST-Norm由于在AST中保留了相位，因此模拟特征和领域归一化特征都保留了任务相关的内容，同时改变了领域相关的风格。然而，这种干预的有效性考虑DDM作为解纠缠质量的代理，我们建议在具有高DDM的更深层应用AST-Sim，然后在接近DDM的更深层应用AST-Norm。最终任务输出。后适应DDM分析证实，所提出的模拟，然后归一化策略是有效的，足以抑制更深的特征的域的可辨别性，从而实现改进的域概括相比，典型的对抗对齐。我们将我们的贡献总结如下：• 我 们 提 出 了 一 种 新 的 特 征 空 间 幅 度 谱 变 换（AST），域的可辨别性的深入分析的基础上，改进的解纠缠和域特征的可操作性。• 我们以两种方式深入了解AST的用法-AST-Sim 和AST-Norm，并提出了一种新的模拟-然后-归一化策略有效的OCDA。• 我们提出的方法在GTA5 C-Driving和SYNTHIA C-Driving基准测试中实现了最先进的语义分割性能，用于复合域和开放域，以及推广到扩展开放域Cityscapes，KITTI和WildDash。2相关作品打开复合域适应。Liu et al.（2020）提出通过使用基于记忆的课程学习方法来提高模型在复合和开放域上的泛化能力。DHA（Park et al.2020）和MOCDA（Gonget al. 2021）分别对图像到图像转换网络的卷积特征统计和编码器特征使用k均值聚类对目标进行聚类。DHA在源 和每个子 目标聚类 之间执 行对抗性 对齐，而MOCDA使用单独的批处理范数参数用于每个子目标聚类，具有单个对抗性对齐。相比之下，我们模拟的目标风格，通过操纵我们的源特征的幅度谱在潜在的空间。DA的风格化。最近的几个作品，使用风格化DA可以大致分为基于特征统计和基于FFT。首先，分析了傅里叶变换（FFT）的性质，即傅里叶变换的性质.将输入分解为相位谱（表示内容）和幅度谱（表示风格），使 其 成 为 最 近 DA 作 品 的 自 然 选 择 （ Yang 和Soatto2020 ） 。 几 种 现 有 技 术 （ Yang et al.2020a;Kundu et al. 2021）直接在输入RGB图像上采用FFT，以便模拟某种形式的图像到图像域转换来帮助自适应。与这些工作相比其次，基于特征统计的方法（Kim和Byun2020）使用一阶或二阶卷积特征统计来执行特征空间风格化（Huang和Belongie2017），然后通过解码器重建风格化图像。风格化的图像与其他适应技术（如对抗对齐）一起使用。与此相反，我们使用幅度谱变换（AST）执行内容保留的特征空间样式化。3方法在本节中，我们将彻底分析域可区分性（第3.1节）。根据我们的观察，我们提出了幅度谱变换（第3.2节），并提供了有效解决OCDA的见解（第3.3节）。+v：mala2255获取更多论文ZH →Zk=1H∈ HZH → Z Z → H或或潜Z空间潜Z空间图1：A. 在AST-潜伏期上计算的DDM始终高于原始深度特征上的DDM（第3.1节）。后适应DDM证实了所提出的模拟然后标准化策略的有效性（第3.4节）。B. 将AST-Sim和AST-Norm集成到CNN分割器中（第3.4.1节）。C. D&.AST-Sim和AST-Norm的内部工作（第3.3节）。3.1解缠域特征在因果分析的文献中（Alberle和Soatto2018），已经表明一般训练的网络（ERM网络）容易学习特定领域的虚假相关性。在这里，ERM网络是指通过经验风险最小化（ERM）在多域混合数据（没有域标签）上训练的模型。为了测试上述命题，我们引入了一个度量，该度量将捕获逐层深度特征与未暴露的域标签的不必要的相关性。较高的相关性表明该模型固有地区分来自不同领域的样本，并提取领域特定的特征，随后进行领域特定的假设（从输入空间映射到输出空间）学习。为此，我们引入以下度量作为这种相关性的比例度量。3.1.1量 化 域 区 分 度 （ DDM ） 。 领 域 区 分 度 度 量（Domain-Discriminability Metric，DDM）是一种度量领域分类特征区分度的准确度度量。 给定CNN分段器（参见ses。这种效应在密集预测任务中占主导地位（Kunduet al.2020），因为域相关信息也被保留为空间维度上的高阶线索，这意味着有更多的空间来容纳域特异性。 OCDA或UDA方法库（Park et al. 2020; Tsai等人2018年），采用对抗域对齐，旨在最大限度地减少深层特征的DDM作为适应过程的主要部分（图中的虚洋红色曲线）。1A）。3.1.2 寻求改进的DDM的潜在表示。我们问自己，我们能得到一个比原始空间深层特征更有利于域区分的表示空间吗？令k是潜在表示空间，其中多域样本基于其域标签容易分离。如果相应的DDM对该潜在表示而不是原始空间深度特征进行操作，则我们预计DDM值会本质上，我们寻求学习一种映射kk，它将鼓励更好地将域相关因素与已知保持图 1A），{h k}K 表示神经活动的3D张量。纠缠的领域相关和任务相关信息。为此，我们从最近激增的在卷积层的输出处结，其中k作为层深度。其中k表示原始空间CNN特征空间。在此之后，DDM表示为λk。实证分析。我们通过执行特定的领域变化的图像增强，如天气增强，卡通化等，获得一个多域源变量与4子域。（参见附录）。在此之后，计算每个层k的DDM的简单过程将是报告在冻结ERM网络的中间深度特征上操作的完全训练的域鉴别器的准确性。在图1A中，蓝色虚线曲线在图中示出了相同的情况一个特殊的观察是，DDM增加，而从输入到输出遍历。观察1. 在多领域数据上训练的用于密集语义分割的ERM网络倾向于在更深的层中学习备注。这与Stephenson等人（2021）研究的较深层相对于早期层的记忆增加的观察结果一致。这是因为更深层的特征维度的增加允许更多的空间来学习非正则化的特定于域的hypothe。使用频谱分析来辅助域自适应（Yang and Soatto 2020;Yang et al. 2020a; Huang et al. 2021年）。这些方法采用不同形式的傅立叶变换（FFT）来分别处理相位和幅度分量，以便执行内容保持的图像增强。尽管振幅和相位两者对于重建空间图都是必要的，但是已知的是，仅振幅重建破坏图像，使其不可识别，而仅相位重建的情况并非如此。换句话说，幅度谱的变化改变全局样式或外观，即，领域相关因素，而阶段保持关键任务相关信息。基于这些观察结果，我们假设域相关潜时k可以从幅度谱中推导出来。实证分析。在此基础上，我们提出了一种新的幅度谱变换（AST）.与自动编码设置类似，AST涉及对特征图的幅度谱进行编码（）和解码（更多详细信息，请参见第3.2在此之后，DDM9075604530层ID →DDM →+v：mala2255获取更多论文Z不（FFF◦ TFFTFi=1与实例{t}jQe不不不不F作为在潜在空间上操作的域递归网络的精度（对每层重复k）的情况。图图1A中的蓝色实线曲线在图中显示了相同的情况观察2.域区分度（以及DDM）是的内部架构在潜在的Zk空间中容易识别和操纵，I.E. 从原始空间深度特征（Hk空间）的幅度谱导出的潜在神经网络映射。备 注 。 一 些 先 前 的 工 作 （ Gatys et al.2016;Huang etal.2017）主张空间特征统计捕获风格或域相关因素。在此之后，风格转移网络提出将通道方式的一阶或二阶统计量归一化，例如，实例规范化。人们可以将潜在AST表示作为类似的度量来表示复杂域区分线索，这些线索是不同的。图2：AST自动编码器的内部架构。3.3 AST用于OCDAficult通过多层卷积鉴别器提取3.2幅度谱变换（AST）几种现有技术（Yang等人，2020;Huang等人，2021）直接对输入RGB图像进行频谱分析据我们所知，我们是第一个使用频谱分析空间深层特征。3.2.1 AST作为自动编码设置。广泛地，AST涉及编码器映射和解码器映射。如图2所示，编码器映射涉及输入特征h的傅立叶变换以获得幅度谱A（h）和相位谱P（h）。振幅谱通过变换以及全连接编码器网络Q e，以获得AST-潜在z = Q eA（h）。因此，解码器映射涉及逆变换，以获得h=−1（−1Q d（z），P（h））. 重要的是要注意，编码侧相位谱被直接转发到解码侧，以经由逆傅立叶变换-1与重构的幅度谱重新组合。这里，向量化（）和逆向量化-1）必须遵守其关于原点（中点）的对称性。为此，仅对第一和第四象限进行矢量化，并进行-1次重建，从重塑的第一和第四光谱AST为更好地识别域相关因素（高DDM）奠定了合适的基础，使我们能够进行同样的操作。见解1. 通过从不同的域或实例（即， z变换），而期望变换h变换=AST（h，z变换）来模仿特征空间交叉域变换（h-到-h变换），因为关键的任务相关信息经由未改变的相位谱保持被保留。3.3.1 跨域仿真AST（AST-Sim）现有OCDA方法中的主要组成部分之一是发现子目标聚类，因为它用于源样本的域翻译（Park et al.2020）或实现域特定的批量归一化（Gong et al. 2021年）。为了获得可靠的子目标聚类，这两项工作都依赖于复合目标数据的无监督聚类相比之下，我们渴望避免这样的发现，并取消引入额外的超参数（聚类数），以实现无聚类的OCDA算法。跨域配对。如何选择可靠的源目标对进行跨域仿真？ 在没有子目标集群的情况下，一种简单的方法是形成源和目标实例的随机对。为了寻求一种更好的源-目标配对策略，我们提出了将实例与最不同的领域风格配对。 这是由深度度量学习方法中使用的硬否定挖掘（Suh et al. 2019年）的报告。考虑具有实例{si}Ns的源数据集和目标数据集象限通过镜像关于原点（见图）。2）。Ntj=1源实例% s. 对于每个目标实例tj，我们挖掘训练令θ（k）={θ Q，θ Q}表示可训练参数。D使得它们最大程度地分离在第l个CNN层的AST潜在空间中。形式上，我们在第k层的AST的μ m。请注意，AST独立操作的每个通道的hk具有相同的参数。有效地，zk作为z的串联获得获得一组跨域对，U={（si，tj）：arg_max_j，i=arg_max_j（z_l，s'，z_l，t_j）}（2）从Hk的每个信道。在获得冷冻的ERM之后-i'我网络，AST，在给定的层，被训练为自动编码其中zl，s和zl，t是si的第l层AST-潜在，使用以下目标的振幅谱minLAST（hk，hk）其中LAST（hk，hk）=hk−hk2（一）j实例。这里，k是L2距离函数。跨域模拟。利用Insight1，我们模拟-θQ2通过替换源si中tj的AST-潜伏，即，hl，si›j =AS T（hl，si，zl，tj）。类似地，y，h，j，i表示为简单起见，我们将总体AST表示为一个函数AST并将重建简化为hk=AST（hk，zk）。源程式化目标特征。我们在图中说明了跨域模拟1杯为了简化符号请注意，我们在自动编码阶段省略了zk项hl，si›j 和hl，si›j分别表示为h l，s和h l，t。I. e. hk =AST（ae）（hk），因为zk未经修改地通过。请注意，hl，s›和hl，t›包含相同的任务相关内容I/pAST-Sim或AST-Norm应用o/p正常化或模拟重构调制通过阶段半定量AST矢量化振幅规格+v：mala2255获取更多论文V∈ D∈ D← D D∈D∈DDNθCS◦◦◦◦LLCSDN分别为hl，s和hl，t。因此，原始特征和风格化特征两者预期具有相同的分割标签。3.3.2 AST用于域标准化（AST-Norm）。 我们从批量归一化（BN ）（Ioffe et al. 2015 ）中汲取了动力，它在向前传递过程中使用一阶和二阶统计量对特征进行归一化。沿着同样的思路，我们的目标是通过用固定的平均原型改变中间深度特征的AST潜伏来规范化它 设是从所有四个变体获得的第l层深度特征的集合，即， h l'，s，h l'，t，h l'，s ›，h l'，t ›. 我们计算固定域原型zl'，g如下，算法1：用于所提出的方法的1：输入：源数据（xs，ygt）s，目标数据xtt。 初始化θ（即，参数Φ、Φ和C）。初始化θcs和θdn（即，ASMcs和ASMdn的参数）。2：预适应：将AST集成到CNN分割器中，并根据等式2微调θ、θcs和θdn。4和5.通过模拟然后规范化进行3：冻结来自预适应训练的θcs和θdn重新计算固定域原型zl'，g，使用等式3和zl'，g=Eh∈V [QeT FA（h）]（3）伪标签y4：对于PGT使用等式8、每一个时代在洞察1之后，域归一化被执行为hl'，sg=AST（hl'，s，zl'，g）。我们在图1中说明了域的归一化1D. 的规范化版本hl'，t，hl'，s<$，hl'，t<$分别是hl'，tg，hl'，s<$，hl'，t<$。最大值：5：xs，ygt，xt，ypgt批次从s，t取样6：根据图6获得预测。37：通过优化等式更新θ6和7g g8：结束3.4OCDA的先模拟后规范化OCDA的主要目标是将任务知识从标记的源域（x s，y s）s调整到未标记的复合目标，x tt，以更好地推广到看不见的开放域。AST的优点（即，识别-使用和操纵域相关因素）很好地迎合了OCDA中遇到的针对将其用于单源单目标设置的特定挑战。实证分析。在获得冻结的ERM网络和冻结的逐层AST模块之后，我们采用AST-Sim（图1C）和AST-Norm（图1D）来分析其对任务性能的行为。我们观察到，在较早的一层进行AST-Sim或AST-Norm，架构 如图 1B，我们将CNN分割器分为三个部分，即.Φ、Φ和C.在此之后，将AST-Sim（表示为ASTcs）和AST-Norm（表示为ASTdn）分别插入在Φ和Φ之后（参见图1B）。3B、D）。接下来，我们来谈谈适应性训练。3.4.1 适应前培训。在此阶段，我们的目标是在执行建议的模拟-然后-标准化程序（即：适应）。我们从预训练的标准源模型和预训练的基于AST的自动编码器开始，在层l和l′的网络，即，AST（ae）和AST（ae）。在这里，DDM损害了任务性能。我们推断，低DDM上标（ae）CSDN值指示在相应的AST-潜伏时域相关线索的劣解缠。换句话说，任务相关线索倾向于通过幅度谱泄漏，从而使任务相关内容失真。洞察2. 在具有高DDM值的层应用AST-Sim，然后在接近最终任务输出的稍后层应用AST-Norm，有助于有效利用AST模块的优势，以应对具有挑战性的OCDA设置。备注。 从因果分析文献的角度来看，AST-Sim的使用可以被认为是一种干预（He et al. 2008），它隐含地鼓励网络专注于不间断的任务特定线索。然而，这种干预的有效性与解缠的质量成正比。在这里，DDM可以作为代理表明这些网络还没有被操纵为AST-Sim，或AST-Norm（即，而不对AST-潜伏进行任何处理）。在此之后，预适应微调涉及两个途径。首先，xs被转发以获得ys=CAST（ae）最大值（ae）Φ（xs）。以下源侧监督交叉熵目标形成为：minLs，其中Ls=LCE（ys，ygt）（4）这里，θ表示Φ、θ和C的参数的集合。请注意，在将AST集成到CNN分段器中之后，内容相关的梯度在微调Φ和Φ时畅通无阻地流过冻结的AST网络。在第二条路径中，xs和xt都被转发到获得输入输出对以微调θcs和θdn，即以测量解缠质量的程度。因此，我们建议在具有高DDM的层l处执行AST-Sim，如图1B所1B. 但是，我们意识到，minθcsAST（hl，s，hˆl，s）+LAST （hl，t，hˆl，t）（五）中断的相途径仍然泄漏结构域相关信息（对于k > 1，相对高的DDM），阻碍结构域的产生。为了规避这一点，我们建议在稍后的层执行AST-Norm，作为进一步淡化域相关信息的手段。后适应DDM分析（图1A中的实洋红色曲线）证实，所提出的模拟然后归一化策略足以有效抑制后期深层特征的域可辨别性，从而实现改进的域泛化。最小AST（hl'，s，hl'，s）+AST（hl'，t，hl'，t）θdn这里，（hl，s，hl，s）和（hl，t，hl，t）是对应于x s和x t的输入-输出对，以更新AST（ae ）。类似地，（h1'，s，h1'，s）和（h1'，t，h1'，t）是对应于xs和xt以更新AST（ae）的输入-输出对。3.4.2通过模拟然后规范化进行调整。从预适应阶段开始的微调网络现在L+v：mala2255获取更多论文→†∗→Gtgg不DGGSIMSIM西木尔阿特诺伊马利兹规范规范规范规范一BCDEF图3：自适应训练期间的数据流（第3.4.2节）。通过模拟然后标准化过程进行调整。我们操纵AST潜伏期，表2：GTA5 C-驾驶基准的比较。表示150k次训练迭代，否则为5k次迭代。方法化合物（C）开放（O）平均下雨下雪多云阴天 C C+O仅来源16.2 18.0 20.9 21.2 18.9 19.1Kai（Tsai et al. 2018年）20.2 21.223.825.122.1 22.5CBST（Zou et al. 2018年） 21.3 20.623.924.722.2 22.6IBN-Net（Pan et al. 2018年）20.6 21.926.125.522.8 23.5PyCDA（Lian et al. 2019年）21.7 22.325.925.423.3 23.8OCDA（Liu et al. 2020年）22.0 22.927.027.924.5 25.0DHA（Park et al. 2020年） 27.0 26.330.732.828.5 29.2我们的（AST-OCDA）仅来源† 23.324.0 28.2 30.2 25.7 26.4Kai（Tsai et al. 2018年）†25.6 27.2 31.8 32.1MOCDA（Gong等人，2021）†24.4 27.5 30.1 31.4 27.7 29.4DHA（Park et al. 2020年）†27.130.435.536.132.0 32.3AST（ae）和AST（ae） 分别作为ASTcs和ASTdn我们的（AST-OCDA）† 32.732.2 38.9 39.234.6 35.7CSDN注意，潜在操作与网络权重θcs和θdn无关。因此，我们从预适应训练中冻结θcs和θdn，以保留它们的自动编码。表3：SYNTHIA C-驱动基准比较。所有方法都采用长期训练策略。表示mIoU超过11类，否则超过16类。在自适应阶段仅更新θ适应训练涉及四个数据流路径，如图3所示。第一层输出的模拟步骤以下特征;（h l，s，h l，s<$，h l，t<$，h l，t）。移动-因此，层-l'处的规格化步骤输出以下内容：（h l'，sg，h l'，s ›，h l'，t ›，h l'，tg）. 最后，我们得到以下结果：方法化合物（C）开放（O）平均下雨下雪多云阴天 C C+O仅来源16.3 18.8 19.4 19.5 18.4 18.5CBST（Zou et al. 2018年） 16.2 19.620.120.318.9 19.1CRST（Zou et al. 2019年） 16.3 19.920.320.519.1 19.3gg.（Tsai et al. 2018年）17.0 20.521.621.620.0 20.2四个预测;（y sg，y s<$，y t<$，y tg）。如图3F所示，我们将监督损失应用于源侧预测的地面实况（GT）ygt，即min（Ls=LCE（ys，ygt））min（Ls<$=LCE（ys<$，ygt））（6）AdvEnt（Vu et al. 2019年）17.7 19.920.220.519.3 19.6DHA（Park et al. 2020年） 18.8 21.223.623.621.5 21.8我们的（AST-OCDA）来源仅限16.5 18.2 21.4 20.6 19.2 19.8θgθgAdvEnt（Vu et al. 2019年）21.822.626.225.723.9 24.7（Tsai et al.2018）26.9 30.7 30.3 28.0 29.0在基于自训练的自适应工作（Zouet al.2019）之后，我们建议使用伪标签（pseudo-GT）ypgt进行目标端预测，即min（Ltg=LCE（ytg，ypgt））min（Lt<$=LCE（yt<$，ypgt））（7）MOCDA（Gong et al.2021）26.6 27.9 32.4 31.8 29.1 30.3我们的（AST-OCDA）28.8 33.9 34.230.2各种看不见的领域所有数据集（SYNTHIA除外）θθ g g共有19个语义类别。我们用平均交集-伪标签提取。为了获得可靠的伪标签ypgt，我们通过在ytg和yt›之间执行一致性检查来修剪目标预测。因此，ypgt=arg maxcytg仅针对可靠像素获得，即，对于满足以下标准的像素xtD（pgt）={xt：xt∈Dtandarg maxyt=arg maxyt<$}（8）过度联合（mIoU）度量，用于评估性能。更多详情见附录。实施细节。（Park et al. 2020; Gong等人 2021），我们 采 用 DeepLabv2 （ Chen et al. 2017 a ） ， VGG16（Simonyan et al.2015 a）作为CNN分段器。我们使用SGD优化器，学习率为1 e-4，动量为0.9，权重衰减为c c c5e-4培训期间我们还使用多项式衰减，注意，只有（pgt）中的目标像素在等式（1）中有贡献。第七章在Algo中总结了整个训练过程。1.一、4实验我们彻底评估所提出的方法对国家的最先进的现有作品在开放式化合物DA设置。数据集。 在Gong et al. （2021），我们使用合成的GTA 5（Richter et al. 2016）和SYNTHIA（Ros et al.2016）数据集作为源。在C-Driving（Liu et al.2020）中，下雨、下雪和多云子目标形成复合目标域，阴天子目标形成开放域。此外，我们使用Cityscapes（Cordtset al. 2016）、KITTI（Geiger et al. 2013）和WildDash（Zendel et al. 2018）数据集作为扩展的开放域来测试泛化+v：mala2255获取更多论文→→功率0.9作为学习速率调度器。跟随公园等人（2020年），我们使用两个训练计划的GTA5即，具有5k次迭代的短训练方案和具有150k次迭代的长训练方案。对于SYNTHIA，我们仅使用遵循Gong等人的长训练方案。 （2021年）。4.1讨论我们将我们的方法与现有技术在GTA5 C-驱动（表2）和SYNTHIA C-驱动（表3）基准以及扩展开放域（表4）上进行比较。我们还提供了一项广泛的消融研究（表5）。GTA 5作为源（表2、4）。对于短期训练方案，我们的方法在复合dos上的平均性能优于SOTA方法DHA（Park等人，2020+v：mala2255获取更多论文→GGG×G表4：对扩展的开放域的评价在Gong等人之后，mIoU计算了GTA 5作为源的19个类别和SYNTHIA作为源的11个类别。 （2021年）。源方法扩展开放Avg.城市 KITTI WildDashGTA5Conv 5-1处的预适应Conv 5-1处的后适应Conv 6-1处的预适应Conv 6-1处的后适应GTA5城市景观WildDashKITTISYN-THIA来源24.7 20.7 17.3 20.8蔡（Tsai等人，2018）35.9 24.7 20.7 27.9MOCDA（Gong et al. 2021年）32.234.225.831.2图4：在AST-Sim和AST-Norm之后的层、适应前后的t-SNE图。结构域在AST-Sim后保持聚集，而在AST-Norm后对齐。结构域配对策略（第3.3.1节）。表5：GTA 5 C-驱动的消融研究。Random和Mined表示随机配对和硬挖掘策略（第3.3.1节）。Sim和Norm表示模块使用情况。# AST-配对AST-GTA5→C-Driv.其次，我们评估了AST范数下的变化。停用AST-Sim后 ， AST-Norm 的 平 均 性 能 优 于 基 线 （ #2 vs. #1 ）2.3%。AST-Norm和基于模拟的损耗，即： Ls›，Lt›（#4 vs. #3和#7与1.×-2.×-3.CC4.CC5.CC6.C×7.C×8.C×C××C×× CC×C-二十五点七-二十八点一-二十七点九C30.0C31.2-29.0C32.8C34.626.428.628.330.331.629.833.635.7随机配对和挖掘配对分别为#6）与不使用AST-范数相比分别产生2.0%和3.8%的平均改进。接下来，使用所有损失的AST-标准比之前的改进（#5与#4和#8与随机配对和硬采矿分别为#7），分别为1.2%和1.9%。这验证了使用所有损耗相对于仅基于模拟的损耗的一致改进两组消融都强调了AST-Sim和AST-Norm在所提出的方法。4.1.2分析域对齐。由于AST-Sim（图层l）和AST规范（层l′）涉及替换潜在的，它们的1.2%，开放领域。长期训练计划加强了这种改善，在复合和开放域训练中，我们的表现优于DHA2.6%和3.1%。如表4所示，我们的方法在扩展开放域上的平均性能优于SOTA方法MOCDA（Gong等人，2021这验证了我们的方法具有更好的泛化能力，从源数据的新的开放域具有更高的域偏移。SYNTHIA作为来源（表3、4）。我们的方法比SOTA方法DHA（Park et al.2020）在化合物结构域上的平均值高1.1%，在开放结构域上的平均值高1.8%。表4显示了我们在扩展开放域上的卓越性能。 我们优于SOTA（Gong et al. 2021年），3个数据集的平均值为2.1%。这就加强了我们优越的概括能力。4.1.1消融研究 表5提供了详细的消融，以分析申报组件的有效性。首先，我们评估AST-Sim下提出的变化。作为基线，我们使用仅源代码性能（#1）。停用AST-Norm、AST-Sim和随机配对策略（#3与#1）平均提高2.1%。接下来，在没有AST-Norm的情况下，AST-Sim与提出的Mined配对一起比之前的（#6 vs. #3）高出1.3%。当AST规范仅与基于模拟的损失（即，Ls<$，Lt<$），使用Mined配对可以提高在图4中，我们绘制了第l+1层和第l′+1层的AST-潜在的t-SNE（Maaten et al.2008）嵌入图，以检查所提出的适应前后的域对齐。虽然模拟的跨域特征（hl，s›，hl，t›）跨越整个空间，但是原始源域和子目标域（即，h1，s，h1 ， t）仍然保持结构域特异性（第一和第二曲线）。由于AST-Norm的目的是将AST-latent归一化，固定平均原型（即，强制所有特征具有共同的AST-潜伏），我们观察到域在层l′+1处在适应后对齐（第三和第四图）。这表明，所提出的模拟然后归一化策略有效地减少了潜在空间中的域移动。5结论在这项工作中，我们进行了全面的域区分度（DDM）的分析，以量化不必要的重叠之间的深层功能和域标签。基于我们的观察，我们提出了特征空间振幅谱变换（AST），以更好地分离和处理领域和任务相关的信息。我们提供了对AST在两种配置-AST-Sim和AST-Norm中的使用的见解，并提出了一种新的模拟然后规范化策略，用于有效地执行开放复合DA。将所提出的方法扩展到更一般，更现实的DA场景，如多源，随机配对（#7 vs. #4）3.0%。最后，当AST-Norm与所有四种损失一起应用时，Mined配对优于随机配对（#8对#5）3.5%。这证明了我们精心设计的十字架的一贯优越性，多目标DA可以作为今后工作的一个方向。致谢。这项工作得到了印度政府Me-itY（电子和信息技术部）项目（No. 4（16）2019-ITEA）的支持。我们的（AST-OCDA）37.2 35.733.3转换4-3Conv5-1，5-2，5-3CCC-C×-C-C×--源仅19.324.116.020.5Patient（Tsai等人，2018） 22.023.417.522.5MOCDA（Gong et al. 2021年）31.130.921.627.8我们的（AST-OCDA）32.631.823.129.2SIM 随机开采标准Lsg，Ltg Ls›，Lt›G gCC+O+v：mala2255获取更多论文×（pgGG--×补充材料在本补充材料中，我们提供了大量的实施细节，并提供了额外的定性和定量性能分析。对于可重复的研究，我们将表6：符号表尺寸符号说明（C×H × W）发布我们完整的代码库和训练好的网络权重。本补充材料的结构如下：• A节：符号（表6）• B节：实施细节– DDM分析实验（第B.1，图第七章）– 实验设置（第B.2，表8，六、• C节：分析– 定量分析（SEC）C.1，表7，9）– 定性分析（Sec. C.2，图第五章）A符号我们在表6中总结了论文中使用的符号。为了提高方法的清晰度，我们
我的内容管理
展开
