自我变异网络用于航空图像的域自适应分割

70680自我变异网络用于航空图像的域自适应分割0Kyungsu LeeDGIST 韩国0ks_lee@dgist.ac.kr0Haeyun LeeDGIST 韩国0haeyun@dgist.ac.kr0Jae Youn Hwang*DGIST 韩国0jyhwang@dgist.ac.kr0摘要0使用深度学习技术进行航空图像的域自适应语义分割仍然具有挑战性，因为不同地区获得的航空图像之间存在域差异。目前，已经开发了各种基于卷积神经网络（CNN）的域适应方法来减小域差异。然而，当它们应用于来自其他领域的图像时，它们在对象分割方面仍然表现出较差的性能。在本文中，我们提出了一种新颖的基于CNN的自我变异网络（SMN），它可以根据输入图像的域自适应地调整卷积滤波器的参数值，以实现更好的域自适应分割。对于SMN，设计了参数变异技术来自适应地改变参数，并开发了参数波动技术来随机卷积参数。通过采用参数变异和波动，可以实现对不同领域图像的自适应自我变化和微调参数，从而在域自适应分割中获得更好的预测。同时，消融研究的结果表明，SMN的交集联合值比其他最先进的方法提高了11.19％，证明了它在航空图像的域自适应分割中的潜力。01. 引言0航空图像在遥感领域的城市规划、自动驾驶车辆和数字地图生成中被广泛应用。特别是，使用航空图像进行建筑物分割对于数字地图生成至关重要。为了从航空图像中分割建筑物，迄今为止已经开发了许多基于卷积神经网络（CNN）[18]的分割方法[26, 34,37]。与传统的分割方法相比，基于CNN的分割方法在从航空图像中分割建筑物方面表现出色。然而，一般来说，航空图像根据时间、国家和航空公司的不同具有多种领域。航空图像0图1：不同领域的示例图像：（a）Inria数据集，（b）马萨诸塞州数据集，（c）武汉大学数据集，（d）我们的城市数据集0来自不同领域的航空图像通常具有不同的分辨率、位置和风格（图1）。尽管卷积神经网络（CNN）在广泛的领域展示了强大的能力，但当CNN应用于其他领域的未观察场景和对象时，它们的性能会严重下降，适用于各种应用[7,11]。也就是说，当一个经过训练的网络应用于从另一个领域的航空图像中分割建筑物时，网络的性能会严重下降[5, 24,38]。因此，域适应（DA）最近引起了人们的关注，作为解决CNN限制的一种未满足的需求技术。为了解决这个问题，已经开发了一些深度学习技术，如迁移学习[24, 30,38]和生成对抗网络（GANs）[10]。迁移学习技术重新使用在一个领域中优化的深度学习网络，已经被引入到许多应用中[24, 30,38]。尽管迁移学习技术在建筑物分割任务中的性能有所提高，但航空图像的域适应迁移学习并没有显示出足够的性能，这是由于存在域差异。与此同时，GANs作为一种可以应用于DA的新技术引起了极大的关注[5,36]。通过使用GAN，实现了域适应的风格转移。此外，还开发了基于GAN的层来减小训练过程中的域差异[2, 8,9]。然而，由于GAN翻译的图像不能完全被识别为同一领域的图像，因此无法完全实现泛化特征提取[31]。也就是说，由于域差仍然存在。70690图2：自变异网络的流程图。网络的编码器（E）和解码器（D）同时通过三个损失函数进行优化。在推理步骤中，通过（1）参数波动和（2）参数突变的两个步骤对优化的网络进行微调。0尽管经过域自适应后，DA的性能仍然需要改进以减少域差距。在本文中，我们展示了一种新的基于GAN的参数自变异网络，以改进来自不同域的航空图像的建筑物分割。在这里，我们不是开发一种新的方法来减少不同域之间的域差距，而是提出了一种能够将网络本身的固有属性转换为对输入图像域的响应的网络。因此，我们设计了一种基于GAN的网络，称为自变异网络（SMN）。SMN使用两种新技术在预测步骤中根据输入图像的域调整卷积滤波器本身的参数值：（1）参数突变，即在GAN的适应过程中随着输入域的变化而改变网络的参数，以及（2）参数波动，即对卷积网络的参数进行精细振荡以增加随机性，从而增加网络的熵。图2显示了SMN算法的流程图。本研究的主要贡献总结如下：0•我们开发了一种新颖的基于GAN的自变异网络，用于不同域的航空图像精确的域自适应语义分割。该网络使用两种技术在每个测试图像上微调模型的参数：0•参数突变：一种用于卷积滤波器参数的微调技术。在预测步骤中，基于GAN的优化调整输入航空图像域的参数值。0•参数波动：一种向卷积滤波器的参数添加随机性的技术。在参数随机振动的同时，网络的熵增加。02. 相关工作0与我们的方法相关的以下工作已经被审查：DA和分割任务。图3描述了一般和我们的DA方法。02.1. 域自适应 (DA)0在GAN的早期工作中[10]，它被简单地应用于实现足够数量的数据集[21]，从航空图像中提取各种特征[4]，并将注意力应用于基线网络0(a)0(b)0(c)0(d)0图3：域自适应的不同方法。 (a)迁移学习，将预训练网络用于其他领域; (b)风格转换方法，将源域的风格转换为目标域; (c)无监督微调方法，使用源域和目标域对架构进行微调; (d)参数适应，根据域进行参数转换。本文基于(d)参数适应开发了一种自变异网络，并根据输入域对自身进行微调。70700[27]。最近，通过使用GAN，已经开发了将一个域中的图像转换为另一个目标域的风格转换[2,8]。此外，已经开发了基于GAN的层来帮助减少训练模型时的域差距[9,29]，以及数据生成和注意力聚集的目的[27]。Dundar等人通过匹配计算机图形图像的合成基线进行了DA。Y.Ganin等人对DA进行了文献研究，并将其应用于不同的领域。此外，Y.Yanchao等人在进行DA时利用了傅里叶变换来转换图像的域[39]。02.2. 航空图像中建筑物的分割0从早期对航空图像中建筑物的语义分割的研究开始，利用颜色、形状和边界的经典计算机视觉算法已经被开发出来，用于分割航空图像中的建筑物[14, 16,25]。然而，它们的缺点是不能应用于性能较差的一般航空图像。从第一个用于分割任务的深度神经网络[20]开始，许多深度学习网络在这些领域中得到了发展。Ivanovsky等人在航空图像中的对象语义分割领域应用了一个简单的基于CNN的网络，其架构基于编码器-解码器架构[3][13]。此外，还应用了一种具有模块化架构的先进架构，称为金字塔池化层，用于指定精确的形状和位置。0建筑物的分割[17,41]。此外，提出了基于注意力的CNN架构，以实现准确的分割图[27]。Wang等人[32]引入了非局部块来实现非局部航空图像。02.3. 域自适应航空语义分割0随着航空图像和航空图像数据集数量的急剧增加，域自适应的迁移学习已经发展起来，利用深度学习网络将一个域中优化的网络应用到其他域中。对于迁移学习，最近引入了一种新的GAN框架[5, 6, 19, 24, 40,30]。Benjdira等人通过改变源域到目标域的图像，包括航空图像的分辨率、捕获图像传感器和捕获位置，研究了跨域分割[5]。此外，Benjdira等人还应用了基于GAN的网络对航空图像进行无监督语义分割作为DA[6]。Li等人评估了GAN在航空图像的迁移学习领域中的性能，并得出结论，基于GAN的网络在航空图像领域中具有可接受的性能[19]。Onur等人使用GAN生成了与输入图像相同的图像，除了光谱分布。Na等人设计了一种基于域自适应迁移攻击方案的分割网络[24]。0图4：自变异网络的流程。在训练流程中，利用损失来优化包括编码器（E）、鉴别器（S）和解码器（D）在内的整体基于CNN的组件，用于对象分割和图像生成。每个损失函数在方法中都有相关方程进行解释。在推理流程中，通过参数波动向E和D的参数添加随机性。然后，在优化基于GAN的优化的（2）�（4）的损失的同时，执行参数突变。最后，使用E和D的突变参数进行建筑物的推理，这些参数在输入图像的域中进行微调。707103. 方法0在本节中，我们提供了我们提出的网络（即SMN）的概述，并描述了SMN在参数适应方面的创新之处。应用的两个主要创新是参数波动和参数突变。图4说明了SMN的整体架构。03.1. 架构概述0最终，所提出的架构被配置为接受航空图像作为输入，并生成建筑物对象的分割图（segmap）作为输出。为此，所提出的网络由主要用于分割任务的编码器-解码器流水线组成[3]。除了基本基线，所提出的网络还具有用于参数突变的基于GAN的结构[10]。图5说明了所提出的SMN的详细结构。SMN采用编码器-解码器架构，并在网络的尾部嵌入了一个非局部块以应用非局部性[33]。SMN包括四个可训练的CNN结构，即编码器、用于segmap的解码器、用于生成器的解码器和鉴别器。请注意，用于segmap的解码器和用于生成器的解码器共享具有相同参数值的卷积滤波器的变量，除了倒数第二层和最后一层。编码器和用于分割的解码器用于分割建筑物，鉴别器和用于生成器的解码器用于基于GAN的优化，在建筑物的推理过程中微调参数。每个结构的详细信息请参见补充材料。03.2. 自变异网络的训练阶段0为了生成segmap，使用了传统的SegNet编码器-解码器架构。它们通过交叉熵损失进行优化，如下所示：0▽θe，θd Lseg =▽θe，θd 1N0N 0i = 10�� G � log � D ( E ( x i )0+ � 1 − G � log � 1 − D ( E ( x i )) � �(1)0其中θe和θd分别是编码器和解码器的可训练变量，xi是输入图像，E、D和G分别是编码器、segmap的解码器和xi的对应真实值。此外，所提出的架构还具有一个流程，类似于自动编码器，可以通过GAN进行参数微调，如图5的下部所示。GAN的一般损失函数如下所示：0图5：自变异网络的详细架构和模块。这里，segmap的解码器和生成器的解码器共享变量，除了倒数第二层和最后一层。0用于优化编码器、生成器的解码器和鉴别器。0▽θs Ldisc = ▽θs1N0N 0i = 10� log � S ( x i ) � + log � 1 − S ( D ( E ( x i))) � �0▽θe，θd Lgen =▽θe，θd 1N0N 0i = 10� log � 1 − S ( D ( E ( x i ))) � � (3)0其中S表示鉴别器，θs是鉴别器的可训练变量。通常情况下，当输入到SMN的是一个未经训练的不同领域的图像时，不会生成与输入图像相似的图像。然而，如果通过基于GAN的架构对参数进行精细调整，以创建与原始图像相似的图像，就可以准确预测新领域图像的segmap。因此，这里采用了基于GAN的结构。然而，由于基于GAN的优化训练速度较慢，因此使用结构相似性的损失函数来生成相似的图像，如下所示：0Lsim = − 10N0N 0i = 10� sim � x i , D ( E ( x i )) �W , C �0� ( D ( E ( x i ))) −  x i� 2 �0(4)其中sim是衡量两个图像之间结构相似性的函数，H、W和C分别表示图像的高度、宽度和通道。当仅使用L2损失生成与输入图像完全相同的图像时，所提出的网络的性能会下降。因此，为了降低L2损失的权重，添加了结构相似性的权重因子。当生成的图像与输入图像相似时，只应用生成器损失来优化网络。优化过程如图4所示。That is, the center of the vectors should not be changedeven after adding random factors. The range of the ran-dom factors is set so as not to exceed λ1% multiplied bythe distance between each vector (vi) and the center vec-tor (c), thus ensuring that random elements do not exceedthe constrained range of the optimized parameters. Whenthe conditions in Eqs. 5 and 6 are met, a similar segmenta-tion performance could be achieved in the same domain.The mathematical proof is given in the Supplemental ma-terial. The example of the parameter fluctuation is illus-trated in Fig. 7. The sum of the all fluctuation vectorsshould be a zero-vector to maintain the center positionof all parameters.Algorithm.1 represents the algorithm of parameterfluctuation.Since the parameter fluctuation adds ran-dom elements to the parameters, the entropy of the net-work becomes increased, and the accuracy of segmenta-tion from other domains become improved.70720(a)0(b)0图6：(a)生成的图像示例和(b)Domain 1、Domain2和从Domain1生成的域的T-SNE图。生成的域中的图像可以被识别为Domain1。0当SMN被优化时，生成器的编码器和解码器会生成一张相似但不完全相同的图像，属于同一个领域。图6(a)展示了通过包括编码器和解码器的生成器生成的图像示例。图6(b)展示了T-SNE[12]图。T-SNE图表明生成的图像属于与输入图像几乎相同的领域。03.3. 自变异网络的推理阶段0如图4所示，SMN对建筑物的预测通过以下步骤进行：（1）对编码器（E）和解码器（D）应用参数波动，得到波动的E和D。（2）然后对波动的E和D应用参数变异进行微调，同时优化基于GAN的流程，得到变异的E和D。（3）使用变异的E和D进行建筑物的预测。当给定原始图像作为输入时，通过参数波动方法使参数振动，并且参数的值在一定的空间范围内变化。随后，将原始图像输入编码器和解码器进行生成器的压缩和解压缩过程，生成新的图像。同时，鉴别器确定生成的图像是否与原始输入图像相似。在这里，由于生成的图像被优化为与输入图像更相似，编码器和解码器的参数值也会发生变化。随后，在完成参数值的变化后，将原始图像输入编码器和解码器的结构进行segmap，预测与输入图像对应的建筑物的segmap。03.4. 参数波动0参数波动是在预测步骤中向E和D的参数添加随机性的方法。由于梯度消失问题，更深层的层不能通过参数突变进行突变。因此，提出了参数波动来解决这个问题。在SMN中，所有参数都具有3×3大小的卷积滤波器，并且所有参数都被映射为9维变量的向量。随后，随机向量被添加到每个参数中，以改变参数的空间位置。这里，参数向量表示为vi，vi的中心点定义为c，波动向量定义为fi。应满足以下条件，但波动向量的长度不超过约束常数（λ1）：0||fi|| ≤ λ1 ||vi - c||（6）0图7：（a）参数波动的示意图。随机性被添加到卷积滤波器的参数中。（b）波动向量的总和。这里，红色虚线箭头表示卷积参数的波动向量，所有波动向量的总和应该是一个零向量。.sim�xi,D(E(xi))�≥ λ2Lsim ≤ λ3(7)70730算法1：参数波动的过程和条件。01：在三维坐标中，随机均匀分布的零均值高斯噪声的表面上生成4N个向量（si）。02：这里，向量的范围（r）应小于0.25λ1min（||vi - c||）03：随机选择一对向量s r1,2，同时将θrand和φrand添加到s r1，并将−θrand和−φrand添加到s r 204：随机选择4个向量s r 1,2,3,4，并将它们添加为fi = s r1 + s r 2 + s r 3 + s r 4，同时保持� fi = 005：将波动向量（fi）添加为ˆvi = vi + fi06：这里，�ˆvi = 007：返回波动向量（ˆvi）03.5. 参数突变0一般来说，仅针对一个领域进行优化的基于CNN的网络在预测另一个领域的图像时无法产生可接受的性能；因此，提出了一种参数突变技术。参数突变是一种基于GAN的微调技术，根据输入领域改变参数。当输入图像被压缩和解压缩时，会生成新的图像。然而，如果编码器和解码器在源领域中没有完全优化，生成的图像与输入图像不够相似。因此，通过微调编码器和解码器的参数，在预测阶段生成与输入图像相似的图像。因此，SMN的参数根据输入领域进行微调，然后SMN可以生成具有改进性能的建筑物分割图。0图8：SMN在一个领域中优化之前（左）、优化之后（中）应用参数突变并在所有领域中优化（右）的T-SNE结果。0请注意，编码器和解码器的参数并没有完全优化，而是在满足以下条件的情况下进行优化：0为了限制优化程度的目的，（1）克服过拟合问题，因为完全优化的深度学习网络不能保证高分割性能，（2）在预测阶段实现更快的预测时间，只保证一定程度的相似性。因此，如果满足条件，参数突变将停止。参数选择过程在补充材料中有说明。图8说明了SMN的参数（a）在参数突变之前和（b）在参数突变之后的分布，以及（c）通过应用T-SNE方法将参数训练到所有领域的2D空间中的分布。图8表明，参数突变可以保证在其他领域中获得可接受的性能，而不仅限于航拍图像的特定领域，因为参数作为完全优化网络的参数分布到所有领域。04. 实验和结果04.1. 数据集和训练环境0为了评估SMN与其他最先进的网络（如FDA [39]，DDA[5]，DATA [24]和TreeUNet[40]）在领域自适应语义分割方面的性能，对所有数据集进行了k折交叉验证。此外，利用建筑物的交并比（IoU）[28]作为评估指标，由于背景IoU值不影响性能，只使用建筑物的IoU值。深度学习网络的代码使用Tensorflow 1.13[1]的公共库实现，并且测试服务器采用两个Intel XeonCPU和四个NVIDIA Titan-XpGPU构建。为了展示自变异网络的性能，应用了四个数据集，即WHU [15]，Inria [22]，Massachusetts Buildings[23]和我们的城市数据集（OUD）。每个领域的图像具有不同的分辨率、位置、时间和建筑风格的特点，以及包括差异、图像数量、构建数据集的方法和CNN模型构建在内的详细信息，如补充材料所示。此外，图9说明了应用主成分分析（PCA）后的T-SNE结果以及图像特征因领域而异的特点。O70740图9：对包括Massachusetts，WHU，Inria和OUD数据集在内的所有领域的航拍图像应用PCA后的T-SNE结果。04.2. 实验结果0为了评估SMN的性能，我们对SMN进行了消融研究，比较了SMN和最先进的网络在领域自适应分割方面的性能。表1显示了自变异网络消融研究的分割结果。这里，I，M，W和O分别表示Inria，Massachusetts，WHU和OUD数据集。此外，PM和PF分别表示参数突变和参数波动，SAME表示只在公式4中使用l2损失函数而不是结构权重因子。注意，SAME生成与输入图像完全相同的图像，而公式4生成与输入图像完全不同但在同一领域的相似图像。在消融研究（表1）中，基于GAN的参数-0表1：SMN的消融研究。这里，所示领域的图像被用作训练集，其他三个领域的图像被用作测试集。例如，case-M表示使用Massachusetts数据集作为训练集，其他三个领域作为测试集。最佳性能以粗体标记，第二佳性能以下划线标记。0结构 建筑物 IoU0Baseline[3] 49.2 49.5 49.5 49.5 Baseline + SAME 51.0 50.850.5 49.7 Baseline + PF 52.9 52.4 52.1 51.2 Baseline + PM52.8 54.0 51.2 54.90Baseline + PF + SAME 52.2 51.6 53.2 52.5 Baseline + PF +PM (我们的方法) 62.9 61.6 61.9 60.90参数突变改善了分割性能，尽管网络预测了不同领域的图像。尽管参数波动的任意使用性能较差，但在与参数突变结合使用时，滤波器波动有助于提高分割性能。需要注意的是，通过应用类似的权重因子生成相似但不完全相同的图像（PM）的情况，与通过GAN生成完全相同的图像（SAME）的情况相比，前者有助于提高准确性。在这里，通过PF和PM生成的预测更好，提供了从最优点的变化。然而，由于仅使用PF或PM的模型性能改善不显著，似乎该模型不处于最优点，而是处于局部最优点。当同时使用PF和PM时，模型的性能显著提高。因此，可以认为具有PF和PM的模型处于经过微调的参数的最优点。0(a) 使用一个领域进行训练，然后在其他三个领域进行测试。0(b) 使用两个领域进行训练，然后在其他两个领域进行测试。0图10：SMN与其他最先进网络的分割结果比较。所示数据集用作训练集，其他不同领域的数据集用作测试集。Inria0.6158 0.6128 0.61930.61200.6290Massachusetts 0.6018 0.5984 0.60380.59590.6161WHU0.6040 0.5986 0.59840.60750.6190Ours0.5913 0.5965 0.59300.59730.608670750表2：不同方法在平均IoU方面的定量比较。最佳和次佳性能分别以粗体和下划线表示。详细的定量比较见补充材料。0训练集 FDA DDA DATA TreeUNet SMN0图10(a)表示FDA、DDA、DATA、TreeUNet和SMN预测建筑物的IoU值。所示数据集被用作训练集，其他领域的图像被用作测试集。在Inria、Mass、WHU和OUD的情况下，SMN显示出更高的IoU值，分别为0.643、0.635、0.627和0.624。此外，SMN显示出最佳的IoU值为0.643，比其他方法提高了8.48%。图10(b)表示FDA、DDA、DATA、TreeUNet和SMN在另外两个领域的图像上预测建筑物的IoU值，这里使用了两个指定的数据集作为训练集，其他两个领域的图像作为测试集。在I+O、W+M、W+O、M+O、I+M和I+W的情况下，SMN显示出更高的IoU值，分别为0.698、0.668、0.717、0.670、0.692和0.686，比其他最先进的方法更高。此外，SMN显示出最佳的IoU值为0.717，比其他方法提高了11.19%。如图10所示，SMN在每个领域中显示出最高的IoU值，而且SMN的平均IoU值高于其他最先进的网络。此外，如图11所示，使用SMN预测航空图像中建筑物的分割图与真实值在所有任务中显示出最相似的结果。05. 结论0在本文中，我们提出了一种新颖的深度学习架构，用于航空图像中建筑物的领域自适应语义分割。所提出的网络被称为自变异网络，通过使用两种新颖的方法来改变训练参数的值，即基于GAN的参数突变和根据输入图像的领域的参数波动的数学方法。实验结果表明，与其他最先进的模型相比，基于原始网络的提出的深度学习方法在航空图像中建筑物的IoU值上产生了更高的值，提高了11.19%的IoU值。此外，为了获得更高的性能，我们在补充材料中使用了基于最先进网络的SMN进行了额外的实验。本研究的主要贡献是提出了这一方法。0(a) 使用Inria和OUD训练的深度学习网络的分割结果。0(b) 使用Inria和Mass训练的深度学习网络的分割结果。0图11:对应于图10(b)的分割结果。前两个域用作训练集，箭头指向的域用作预测。I，M，W，O分别表示Inria数据集，Massachusetts数据集，WHU数据集，我们的城市数据集。与图10(a)相关的分割结果以及与图10(b)相关的其他组合在补充材料中说明。0通过GAN在预测时间和数学参数波动方面的新颖应用，提出的自变异网络在航空图像的DA中具有新颖的分割结果性能，可以作为该领域的新框架。如补充文件中所示，预测阶段的微调网络需要较长的计算时间，但应进一步改进。06. 致谢0本研究得到了"科学技术研究所2021年联合研究项目"、"国家研究基金会(NRF)生物与医疗技术发展计划(编号2020R1A2B5B01002786)"和"贸易、工业和能源部(MOTIE,韩国)技术创新计划(1415173934)"的支持。此外，Dabeeo公司也对本研究提供了部分支持。*表示通讯作者。70760参考文献0[1] Martín Abadi, Paul Barham, Jianmin Chen, Zhifeng Chen, AndyDavis, Jeffrey Dean, Matthieu Devin, Sanjay Ghe- mawat, GeoffreyIrving, Michael Isard,等. Tensor�ow: 一种用于大规模机器学习的系统.在第12届{USENIX}操作系统设计和实现研讨会({OSDI} 16)上,页265–283, 2016.0[2] Amir Atapour-Abarghouei和Toby P Breckon.利用合成数据进行实时单目深度估计，并通过图像风格转移进行领域适应. 在IEEE计算机视觉和模式识别会议论文集中, 页2800–2810, 2018.0[3] Vijay Badrinarayanan, Alex Kendall,和Roberto Cipolla. Segnet:一种用于图像分割的深度卷积编码器-解码器架构.IEEE模式分析与机器智能交易, 39(12):2481–2495, 2017.0[4] Laila Bashmal, Yakoub Bazi, Haikel AlHichri, Mohamad MAlRahhal, Nassim Ammour,和Naif Alajlan. Siamese-gan:学习航空器图像分类的不变表示. 遥感, 10(2):351, 2018.0[5] Bilel Benjdira, Adel Ammar, Anis Koubaa,和Kais Ouni.利用生成对抗网络进行航空图像语义分割的数据高效领域适应. 应用科学,10(3):1092, 2020.0[6] Bilel Benjdira, Yakoub Bazi, Anis Koubaa,和Kais Ouni.利用生成对抗网络进行航空图像语义分割的无监督领域适应. 遥感,11(11):1369, 2019.0[7] JS Blundell和DW Opitz. 图像识别和特征提取: 特征分析师®方法.国际摄影测量、遥感和空间信息科学档案, 36(4):C42, 2006.0[8] Aysegul Dundar, Ming-Yu Liu, Ting-Chun Wang, JohnZedlewski,和Jan Kautz. 领域风格化:一种用于合成到真实图像领域适应的强大、简单的基准方法.arXiv预印本arXiv:1807.09384, 2018.0[9] Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, PascalGermain, Hugo Larochelle, François Laviolette, Mario Marchand,and Victor Lempitsky. 领域对抗训练神经网络.  机器学习研究杂志,17(1):2096–2030, 2016.0[10] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu,David Warde-Farley, Sherjil Ozair, Aaron Courville, and YoshuaBengio.生成对抗网络。神经信息处理系统进展，2672–2680页，2014年。0[11] Yiyou Guo, Jinsheng Ji, Xiankai Lu, Hong Huo, Tao Fang, andDeren Li. 全局-局部注意力网络用于航空场景分类。IEEEAccess，2019年。0[12] Geoffrey E Hinton and Sam Roweis.随机邻居嵌入。神经信息处理系统进展，15:857–864，2002年。0[13] Leonid Ivanovsky, Vladimir Khryashchev, Vladimir Pavlov, andAnna Ostrovskaya.使用U-Net神经网络在航空图像上进行建筑物检测。2019年开放创新协会（FRUCT）会议论文集，116–122页。IEEE，2019年。0[14] Mohammad Izadi and Parvaneh Saeedi.使用基于层次特征的图像分割自动检测航空图像中的建筑物。2010年国际模式识别大会，472–475页。IEEE，2010年。0[15] Shunping Ji, Shiqing Wei, and Meng Lu.全卷积网络用于多源建筑物提取的开放航空和卫星图像数据集。IEEE地球科学与遥感通信，57(1):574–586，2018年。0[16] Konstantinos Karantzalos and Demertre Argialas.基于区域的水平集分割用于自动检测航空和卫星图像中的人造物体。摄影测量工程与遥感，75(6):667–677，2009年。0[17] Jun Hee Kim, Haeyun Lee, Seonghwan J Hong, Sewoong Kim,Juhum Park, Jae Youn Hwang, and Jihwan P Choi.使用具有金字塔池化层的U-Net从高分辨率航空图像中分割对象。IEEE地球科学与遥感通信，16(1):115–119，2018年。0[18] Yann LeCun, Léon Bottou, Yoshua Bengio, Patrick Haffner, et al.基于梯度的学习应用于文档识别。IEEE会议论文集，86(11):2278–2324，1998年。0[19] Xue Li, Muying Luo, Shunping Ji, Li Zhang, and Meng Lu.基于生成对抗网络的图像级域转换评估多源遥感图像分割和目标检测。国际遥感杂志，41(19):7343–7367，2020年。0[20] Jonathan Long, Evan Shelhamer, and Trevor Darrell.全卷积网络用于语义分割。IEEE计算机视觉与模式识别会议论文集，3431–3440页，2015年。0[21] Dongao Ma, Ping Tang, and Lijun Zhao. Siftinggan:生成和筛选标记样本以改进体外遥感图像场景分类基线。IEEE地球科学与遥感通信，16(7):1046–1050，2019年。0[22] Emmanuel Maggiori, Yuliya Tarabalka, Guillaume Charpiat, andPierre Alliez.语义标记方法能否推广到任何城市？Inria航空图像标记基准测试。IEEE国际地球科学与遥感研讨会（IGARSS），2017年。0[23] Volodymyr Mnih.航空图像标签机器学习。多伦多大学博士论文，2013年。0[24] Younghwan Na, Jun Hee Kim, Kyungsu Lee, Juhum Park, JaeYoun Hwang, and Jihwan P Choi.基于领域自适应转移攻击的分割网络用于航空图像中的建筑物提取。IEEE地球科学与遥感通信，2020年。0[25] Ali Özgün Ok.单色航空图像中建筑物的鲁棒检测。GEOBIA会议论文集，2008年。0[26] Ozan Oktay, Enzo Ferrante, Konstantinos Kamnitsas, MattiasHeinrich, Wenjia Bai, Jose Caballero, Stuart A Cook, Antonio DeMarvao, Timothy Dawes, Declan P O‘Regan, et al.解剖约束神经网络（ACNN）：应用于心脏图像增强和分割。IEEE医学成像交易，37(2):384–395，2017年。the IEEE/CVF Conference on Computer Vision and PatternRecognition, pages 4085–4095, 2020.70770[27] Xuran Pan, Fan Yang, Lianru Gao, Zhengchao Chen, BingZhang, Hairui Fan, and Jinchang Ren.利用具有空间和通道注意机制的生成对抗网络从高分辨率航空图像中提取建筑物.  Remote Sensing , 11(8):917, 2019.0[28] Hamid Rezato�ghi, Nathan Tsoi, JunYoung Gwak, AmirSadeghian, Ian Reid, and Silvio Savarese. 广义交并比:用于边界框回归的度量和损失. In  Proceedings of the IEEE Conferenceon Com- puter Vision and Pattern Recognition , pages 658–666,2019.0[29] Artem Rozantsev, Mathieu Salzmann, and Pascal Fua.深度领域自适应的残差参数传递. In  Proceedings of the IEEEConference on Computer Vision and Pattern Recognition , pages4339–4348, 2018.0[30] Onur Tasar, SL Happy, Yuliya Tarabalka, and Pierre Alliez.Colormapgan:使用颜色映射生成对抗网络的语义分割的无监督领域自适应.  IEEETransactions on Geoscience and Remote Sensing , 2020.0[31] Hristina Uzunova, Jan Ehrhardt, and Heinz Handels.基于内存高效的基于GAN的高分辨率3D医学图像领域转换.Computerized Medical Imaging and Graphics , 86:101801, 2020.0[32] Shengsheng Wang, Xiaowei Hou, and Xin Zhao.利用具有非局部块的完全卷积编码器-解码器网络从高分辨率航空图像中自动提取建筑物.  IEEE Access , 8:7313–7322, 2020.0[33] Xiaolong Wang, Ross Girshick, Abhinav Gupta, and Kaim- ingHe. 非局部神经网络. In  The IEEE Conference on Computer Visionand Pattern Recognition (CVPR) , 2018.0[34