弱监督云图像生成对抗训练模型

201弱监督云mating的生成式对抗训练密歇根大学安娜堡分校石振伟北京航空航天大学叶洁萍天阳石网易伏羲AI实验室北京航空航天大学滴滴出行密歇根大学安娜堡摘要遥感中云的探测和去除-成像对于地球观测应用是必不可少的。大多数先前的方法将云检测视为逐像素的语义分割过程（云与背景），这在处理半透明云时不可避免地导致类别模糊问题。我们从一个完全不同的角度重新审视云检测，即：将其公式化为前景和背景图像之间的混合能量分离过程，这可以在具有明确物理意义的图像抠图范例下等效地实现。我们进一步提出了一个生成对抗框架，在这个框架中，我们模型的训练既不需要任何像素级的地面真实参考，也不需要任何额外的用户交互。我们的模型由三个网络组成，云生成器G，云生成器D和云抠图网络F，其中G和D旨在通过对抗训练生成逼真和物理意义的云图像，F学习预测云的反射率和衰减。在一组全球卫星图像上的实验结果表明，我们的方法在训练过程中不使用任何像素级地面实况，与其他完全监督的方法相比，包括一些最近流行的云检测器和一些知名的语义分割框架，实现了相当1. 介绍遥感技术的飞速发展为人们更好地了解地球打开了一扇大门遥感卫星每天绕地球飞行数次，为人类救灾、国土监测、军事侦察等各行各业提供最新信息。尽管它有着广泛的应用，但正如C.Stubenrauch等人[37]，平均每隔一段时间，地球表面的一半以上* 通讯作者：Zhengxia Zou（zzhengxi@umich.edu）图1.所提出方法的概述。我们的模型由云生成器G、云生成器D和云抠图网络F组成。一方面，G和D相互矛盾，以生成逼真的和物理意义的云图像。另一方面，F预测云的反射率和衰减，从而可以恢复云下的背景。这极大地限制了数据的可访问性，并增加了数据分析的难度。云的检测和去除的研究近年来受到了极大的关注。图像中的云可以在视觉上呈现各种透明性，其中在大多数情况下，成像传感器接收的能量可以通过云和地面物体的反射能量的线性组合来近似[27，38]。近年来，大多数云检测方法将检测框定为逐像素分类过程（云与背景），即，以生成预测的前景（云）和背景区域的二进制掩模。一些常用的方法包括波段分组/阈值方法[13，15，20，45，48，49]，和基于语义分割的方法[1，18，39，41，43，44]。由于大多数方法都是从计算机视觉领域借鉴而来，而没有考虑成像过程背后的机制，因此基于像素分类的范例将不可避免地导致检测半透明云202(thin云）。此外，尽管当前的云检测和云去除方法[8，21，24，28，34，40]之间的相关性很高，但仍分别进行了研究。在本文中，我们重新制定云检测和removal之间的前景和背景图像的混合能量分离。这个想法可以通过预测多个输出，包括“前景云图”和“阿尔法遮片”（衰减），在图像遮片框架[17，31，42，50]下等效地实现。大多数最近的图像抠图方法都考虑了在完全监督的方式下回归范式下对alpha抠图的学习和预测[3，5，35，42]。尽管它对传统的抠像问题是有效的，但对于一幅云图像，由于涉及到云反射率和大气衰减等重要物理参数的定量确定，很难获得前景图和α抠像的为此，我们进一步提出了一个生成对抗训练框架，通过结合其背后的物理原理来实现云图像的弱监督抠图。特别地，我们的框架的训练不需要任何像素方面的地面实况参考。我们的模型由三个网络组成：云生成器G、云生成器D和云抠图网络F，如图1所示。1.一方面，G接收一对云和背景图像，并生成新的云图像及其“地面实况”。D接收生成的图像以辨别其是真的还是假的，并将该信息反馈给G以进一步使生成的图像可识别。另一方面，云抠图网络F接收云图像并产生抠图输出：预测的云层反射率和衰减图。F的学习由G生成的“地面实况”指示这三个网络可以以端到端的方式联合训练，具有明确的物理意义。我们的贡献总结如下：1) 现有的云检测方法将云检测问题归结为逐像素的分类问题，在处理半透明云时，不可避免地存在类别模糊的缺陷本文将云检测和云去除都重新表述为前景-背景能量分离过程，可以等效地在图像抠图框架下实现。2) 提出了一种基于生成对抗训练的弱监督云图像抠图方法我们的方法的训练不需要任何像素的地面真实参考。该方法能够生成具有清晰物理意义的真实感云图。2. 相关工作2.1. 图像抠图图像抠图是指一组旨在从图像中提取前景的方法[17，31，42，50]，这在图像和视频编辑中很重要。遮片任务通常产生传统的图像抠图方法可以分为两类：1）基于采样的方法[9，11，33]和2）基于传播的方法[6，17，46]，其中前者通过给定一组前景和背景采样区域的预定度量产生阿尔法遮片，而后者将预测公式化为前景和背景区域的传播。由于抠图是一个不适定的问题，一些方法还考虑了用户交互（例如，trimap [31，42]或scribbles [17]）作为额外的输入，指定预定义的前景，背景和未知区域，以产生更准确的预测。近年来，深度学习技术极大地促进了图像抠图研究的进展[3，5，35，42]，其中大多数方法都是在回归范式下构建的。与上述所有方法不同的是，我们的方法利用了最近流行的对抗训练，既不依赖于任何像素的地面真实参考，也不依赖于任何额外的用户交互。2.2. 生成对抗网络生成对抗网络（GAN）[10]近年来受到了极大的关注，并在各种任务中取得了令人印象深刻的成果，如图像生成[7，30]，图像风格转移[14，47]和图像超分辨率[16]。典型的GAN由两个神经网络组成：生成器网络和递归网络，其中前者学习从潜在空间映射到感兴趣的特定数据分布，而后者旨在区分来自真实数据分布的实例和那些生成的实例。GAN成功的关键最近，S。Lutz等人采用GAN来改善图像抠图[25]。在他们的方法中，生成器网络经过训练，通过考虑来自图像的对抗性损失来改善alpha matte的预测，然而，这种方法仍然需要像素级的地面实况和额外的用户交互进行训练，这不适合我们的任务，因为我们的地面实况不能直接获得。203图2.云图像的成像模型的图解[27，38]。传感器每单位时间接收到的能量E可以近似为Ec：云的反射能量和Eg：地面物体的辐射的线性组合。3. 成像模型当卫星或飞机飞越云层时，机载成像传感器同时接收地面物体和云层的能量。每单位时间接收到的能量E的量可以近似地被认为是三个分量的线性组合[27，38]，1）云的反射能量Ec，2）地面物体的反射能量Egr，和3）地面物体的辐射Egs：因此可以被认为是给定输入图像y的Rc和α的预测。当α设置为1时，预测将退化为传统的基于二进制分类的云检测方法。二.云消除。云的去除本质上是一个背景恢复问题.根据等式2、背景图像可以很容易地通过以下方式导出：rg=（y − rc）/（1 − α），0 ≤ α <1。（三）这意味着一旦我们获得了rc和α，云就可以很容易地被去除，从而可以重新覆盖背景图像。请注意，当α接近1时，地面反射率完全丧失，因此无法恢复。4. 方法在本文中，我们在基于深度学习的回归范式下构建了云反射率rc和衰减α由于难以获得地面真实参考，我们提出了一种新的对抗性训练框架，通过生成云图和相应的“地面真实”来进行弱监督抠图4.1. 对抗训练我们的模型由三个网络组成：云生成器G、云生成器D和云抠图网络F，如图1所示。1.一、假设X代表云图域，Y表示背景图像域，并且xi∈E传感器= Ec+（1 −α）（ Egr+Egs）=Ec+（1−α）Eg（一）X和yj∈Y是它们的训练样本。而不是像现在这样直接从X到Y学习映射由先前基于GAN的图像翻译方法提出，其中α定义为大气衰减因子（α∈[0，1]）：α越大，云越厚，α=0表示无云，α=1表示地物完全被遮挡。在这里，我们将“反射率”称为rc=Ec和rg=Eg很高兴以这种方式，云图像y可以被表示为云反射率图rc和ods [14，47]，我们用我们的生成器学习它们的中间态rc和α图3示出了我们的方法的处理流程。具体来说，G取两个图像：清晰的背景图像x和云图像y，并根据（2）“创建”新的云图像y = G（x，y）：G（x，y）=rc+（1−α）x（四）=g（x，y）+（1−g（x，y））x，1 2背景图像rg：y=rc+（1 − α）rg。（二）请注意，该方程与众所周知的“遮片函数”[17]非常相似根据上述成像模型，我们能够在统一的图像抠图框架中处理云检测和云去除：I.云检测。由于rc和α对应于云反射和衰减的能量，因此它们中的任何一个都可以用作云覆盖地面物体的指示器。云探测任务其中g1（x，y）=rc和g2（x，y）=α表示从输入图像对（x，y）到生成的云反射率rc和衰减α的映射。在我们获得合成图像y之后，引入了CXD来区分合成图像y和真实图像y。我们将目标函数表示为：Ladv（G，D）=Ey p（y） {logD（y）}（五）+Ex，y <$p（x，y）{ log（1−D（G（x，y）}，其中生成器G被训练以捕获真实云图像的分布，并且使得云不能与真实图像区分与此同时，BHD被训练得尽可能好地检测假货2042图3.在我们的方法中，云生成器G接收清晰的背景图像y和云图像x，并生成云反射率图rc和衰减图α，然后使用它们基于成像模型y=rc+（1-α）x合成新的云图像y。一个云计算器D被训练来区分它的输入（y或y_k）是真实的还是虚假的，生成器G学习欺骗判别器。 云遮网工作F以y为输入，产生多个输出：预测的云反射率rc和衰减α，其中我们使用rc和α作为它的“基础事实”，以便F可以在标准回归范式下训练。这三个网络可以以端到端的方式联合训练，具有明确的物理意义。一个。G 和D 的对抗训练过程本质上可以被认为是一个极大极小优化过程，其中G试图最小化这个目标，而D试图最大化它：G=arg minGmaxDLadv（G，D）.4.2. 云席我们将云抠图网络F的学习视为标准回归问题。随着对抗训练的进行，所生成的云图像y** 被馈送到云抠图网络，同时，所生成的云反射率r**c和衰减α** 被用作其假设rc和α是预测的云反射率和衰减图，F表示它们的映射函数：（rc，α）=F（y）。因此，遮片网络的回归损失Lmatt衰减损失Lα预测：Lmatt（F）= Lr+ Lα（六）=Ex，y<$p（x，y）{<$rc−r<$c <$1+<$α−α<$1}。我们使用l1距离而不是l2作为回归损失，因为l1鼓励更少的模糊。在训练过程中，三个网络G、D和F可以在统一的目标下交替更新。我们的最终目标函数定义如下：L（D，G，F）=Ladv（D，G）+βLmatt（F），（7）其中β >0控制对抗训练和云抠图之间的平衡。我们的目标是解决：G，F = arg min max L（D，G，F）.（八）G、F D通过利用对抗性训练和成像过程背后的物理学，即使没有可用的像素级地面实况，也可以很好地指导网络的学习这使得训练非常高效，因为不再需要手动标记数据。由于我们模型的训练只需要图像级注释（即，图像属于X或Y），我们将我们的方法称为4.3. 实现细节1) 网络的架构。 我们的云生成器G由一个八层编码器和一个八层解码器组成。我们在第i层和第n−i层的所有通道之间添加跳过连接，遵循“U-Net”的一般配置[32]，用于构建高级语义特征和低级细节。我们的云判别器D是一个标准的卷积网络，具有10个卷积，连续层，接着是2个完全连接的层。我们的云抠图网络F采用与G类似的配置，但在层数和过滤器数量方面不同。2) 饱和惩罚。由于云大部分是白色的，因此生成的云反射率图的r-g-b通道应该彼此接近。提高训练稳定性，我们将额外的饱和惩罚项添加到G的目标，即计算每个像素的饱和值并惩罚具有大饱和值的那些像素µ（s）=γs2，（9）其中s=（max（r，g，b）-min（r，g，b））/max（r，g，b）。为了测试这个附加约束的重要性，我们还205图4.（彩色显示效果更好）实验数据的全球分布。该数据集涵盖了世界范围内分布的城市、海洋、平原、高原、冰川、沙漠、戈壁等多种地物类型。图5.第一行显示了GF-1卫星的一些真实云图。第二行显示了我们生成的图像。样品是公平的随机抽取，而不是挑选。与未惩罚的变体相比，在未惩罚的变体中，生成器不考虑饱和先验（更多详细信息请参见第5.4节）。卫星：全色和多光谱（PMS）传感器，图像尺寸约为4500×4500像素，宽视场（WFV）传感器，图像尺寸约为12000×13000像素。在我们的训练集中有681张图像，在我们的测试集中有528张图像，被进一步分成三个子集：由于原始图像有四个波段（蓝色、绿色、红色和红外），并且深度为16位，因此所有图像在输入网络之前都会转换为8位RGB图像。除此之外，我们没有执行任何其他预处理操作。该数据集涵盖了世界范围内分布的大部分地物类型，如城市、海洋、平原、高原、冰川、沙漠、戈壁等，如图所示。4.应该注意的是，虽然有一些公开的云检测数据集[19，20]，但我们不对它们进行评估，因为它们太小（只有大约100张图像），无法获得统计上显著的结果。对于云检测任务，精确度-召回（PR）曲线和“平均精确度（AP）”分数被用作我们的评估指标。我们数据集中的所有图像都被手动标记为逐像素的二进制云掩模作为它们的基础事实，尽管我们没有使用这些信息进行训练。对于云去除任务，评估三个不同的分数，包括平均绝对误差（MAE）、均方误差（MSE）和平均绝对百分比年龄误差（MAPE）。这些指标定义如下：MAE=1y−y1，MSE=1y−y2，MAPE=3) 培训详情。批量归一化和ReLU1NN2激活函数在所有卷积层之后嵌入G，D和F中，除了它们的输出。对于G和D的最后一层，我们使用sigmoid函数将输出logits转换为概率。为了增加所生成的图像的多样性，背景图像X和云图像Y在训练期间被随机旋转、翻转和裁剪。我们将饱和惩罚的权重设置为γ=1。0的情况。我们使用Adam优化器进行训练，批量大小=4。我们使用Xavier初始化所有网络-工程.对于前10个训练时期，我们设置β=0。G的学习率设置为10−5，D的学习率设置为10−6。对于接下来的80个epoch，我们设置β=1。0的情况。F的学习率设为10−4，我们将（G，D）的学习率降低到1/10。所有图像的大小都调整为512×512，用于训练和评估。为了验证我们的训练框架的稳定性，我们还考虑了GAN最近的两个改进，即：[26][27][28][29][29]5. 实验结果及分析5.1. 数据集和指标我们的实验数据集由1，209张由高分一号上的两台相机拍摄的遥感图像N（y−y）/y1，其中y是预测输出，y是Ground truth，N是像素总数。此外，我们认为，由于不能完全恢复厚云区域下的背景，因此仅对地面实况关注值小于0.5的那些像素评估上述度量。5.2. 云检测结果我们将我们的方法与最近流行的一些云检测方法进行了比较，包括场景学习[1]，基于全卷积网络的像素分类（FCN+Cls）[44]和渐进式细化检测[45]。由于这些方法本质上都是对每个图像像素进行二进制分类，因此我们还将其与一些知名的语义分割框架进行了比较，包括Deeplab-v3 [4]和UNet[32]。图图6示出了一些云检测示例，其中不同的列对应于输入图像和不同检测方法的输出。表1显示了它们在“厚云集”和“薄云集”上的相应AP分数图图7显示了它们的PR曲线的比较。由于渐进细化[45]是一种基于阈值的方法，并且仅产生二进制掩码，因此PR曲线变为单点，因此我们无法进行比较。206图6.不同方法的云检测结果的一些示例，其中Scene Learning [1]、FCN+Cls [44]和Progress- Refine [45]是最近公布的云检测方法。Deeplab-v3 [4]和UNet [32]是两种众所周知的语义分割方法。图7.（更好地查看颜色）不同云检测方法对（a）厚云集，（b）薄云集和（c）消融研究的精确度-召回率曲线较高的曲线或较高的AP分数表明较好的检测结果。根据其结果计算AP分数。在这个实验中，我们还比较了我们的方法在对抗性目标函数的两种变体上的效果：[26][27][28][29][29]请注意，Deeplab-v3构建在更大的骨干网络上，为了进行公平的比较，我们进一步将云抠图网络F的编码器替换为VGG [36]和Resnet 50[12]，同时保持其他参数配置不变。从表1和图2可以看出。7.该方法具有较高的云检测精度，特别是对于薄云图像。至于它们的整体性能，我们的方法实现了与FCN+Cls [44]和UNet [32]相当的性能，并且优于其他云检测方法和语义分割方法。我们还注意到，deeplab-v3 [4]的检测精度相对较低。这仅仅是因为它对输入x8进行了下采样，这会产生非常粗糙的输出。我们的方法的优点不仅建议的度量，但也在解释的一些因果因素（反射率和衰减）的成像过程。Al-虽然我们的模型是在没有任何像素标签训练的，但实验结果仍然表明，它与其他流行的云检测方法相比，具有相当甚至更高的准确性，这些方法是以完全监督的方式的。5.3. 除云结果一旦我们得到了云的反射率和衰减图，背景可以很容易地恢复使用方程。3.在这个实验中，我们将我们的方法与经典的云去除方法进行了比较：同态滤波器[24]和最近提出的两种方法：[28]第28话：不信，就不信，就不信。我们进一步将我们的方法与sota图像到图像的转换方法CycleGAN [47]进行了比较。图8示出了一些示例结果。可以看出，我们的方法很好地去除了薄云，恢复了地面目标。由于CycleGAN本质上是执行207图8.用不同方法去除薄云的一些实例结果由于同态滤波器（HF）[24]的设计目的是简单地去除图像的低频成分，因此它在去除云的同时错误地去除了所有背景变形雾[28]和自适应去除[40]的性能优于HF，但仍然存在颜色失真问题。对于我们的方法，薄云已被删除，地面对象已被很好地恢复。方法AP厚度AP薄AP平均值方法MaeMSEMAPE场景学习[1]0.90270.94570.9242[24]第二十四话0.23740.07310.4312[44]第四十四话0.94630.96430.9553[28]第二十八话0.18200.04410.3645渐进式优化。[45个]–––自适应去除[40]0.12900.02300.2774Deeplab-v3 [4]0.82870.93200.8804[47]第四十七话0.09040.01530.2404UNet [32]0.94340.97910.9613我们的：VanillaGan+UNet0.07200.00880.1735表1.不同方法云检测结果的比较。分数越高表示结果越好。Top-3最佳表2.不同除云方法的比较。分数越低表示越好。每个条目中的前3个最佳结果标记为粗体。每个条目中的结果被标记为粗体。 作为进步的再-fine [45]是一种基于阈值的方法，仅产生二进制消融精度输出，我们不能根据其检测结果计算AP。AdvS-PE2eBGAP厚度AP薄AP平均值×××C0.90610.96080.9335C××C–––“颜色偏移”。 CycleGAN的另一个缺点是，CC×C0.92300.96300.9430不能产生云反射/衰减，因为它ig-CCC×0.93070.96580.9483背后的物理学CCCC0.93360.97090.9523由于云清除任务没有地面实况为了对不同的方法进行定量比较，我们在测试集上运行云生成器G，随机合成1，390张云图像，并使用原始背景图像作为其表2给出了该方法与其他三种云去除方法的定量比较结果，其中我们可以看到，在所有指标下，我们的方法都优于其他三种方法我们没有进一步与其他最近的图像抠图方法进行比较[3，5，35，42]，因为这些方法的训练需要alpha matte的地面真实值或用户交互。表3.我们的方法的四个技术组成部分的消融研究1）对抗训练（Adv），2）饱和惩罚（S-p），3)端到端训练（E2E），以及4）云检测任务的背景输入（BG）。分数越高表示越好。我们观察到，当不应用S-p时，训练不收敛，G的输出崩溃为单个无意义的图像。5.4. 消融分析对云探测任务进行了烧蚀分析，分析了各组成部分的重要性，我们的：VanillaGan+UNet0.92620.96620.9462我们的：WGan+UNet0.93270.96290.9478我们的：LSGAN+UNet0.93360.97090.9523我们的：LSGAN+VGG0.93440.97320.9538我们的：LSGAN+Resnet500.93410.97110.9526我们的：WGAN+UNet0.07060.00860.1704我们的：LSGAN+UNet0.07530.00950.1791我们的：LSGAN+VGG0.07590.00960.1791我们的：LSGAN+Resnet500.07530.00950.1790208不带augm的物体探测器w/augm。SSD [23]（VGG）78.9%81.7%[22]第22话：我的世界图9. (a)从Google Earth输入高分辨率图像。(b)增强的云图像与我们的方法。拟议的框架，包括1）对抗性培训，2) 饱和惩罚，3）端到端训练，以及4）背景输入。首先评估基线方法，然后逐步整合这些技术。该实验的所有评估都是基于我们的“LSGAN + UNet”实现进行的1) 无对抗训练（Adv）。 这种消融设置对应于我们的基线方法，其中我们在没有对抗训练的任何帮助下训练我们的云抠图网络F由于没有用于抠像任务的基本事实我们手动合成了一组图像和相应的用于训练的地面实况。2) w/o饱和惩罚（S-p）。为了测试我们的方法的“饱和惩罚”的重要性，我们简单地去除Eq. 9在我们的目标函数中同时保持其他设置不变并测试其性能。3) 无端到端培训（E2E）。我们还比较了我们的方法的另一种变体，其中（G，D）和F是根据各自的目标分别训练的。我们首先在前10个epoch中训练（G，D），然后，我们冻结它们的权重并在接下来的80个epoch中训练F4) 无背景输入（BG）。虽然我们可以从G中去除BG，但我们发现联合输入有助于改善结果，并且可以被认为是地理领域知识的集成。这是因为云及其BG不是完全彼此独立的（例如，沙漠的云层往往比其他地区的云层要薄）。表3显示了它们的评估精度。正如我们所看到的，“对抗性训练”和“端到端训练”的集成我们还注意到，当我们不应用“饱和惩罚”时我们进一步评估了我们的方法w/o的帮助下的BG输入，我们观察到云检测精度下降0.4%相比，我们的完整实现。5.5. 云蒙太奇所提出的框架可以进一步应用于在给定的背景图像上生成云，或者将一个图像中的云“移植”到另一个图像中我们把这个过程表4.遮挡目标检测数据集上的目标检测结果（VOC 2012-AP）的比较[29]。基于所提出的方法进行“云增强”，对两种基线检测器没有明显的改进叫做“云蒙太奇”这可以被认为是一种新的方法来执行数据增强，并可能有很大的潜力，为提高性能的许多应用，如遮挡目标检测，场景识别，图像分割。图9显示了我们的图像增强结果的一些示例，其中云是在Google Earth的一些非常高分辨率的航空图像上生成的。5.6. 改进的遮挡目标检测在实验中，我们选择飞机检测作为一个例子来评估上述数据增强的遮挡目标检测的有效性具体来说，我们训练了两个著名的对象检测器SSD [23]和reti- naNet[22]作为我们的基线检测器。我们使用VGG [36]和Resnet-50 [12]作为其骨干。基线检测器在LEVIR数据集[51]（由22，000张图像和7，749个注释目标组成）上进行训练，然后在公开可用的遮挡目标检测数据集[29]（由47张图像和184个注释目标组成，其中96个被遮挡）上进行评估。我们比较了我们的基线检测器与它们的增强版本，其中检测器是用增强的训练配置训练的。表4显示了它们的平均精度分数。我们观察到显着的改善- ments在基线探测器的帮助下，“云增强”。6. 结论提出了一种基于对抗训练的弱监督遥感图像云检测与去除方法。所提出的方法内在地结合了云成像机制，并将我们的任务视为云背景能量分离问题。我们的实验结果表明，在训练过程中不使用任何像素级的地面实况参考，我们的方法与其他方法相比，可以实现相当甚至更好的性能，这些方法是以完全监督的方式训练的。此外，所提出的框架可以用于在任何给定的背景上生成各种风格的云图像。这可以被看作是一种新的方法来执行数据增强，并有很大的潜力，以提高遮挡物体的检测和识别。209引用[1] 安振宇和施振伟。场景学习在遥感图像云检测中的应用 。 IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing，8（8）：4206[2] 马丁·阿乔对ky，苏米特·钦塔拉和Le'onBottou。Wasserstein生成对抗网络国际机器学习会议，第214-223页，2017年。[3] Guanying Chen，Kai Han，and Kwan-Yee K Wong. 汤姆net：学习从一个单一的图像透明对象抠图。在IEEE计算机视觉和模式识别会议论文集，第9233-9241页[4] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy和Alan L Yuille。Deeplab：使用深度卷积网 络 、 atrous 卷 积 和 全 连 接 crfs 进 行 语 义 IEEETransactionsonPatternAnalysisandMachineIntelligence，40（4）：834[5] 陈全，葛铁铮，徐燕宇，张志强，杨欣欣和盖坤。语义人类铺垫。2018年ACM多媒体会议，第618-626页。ACM，2018。[6] Qifeng Chen，Dingzeyu Li，and Chi-Keung Tang. Knnmat-婷 IEEE Transactions on pattern analysis and machineintelligence，35（9）：2175[7] Emily L Denton，Soumith Chintala，Rob Fergus，et al.深使用对抗网络的拉普拉斯金字塔生成图像模型神经信息处理系统的进展，第1486-1494页，2015年[8] 本健二， 樱田健， 王伟民，浩Fukui ， Masashi Matsuoka ， Ryosuke Nakamura ， andNobuo Kawaguchi.用多光谱条件生成对抗网去除卫星图像 上 的 薄 膜 云 。 arXiv 预 印 本 arXiv ： 1710.04835 ，2017。[9] Eduardo SL Gastal和Manuel M Oliveira。共享抽样用于实时阿尔法抠图。在计算机图形论坛，第29卷，第575-584页。Wiley Online Library，2010。[10] Ian Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，BingXu ， David Warde-Farley ， Sherjil Ozair ， AaronCourville，and Yoshua Bengio.生成性对抗网。 在神经信息处理系统的进展，第2672[11] 何开明，Christoph Rhemann，Carsten Rother，XiaoouTang和Jian Sun。一种用于alpha抠图的全局采样方法。见CVPR 2011，第2049-2056页。IEEE，2011年。[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings of theIEEEconferenceoncomputervisionandpatternrecognition，第770-778页[13] Richard R Irish，John L Barker，Samuel N Goward，andTerry阿维森地球资源卫星7 etm+自动云覆盖评估算法的特征。摄影测量工程遥感，72（10）：1179[14] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei A埃夫罗斯使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集，第1125-1134页，2017年。[15] Gary J Jedlovec，Stephanie L Haines和Frank J La-方丹gos影像中云检测的时空变化阈值IEEE Transactionson Geoscience and Remote Sensing，46（6）：1705[16] 克里斯田·莱迪格，卢卡斯·泰斯，费伦茨·胡斯·扎尔，乔斯·卡瓦列罗，Andrew Cunningham ， Alejandro Acosta ， AndrewAitken，Alykhan Tejani，Johannes Totz，Zehan Wang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第4681-4690页[17] Anat Levin，Dani Lischinski和Yair Weiss。一个封闭的形式解 决 自 然 图 像 抠 图 。 IEEE transactions on patternanalysis and machine intelligence，30（2）：228-242，2008。[18] Pengfei Li，Limin Dong，Huachao Xiao，Mingliang Xu.一种基于支持向量机的云图像检测方法。神经计算，169：34[19] 李志伟， 沈寰峰， 青城： 刘宇浩游树成，何宗义。基于深度学习的不同传感器中高分辨率遥感图像ISPRS Journal of Photogrammetry and RemoteSensing，150：197[20] Zhiwei Li，Huanfeng Shen，Huifang Li，Guisong Xia，PaoloGamba和Liangpei Zhang。高分一号大视场图像多特征组合云及云影检测。环境遥感，191：342-358，2017。[21] 林朝鸿，蔡宝鸿，赖江华，俊元辰。利用信息克隆技术去除多时相卫星图像中的云IEEE transactions on geo-science and remote sensing，51（1）：232[22] 林宗义，普里亚·戈亚尔，罗斯·格希克，何开明，和彼得·多尔·拉尔。密集目标检测的焦面损失。在IEEE计算机视觉国际会议的论文集，第2980-2988页，2017年[23] Wei Liu，Dragomir Anguelov，Dumitru Erhan，ChristianSzegedy，Scott Reed，Cheng-Yang Fu，and Alexander CBerg. Ssd：单发多盒探测器。在欧洲计算机视觉会议上，第21-37页。施普林格，2016年。[24] ZK Liu和Bobby R Hunt。一种新的方法来消除卫星图像上的云层计算机视觉、图形学和图像处理，25（2）：252[25] 塞巴斯蒂安 卢茨 Konstantinos Amplianitis， 关于Aljosa斯莫利奇Alphagan：用于自然图像抠图的生成对抗网络。arXiv预印本arXiv：1807.10088，2018。[26]毛旭东，李庆，谢浩然，刘玉刚，甄Wang和Stephen Paul Smolley.最小二乘生成对抗网络。在 Proceedings of the IEEE International Conference onComputer Vision，第2794-2802页，2017年。[27] OR Mitchell，Edward J Delp和Peilu L Chen。 滤波以去除卫星图像中的云层。IEEE Transactions onGeoscience Electronics，15（3）：137[28] 潘晓溪，谢凤英，姜志国，尹继浩。基于变形霾成像模型的单幅遥感图像霾去除。IEEESignal Processing Letters，22（10）：1806[29]邱少华，温公建，范亚祥。 闭塞高分辨率遥感图像中的目标检测210使用部分配置对象模型。IEEE Journal of Selected Topicsin Applied Earth Observations and Remote Sensing ， 10（5）：1909[30] 亚历克·雷德福卢克·梅斯和苏米特·钦塔拉 Un-使用深度卷积生成对抗网络进行监督表示学习。arXiv预印本arXiv：1511.06434，2015。[31] Christoph Rhemann，Carsten Rother，Jue Wang，MargritGelautz，Pushmeet Kohli，and Pamela Rott.一个感知激励的图像抠图在线基准测试在2009年IEEE计算机视觉和模式识别会议上，第1826-1833页IEEE，2009年。[32] Olaf Ronneberger ， Philipp Fischer ， and Thomas Brox.U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。[33] Ehsan Shahrian、Deepu Rajan、Brian Price和Scott Co-母鸡。使用综合采样集改进图像抠图。在Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition，第636[34] Huanfeng Shen ， Huifang Li ， Yan Qian ， LiangpeiZhang，and袁强强。一种有效的可见光遥感图像薄云去除方法。ISPRS Journal of Photogrammetry and Remote Sensing，96：224[35] Xiaoyong Shen，Xin Tao，Hongyun Gao，Chao Zhou，and Ji-阿雅佳。深自动人像抠图。在欧洲计算机视觉上，第92施普林格，2016年。[36] Karen Simonyan和Andrew Zisserman非常深入的交谈-用于大规模图像识别的逻辑网络。arXiv预印本arXiv：1409.1556，2014。[37] CJ Stubenrauch，WB Rossow，Stefan Kinne，SAckerman，GCesana，H Chepfer，L Di Girolamo，B Getzewich，AGuig- nard，A Heidinger，et al. 评估来自卫星的全球云数据集：辐射小组发起的项目和数据库。美国气象学会公报，94（7）：1031[38] 斯威夫特和卡瓦列里。无源微波遥感-研究海冰。美国地球物理联合会学报，66（49）：1210[39] 奚武和史振威利用多级特征用于卫星图像上的云检测。遥感，10（11）：1853，2018。[40] Fengying Xie，Jiajie Chen，Xiaoxi Pan，and ZhiguoJiang.单幅遥感图像自适应去雾。IEEE Access，6：67982[41] 谢凤英，施梦云，施振伟，尹继豪，赵丹培。基于深度学 习 的 遥 感 图 像 多 层 次 云 检 测 。 IEEE Journal ofSelected Topics in Applied Earth Observations and RemoteSensing，10（8）：3631[42] Ning Xu，Brian Price，Sc