127260利用多分辨率数据进行大规模高分辨率土地覆盖制图0Caleb Robinson Georgia Institute of Technology Le Hou Stony BrookUniversity Kolya Malkin Yale University0Rachel Soobitsky Chesapeake Conservancy Jacob Czawlytko Chesapeake ConservancyBistra Dilkina University of Southern California0Nebojsa Jojic �0微软研究0摘要0在本文中，我们提出了一种基于深度学习的多分辨率数据融合方法，用于从航空影像中进行高分辨率土地覆盖制图。在国家级尺度上进行土地覆盖制图是常见的深度学习方法的挑战，原因是高分辨率标签的稀缺性以及输入图像的地理和质量的变化。另一方面，多个卫星图像和低分辨率地面真实标签源广泛可用，并且可以用于改进模型训练工作。我们的方法包括：引入低分辨率卫星数据以平滑高分辨率输入的质量差异，利用双重损失函数利用低分辨率标签，并将稀缺的高分辨率标签与来自多个时间点的输入配对。我们训练的模型能够从美国东北部的一部分（我们有高分辨率土地覆盖标签）推广到美国其他地区。利用这些模型，我们制作了美国连续区域的第一个高分辨率（1米）土地覆盖地图，包含超过8万亿个像素。我们通过与领域专家进行案例研究，并开发了一个Web应用程序来分享我们的结果，展示了这些数据的稳健性和潜在应用。这项工作在实践中非常有用，并且可以应用于地球上其他地区，因为高分辨率影像变得越来越广泛可用，尽管高分辨率标记的土地覆盖数据仍然稀缺。01. 引言0土地覆盖制图是一个语义分割问题：航空或卫星图像中的每个像素必须被分类为几个土地覆盖类别之一。这些类别描述了地球表面，通常是“森林”或“田地”等广泛的类别。高分辨率土地覆盖数据（≤1米/像素）在许多与可持续发展相关的应用中至关重要。0� jojic@microsoft.com0应用包括提供农业最佳管理实践信息，监测森林变化[10]和测量城市扩张[31]。然而，土地覆盖地图很快就会过时，必须根据建筑、侵蚀和其他过程对景观进行更新。0在这项工作中，我们确定了自动大规模高分辨率土地覆盖制图的挑战，并开发了克服这些挑战的方法。作为我们方法的一个应用，我们制作了美国连续区域的第一个高分辨率（1米）土地覆盖地图。我们已经在https://github.com/calebrob6/land-cover上发布了用于训练和测试我们模型的代码。0现有数据的规模和成本：目前，通过航空影像进行手动和半自动土地覆盖制图的成本高昂，并且在大范围地区的扩展性较差。例如，ChesapeakeConservancy花费了10个月和130万美元来制作美国东北部切萨皮克湾流域的高分辨率（1米）土地覆盖地图。这个项目是同类项目中最大的，仅标记了美国的约160,000平方千米，即2%[5]。现有的基准土地覆盖分割数据集和研究仅限于更小的尺度。DeepGlobe挑战数据集[6, 24]总面积为1,717平方千米，Dstl卫星图像数据集[2]覆盖了约400平方千米，UCMerced土地利用数据集[30, 4]仅覆盖了7平方千米，ISPRSVaihingen和Potsdam数据集[1]包含不到36平方千米。0与之相比，美国连续区域的一层航空影像覆盖了800万平方千米（1米分辨率下的8万亿像素），占据了55TB的磁盘空间 -比ImageNet大两个数量级，ImageNet是用于训练计算机视觉模型的标准语料库。基于深度学习的土地覆盖制图方法已经被证明是有效的，但是在有限规模的研究中：[19]在加拿大纽芬兰岛的一个小区域比较了常见的CNN图像分类架构，空间分辨率为6.5米；而[7]在一个约4000平方千米的区域中使用了多分辨率方法来分别处理全色和多光谱波段，空间分辨率为1.5米。127270图1：1km²图像块示例。顶部行：2012年的NAIP图像，2015年的NAIP图像，地面真实土地覆盖。底部行：Landsat叶片图像，Landsat非叶片图像，NLCD土地覆盖。0模型推广：只有在集中位置存在1m分辨率的高分辨率土地覆盖标签。这种局部化的标签集尚未成功用于更大范围的土地覆盖分类。事实上，我们表明，标准随机森林方法[11]和常见的语义分割网络都无法很好地推广到新的地理位置：在单个美国东北部州训练的模型在整个东北地区的性能下降，并在全国其他地区进一步下降。现有的GIS方法，如基于对象的图像分析（OBIA）[31，15]也存在相同的推广问题，但在数据和部署工作方面的成本更高。例如，OBIA方法已用于在印第安纳州的一个县部分[17]和亚利桑那州凤凰城[16]创建高分辨率（1m）土地覆盖地图，但依赖于人工设计的特征和手工推导的基于规则的分类方案。0鉴于此，我们开发了将模型推广到新区域的方法，在整个美国实现高质量的结果。具体而言，我们使用低分辨率（30m）的卫星图像增强高分辨率图像，使用低分辨率土地覆盖数据扩展标签，作为弱监督，并使用多个时间点的输入增强数据（见图1）。我们在美国评估使用这些方法训练的模型：a）使用来自美国东北部切萨皮克湾地区的地面真实标签；b）通过在其他美国地区可视化其输出；c）通过将其预测与整个美国的低分辨率土地覆盖标签进行比较。由于低分辨率的卫星和土地覆盖数据源广泛可用，例如Landsat卫星图像或全球土地覆盖[23]，我们的方法适用于任何存在高分辨率图像的地方。0评估：大规模土地覆盖制图任务的一个重要考虑因素是在大规模范围内执行训练模型所需的成本。我们在整个连续的美国范围内运行我们的最佳模型，一种U-Net变体，以生成全国范围的高分辨率土地覆盖地图。这个计算在一个由40个K80GPU组成的集群上花费了一周的时间，成本约为5000美元，相比用于生成土地覆盖地图的现有方法，节省了大量的时间和成本。我们提供一个网络工具，用户可以通过该工具与预先计算的结果进行交互，网址为http://aka.ms/cvprlandcover，向合作者公开了超过25TB的土地覆盖数据。在实践中，土地覆盖模型必须经过人工验证和更新。我们提出的模型可以相对较少的人力劳动适应新的地区。在与领域专家的研究中，我们在爱荷华州的一个地区评估了我们的最佳模型（在美国东北部的切萨皮克湾地区进行了训练），然后对该地区的�1%进行了手动修正。使用这些修正，我们对模型输出进行了微调，从而减少了整个区域内进行修正所需的总体错误和人工劳动。02. 多分辨率数据融合0我们假设我们有一组高分辨率卫星或航空图像和高分辨率土地覆盖标签的训练集，其中X(t)={(Xijk)(t)i,j,k∈Rh×w×c}是具有高度h，宽度w和通道深度c的多光谱图像，Y(t)={(Yij)(t)i,j∈{1,...,L}h×w}是相关的土地覆盖标签。在这个完全监督的语义分割问题上训练深度神经网络f(X;θ)=Ŷ的一种直接方法涉及最小化网络参数的标准损失函数。127280图2：NLCD类别组成的州际差异（上）和每个NLCD类别的州际NAIP颜色直方图（下）。不同的州覆盖不同的地理区域，具有不同的土地利用目的（例如，爱荷华州超过60%的土地用于种植作物，而马里兰州的土地覆盖分布更均匀），以及每个类别的不同颜色配置文件。0即 min θ J(Y,ˆY)。这种方法通常在潜在的测试图像从与训练图像相同的生成分布中采样的问题中效果良好。0这个假设对于土地覆盖映射问题是不成立的，因为由于地球的地理位置、大气条件（如云量）、地面条件（如洪水状况）、捕捉图像所使用的传感器的质量和类型、捕捉图像的时间（一天中的时间或季节）等的差异，高分辨率输入图像会有所变化。事实上，这些差异在我们后面使用的输入数据中是明显的，见图2。因此，使用标准的深度学习方法训练的模型无法在广泛的区域上推广，见第5节。我们提出以下方法来提高模型性能：0低分辨率输入增强（LR）：自1972年以来，全球范围内已经收集到了公开可用的低分辨率卫星数据，从Landsat1卫星开始。我们发现，将高分辨率图像与经过大时间跨度平均的低分辨率图像进行增强可以提高模型性能。这种平均的低分辨率图像对影响高分辨率图像的局部噪声源不太敏感，因此模型可以用来平滑这种噪声。具体而言，对于每个高分辨率图像X(t)，我们假设可以访问一个低分辨率图像Z(t) ∈Rh' × w' ×c'。我们将低分辨率图像重新采样到与高分辨率图像相同的空间尺寸（h ×w），然后将两个图像源连接起来，得到新的输入图像X'(t)∈ Rh × w × (c +c')。标签过载（LO）：可用的手工标记的土地覆盖地图是根据单个时间点的航空图像创建的，但高分辨率图像是定期收集的。鉴于一个位置的真实土地覆盖不太可能在短时间尺度上发生变化，我们通过将高分辨率训练标签与来自不同时间点的高分辨率图像输入配对来增加我们的训练数据集。具体而言，给定一个图像和标签（X,Y）在某个时间点，我们通过所有配对（X',Y），其中X'在所有可用的时间点上变化。尽管这种方法有可能在高分辨率标签与其他图像的内容不匹配的情况下引入混淆（由于土地覆盖的变化、洪水等原因），但我们证明它可以使模型学习对虚假的高分辨率图像差异具有不变性。输入颜色增强（Color）：我们发现，在小的地理区域内，单个像素的颜色是土地覆盖分类的非常有预测性的特征，而在地理位置之间，每个类别的颜色非常不一致。因此，在有限的地理位置上训练的模型会过拟合颜色。因此，我们选择对输入图像进行随机颜色增强。给定一个训练图像，我们随机调整每个通道的亮度和对比度，调整范围为5%。具体而言，给定图像的单个通道Xc ∈ Rh ×w和该通道的平均像素强度Xc，我们采样t，b ∈ U(0.95,1.05)作为对比度和亮度调整，然后计算变换后的图像为X'ijc= t(Xijc - Xc) +bXc。超分辨率损失（SR）：我们通过在我们具有高分辨率训练数据的空间范围之外添加额外的低分辨率标签来增强训练集，以更好地指导模型。我们将高分辨率图像和与图像相同空间范围对应的低分辨率辅助标签配对，但低分辨率标签被分配给图像的较大（例如30×30米）块。我们假设每个辅助标签类别c确定了每个高分辨率标签ℓ的（已知）分布。然后，我们使用[20]的超分辨率损失函数的变体，鼓励模型将其高分辨率预测与低分辨率给定的固定分布相匹配。127290在偏爱预测的高确定性的同时，我们假设每个低分辨率标签c确定了一个高分辨率类别ℓ的标签频率分布p mean(ℓ|c)，其中包括均值µ c,l和方差σ²c,l。这些参数是在一小部分具有两种类型标签的可用数据上计算得到的，也可以手动设置。我们将核心分割模型的概率输出p net视为在每个高分辨率像素上独立生成标签，从而在每个块中引入相应的标签计数分布p out(ℓ|c)。然后，我们通过最小化超分辨率损失KL(p net ∥ pmean)来对输入图像中的所有块进行优化。我们通过最小化标准高分辨率损失（分类交叉熵）和超分辨率损失的加权和来将这个度量指标纳入到整体损失函数中：0J(Y i , ˆY i )= γ (高分辨率损失)+ η (超分辨率损失)。 (1)0在离线实验中，我们发现γ:η=200:1的比例可以有效平衡这两个损失。我们在本文的所有实验中都使用这个设置。03. 数据0图像数据来源：美国农业部国家农业图像计划（NAIP）提供的高分辨率（1米）航空图像，以及美国地质调查局（USGS）的Landsat8卫星提供的低分辨率（30米）多光谱卫星图像。0标签数据来源：切萨皮克湾保护协会提供的高分辨率（1米）土地覆盖标签[5]，基于2013年至2014年的影像，以及2011年的国家土地覆盖数据库（NLCD）提供的低分辨率（30米）土地覆盖标签[12]。0图1显示了来自每个数据源的对齐示例图像。综合起来，这些数据集在磁盘上占据了约165TB的空间。我们使用2011年至2016年的NAIP数据，为美国每个位置提供了2至3层高分辨率图像。这使我们能够通过将我们的高分辨率标签与多年的NAIP图像配对来实现“标签超载”方法。我们通过创建两组Landsat 8 Tier1表面反射率产品来实现“低分辨率输入增强”方法：一个是从2013年到2017年的4月至9月（叶片生长期）非云像素的中位数，另一个是从10月到次年3月（叶片脱落期）的类似产品。这两个图层都被重新采样到与NAIP数据使用相同的1米分辨率网格。切萨皮克湾保护协会提供的高分辨率土地覆盖标签包括切萨皮克湾流域的4个土地覆盖类别：水域、森林、农田和不透水表面，如图4中的黑色轮廓所示。低分辨率的NLCD标签来自2011年的数据产品，包括覆盖美国连续区域的16个土地覆盖类别。我们使用这些低分辨率标签。0使用“超分辨率”数据融合方法，将低分辨率标签作为额外的训练监督。每个30米分辨率的标签都暗示了一个高分辨率标签的分布：例如，一个NLCD标签“开发，中等密度”平均表示该块区域14%是森林，63%是不透水表面。有关这些相关性的更多细节，请参见附录中的第2节。0在爱荷华州的案例研究中，我们使用了一组额外的高分辨率土地覆盖标记数据作为保留的测试集[13]，这些数据是从多个日期的航空影像和LiDAR高程数据中提取的。根据爱荷华州的分类规范，我们将这个爱荷华州数据集中的15个土地覆盖类别映射到与我们的模型训练相同的4个切萨皮克湾土地覆盖类别。0如预期的那样，NLCD低分辨率类别及其外观在各州之间有所变化（请参见图2中的类别分布和颜色直方图）。此外，关于收集NAIP图像的标准化国家方法并不存在：它是由不同的承包商公司按照3年周期收集的，各州之间的收集年份也不同（请参见图1）。必须考虑这些NAIP图像的变异性，才能建立能够使用仅来自切萨皮克湾地区的高分辨率训练数据在整个美国范围内推广的模型，这是我们研究的动机。04. 实验04.1. 神经网络模型0我们考虑了三种网络架构：FC-DenseNet，U-Net和U-NetLarge。每个架构都包含四个下采样和四个上采样层的基本结构。对于下采样，我们使用简单的2×2最大池化。对于上采样，我们使用固定插值的反卷积（转置卷积），这对于减少棋盘伪影很有用[21]。U-Net模型[25]在连续的下/上采样模块之间包含三个卷积层，在每个卷积操作之后和ReLU激活函数之前进行批归一化。FC-DenseNet模型[14]由三个卷积-批归一化-ReLU层组成的“密集块”。FC-DenseNet模型在输入之后的卷积层中使用32个滤波器，在所有其他卷积层中使用16个滤波器。U-Net模型在前三个卷积层中使用64个3×3滤波器，在所有其他卷积层中使用32个3×3滤波器。U-NetLarge模型在前三层中使用32个3×3滤波器，并在每个池化层后加倍滤波器的数量，除了在使用128个滤波器的表示性瓶颈层中。0对于训练，我们使用能够适应GPU内存的最大小批量和RMSProp优化器，学习率计划从0.001开始，每6000个小批量减少一次。我们使用Python CNTK库进行实现[26]。RF37.11%15.60%74.95%31.47%FC-DenseNet71.05%44.92%77.87%41.01%U-Net Large78.06%50.50%82.31%47.06%U-Net61.19%39.62%79.07%47.28%U-Net + Adapt63.33%42.55%79.69%44.10%RF41.16%17.96%72.33%30.52%FC-DenseNet72.46%47.83%74.07%38.34%U-Net Large72.38%46.51%61.56%37.44%U-Net59.42%40.47%71.00%40.93%U-Net + Adapt62.88%41.60%62.95%39.28%LR + ColorRF64.37%47.27%83.03%49.86%LR + Color + LORF75.06%54.57%81.94%49.90%SRU-Net84.72%57.72%80.91%40.45%SR + ColorU-Net85.11%59.16%86.50%45.03%SR + LR + ColorU-Net88.45%70.90%90.95%62.17%SR + LR + Color + LOU-Net89.52%74.11%92.36%68.91%SR + LR + Color + LOFC-DenseNet89.74%74.30%91.81%68.81%SR + LR + Color + LOU-Net Large90.31%75.41%92.93%70.66%LR + ColorRF67.15%49.08%88.90%54.60%LR + Color + LORF77.57%53.86%83.86%52.89%SRU-Net86.85%62.49%77.83%42.03%SR + ColorU-Net87.11%63.34%79.71%42.68%SR + LR + ColorU-Net89.13%72.83%93.07%67.66%SR + LR + Color + LOU-Net90.61%76.29%93.06%71.12%SR + LR + Color + LOFC-DenseNet90.52%76.16%93.28%71.17%SR + LR + Color + LOU-Net Large90.68%76.60%93.35%71.32%127300北切萨皮克测试集爱荷华测试集0训练集模型准确率Jaccard准确率Jaccard0马里兰0南切萨皮克0表1：仅使用高分辨率标签训练的模型无论选择哪种架构、训练和测试集，都表现不佳。与表2中的结果相比，我们可以看到几乎所有没有多分辨率数据融合的模型都比任何具有多分辨率数据融合的模型表现更差。0北切萨皮克测试集爱荷华测试集0训练集数据融合方法模型准确率Jaccard准确率Jaccard0马里兰0南切萨皮克0表2：我们展示了我们的数据融合方法的效果。（1）无论模型选择（RF，U-net），训练集（马里兰，南切萨皮克）和测试集（北切萨皮克，爱荷华），添加数据融合方法都显著改善了结果。（2）增加模型容量只会提供递减的准确率和Jaccard返回。U-NetLarge模型仅略优于U-Net模型。（3）我们表现最好的模型能够在爱荷华上进行出色的泛化，准确率为93.35%，Jaccard得分为71.32%。04.2. 基准方法0随机森林（RF）在先前的文献中广泛用于低分辨率土地覆盖分类[9,3]，通常使用Landsat图像，并且最近也用于高分辨率土地覆盖分类[11,15]。高分辨率环境中的RF结果在存在高分辨率标签的区域中表现出了很好的效果，但是在推广到新的区域时存在问题。0地理区域[11]。因此，我们训练了一个基准的随机森林模型（RF），用于预测单个像素的土地覆盖类别，该像素的原始像素值以及给定半径内周围像素的原始像素值（在L∞度量中）。我们的离线实验表明，当不使用数据增强技术时，增加这个特征半径超参数会稍微提高模型性能，但是使用低分辨率数据增强时不会提高性能。我们使用的RF模型127310特征半径为1，创建了100棵树，并且除此之外使用了Pythonscikit-learn库[22]的默认参数。为了以无监督的方式提高监督模型的泛化能力，域自适应方法[8, 18, 29, 32,27]学习将来自不同域的输入映射到统一的空间中，以便分类/分割网络能够更好地在不同域之间进行泛化。我们使用了一种现有的域对抗训练方法[8]来进行土地覆盖映射任务（Adapt）。具体来说，我们将一个3层域分类子网络附加到我们提出的U-Net架构上。该子网络接收我们的U-Net模型最终上采样层的输出，并将输入图像的源状态（纽约、马里兰等）分类为其“域”。除了在有限的图像域上最小化分割错误之外，我们还训练分割网络最大化分类子网络的错误。通过这种方式，分割网络学习生成更多的域不变特征。04.3. 模型训练和评估0我们在两个数据集上训练所有模型：马里兰州和其超集切萨皮克湾下半部地区（南切萨皮克）。我们在由切萨皮克湾上半部地区（北切萨皮克）以及爱荷华州（爱荷华）的保留土地覆盖数据组成的数据集上进行测试。在训练中，我们从训练集中均匀采样约100,000个240×240像素的高分辨率土地覆盖标签补丁。如果使用了Adapt或SuperResolution，我们还从整个美国范围内采样约150,000个240×240的补丁。在Adapt情况下，这些额外的样本没有标签，而在SuperResolution情况下，我们包括它们的低分辨率NLCD标签。对于给定的瓦片预测集，我们计算四个高分辨率类别的准确性和平均Jaccard指数（即交并比）。从单个州的数据训练并在保留的北切萨皮克集上进行测试的关系模拟了整个切萨皮克湾地区与美国其他地区之间的关系。马里兰州的数据在地理上受限（即在那里训练的模型无法观察到切萨皮克湾其他地区的特征），并且在观察到的NAIP传感器方差方面受限（即来自同一年的马里兰州的所有图像将以相同的方式收集）。切萨皮克湾地区与美国其他地区之间也存在类似的关系，例如在切萨皮克湾地区无法观察到沙漠，并且在切萨皮克湾地区未观察到的NAIP图像条件在美国其他地区存在。在南切萨皮克上进行训练使模型接触到更多可能存在于北切萨皮克的变化，从而使泛化比切萨皮克到整个美国更容易。实际上，南切萨皮克的NLCD类别组成与北切萨皮克相似，但与美国其他地区不相似。05. 结果05.1. 模型泛化0表1中的结果显示了我们的模型仅在高分辨率标记数据上进行训练时的性能，即没有使用我们的多分辨率数据融合方法。这些结果表明模型的泛化能力不好：增加训练数据（南切萨皮克与马里兰训练集）会导致在爱荷华测试集上的性能下降。在马里兰州训练的模型在爱荷华测试集上的Jaccard分数低于50%，但相对较高的准确性表明它们对预测多数类别（在爱荷华州主要是“田地”）有偏见。使用更高容量的模型，如U-NetLarge，或更复杂的模型，如FC-DenseNet，在这个土地覆盖映射问题中并没有表现出明显的优势。最后，值得注意的是，我们使用的域自适应方法并没有显著提高模型性能。然而，表2显示了我们的数据融合方法的逐步添加如何提高模型性能。具体而言，对于在马里兰州训练的模型，每种数据融合方法都提高了北切萨皮克集和爱荷华集的准确性和Jaccard分数。对于在南切萨皮克训练的模型，与马里兰训练子集相比，LO的好处并不如此明显。在这种情况下，南切萨皮克集必须包含马里兰集中不存在的其他特征，然后才能使用标签超载。值得注意的是，增加模型容量会导致准确性和Jaccard分数的递减回报。U-NetLarge模型的性能仅略优于U-Net模型。我们表现最佳的模型能够在爱荷华州进行良好的泛化，准确率为93.35%，Jaccard分数为71.32%。除了定量模型结果外，我们还在图3中展示了我们的几个模型在切萨皮克湾以外的一些手动选择的场景中的土地覆盖输出。我们选择这些位置来捕捉潜在的失败案例，并展示有趣环境中的模型行为。在大多数位置，我们的最佳模型（最后一行）能够正确识别RF基线和其他没有数据融合方法训练的模型错误标记的特征。在最后一列中，亚利桑那州图森市的一张图像中，我们观察到两个没有数据增强的基线模型无法识别周围沙漠中的一组房屋。我们最佳的最后一行模型能够正确识别这些房屋，但没有识别出道路。05.2. 锡达河流域案例研究0我们与切萨皮克保护协会的合作伙伴正在与爱荷华农业水资源联盟（IAWA）合作，试点新技术，以促进爱荷华州全境的流域管理规划。在这种情况下，高分辨率土地覆盖数据对于快速确定改善土地管理的具体建议至关重要，以及127320南达科他州大草原，加利福尼亚州莫雷诺谷，科罗拉多州丹佛，德克萨斯州达拉斯，马萨诸塞州纽贝德福，亚利桑那州图森0NAIP图像0U-Net0U-Net + SR+ LR + Color0图3：不同模型在没有地面真实标签的选择位置的高分辨率土地覆盖预测及其伴随的NAIP图像。这里的颜色映射与图1中的高分辨率地面真实图像相同。0在最大程度减少对农场运营的影响的同时，提高水质。0因此，我们在爱荷华州中部锡达河流域的整个区域上运行了我们模型的早期版本，该区域面积为6260平方千米，并将结果提供给我们的合作伙伴。合作伙伴使用他们的质量保证（QA）方法来纠正模型在总流域面积的约1.1%的地理区域上的系统误差。该方法涉及将模型输出与NAIP图像、归一化差异植被指数（NDVI）图层和归一化差异地表模型（nDSM）图层进行比较，以识别分类错误。NDVI和nDSM图层有助于识别植被分类错误和可以通过高度差异捕捉的错误（例如，将低矮植被错误分类为树木）。这个过程的第一轮纠正了三类广泛的错误：错误预测“田地”类与道路相邻的边界、圆角建筑和阴影中预测的水值。这些纠正结果占评估地理区域中像素的约2%，共耗时30小时。根据这些反馈，0我们通过对模型的每个像素类别概率进行全局转换来调整模型，以最好地适应纠正，并使用这个转换生成了整个流域的新地图。0形式上，我们给出了n个从我们的模型预测集中纠正的样本。我们采样另外n个在质量保证过程中没有纠正的像素，以平衡数据集，然后形成一个矩阵 X ∈ R 2 n × 4，表示我们模型的概率输出，和一个向量 y ∈ R 2 n × 4，表示相应的标签（one-hot编码）。我们找到一个变换矩阵W ∈ R 4 × 4 ，b ∈ R 4 ，使得 XW + b = ˆy 最小化与 y的分类交叉熵。学到的变换矩阵 W 和 b现在可以轻松地应用于任意数量的像素。这种方法能够纠正原始模型89.7%的错误，并且在假设我们的模型在整个测试区域中都会产生相同的系统性错误的情况下，能够节省约2700小时的人工劳动，以纠正整个区域。在SI的图5中，我们展示了这个反馈过程在一个纠正区域的小块土地上的进展。这种方法是将领域专家的反馈以廉价的方式纳入模型中的一种方法。127330图4：显示整个美国高分辨率与NLCD一致性的地图。较低的值表示我们模型估计与预期的高分辨率标签之间的“不一致”（使用切萨皮克湾地区每个NLCD类别的高分辨率标签分布）。红色表示没有输入数据或数据错误导致我们的模型无法运行的区域。0模型的现有预测可以进一步嵌入到模型生成循环中，通过从更广泛的纠正区域中对原始模型的新版本进行微调，并将更新的预测循环反馈到质量保证过程中。05.3. 美国全境土地覆盖图0我们使用了我们最好的模型的方法-包括所有的数据融合方法-生成了一个完整的美国土地覆盖图。对于训练数据，我们使用了整个切萨皮克湾地区的高分辨率标签和在整个美国范围内采样的低分辨率NLCD标签。与超分辨率损失相关的NLCD和高分辨率标签之间的相关性 µ n,c，在这个模型中是手动调整的，而不是从马里兰州的数据中估计得出的（与我们的实验不同）1。成本：用于创建完整美国土地覆盖图的网络的大小和复杂性将在很大程度上决定操作的成本。例如，赢得DeepGlobe土地覆盖映射竞赛的Dense FusionClassmate网络需要8个GPU进行训练，对于完整的美国推理来说成本过高[28]。FC-DenseNet103架构[14]是DenseFusionClassmate网络的基础，它可以适应单个GPU，但在整个美国范围内运行时，成本将增加约270% ，相比我们的U-NetLarge模型。我们的完整美国地图是使用U-NetLarge架构生成的，与U-Net和FC-DenseNet模型相比，成本只增加了19%。评估：在第5节中，我们讨论了一个“基准”可视化补丁集，用于检查模型在重要地形特征上的性能，并在SI中展示了一个交互式探索我们模型预测的Web应用程序。然而，这些还不足以发现所有情况。01我们为此目的训练的模型的输入与表2中报告的最佳模型有一小差异：我们使用了所有可用的Landsat 8图像的中位数，而不是分离的有叶和无叶月份。0我们的模型在某些方面表现不佳。通过简单地对模型输入和预测输出进行采样来定性评估模型的性能是非常耗时的。考虑到这一点，我们使用低分辨率标签来近似计算我们的模型在整个美国范围内的性能，通过计算我们称之为与NLCD一致性的指标。首先，我们计算每个NLCD标签的高分辨率类别分布，p mean ( y | n )= µ n,y，如SR数据融合方法中所述。我们让 ρ n,y = µ n,y / maxy ′ µ n,y ′，通过该分布中的最大值对每个NLCD标签的高分辨率类别均值进行归一化。现在，给定一组N个高分辨率预测 { y 1 ,... , y N } 和相关的NLCD标签 { c 1 ,...,c N }，我们计算与NLCD的一致性值 λ = 1 N � N i =1 ρ c i ,y i。这个定义可以被看作是给定一组预测的慈善“准确性”得分。总的来说，这个指标的目的是识别我们在全美范围内评估中的潜在问题区域-即高分辨率标签与NLCD不一致的区域。最后，我们在图4中展示了该模型运行的近似准确性地图，与NLCD的平均一致性为87.03%。0致谢0作者感谢Lucas Joppa和Microsoft AI forEarth计划对本文早期版本的支持，以及审稿人对本文的有益评论。C.R.部分受到NSF资助的CCF-1522054（COMPUST-NET：扩展计算可持续性的视野）项目的支持。02作为一种替代方案，我们可以将NLCD标签定义为高分辨率标签的确定性映射，并直接计算“准确性”替代指标，但这将严重惩罚在多个高分辨率类别可能高频发生的区域（如城市）的预测。我们在SI的第3节中对此定义进行了扩展并展示了结果。127340参考文献0[1] ISPRS2D语义标注数据集。http://www2.isprs.org/commissions/comm3/wg4/semantic-labeling.html。[2]Dstl卫星图像特征检测，2017年。[在线]。[3] M. Belgiu和L. Dr ˘agut¸。遥感中的随机森林：应用和未来方向综述。《ISPRS遥感与摄影测量学杂志》，114:24–31，2016年。[4] M. Castelluccio，G.Poggi，C. Sansone和L.Verdoliva。利用卷积神经网络进行遥感图像的土地利用分类。arXiv预印本arXiv:1508.00092，2015年。[5] Chesapeake BayConservancy。土地覆盖数据项目，2017年1月。[在线]。[6] I.Demir，K. Koperski，D. Lindenbaum，G. Pang，J. Huang，S.Basu，F. Hughes，D. Tuia和R. Raskar。Deepglobe2018：通过卫星图像解析地球的挑战。在《IEEE计算机视觉和模式识别会议论文集》中，2018年。[7] R. Gaetano，D. Ienco，K.Ose和R.Cresson。用于PAN和MS图像的土地覆盖分类的双分支CNN架构。《遥感》，10(11):1746，2018年。[8] Y. Ganin，E. Ustinova，H.Ajakan，P. Germain，H. Larochelle，F. Laviolette，M.Marchand和V.Lempitsky。神经网络的域对抗训练。《机器学习研究杂志》，17(1):2096–2030，2016年。[9] P. O. Gislason，J. A.Benediktsson和J. R.Sveinsson。用于土地覆盖分类的随机森林。《模式识别信件》，27(4):294–300，2006年。[10] M. C. Hansen，P. V. Potapov，R.Moore，M. Hancher，S. Tu- rubanova，A. Tyukavina，D.Thau，S. Stehman，S. Goetz，T.Loveland等。21世纪森林覆盖变化的高分辨率全球地图。《科学》，342(6160):850–853，2013年。[11] M. M. Hayes，S. N.Miller和M. A.Murphy。利用随机森林进行高分辨率土地覆盖分类。《遥感通信》，5(2):112–121，2014年。[12] C. Homer，J. Dewitz，L.Yang，S. Jin，P. Danielson，G. Xian，J. Coulston，N.Herold，J. Wickham和K.Megown。完成2011年全美陆地覆盖数据库-代表十年土地覆盖变化信息。《摄影测量工程与遥感》，81(5):345–354，2015年。[13]Iowa DNR。爱荷华州2009年土地覆盖数据，2009年。[在线]。[14]S. J ´ egou，M. Drozdzal，D. Vazquez，A. Romero和Y.Bengio。一百层提拉米苏：用于语义分割的全卷积密集网络。在《计算机视觉和模式识别会议论文集》中，页码1175–1183。IEEE，2017年。[15] T.Kavzoglu。基于对象的随机森林用于利用QuickBird-2图像进行高分辨率土地覆盖制图。在《神经计算手册》中，页码607–619。Elsevier，2017年。[16] X. Li，S. W. Myint，Y. Zhang，C.Galletti，X. Zhang和B. L. TurnerII。利用航空摄影进行大凤凰城地区的基于对象的土地覆盖分类。《国际应用地球观测与地理信息学杂志》，33:321–330，2014年。0[17] X. Li和G.Shao。在美国中西部县级尺度上利用高分辨率航空摄影进行基于对象的土地覆盖制图。《遥感》, 6(11):11372–11390, 2014年。[18]M. Long, H. Zhu, J. Wang和M. I.Jordan。带有残差转移网络的无监督领域自适应。在《神经信息处理系统进展》中，页码136–144，2016年。[19] M. Mahdianpari,B. Salehi, M. Rezaee, F. Mohammadimanesh和Y.Zhang。利用多光谱遥感图像进行复杂土地覆盖制图的深度卷积神经网络。《遥感》, 10(7):1119, 2018年。[20] K. Malkin, C.Robinson, L. Hou, R. Soobitsky, J. Czawlytko, D. Samaras, J.Saltz, L. Joppa和N.Jojic。标签超分辨率网络。在《国际学习表示会议》中，2019年。[21] A. Odena, V. Dumoulin和C.Olah。解卷积和棋盘格伪影。《蒸馏》, 1(10):e3, 2016年。[22] F.Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O.Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J.Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M.Perrot和E.Duchesnay。Scikit-learn：Python中的机器学习。《机器学习研究杂志》, 12:2825–2830, 2011年。[23] B. Pengra, J. Long, D.Dahal, S. V. Stehman和T. R.Loveland。来自高分辨率商业卫星数据的全球参考数据库及其在Landsat衍生的30米连续树冠数据中的应用方法。《环境遥感》,165:234–248, 2015年。[24] A. Rakhlin, O. Neuromation, A.Davydow和S. Nikolenko。利用U-Net和Lov ´asz-Softmax损失从卫星图像
我的内容管理
展开
