没有合适的资源?快使用搜索试试~ 我知道了~
21158†‡动态地球网:用于语义变化分割的每日多光谱卫星数据集AysimT ok er1,Ruman,LukasK ondmann1,2,Ruman,Mark Weeber1,Marvin Eisenberger1,Andre's Camero2,JingliangHu2,Ariadna Pre gel Hoderlein1,Cag larSenaras3,Timoth y Da vis3,DanielCremers1,Giov anniMarchisio3,<$,XiaoXiangZhu1,2,<$,LauraLeal-Taixe'1,<$慕尼黑工业大学1,德国航空航天中心2,行星实验室3图1. DynamicEarthNet数据集的可视化。对于感兴趣的特定区域,我们显示了2019-08-01和2019-08-31这两个卫星观测结果,以及相应的每月地面实况注释(左上)。The complete dataset consists of daily samples in the range from 2018-01-01 to 2019-12-31.我们考虑了75个不同的感兴趣的领域,分布在六大洲(右上角)。摘要对地观测是监测具体有关地区土地使用演变情况的一个基本工具。在这种情况下,服务和精确定义变化需要时间序列数据和逐像素分割。为此,我们提出了DynamicEarthNet数据集,该数据集由来自Planet Labs的图像分布在全球的75个选定区域的这些观察结果与7个土地利用和土地覆盖(LULC)类的像素级月度语义分割标签配对DynamicEarthNet是第一个提供这种独特的每日测量和高质量标签组合的数据集。在我们的实验中,我们比较了几个已建立的基线,这些基线要么利用日常观察作为额外的训练数据(半监督学习),要么同时利用多个观察(时空学习)作为未来研究的参考点最后,我们提出了一个新的评估指标SCS,解决了与时间序列语义变化分割相关的具体挑战数据可在https://mediatum.ub.tum.de/1650201上查阅。与自然和平相处是21世纪的决定性任务联合国安全基因组研究所* 作者分享第一作者权。作者分享资深作者。通讯作者:xiaoxiang.zhu@ dlr. de1. 介绍社会正在迅速地更加意识到人类对世界气候的影响。压倒性的证据表明,气候变化对我们生活的几乎每个方面都有短期和长期的影响[27]。利用模拟和全球气候指标,现在可以观察全球范围的变化,如海平面上升或墨西哥湾流的变化。相比之下,对局部变化的精确预测要困难得多。常见的例子包括农业土地使用、森林砍伐、洪水、野火、城市地区的增长和交通基础设施。监测这些地方性变化至关重要,因为这些是最终加剧全球气候危机的因素在这方面,卫星图像是跟踪特定区域环境局部变化的有力工具。要观察局部尺度的变化,需要两个条件:高频率的卫星观测和对观测表面的像素精确理解。现有的数据集往往无法提供这些条件。无论何时提供像素级注释,都只能使用静态图像[43]或将重访频率限制为一次。年(14,36)。具有粗糙注释的数据集具有不规则[11]或每月重访频率[38]。作为土地变化的一个例子,在2020年,巴西每天有46平方公里的雨林被摧毁[29]。这表明,如果我们每月分析一次该地区的卫星图像,我们可能会错过相当于加利福尼亚州洛杉矶市的森林砍伐。就像巴西一样21159数百万平方公里的森林,需要自动方法来检测这些和其他类型的土地变化。当前的像素精确自动方法主要基于深度学习,因此需要注释数据来学习。在这项工作中,我们提出了DynamicEarthNet,一个时间序列卫星图像数据集,每天重访全球75个地方区域。该数据集包括两年(2018-2019年)内一致的、无遮挡的多光谱图像每日观测结果。我们还提供带注释的月度语义分割标签。主要重点是分割和检测一般土地利用和土地覆被(LULC)的发展变化。具体来说,我们关注以下LULC类:不透水表面、水、土壤、农业、湿地、&冰雪和森林&等植被。与标准计算机视觉基准的语义分割相比,卫星图像面临各种额外的挑战。最突出的是,卫星图像中的标记区域通常具有非常复杂的形状,比日常物体复杂得多。我们表明,在标准视觉基准上表现良好的方法[10,32]不一定能很好地转移到这个领域。此外,常见的分割度量对于量化语义变化分割任务的性能不是最佳的。我们缓解这个问题,提出了一个新的评估协议,抓住语义变化分割的本质。DynamicEarth-Net和拟议的评估协议鼓励开发更专业的算法,以应对每日时间序列卫星图像的特殊挑战。概括而言,我们的贡献如下:• 我们提出了一个大规模的多光谱卫星图像数据集,每天观测全球75个独立的地区的利益。• 我们提供7个土地利用和土地覆盖(LULC)语义类的密集,每月注释。• 我们提出了一种新的评估协议,该协议对语义变化分割的两个中心属性进行了建模:二进制转换和语义分割。• 我们评估多个基线方法对我们的数据检测语义变化的任务。我们展示了如何利用数据的时间序列性质来实现最佳性能。2. 相关工作对于我们对相关工作的讨论,我们提供了公开可用的卫星图像数据集的概述,另见Tab。1.一、此外,我们总结了现有的工作任务的语义分割和变化检测。2.1. 地球观测数据集分割和检测。卫星图像土地覆盖类别的语义分割最初是由ISPRS项目[30,37]提出的。同样,Deep-Globe[15]和SpaceNet [39]挑战提供了用于建筑物检测、道路提取和土地覆盖分类的数据集。与我们的相比,这些早期作品的兴趣领域相对较少。随后,主要焦点开始转向大规模航空图像[43,46]。为此,DOTA [46]建议在从Google Earth裁剪的大量图像集合上检测物体。iSAID [43]将此概念扩展到实例分段的任务。沿着同样的思路,SpaceNet MVOI [44]提出了一个多视图卫星图像建筑物检测的基准另一方面,我们的基准提供了密集的语义注释,即。为每个像素定义。变化检测。几项工作的目的是预测在不同时间对同一感兴趣区域的观测之间的变化。大多数相关数据集关注于二进制变化检测,其对特定类型的变化不可知[3,13]。HRSCD [14]和Hi-UCD [36]提出了多类语义变化检测数据集。与时间序列数据相比,这些基准每年只显示一次观测,总共持续2-3年,而不是一个完整的序列。此外,多样性是有限的-最近,QFabric [41]提出了一个大规模的多时相数据集,并对变化区域进行了多边形注释。相比之下,我们的数据集包含每日观测和像素级LULC类。时间序列分析近年来,时间序列卫星数据集获得了越来越多的关注[11,31,38]。例如,Earthnet 2021 [31]提供了一个基于公共Sentinel-2图像的地表预测数据集,重访率为5天。由于预期的应用与我们的应用非常不同,因此没有提供土地覆盖注释。fMoW [11]提供带有边界框注释的时间卫星图像类似地,MUDS [38]旨在通过跟踪用多边形注释的几个感兴趣区域的建筑物来不断变化的采集条件使得在较长的时间段内一致地收集数据变得具有挑战性因此,现有数据集通常包含不规则的重访频率[11]或不频繁的(每月)观察间隔[38]。相反,我们的DynamicEarthNet数据集提供高质量,一致的日常观测。2.2. 考虑的任务语义分割最近有无数的深度学习方法[2,8-21160×数据集时间重访时间图像数量来源GSD(m)注释对象太空网[39]✗✗>24,586Maxar0.31多边形建筑物和道路DOTA [46]✗✗2,806谷歌地球0.15-12毫米定向Bbox各种fMoW [11]✓不规则>100万Maxar0.31-1.60BBox各种[44]第四十四话✗✗60,000Maxar0.46-1.67多边形建筑MUDS [38]✓每月2,389星球4.0多边形建筑DOTA-v2.0 [16]✗✗11,268谷歌地球0.15-12毫米定向Bbox各种[15]第十五话iSAID [43][14]第十四话[36]第三十六话✗✗✓✓✗✗每年每年Maxar 0.5 Seg. 屏蔽各种LULC2,806DOTA0.15- 12I. 分段掩码各种582 BD ORTHO 0.5节段 MaskVarious LULC 2,586ELB <$0.1Seg. 屏蔽各种LULC动态地球网✓每日PlanetFusion 3.0 Seg. 屏蔽各种LULC†爱沙尼亚土地委员会,谷歌地球从各种传感器收集信息,因此分辨率是多种多样的[44]。表1. 公共卫星数据集概览。对于每个数据集,我们比较了关键特征,如重访时间,图像数量,数据源,地面样本距离(GSD),注释类型和注释对象。最密切相关的是DeepGlobe [15],iSAID [43],HRSCD [14]和Hi-UCD [36],像我们一样,为各种土地覆盖类别提供密集的语义注释然而,这些数据要么没有提供时间序列数据,要么只提供每年的重访时间。密切相关的数据集以蓝色和黄色突出显示语义分割与大多数常见的计算机视觉应用相比,卫星图像的分割最近的方法表明,编码器-解码器架构[18,23]可以帮助解决卫星数据的前景-背景不平衡[22,48]。大多数现有的算法专注于分割单个静态图像。一些作品利用时间序列卫星图像的额外信息进行作 物 类 型 分 类 [19 , 26 , 34] 。 我 们 相 信 ,DynamicEarthNet数据集将鼓励研究人员开发专门的算法,以应对时间序列卫星图像的特殊挑战。变化检测。变化检测是对地观测中一个广泛研究的课题。经典方法定义公理化的、基于像素的[4-由于缺乏高质量的数据和专家注释,新算法的开发往往受到抑制。大多数方法关注二进制变化,通常限于两个不同的观测时间(bitemporal)[4此外,用于评价的数据集和指标差别很大,而且往往不公开。这些考虑强调了标准化基准和一致的评估协议的必要性。到目前为止,适用于多类别变化检测的方法还不多.他们中的大多数人通常会考虑两个快照,通常相隔几年。在这些工作中,[25,28]直接预测多类变化图,而[36]将变化定义为两个语义图之间的差异我们遵循后一种方法,在我们的评估,因为现有的- ING工作多类变化检测的主要目的不是为了处理高的时间频率。因此,我们在我们的数据集上对最先进的语义分割算法进行基准测试,并比较预测的多类语义掩码随时间的差异。类名%#AOI颜色不透水面7.1 70农业10.3森林其他植被湿地0.7 24土壤28.0 75水8.0 58雪冰1.0 2表2. LULC类分布。LULC类的分布在数据集中的所有24 75=1800个语义图上平均。此外,我们报告了给定LULC类出现的AOI的绝对数量我们在整张纸上想象我们为每个班级使用的颜色。3. DynamicEarthNet数据集我们提供了DynamicEarthNet数据集,其中包含2018年1月至2019年12月期间获取的每日无云卫星数据。它由来自全球75个感兴趣区域(AOI)的图像组成,如图2所示。1.一、该数据集涵盖了各种各样的环境与不同类型的土地覆盖变化。对于每个区域,我们提供了一系列图像,并每天重新访问。此外,我们为每个月的第一天提供像素级语义标签。这些作为地面实况来确定两个观测年内的土地覆盖变化在本节的剩余部分中,我们将详细介绍数据集的图像、语义标签和统计信息。3.1. 多光谱图像我 们 数 据 集 的 主 要 来 源 是 Planet Labs 的 FusionMonitoring产品1,该产品提供多个1https://www.planet.com/pulse/planet-announces-powerful-newww.example.com2020年行星探索产品展21161图2. 一个变化的表面的例子。我们展示了来自我们数据集的一个AOI在不同时间的四个样本帧。两个子区域被放大,突出了我们在实践中遇到的两种类型的变化(顶行)。数据的日常性质使我们能够观察正在建造的新建筑(绿色)或跟踪森林砍伐(黄色)。此外,我们还可以在几个月的时间内监测这些变化的长期影响,例如:这里森林的变化是持久的光谱时间序列卫星图像。每个快照包含四个通道(RGB +近红外)与地面采样距离(GSD),即。像素粒度为3米,分辨率为1024x1024。除了原始观测数据外,Planet还结合了后处理技术,以确保数据质量和一致性:这一次,所有的图像都经过处理,以消除天气、阴天和相关视觉伪影造成的遮挡。数据是间隙填充的,这意味着由于云覆盖而丢失的信息由来自最近可用时间点的适当观测值填充此 外 , 融 合 波 段 被 校 准 到 协 调 的 Landsat-Sentinel(HLS)2光谱,使其与其他公开可用的数据集(如Landsat 8 [45]或Sentinel 2 [1,17])兼容。为了鼓励对数据融合的探索,我们每月提供来自相同75个AOI的Sentinel-2(S2)图像以供参考。这一辅助图像集的主要思想是允许与公开可用的数据进行比较。此外,额外的数据可能会在未来的实验中产生更详细的情况,我们请读者参阅我们的补充材料.3.2. 逐像素标签在描述了原始卫星图像之后,我们现在提供有关每月地面实况注释的更多细节。它们包括对应于每个月的第一天的逐像素语义分割标签的集合这些标签被定义为常见的LULC类,即,不透水面、农业、森林其他植被、湿地、土壤、水、冰雪。每个注释的分辨率为1024x1024,像素粒度为3米,就像相应的卫星图像一样。2https://earthdata.nasa.gov/esds/harmonized-landsat-sentinel-2网站注释程序是严格的,强调标签的时间一致性。第一幅图像是为每个AOI手动注释的,并用作随后几个月的基础如果在某个区域中存在对于人类注释者来说明显的可感知的变化,则更新后续地图三个质量控制门,每个都有不同的注释器,分别确保准确的注释,拓扑正确性和格式正确性。3.3. 数据集统计数据DynamicEarthNet数据集包含全球75个不同的AOI,每个AOI由730张图像组成,覆盖从2018年1月到2019年12月的两年我们在每个月的第一天提供语义LULC类,每个序列总共24个。总的来说,这相当于54750张卫星图像和1800个地面实况注释.我们在Tab中说明了LULC类在整个数据集上的分布。二、由于数据的性质,某些语义类的出现与森林、其他植被和土壤主导的不太频繁的类(如湿地)不平衡。这样的一般环境类通常占据所考虑的区域的大部分,参见图中的图像的下三分之一。二、我们将数据分为训练集、验证集和测试集,分别具有55、10和10个AOI。每个AOI的不同类别的数量从2到6不等。例如,数据集中的一些AOI仅包含森林其他植被和土壤,而其他AOI包括不透水表面、水、土壤、农业、湿地和森林其他植被。没有一个AOI包含所有7个类。为了达到最佳平衡,我们确保拆分我们避免提供关于类分布的更细粒度的统计数据,以避免混淆-21162C{}联系我们.∈×..|<${ b= 1 }<$({ y = c }<${ y = c })c ∈C|ˆ{bΣ。.2检查(当前隐藏的)测试集上的任何其他信息。由于雪冰类只发生在2个立方体,见表。2、我们在验证或测试集中没有这样的例子。因此,我们也不考虑这个类在我们的定量评估中提出的第二节。五、7个LULC类:=0,. . .,6定义在SEC。3.2.给定时间t和t+1的两个连续帧,我们可以将二进制变化b0,1(T−1)×H×W定义为地面实况语义标签改变的所有像素的二进制标签:3.4. 与现有基准与其他公开提供的、注释的bt,i,j:= 1,如果yt,i,j=yt−1,i,j,0,否则。(一)DynamicEarthNet具有许多重要的区别特征,请参见Tab。1.一、首先,它是第一个提供来自大量AOI的日常观测的平台。就重访率而言,与我们最接近的工作是[38]每月观察。然而,他们的关注点较窄,主要目标是跟踪建筑物以监测城市化。其他相关的变化检测数据集[14,36,41]每年仅显示一次观测,见表1。1.一、在我们的数据集中,我们提供了连续两年的每日观测结果,允许研究短期和长期变化。图2突出显示了这些数据的潜力:我们可以观察到新建筑物的变化。与此同时,我们可以确定森林砍伐的确切日期,并在多个月的跨度内连续观察4. 语义变化分割我们数据集的一个关键应用是测量给定局部区域如何随时间变化。对于二进制变化检测的标准任务,我们将每个像素分类为变化或无变化。然而,这一定义忽视了当评估语义变化分割时,需要预测二进制变化图b和语义图y这需要方法来回答哪些像素改变,这些像素会变成什么样。4.2.评价方案在语义变化分割的上下文中,常见两种不同类型的错误:未能检测到二进制变化并且预测了变化像素的错误语义类。我们的目标是设计一个评估协议,捕获这两个错误在一个单一的信号。因此,所得到的语义变化分割(SCS)度量由两个分量组成,类别不可知的二进制变化分数(BC)和变化像素之间的语义分割分数(SC)。二进制转换(BC)。衡量预测变化图b的质量的标准方法是将其与地面实况变化b的重叠进行比较。这通常定义为Jaccard指数或交集-并集得分语义信息因此,我们将这个经典的概念推广到多类分割任务,我们称之为语义变化分割。对于时间序列卫星数据,受外部力量影响,如天气和气候影响,BC(b,b)=|{b =1}{b$>=1}||{b =1}∪{bˆ=1}|我们用速记法(二)人类的毁灭与创造与标准的视觉基准相比,它们通常随着时间的推移逐渐出现,并且具有有限的空间范围。当预测整个观察区域的语义标签时,帧之间的这种罕见变化对整体分割分数的影响很小。在我们的数据集中,平均每月只有5%的像素发生变化。因此,在完 整图 像上 定义 的标 准 评估 度量 (如 Jaccard索 引(IoU))不适合于表达预测变化区域的语义类的准确程度。因此,我们提出了一个新的度量标准来量化的方法在卫星图像的语义变化分割的性能。4.1. 问题定义设xRT×H×W×4为卫星的输入时间序列,由空间大小为H W的T帧和4个输入通道(RGB +近红外)组成的精简图像。对于每个这样的时间序列,我们进一步提供语义注释y∈ CT×H×W,将x中的每个像素分配给其中一个{b = 1}:={(t,i,j)|bt,i,j= 1}(3)用于具有二进制变化的指数的指标集。语义变化(SC)。第 二个组成部分,我们的metric措施语义变化的准确性。它被定义为分割分数,以地面实况图中发生任何变化的像素集为条件,即。b=1.在这个像素子集上,我们计算地面实况标签y和预测标签y之间的Jaccard指数(a在所有类别c上平均):SC(y,y)|b)=1{b =1}({y=c}{y<$=c})。(四)语义变化分割(SCS)。SCS总分是二进制变化和语义变化的算术平均值:SCS(y,y)=1。BC(b,b)+SC(y,y)|b)无菌。(五)21163在实践中,我们首先累积所有时间序列的混淆矩阵,然后计算最终的SCS分数。度量属性。在下文中,我们总结了所提出的SCS度量的一些区别特征。i. 专注于改变。与Jaccard指数等标准指标相比,SCS指标特别强调准确的变化预测。ii. 错误的分离。它将检测发生变化的区域(BC)和预测变化区域(SC)的正确语义标签的问题分开。iii. 单输出信号。两种信号对最终SCS评分的贡献相等。5. 实验在本节中,我们通过土地覆盖分割和语义变化分割的各种实验来展示我们的数据集的实用性。我们首先在第二节中概述了所考虑的基线方法。5.1然后在第节中给出相应的结果。5.2和SEC。五点三。5.1. 基线DynamicEarthNet包含每月第一天的每日图像和密集的语义注释。这就提出了一个问题,即在对标记数据进行训练时,如何利用额外的未标记示例来改善结果。在这项工作中,我们研究了两种不同的方法:时空和半监督语义分割。前者通过将空间信息与时间体系结构相结合来解决我们数据后者使用带注释的图像(每个月的第一天)作为监督,同时以无监督的方式利用时空基线。我们考虑的第一类基线是时空方法。其主要思想是融合输入时间序列的单个观察结果,并产生单个输出预测作为主干,我们使用U-Net特征提取器[32]。在[26,34]之后,我们比较了不同的时间架构。首先,我们应用U-ConvLSTM网络[26]。作为第二种方法,我们利用同时处理空间和时间信息的3D卷积[26]。最后,我们采用U-TAE [34],通过自我注意力[40]对潜在空间中的时间特征进行编码。半监督基线。作为将输入图像建模为序列的替代方案,我们可以将它们解释为训练样本的无序集合。类似于标准的监督学习,标记的示例直接用作训练数据。为了从剩余的未标记训练样本集中提取信息,我们采用了Lai等人最近提出的基于一致性的半监督分割方法。[21 ]第20段。其主要思想是将未标记的图像随机裁剪成对的补丁,并强制一致的输出两个子区域的重叠。对不同上下文的鲁棒性对于我们的数据至关重要,因为重叠区域的周围通常是其类标签的不可靠预测因素。例如,在我们的数据集中,水存在于完全不同的环境我们用分段主干DeepLabv3+[10]评估了这种方法[215.2. 土地覆被和土地利用分割我们考虑的第一个任务是土地覆盖类的语义分割。具体来说,目标是预测第二节中描述的LULC标签之一3.2. 我们比较了前一节中讨论的两类基线方法的性能。对于每种设置,我们评估所有6个评估LULC类(mIoU)的平均交集得分由于其整体稀缺性,我们排除了雪冰类的评价,见第二节。3.3更多详情时空结果。时空方法的结果总结见表1。3 .第三章。作为第一个参考点,我们考虑纯监督设置。在这里,我们只在每月标记的样本上训练标准的U-Net架构。它在验 证 集 上 实 现 了 33.5%mIoU , 在 测 试 集 上 实 现 了37.6%mIoU。我们进一步评估现有的时空架构是否受益于我们的数据的时间序列性质。所有这三个考虑的架构提高了性能的监督基线每周的时间输入验证集。U-TAE和U-ConvLSTM在测试集上表现出最强的泛化性能。另一方面,当使用28-31张图像的日常序列时,性能大 幅 下 降 。 This suggests that generic spatio-temporaltechniques are not necessarily optimal for extractinginformation from daily satellitedata.这种每日时间序列的各个图像通常高度相关。因此,当标记数据有限时,在某个点增加序列的长度会导致不稳定的训练。对于我们的基准,使用每周样本对于所考虑的基线是最佳的。我们的结论是,需要更专业的技术,以允许鲁棒性学习的日常时间序列卫星图像。半监督结果。我们在Tab中报告了我们的基线[21]与DeepLabv3+[10]结合4.第一章类似于时空实验,我们考虑不同的时间密度。对于纯粹的监督设置,所有未标记的图像被丢弃(每月)。此外,我们比较了不同的半监督设置与6(每周),28-31(每天)每月未标记的样本。每日和每周的数据都有助于改善21164所有每类IoU(↑)Val测试贴上标签了吗进出口地表农业森林湿地土壤水mIoU(↑)mIoU(↑)蒙大每个类别的样本IoU(↑)Val测试频率杂质地表农业森林湿地土壤水mIoU(↑)mIoU(↑)U-Net [32]每月28.66.976.40.038.4 50.5 33.537.6U-TAE [34]每周31.88.077.30.039.158.135.739.7每日26.36.573.70.035.751.232.236.1U-ConvLSTM [26]每周31.42.277.70.036.158.634.339.1每日14.40.672.10.032.058.829.730.9[26]第二十六话每周32.42.177.40.035.365.535.537.2每日31.11.875.80.034.166.034.838.8表3. 时空方法的定量结果。我们比较了不同的时空架构的LULC分割任务单个值表示单个类的交叉-联合得分(。3-8),以及整个验证集的平均得分(第9列)。和测试集(第10列)。每月的U-Net基线通常不如所考虑的时间架构准确每月✓18.14.874.70.033.955.931.237.9CAC [21]每周✗28.07.275.78.338.951.034.937.9每日✗28.94.075.50.539.055.633.943.6表4.半监督方法的定量结果。 该表显示了在我们的DynamicEarthNet数据集上使用基于上下文感知一致性的半监督方法[21]的语义分割结果。我们还为验证集提供了每个类的IoU分数。“每月”表示体系结构以监督的方式进行培训。使用无标签的卫星图像比完全监督的基线结果更好。SCS(↑)BC(↑)SC(↑)mIoU(↑)CAC [21] 17.7 10.7 24.7 37.9U-Net [32] 17.3 10.1 24.4 37.6[21] 17.8 10.1 25.4 37.9U-TAE [34]19.19.528.739.7U-ConvLSTM [26] 19.0 10.2 27.8 39.13D-Unet [26] 17.6 10.2 25.0 37.2[21] 18.5 10.3 26.743.6U-TAE [34] 17.8 10.4 25.3 36.1U-ConvLSTM [26] 15.6 7.0 24.2 30.93D-Unet [26] 18.811.5 26.1 38.8表5. 我们的测试集上语义变化分割的定量结果该表显示了我们的DynamicEarthNet数据集上所有方法的语义变化分割结果。监督基线。这些定量结果的详细分析表明,农业和湿地类证明是困难的所有基线。农业区经常与森林或土壤混淆,见图。3,而湿地与土壤和水混淆。这在一定程度上是由于这些类的视觉相似性而预期的。值得注意的是,对日常数据的训练达到了整体最佳结果。在测试集上获得的准确率为43.6% mIoU,比每月和每周的结果37.9%有相当大的提高。5.3. 语义变化分割在下文中,我们比较了我们所考虑的基线方法在第二节中介绍的指标上的性能。4,见表。五是结果。类似于Sec。5.2,我们使用不同程度的时间密度与每月,每周和每日的观察。作为一般趋势,每周一次的观察结果比纯粹监督的每月基线提高了性能对于半监督方法[21],测试集上的性能随着每日样本的增加而进一步提高另一方面,额外的每日观测的好处是不太consistent- tent的时空基线。在这种情况下,增加序列长度固有地受到提供更多信息和降低训练稳定性之间的权衡。由于每天的观察是高度相关的,最佳的结果是实现每周采样。总的来说,我们的研究结果表明,检测变化(BC)对于我们考虑的基线来说特别具有挑战性。大多数获得的准确度在10%左右。考虑到地面实况变化图平均仅覆盖所有像素的5%,存在大量潜在的假阳性。通常,变化发生在两个视觉上非常相似的类别之间,就像森林和土壤一样。结果进一步证实,单独的mIoU度量不足以衡量语义变化分割的性能。高LULC分割分数每日每周21165图3. 验证集的定性结果。 在日常图像上训练的半监督基线CAC [21]的语义图(底行)。输入序列由5张图像(中间一行)组成,从9月到10月,跨越一个月。对于所考虑序列的第一个和最后一个语义映射,我们显示了地面实况标签(右下角,左下角)。中间的三列显示了[21]的预测。对于每个样本,我们放大了一个特定的区域,以突出从森林其他植被到土壤的时间过渡,标记为红色的地面实况和粉红色的基线预测[21]。值得注意的是,我们的基线[21]高度逼真地捕捉了这一发展。另一方面,在某些地区,它无法区分一般森林植被类别和地面真实标签农业。有关分割图的颜色表示,请参见Tab。二、(mIoU)不能保证在变化分割分数(SCS)方面的最佳性能当直接比较时,语义变化和二进制变化性能在某种程度上是解耦的,这保证了将我们的SCS度量分为二进制变化BC和语义变化SC。6. 结论我们介绍了DynamicEarthNet,这是一个新的数据集,为广泛的感兴趣区域提供每日多光谱卫星图像。除了原始图像之外,它还包括7个常见LULC类的每月语义注释。这种密集的时间序列数据和高质量注释的独特组合使DynamicEarth-Net与现有的基准测试区分开来,参见Tab。1,其在时间上稀疏或者不提供可比较的地面真实标签。我们发现,这会产生以前未探索过的设置,如半监督学习,以及具有前所未有的时间分辨率的时空方法。我们进一步设计了一个新的评估协议的语义变化分割。它涉及到几个方面-在多类变化预测的上下文中,关注不同的常见错误的RICS。我们相信,我们的基准有潜力激发更专业的技术,可以充分利用日常,多光谱数据的发展。最后,我们在几个令人信服的案例研究中强调了如何使用高频卫星数据来跟踪土地覆盖演变,例如。并评估其短期和长期影响。确认这项工作得到了洪堡基金会通过Sofja Kovalevskaja奖的支持,Helmholtz AI的框架[批准号:ZT-I-PF-5-01]- 地 方 单 位 “ 慕 尼 黑 单 位 @ 航 空 、 航 天 和 运 输(MASTr)",联合研究学校“慕尼黑数据科学学院-MUDS”下的亥姆霍兹协会,以及德国联邦经济事务和能源部(BMWi)在DynamicEarthNet资助下(资助号:50 EE 2005)。21166引用[1] 约瑟夫·阿什巴赫欧洲航天局的地球观测战略与哥白尼。卫星地球观测及其对社会和政策的影响,第81-86页。Springer,新加坡,2017年。四、十一[2] Vijay Badrinarayanan Alex Kendall 和 Roberto CipollaSegnet:用于图像分割的深度卷积编码器-解码器架构。IEEE Transactions on pattern analysis and machineintelligence,39(12):2481-2495,2017。2[3] Nicolas Bourdis Denis Marraud和Hichem Sahbi用于空间图像变化检测的约束光流法。2011年IEEE国际地球科学与遥感研讨会,第4176-4179页。IEEE,2011年。2[4] 弗朗西丝卡·博沃洛 一种基于多层分块的超高分辨率多时相图像变化检测方法。IEEE Geoscience and RemoteSensing Letters,6(1):33-37,2008. 3[5] 弗朗西丝卡·博沃洛和洛伦佐·布鲁佐内。 基于极坐标域变化矢量分析的无监督变化检测理论框架。IEEE地球科学与遥感学报,45(1):2183[6] 弗朗西丝卡·博沃洛西尔维娅·马切西和洛伦佐·布鲁佐内一个自动和无监督检测多时相图像中多个变化的框架。IEEE Transactions on Geoscience and Remote Sensing,50(6):21963[7] 陈宏瑞轩,陈武,杜博,张良培。基于深连体多尺度卷积网络的多时相vhr图像变化检测。arXiv预印本arXiv:1906.11479,2019。3[8] Liang-ChiehChen , GeorgePapandreou , IasonasKokkinos,Kevin Murphy,and Alan L Yuille.Deeplab:使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence,40(4):834-848,2017。2[9] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。重新思考语义图像分割的atrous卷积。arXiv预印本arXiv:1706.05587,2017. 2[10] Liang-Chieh Chen,Yukun Zhu,George Papandreou,Florian Schroff,and Hartwig Adam.用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。在欧洲计算机视觉会议(ECCV)的会议记录中,第801-818页,2018年。二、六[11] 戈登·克里斯蒂,尼尔·芬德利,詹姆斯·威尔逊和瑞安·慕克吉。世界功能地图。 在IEEE计算机视觉和模式识别会议论文集,第6172-6180页,2018年。一、二、三[12] Rodrigo Caye Daudt,Bertr Le Saux,Alexandre Boulch.用于变化检测的全卷积连体网络。2018年第25届IEEE图像处理国际会议(ICIP),第4063-4067页。IEEE,2018年。3[13] Rodrigo Caye Daudt , Bertr Le Saux , AlexandreBoulch,and Yann Gousseau.使用卷积神经网络进行多光谱地球观测的城市变化检测。在IGARSS 2018-2018 IEEE国际地球科学和遥感研讨会,第2115-2118页。IEEE,2018年。2[14] Rodrigo Caye Daudt 、 Bertrand Le Saux 、 AlexandreBoulch和Yann Gousseau。用于大规模语义变化检测的多任务学习。计算机视觉与图像理解,187:102783,2019。一、二、三、五[15] Ilke Demir、Krzysztof Koperski、David Lindenbaum、Guan Pang、Jing Huang、Saikat Basu、Forest Hughes、Devis Tuia和Ramesh Raskar。Deepglobe 2018:通过卫星图像解析地球的挑战。在IEEE计算机视觉和模式识别研讨会会议论文集,第172-181页,2018年。二、三[16] 丁健,薛南,夏桂松,白翔,杨文,杨颖,SergeBelongie,罗杰波,Mihai Datcu,Marcello Pelillo,et al.航拍图像中的对象检测:大规模的基准和挑战。arXiv预印本arXiv:2102.12219,2021。3[17] Ma t thiasDrusch,UmbertoDelBello,Se'bastienCarlie r,Olivier Colin , Veronica Fernandez , Ferran Gascon ,Bianca Hoersch , Claudia Isola , Paolo Laberinti ,Philippe Martimort,et al.哨兵-2:欧洲航天局的光学高分辨率任务为gmes业务服务。环境遥感,120:25-36,2012。四、十一[18] Alexander Kirillov , Ross Girshick , Kaiming He , andPiotr Doll a'r. 光学特性金字塔网络工作。在IEEE/CVF计算机视觉和专利识别会议的论文集中,第6399-6408页,2019年3[19] LukasKondmann,AysimTo k e r,MarcRußwurm,Andre's Camero , Devis Peressuti , Grega Milcinski , Pierre-Philippe Mathieu,NicolasLong e' p e',Timot h yD a vis,Gi ov anni Marchisio,et al. Denethor:动态地球网数据集,用于从太空进行协调、互操作、分析就绪的每日作物监测。在第三十五届神经信息处理系统数据集和基准跟踪会议(第2轮),2021年。3[20] Lukas Kondmann , Aysim Toker , Sudipan Saha ,BernhardScho ? lkopf , LauraLeal-Taixe' ,andXiaoX
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功