高精度航拍图像数据集：SkyScapes，用于语义标记和车道线预测

7393SkyScapes-Seyed Majid Azimi1 Corentin Henry1 Lars Sommer2 Arne Schumann2 Eleonora Vig11德国航空航天中心（DLR），Wessling，Germany2 Fraunhofer IOSB，Karlsruhe，Germanyhttps://www.dlr.de/eoc/en/desktopdefault.aspx/tabid-www.example.com带有叠加注释的航拍图像：密集（19类）及行车线标记（12类）;数据集覆盖5。7平方公里。摘要以厘米级的精度了解复杂的城市基础设施对于从自动驾驶到地图绘制、基础设施监测和城市管理的许多应用至关重要航空图像在瞬间提供大面积的有价值的信息;然而，当前没有数据集以真实世界应用所需的粒度水平捕获空中场景的复杂性。为了解决这个问题，我们引入SkyScapes，这是一个航空图像数据集，具有高精度，细粒度的注释，用于像素级语义标记。SkyScapes为31个语义类别提供注释，从大型结构（如建筑物、道路和植被）到精细细节（如12个（子）类别的车道标记）。 我们确定了两项主要任务，此数据集：密集语义分割和多类车道线预测。我们进行了广泛的实验，以评估国家的最先进的分割方法的SkyScapes。现有的方法难以处理广泛的类、对象大小、尺度和存在的精细细节。因此，我们提出了一种新的多任务模型，它结合了语义边缘检测，并更好地调整为从广泛的尺度特征提取。该模型在区域轮廓和两个任务的详细程度方面的基线上实现了显着的改进。1. 介绍自动化的方法创建地图的今天精确性在处理它们日益增长的复杂性方面有很大的帮助。这种精确地图的应用包括城市管理、城市规划和基础设施监测/维护。另一个突出的例子是为自动驾驶创建高清（HD）地图这里的应用包括使用通用道路网络进行导航和高级驾驶员辅助系统（ADAS）中的更高级的自动化任务，例如车道偏离警告，其依赖于关于车道边界、人行道等的精确信息。[37、40、33、51、31]。目前，用于生成HD地图的数据收集过程主要由所谓的移动地图绘制系统执行，该移动地图绘制系统包括配备有各种传感器（例如，雷达，激光雷达，相机），然后对收集的数据进行自动分析[17，18，5，24]。由于倾斜传感器角度导致的有限视场和遮挡此外，以这种方式绘制大城市区域需要大量时间和资源。空中透视可以缓解这些问题中的许多问题，并且同时允许在短时间内处理更大面积的cm级地理参考数据。然而，现有的航空语义分割数据集的注释范围有限。它们要么 专 注 于 一 些 单 独 的 类 ， 例 如 IN-RIA [30] ，Massachusetts [35]，SpaceNet [43]或Deep-Globe [11]数据集中的道路或建筑物足迹，要么提供非常粗糙的类，例如GRSS DFC 2018 [1]或ISPRS Vaihingen和波茨坦数据集[20]。其他数据集以传感器角度和飞行高度记录，不适合HD映射[29，15]或包含潜在不准确的注释7394自动生成[44]。此外，只有少数作品解决了航空图像中的车道标记提取，并且它们要么依赖于第三方来源，如OpenStreetMap，要么仅提供Azimi等人的二进制提取。[2]的文件。地面图像极大地受益于大规模数据集，如ImageNet[12]，Pascal VOC [13]，MS-COCO [26]，但在航空图像中，注释是稀缺的，并且获得起来更繁琐。在这项工作中，我们提出了一个新的航空图像数据集，称为SkyScapes，它通过为已建立的类别（如建筑物，植被和道路）以及细粒度的类别（如各种类型的车道标记，车辆入口/出口区域，危险区域等）提供城市场景的详细注释来缩小这一差距。图1显示了SkyScapes提供的示例注释该数据集包含31个类和一个严格的注释过程中，建立了一个高程度的一个符号的准确性。SkyScapes独特地将道路基础设施的细粒度注释与头顶视角和大面积覆盖相结合，从而能够为各种应用生成高清地图。我们评估了几个国家的最先进的语义分割模型作为基线的SkyScapes。现有的模型实现了显着较低的准确性，我们的数据集比建立基准与地面视图或一组粗糙得多我们对最常见错误的分析暗示了许多合并的区域和不准确的边界。我们there-forth提出了一种新的分割模型，其中incorpo-率语义边缘检测作为一个辅助任务。第二个-onterm损失函数强调边缘更强烈的dur-ing学习过程中，导致明显减少的突出错误的情况下。此外，建议的建筑-真实性将大尺度和小尺度对象都考虑在内。综上所述：i）我们为se提供了一个新的航空数据集具有高度精确注释和细粒度分类的Mantic分割，从而能够为以前不支持的任务（如航空高清地图）开发模型; ii）我们对当前最先进的模型进行了广泛的评估，并表明现有方法难以处理数据集中大量的类和细节水平; iii）因此，我们提出了一种新的多任务模型，该模型将语义分割与边缘检测相结合，产生更精确的区域轮廓。2. SkyScapes数据集数据收集是用一架直升机在德国慕尼黑的更大区域上空进行的。一个低成本的相机系统[23，16]，包括三个标准的数码单反相机和安装在一个灵活的平台上，用于记录数据，只有最低点看帽。图灵图像。总共选择了16个大小为5616×飞行高度约为1000米以上的地面采样距离（GSD）约为13厘米/像素。 那个...年龄代表城市和部分农村地区，具有高速公路、一级/二级道路和复杂的交通状况，例如交叉口和拥堵，如图2所示。1.一、2.1. 类和注释注释了31个语义类别：低矮植被、铺砌道路、非铺砌道路、铺砌停车场、非铺砌停车场、自行车道、人行道、入口/出口、危险区域、建筑物、汽车、拖车、厢式货车、卡车、大卡车、公共汽车、杂乱物、不透水表面、树和12种车道标记类型。考虑的车道标记如下：虚线、长线、小虚线、转向标志、加号、其他标志、人行横道、停车线、斑马线、禁止停车区、停车区、其他车道标线。类的选择受到它们与现实世界应用的相关性的影响，因此，道路状对象占主导地位。补充材料中给出了每个类的类定义和可视化示例，类统计数据可以在图中找到二、SkyScapes数据集使用适用于每个对象类的工具进行手动注释，并遵循严格的注释策略。航空图像的注释需要相当多的时间和精力，特别是在处理许多小物体时，如车道标记。阴影、遮挡和不清晰的对象边界也增加了难度。由于大小和形状的复杂性，以及大量的类/实例，注释需要比地面视图基准（如CityScapes [10]）更多的工作，也限制了数据集的大小。为了确保高质量，注释过程在每个类上迭代地执行三级质量检查，每个图像总共花费约200工时我们展示给图中的这种注释图像。1.一、在SkyScapes中，我们强制执行像素精确的注释，因为即使是很小的偏移也会导致航拍图像中的大定位错误（例如，SkyScapes中的1像素偏移将导致13cm的误差）。因为自动驾驶汽车需要一分钟。对于图上定位的20cm的精确度[52]，我们选择了较小图像集合的高度精确注释，而不是大得多集合的粗糙注释。事实上，在第6节中，我们在SkyScapes上训练并在第三方数据上测试时，显示了我们模型的高度泛化。2.2. 数据集拆分和任务我们将数据集分为训练集、验证集和测试集，分别占50%、12.5%和37.5%。我们选择这种特殊的分割是因为类别不平衡，并避免分割较大的图像。训练集和验证集将公开提供。测试图像将作为一个在线基准与未公开的地面真相发布。车道标记和场景元素的其余部分（诸如建筑物、道路、植被和车辆）呈现不同的挑战，其中车道标记在精细得多的尺度上操作并且需要细粒度的区分，7395图1：带有重叠注释和放大样本的SkyScapes图像（×2：实线，×4：虚线）。从上到下：RGB、密集注释（20类）、车道标线注释（12类）、多类边。类颜色如图。二、而其他场景元素以更宽的尺度表示。考虑到这些挑战 ， 我 们 定 义 了 五 项 不 同 的 任 务 ： 1 ） SkyScapes-Dense，其中20个类作为车道标记被合并为一个类，2）SkyScapes-Lane，其中13个类包括12个车道标记类和一个非车道标记类，3）SkyScapes-Dense-Category，其中11个合并类包括自然（低植被、树木）、驾驶区（铺砌、非铺砌）、停车场（铺装、非铺装）、人区（自行车道、人行道、危险区域）、人车共用区域（入口/出口）、道路特征（车道标记）、居住区（建筑物）、动态车辆（轿车、厢式货车、卡车、大型卡车、公共汽车）、静态车辆（拖车）、人造表面（不透水表面）、 以及其他对象（杂物），4) SkyScapes-Dense-Edge-Binary和5）SkyScapes-Dense-Edge-Multi。后两个任务是二进制的108106104106105104103(a) 天空景观-密集(b) SkyScapes-Lane会公司简介TSSLOSRPZnPZ CW PS105103101104103102多类边缘检测。定义单独的任务允许更细粒度的控制，以使模型适合密集的对象区域、它们的边界和它们的类。这在对象边界准确性是最重要的并且难以提取时尤其有用，例如，用于多级车道标记。2.3. 统计特性SkyScapes由超过70K的注释实例组成，这些实例分为 31 个 类 。 在 图 中 给 出 了 SkyScapes-Dense 和SkyScapes-Lane的每个类别的标注像素和实例的数量。二、大多数像素被标注为低植被、树或建筑物，而最常见的类别是车道标记、树、低植被和汽车。这说明了从具有较少大区域的类到具有许多大区域的类图2：注释像素（填充）和实例SkyScapes-Dense和SkyScapes-低植被车道（LV）、树木（T）、建筑物（B）、铺砌道路（PR）、铺砌停车场 （ PP） 、 非 铺 砌 停 车 场 （ nPP ） 、 非 铺 砌 道 路（nPR）、车道标线（LM）、人行道（SW）、自行车道（BW）、危险区域（DA）、出入口（EE）、轿车（Ca）、厢式货车（V）、卡车（TK）、拖车（TR）、长卡车（LT）、公共汽车（Bu）、不透水表 面 （ IS ） 、 杂 波 （ Cl ） 、 长 线 （ LL ） 、 虚 线（DL）、小虚线（TDL）、斑马线（ZZ）、转向标志（TS）、停车线（SL）、其他标志（OS）、其余车道标线（R）、停车区（PZ）、禁止停车区（nPZ）、人行横道（CW）和加号（PS）。小区域。 在更细粒度的SkyScapes-Lane任务内的车道标记平均像素面积约为9个像素，实例数像素数实例数像素数LVTBPRNPRPPNPPLM软件带宽DAEECAVTKLT步TR是CL7396TP+FP+FN‘tiny dash lines’ are the smallestSkyScapes与现有空中分割数据集的定量比较见表1。现有的数据集缺乏SkyScapes的高细节水平和注释波茨坦包含更少的类（6比31），不太准确的标签，和图像失真，由于subopti- mal正射校正。TorontoCity注重数量：其更广泛的空间覆盖需要（不太精确的）自动化标签。SkyScapes提供最多的类别，包括各种精细结构（例如，车道标记）。在绝对值方面，SkyScapes还包含明显更多的区域实例，这强调了SkyScapes的更高复杂性。处理这种范围的类和各种对象实例大小是主要的挑战之一。解决这些挑战的最先进的分割方法的能力尚未被彻底探索。3. 语义基准在下文中，我们回顾了几种最先进的分割方法，并在SkyScapes上对这些方法进行了基准测试。3.1. 度量为了评估分割性能，我们使用Jac- card指数，称为PASCAL VOC 交 集 对 并 集 （ IoU ） 度 量 ：TP[13]，其中TP，FP和FN代表在测试集上确定的每个类别的真阳性，假阳性和假阴性像素的数量。我们还报告了其他指标，如频率加权IoU，像素准确率，平均召回率/精确率和平均IoU，即[28]中定义的所有类别的IoU的平均值。在补充材料中，我们报告了SkyScapes-Dense的IoU 类和SkyScapes-Dense-Category的最佳基线的IoU类别。与CityScapes [10]的街道场景不同，在空中场景中，对象可以与图像大小一样长（道路或长线车道标记）。因此，我们不报告IoU实例。3.2. 语义分割的研究现状随着检测结果的成熟，Pascal VOC [22]和DOTA空中目标检测数据集[45，3]上的平均AP达到约近年来，全卷积神经网络（FCN）[28，41]在几个语义分割基准上取得了显着的性能。当前最先进的方法包括Auto-Deeplab [27] 、 DenseASPP [46] 、 BiSeNet [47] 、Context-Encoding [49]和OcNet [48]。虽然特定的架构选择提供了良好的基线性能，但多尺度上下文聚合模块的集成是竞争性能的关键。事实上，上下文信息是至关重要的像素标记任务。最好通过所谓的“金字塔池”来利用它模块然而，上下文聚合通常是以牺牲细粒度细节为代价来执行的。作为补救措施，FRRN [38]实现了一种架构，该架构包括用于分割细节的全分辨率流和用于分析上下文的单独池化流。类似地，GridNet [14]使用多个相互连接的流，以多种分辨率工作。 对于我们的基准测试，除了上述模型之外，我们还训练了其他几个流行的分割网络：FCN [28]、U-Net [39]、MobileNet[19]、SegNet [4]、RefineNet [25]、Deeplabv 3 + [9]、AdapNet [42]和FC-DenseNet [21]，以及定制的类似U-Net的MobileNet和具有跳过连接的定制解码器-编码器。在表2和表4中，我们报告了上述方法的基准测试结果。正如预期的那样，由于在介绍中暴露的地面和空中图像之间的显着差异，所有方法都在SkyScapes在SkyScapes-Dense任务（表2）中，分类错误大部分是在类间边界周围发现的。我们在SkyScapes-Lane任务上观察到相同的类间误分类（表4），并且还注意到许多车道标记完全被错过并被分类为背景，这当然是由于它们的像素尺寸很少。因此，这两项任务都是一种新的挑战。这是因为网络的性能在不同任务之间保持一致，这表明没有一个网络足够专业化，可以在任何一项任务上获得显著优势。在我们的方法中，我们通过关注对象边界来应对这一4. 方法SkyScapes中的31个高度相似的类和小型复杂对象需要 一 个 专 门 的 架 构 来 统 一 最 新 的 架 构 改 进 （ FC-DenseNet [21]，辅助任务等）。 并且证明比现有技术更有效。从我们的基准测试分析的主要错误的动机，我们提出了一个多任务的方法，解决了密集的预测和边缘检测和灰，以提高边界区域的性能。在多类车道标记的情况下，我们修改的方法，使多类和二进制车道标记分割，以减少在非车道区域的误报的数量。我们 认 为 FC-DenseNet[21] 是 主 要 的 基 线 。SkyScapesNet，如图所示。3、可以看作 FC-DenseNet的修改情况，但更一般地作为多任务集成模型网络，封装来自[21，38，7，36]的单元。因此，它也分享他们的优点，如减轻梯度消失的问题。图4显示了构建块，下面将对其进行解释FDB：在全密集块（FDB）中，与现有的密集块（DB）7397表1：SkyScapes和其他航空数据集的统计数据到目前为止，TorontoCity尚未公开。天空景观波茨坦[20]法伊兴根[20][32]第三十二话多伦多市[44]类316642+8图像16383320N/A图像尺寸（px）5616×37446000×60002493×2063（平均值）可变N/AGSD（cm/像素）1359910空中覆盖（平方公里）5.69（城市和农村）3.421.363.23712实例70,34642,38910,7002,814N/A图3：SkyScapesNet的架构。三个分支用于预测密集语义和多类/二进制边缘。对于多类别车道线预测，使用两个分支来预测多类别和二进制车道线。图4：SkyScapesNet构建块的配置。SL、DoS和UpS是可分离、下采样和上采样块，UpS-NN是最近邻上采样层。Add/Cat是加法/串联运算符。在基线中，受DenseASPP的启发[46]。然而，由于最近的成功，我们添加了可分离卷积，而不是使用atrous卷积[7]。 此外，委员会认为，由于SkyScapes包含大尺度的变化，使用更大的大气速率使接收场更大会恶化从诸如车道标记的非常小的对象中提取特征。被称为可分离层（SL）的子块的数量与来自基线的DB中的相同FRSR：受[38]以及该模型与DenseNet的可比性能的启发，我们添加了一个残差池流（类似于全分辨率残差单元-与FDB类似，我们使用可分离卷积。作为原始FRU，FRSR具有两个处理流：剩余流（对于bet-术语定位）和池化流（为了更好的识别）。在池化流内部，下采样的结果经过几个深度可分离卷积、批量归一化和ReLU层，并且在应用1× 1卷积，输出被上采样并添加到FDB。我们将FRSR中下采样的数量限制为一个作为主流应用连续下采样。CRASPP：受空间金字塔池块（ASPP）[46，9]成功的启发，在五个下采样步骤之后，我们添加了级联反向ASPP（CRASPP）以增强大型对象的特征提取在CRASPP 中 ， 我 们 “ 反 转 ” 原 始 ASPP （ 即 ， 的 数 量级），并将其与原始ASPP连接，以便获得对于小/大对象两者最佳的感受野LKBR：对于边界细化和改进微小对象的提取，除了五个跳过连接之外，我们还应用具有边界细化的LKBR [36]由包括边界细化模块的两个流组成。与[21]不同，我们应用从最后一个下采样模块的输出到第一个上采样模块的输入的7398多任务学习：我们使用三个独立的分支来同时预测密集语义和多类和二进制边缘。流在第二上采样层之后彼此分离。其动机是允许辅助任务修改共享权值，以增强网络在边界区域的性能。对于多类车道线分割，我们考虑sider两个流具有相似的配置。损失函数：而不是仅仅依赖于交叉熵，我们建议将Soft-IoU-loss [31]或Soft-Dice-loss [34]添加到它（取单独的总和。损失）。通过直接应用成本感知的交叉熵损失，网络试图填充车道标记区域，这导致车道标记类的高TP率，但也导致非车道类的高FP。然而，由于非通道像素的数量非常高，所得到的FP对整体精度没有太大影响。为了allevi- ate这一点，我们提出了预定的加权机制，在该机制中，相应的类的成本逐渐向最终的加权系数移动，随着训练过程的发展。补充材料中包括了关于结构和损耗公式的进一步细节。5. 评价为了我们的实验，我们种植 的 图像 512× 512的补丁，因为原始的21 MP图像将不适合GPU。作为数据增强，我们进行水平翻转和垂直翻转，并使用50%的重叠在垂直和水平方向上都与作物在推理过程中，我们使用10%的重叠作为图像边界处较低性能的部分解决方案我们使用Titan XP和Quadro P6000 GPU进行训练。学习率为0.0001，选择批量大小为1。我们对算法进行了60个epoch的训练，以使比较公平（大多数方法在这一步收敛）。总共有8820个训练图像。我们的模型有137个M参数。 当我们处理离线映射时，推理在每512× 512图像块355 ms几乎没有问题。SkyScapes-Dense- 20个主要职业：表2所报告的基准测试结果表明了这项任务的复杂性。我们上述的方法实现了超过最佳基准的1.93%的mIoU改进。最佳基线和我们提出的算法的定性示例如图所示。五、我们的算法表现出准确分割的粗和细结构之间的最佳权衡。表3中量化几个组件的效果的消融研究表明，主要的改进是通过包括二进制和多类边缘检测来实现的。SkyScapes-Lane-多类车道预测：这里，另一个挑战是高度不平衡的数据集。结果表2：SkyScapes-Dense任务在所有20个类别上的现有技术的基准;'-'表示没有特定的脊椎骨; 'f.w.' 是频率加权IoU;* 跳过连接。方法基础IoU[%]平均值[%]平均自由重量召回前[28]第二十八话ResNet5033.06 67.02 40.78 65.01SegNet [4]–23.14 61.32 29.21 59.56U-Net [39]–14.15 36.33 21.88 22.87BiSeNet [47]ResNet5030.82 59.62 40.25 49.42DenseASPP [46]ResNet10124.73 56.58 32.21 40.82编码解码器 *–37.16 67.18 48.2650.16FC-DenseNet-103[21]–37.78 67.44 46.66 53.89[第38话]–37.20 65.10 46.44 53.22GCN [36]ResNet15232.92 65.12 41.60 49.65移动U网 *–34.96 65.26 44.52 49.49PSPNet [50]ResNet10130.44 61.62 40.48 43.63RefineNet [25]ResNet15236.39 65.52 46.12 52.17DeepLabv3+[7]Xception65 38.2068.8147.97 55.34SkyScapesNet–40.1372.6747.85 65.93表3：SkyScapesNet不同部分的评估。“基线”仅用交叉熵（即，，不添加IoU损失）。最大步幅为32像素。*使用SkyScapesNet中基线中的原始子采样数。基线 *[21]37.78基线36.88SkyScapesNetC37.08SkyScapesNetCC38.55SkyScapesNetCCC38.77SkyScapesNetCCCC38.90SkyScapesNetCCCCC39.09SkyScapesNetCCCCCC39.30SkyScapesNetCCCCCC40.13在表4中示出，尽管对象尺寸很小，我们的出租m实现了51.93%的mIoU，比现有技术高出3.06%。图中的定性示例。6突出了我们的算法生成更少的分解段。SkyScapes-Dense-辅助任务：我们还在表5中提供了三个辅 助 任 务 SkyScapes-Dense-Category 、 SkyScapes-Dense-Edge-Binary和SkyScapes-Dense-Edge-Multi的结果（参见图10）。秒2.2用于任务定义）。 当多个类别合并为一 个 类 别 时 ， 例 如 ， 低 植 被 和 树 木 进 入 自 然 ，SkyScapes-Dense-Category的mIoU明显高于更具挑战性的SkyScapes-Dense。对于边缘检测分支，用于强制学习更准确的边界，对于SkyScapes-Dense-Edge-Binary获得高mIoU，而对于更具挑战性的多类边缘检测仍然是低mIoU网络丢失IoUSep. 分公司FDBFSRRBCRASPPLKBRmIoU[%]7399(a) RGB图像（b）地面实况（c）SkyScapesNet（d）DeepLabv 3+（e）FC-DenseNet 103图5：SkyScapesNet的SkyScapes-Dense任务的结果样本和两个最佳基线。对于类颜色，参见。图二、表4：在所有13个类别上的SkyScapes-Lane任务的现有技术水平的参见缩写见表2方法基础IoU[%]平均值[%]平均自由重量召回精度表5：SkyScapes-Dense-Category、多类边缘和二进制边缘预测任务的结果方法任务IoU[%] 平均值[%]平均自由重量召回前SkyScapesNet类别52.2777.7763.49 65.65SkyScapesNet多类边缘 13.0088.7416.82 22.74SkyScapesNet二进制边缘58.7289.5264.81 71.99DenseASPP [46]ResNet10117.00 99.65 18.7446.02表6：我们在SkyScapes上训练的模型的泛化FC-DenseNet-103 [21]–48.42 99.85 55.3269.01在波茨坦和DFC2018上进行了密集和评估。FRRN-B [38]–47.02 99.85 54.7266.19GCN [36]Res5035.65 99.82 43.0955.65训练数据测试数据IoU[%]平均值[%]移动U网 *–41.21 99.84 47.4864.60是说F.W.召回预处理PSPNet [50]Res10135.85 99.82 42.6458.23天空景观波茨坦47.4670.5862.2866.09DeepLabv3+[7]Xception65 37.14 99.77 43.1462.07天空景观数据融合大赛201826.4247.5855.6737.64编码解码器 *–48.87 99.85 55.3170.63SkyScapesNet–51.93 99.87 60.5372.29(a)图像（b）GT（c）Ours（d）Enc-Dec*图6：SkyScapesNet的SkyScapes-Lane任务的结果样本和最佳基线。班级颜色：cf.图二、6. 泛化我们在本文中的目的是促进航空影像（在其最广泛的意义上）作为一种手段，以创建高清地图。因此，我们认为，我们的方法不仅限于直升机拍摄的空中图像，也适用于卫星和低空飞行的无人机。为了证明我们的方法具有良好的泛化能力，在这里我们展示了四种额外数据类型的结果，涵盖了广泛的传感器（相机和平台），空间分辨率和地理位置。为了进行定量评估，我们考虑了波茨坦[20]和GRSSDFC 2018数据集[1]，并在澳大利亚珀斯的航拍图像上显示了定性结果。定性结果可见于图1A和1B。七到九通过调整测试图像的GSD（通过缩放）以匹配我们的数据集，我们在SkyScapes上训练的模型即使没有微调也显示出这在波茨坦的定量结果中也得到了证明（见表6），因为平均IoU在SkyScapes-Dense- Category范围内对于定量评估，我们根据波茨坦分类合并了我们的类别。此外，图10证明了我们的算法的泛化能力，二进制车道标记提取在一个广泛不同的规模（30厘米/像素）的WorldView-4[28]第二十八话ResNet5013.74 99.69 15.2377.96U-Net [39]–8.9799.62 12.7388.26AdapNet [42]–20.20 99.67 22.2153.60BiSeNet [47]ResNet5023.77 99.66 28.7151.42DeepLabv3 [8]Res5016.15 99.62 18.9455.447400图7：我们的模型在SkyScapes上训练并在波茨坦数据集上测试的结果，GSD调整，没有微调。修补程序从左到右：RGB，地面实况，预测。波茨坦等级：□□□不透水，□□□建筑，低植被，，，树，，，车，，，杂乱。图8：我们的模型在SkyScapes上训练并在GRSS DFC2018数据集（美国休斯顿）上测试的结果，其中GSD调整且没有微调。卫星图像据我们所知，卫星图像还没有被用于车道线提取7. 结论在本文中，我们介绍了SkyScapes，这是一个用于空中场景的cm级语义标记的图像我们对SkyScapes上的几种最先进的方法进行了广泛的评估，并提出了一种新颖的多任务网络，由于其专门的架构和辅助任务，证明比所有测试的基线更有效。最后，我们证明了我们的方法在四个额外的图像类型，从高分辨率的航空图像，甚至卫星图像的良好推广。图9：我们的模型在SkyScapes上训练并在澳大利亚珀斯上空的航空图像上测试的分割结果样本，具有GSD调整且没有微调。图10：使用我们在SkyScapes上训练的模型在慕尼黑上空的Worldview4卫星图像上进行的二进制车道分割，并在具有GSD调整且没有微调的高速公路场景上进行测试。致谢我们感谢（1）Spookfish/SpookleView提供的珀斯上空的航拍图像;（2）国家航空航天中心激光测绘和高光谱图像分析实验室。休斯顿，用于在综合研究中获取和提供GRSS DFC 2018数据，IEEE GRSS图像分析和数据融合技术委员会;（3）Ternow A.I. GmbH提供贴标过程协助。 E. Vig的资金来自a亥姆霍兹青年研究小组赠款（VH-NG-1311）。7401引用[1] 2018 IEEE GRSS.数据融合竞赛。http://www.grss-ieee.org/community/技术委员会/数据融合/2018-ieee-grss-data-fusion-contest/.[在线; 2019年3月22日访问]。1、7[2] SeyedMajidAzimi ， PeterFischer， MarcoK¨rner， andPe-ter Reinartz.空中车道网：使用小波增强的成本敏感对称全卷积神经网络的航空图像中的车道标记语义分割。arXiv预印本arXiv：1803.06904，2018。2[3] Seyed Majid Azimi、Eleonora Vig、Reza Bahmanyar、Marco K ¨ rne r和PeterReinartz。研究了无约束遥感图像 中 的 多 类 目 标 在 2018 年 亚 洲 计 算 机 视 觉 会 议（ACCV）上。4[4] Vijay Badrinarayanan Alex Kendall 和 Roberto CipollaSegnet：用于图像分割的深度卷积编码器-解码器架构。IEEE Transactions on Pattern Anal-ysis and MachineIntelligence，39（12）：2481-2495，2017。四、六[5] RaphaelVCarneiro，RafaelCNascimento，RanikGuidolini ， Vinicius B Cardoso ， Thiago Oliveira-Santos，Claudine Badue，and Alberto F De Souza.使用激光反射和深度神经网络绘制道路车道。2018年国际神经网络联合会议（IJCNN），第1-8页IEEE，2018年。1[6] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.使用深度卷积网络和完全连接的CRF进行语义图像arXiv预印本arXiv：1412.7062，2014。4[7] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos ， KevinMurphy ， andAlanLYuille.DeepLab：使用深度卷积网络、Atrous卷积和全连接CRF进行语义图像分割。IEEE Transactions on PatternAnalysis and Machine Intelligence，40（4）：834- 848，2018。四、五、六、七[8] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。重新思考语义图像分割的atrous卷积。arXiv预印本arXiv：1706.05587，2017. 7[9] Liang-Chieh Chen，Yukun Zhu，George Papandreou，Florian Schroff，and Hartwig Adam.用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。在欧洲计算机视觉会议（ECCV）的会议记录中，第801-818页，2018年。四、五[10] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的城市景观数据集。在IEEE计算机视觉和模式识别会议的论文集，第3213-3223页，2016年。二、四[11] Ilke Demir、Krzysztof Koperski、David Lindenbaum、Guan Pang、Jing Huang、Saikat Basu、Forest Hughes、Devis Tuia和Ramesh Raska。Deepglobe 2018：解析的挑战通过卫星图像观察地球。在2018年IEEE/CVF计算机视觉和模式识别研讨会（CVPRW）上，第172-17209页。IEEE，2018年。1[12] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页。Ieee，2009年。2[13] Mark Everingham ， Luc Van Gool ， Christopher KIWilliams，John Winn，and Andrew Zisserman.pascal视觉 对 象 类 （ voc ） 的 挑 战 。 International Journal ofComputer Vision，88（2）：303-338，2010。二、四[14] Dam i enFourure，Re'miEmonet，ElisaFro m ont，DamienMuselet，AlainTre'meau，andChristianWolf. 用于语义分割的残差cov-deconv网格网络InProceedings of the BritishMachine Vision Conference，2017，2017.4[15] ICGVTUGraz. 语 义 无 人 机 数 据 集 。 得dronedataset.icg.tugraz.at/ 余 弦 值 . [ 在 线 ;2019年3月1日访问]。1[16] VeronikaGstaiger，HannesRo¨mer，DominikRosenbaum，and Fabian Henkel.实时应用的机载摄 像 机 系 统- 支 持 国 家 民 防 演 习 。 The InternationalArchives of Photogrammetry，Remote Sensing and SpatialInformation Sciences，40（7）：1189，2015.2[17] Chunzhao Guo ， Kiyosumi Kidono ， Junichi Meguro ，Yoshiko Kojima，Masaru Ogawa，and Takashi Naito.使用传统车载传感器自动生成车道级地图的低成本解决方案 。 IEEE Transactions on Intelligent TransportationSystems，17（8）：2355-2366，2016。1[18] Gi-Poong Gwon，Woo-Sol Hur，Seong-Woo Kim，andSeung-Woo Seo.为智能车辆系统生成精确高效的车道级道 路 地 图 。 IEEETrans-actionsonVehicularTechnology，66（6）：45171[19] Andrew G. Howard，Menglong Zhu，Bo Chen，DmitryKalenichenko，Weijun Wang，Tobias Weyand，MarcoAn-