神经海龟图：城市道路布局建模的新方法

1基于神经海龟图的城市道路布局建模朱杭1，2，4李代清4大卫·阿库纳1，2，4安澜·卡尔1，2，4玛丽亚·舒格里纳1，2，4魏新凯1，4刘明宇4安东尼奥·托拉尔巴3桑娅·费德勒1，2，41多伦多大学2Vector Institute3麻省理工学院4NVIDIA{chuhang1122，davidj，amlan}@ cs.toronto.edu，{daiqingl，mshugrina，xinkaiw，mingyul，sfidler}@ nvidia.com，torralba@mit.edu图1：我们介绍了神经海龟图形（NTG），这是一个平面图的深度生成模型。在图中，我们展示了NTG摘要我们提出了神经海龟图形（NTG），一种新的空间图形生成模型，并展示了它在城市道路布局建模中的应用。具体地，我们使用图来表示道路布局，其中图中的节点表示控制点，图中的边表示路段。NTG是由神经网络参数化的序列生成模型。它迭代地生成一个新节点和一个连接到当前图上的现有节点的边我们在Open Street Map数据上训练NTG，并使用一组不同的性能指标表明它优于现有此外，我们的方法允许用户控制生成的道路布局的样式模仿现有的城市，以及草图的城市道路布局的一部分除了合成，建议NTG发现在空中道路解析的分析任务中的用途。实验结果表明，它达到了最先进的性能在SpaceNet数据集。1. 介绍城市道路布局建模是一个有着广泛应用的重要问题。在城市规划中，需要对城市布局进行广泛的模拟，以确保最终的建设能够带来有效的交通流量和连通性。进一步的需求来自游戏行业，其中新环境的即时生成增强了用户的兴趣和参与度。道路布局生成还在自动驾驶汽车中扮演着重要的角色，在自动驾驶汽车中，为了测试自动驾驶代理，创建了各种虚拟城市街区虽然数据驱动的端到端学习范式已经彻底改变了各种计算机视觉领域，但领先的方法[32]（例如，商业上可获得的CityEngine软件中的基础部分）用于城市布局生成仍然主要基于具有手工设计特征的过程建模。虽然这些方法保证了有效的道路拓扑结构与用户指定的属性输入，属性都是手工设计的，使用不灵活。例如，如果希望生成一个合成城市，伦敦，为了得到合理的结果，需要对属性进行繁琐的手动调优而且这些在空中道路解析中不能简单地使用方法。在本文中，我们提出了一种新的生成模型的城市道路布局，从现有的地图数据学习。我们的模型，被称为神经海龟图形（NTG）的灵感来自经典的海龟图形方法1，逐步增长的道路图的基础上本地统计。我们使用图形对城市道路布局进行建模。图中的节点表示道路布局的空间控制点，而边缘表示路段。所提出的NTG被实现为编码器-解码器架构，其中编码器是将本地传入路径编码到节点的RNN，并且解码器是另一个RNN，其生成项目页面：https://nv-tlabs.github.io/NTG1Turtle graphics是一种矢量绘图技术，其中相对光标（turtle）接收运动命令并在画布上留下痕迹45224523输出节点和将现有节点连接到新生成的节点的边。通过将新预测的节点推到队列中来迭代地进行生成，并且一旦访问了所有节点就我们的NTG可以通过附加一组属性来生成它还可以将用户指定的部分道路草图作为输入，以生成完整的城市道路布局。与强基线比较的实验表明，我们的方法在一组不同的性能指标中实现了更好的道路布局生成性能。我们进一步表明，建议的NTG可以作为一个有效的航空地图解析之前，特别是在图像的外观不同的情况下，从训练中使用的。与CNN图像特征提取一起微调模型进一步改善了结果，优于Spacenet基准上的所有现有工作。2. 相关工作古典作品。大量的文献存在于街道的过程建模。[32]的开创性早期工作提出了一种L系统，该系统迭代地生成地图，同时调整参数以符合用户指导。这种方法成为商业上可用的最先进的CityEngine [1]软件的基础。几种方法遵循这一工作路线，利用用户创建的张量场[11]，域分裂[40]，来自地形的约束[18，8]以及检索示例的混合[6，31，16]。使用人群行为模拟驱动的约束来发展道路网络的方法也得到了广泛的研究[37，33，17]。图的生成模型。用神经网络生成图最近才受到关注[41，25，35，9]。[41]使用RNN生成一个图作为序列的节点按宽度优先顺序排序，并预测边以前的节点作为新的节点被添加。[35]使用变量自动编码器来预测小图的邻接矩阵和属性矩阵。[25]训练在图的节点之间传递消息的递归神经网络，并使用传播的节点表示生成新的节点和边。这些方法中的大多数仅预测图拓扑，而在我们的工作中，我们解决了空间图的生成产生有效的几何和拓扑使我们的问题特别具有挑战性。我们的编码器与node2vec [19]有着相似之处，node2vec通过使用随机游走对局部连通性进行编码来学习节点嵌入。我们的工作重点是空间图形生成，特别是道路布局，因此在范围和应用上有所不同。基于图形的空中解析。一些工作制定道路解析作为一个图形预测问题。典型的方法依赖于CNN道路分割，然后进行细化[30]。 为了处理解析中的错误，[30]建议增广图上似然拓扑的推理最短路径问题。在[26]中，作者将局部城市斑块视为简单连接的迷宫，这允许他们将道路定义为封闭的多边形。然后，道路检测遵循Polygon-RNN [10，4]，它使用RNN来预测多边形的顶点。[22]通过使用分层RNN预测自上而下的LIDAR视图中的折线来执行车道检测。在这里，一个RNN决定添加新的通道，而第二个RNN预测通道上的顶点在我们的工作中，我们直接预测图形。由于我们的方法是局部的，因此它能够生成大型图，这通常很难用单个RNN处理。与我们的工作相关，[29，12，27，4]用图形生成神经网络注释建筑足迹然而，这些作品只能处理单周期多边形。与我们的工作最相关的是RoadTracer [7]，它基于图像证据和已经预测的图形的在每一步中，道路跟踪器预测一个相邻节点到当前活动节点.局部图拓扑使用CNN进行编码，CNN将现有图的渲染作为输入以避免回退。我们的方法不同之处在于编码器，在我们的情况下，编码器直接在图上操作，解码器使用RNN输出此外，虽然[7]在训练过程中依赖于精心设计的动态标签创建来模仿他们的测试时间图预测，但我们的训练机制对于测试时间推断来说是简单和鲁棒的。我们还注意到，通过一些努力，这些工作中的许多工作可以变成生成模型，然而，我们是第一个展示道路生成和交互式建模的工作。重要的是，我们表明，NTG训练只在地图数据作为一个有效的航空道路解析之前。这不容易用现有的工作[7，26]来完成，现有的工作都训练联合图像和几何表示。3. 神经海龟图形我们将城市道路布局生成问题转化为平面图生成问题。我们首先介绍的符号在第二。3.1，然后描述我们的NTG模型。3.2.空中解析、实现细节、训练和推理在第2节中给出第3.3节3.5，分别。3.1. 符号道路布局。我们使用无向图G={V，E}表示城市道路布局，其中节点V和边E。节点vi∈V对其空间位置[xi，yi]T进行编码，而边evi，vj∈ {0，1}表示是否存在连接节点vi和vj的路段。城市道路图是平面，因为所有交点都存在于V中。我们假设它是有联系的，也就是说。在G中V中的任意两个节点之间存在一条路径。坐标xi和yi以米为单位，相对于城市4524我我我我′t′i，ti，t(a)（b）第（1）款图2：神经海龟图形（NTG）模型的图示。(a) 描绘了活动节点Vi的非循环传入路径{s in}，其中的每一个使用RNN编码器来编码。NTG解码器然后预测传出节点的集合{v_out}。（b）显示NTG首先，编码器GRU消耗每个输入路径的运动轨迹Rmax_in我们产生一个序不变的通过对所有路径上的最后状态隐藏向量求和来表示接下来，解码器产生“命令”来推进乌龟并产生新的可选的属性向量可以根据任务进一步添加到解码器。传入路径。对于节点vi，我们定义一个非循环的在路上，即，[xin，yin]T=[xin，yin]T−i，ti，ti，t+1i，t+1传入路径作为一个有序的序列，终止于v的节点：sin ={v，v，...，v，v}[x in，y in]T. 该偏移可以被编码为离散或i i，1我2i，Li连续值，如第二节所述。三点四分。 最后的潜伏期其中，对于每个1≤t L，evi，t，vi，t+1= 1，并且evi，L，vi= 1，其中L表示路径的长度由于多个不同的非循环路径可以终止于Vi，这些非循环路径的集合路径表示为Sin：={sin}。通过对每条路径的最后隐藏状态求和来计算所有路径的表示H_enc。可选地，我们将属性向量h attr附加到潜在表示。例如，该属性可以是一个独热I k传出节点。我们定义V out：={vj：vj∈V <$evi，vj= 1}，即作为具有到Vi的边的节点的集合。3.2. 图生成我们学习以迭代的方式生成图形。该图用根节点和连接到它的几个节点来初始化，这些节点用于初始化未访问节点的队列Q。在每次迭代中，从Q中选取一个未访问的节点进行扩展（称为活动节点）。基于其当前局部拓扑，编码器模型生成潜在表示，该潜在表示用于使用解码器模型生成一组这些生成的节点被推送到Q。接下来要展开的节点通过从Q弹出来拾取，直到它为空。通过构造，活动节点Vi具有至少一个相邻节点。矢量，编码城市身份。这使得NTG能够学习城市的嵌入，从而实现条件生成。最后的编码是它们的连接[henc，hattr]。采样传入路径。在训练期间，对于活动节点vi，我们通过从vi开始采样K个随机游走（没有重复）来使用Sin的子集，使得每个随机游走访问最多L个不同的节点。我们发现这种随机抽样导致一个更强大的模型，因为它学会了从不完整和多样化的输入表示中生成可选地，我们还可以将断开的相邻节点作为额外的输入。 我们发现，由于数据的高度连通性，这在道路建模任务中的表现类似。译码器我们用解码器GRU解码输出节点V解码器的递归结构使得能够捕获道路之间的局部依赖性，诸如道路交叉口处的正交性。我们独立地预测，图中的bor节点NTG提取了其损失的代表性t′并且对于传出节点v_out，通过对（最大t t的）输入路径S进行我长度L），并使用该表示来生成一组输出-将节点V输出（如果有的话），边为Vi。这些路径以顺序不变的方式编码，并且所得到的潜在表示用于生成一组传出节点Vout。NTG执行编码和解码以生成节点的相对位置w.r.t. 五岛此外，我们预测一个二进制变量，它指示是否应该生成另一个节点在生成时，我们检查新节点和现有图之间的重叠，阈值为5m，以生成循环。可选地，我们预测（v，v_out）之间的边类型，即，主要或次要道路，使用分类变量-我上述具有编码器-解码器神经网络的图网络图2（a）可视化的过程，而图。图2（b）示出了编码器-解码器神经架构，it′有能力解码器的隐藏状态ht′被更新为：ht′+1=GRU（ht′|（1）第二节：第一节：在下面的章节中详细描述。NTG编码器。 我们使用零初始化的双向GRU将单个传入路径sin编码到节点vi中[13]。在处理路径中的第t个节点时，GRU的输入为节点vin∈sin和vin之间的运动矢量∈′45253.3. 空中道路解析使用Map Prior进行解析。从航空图像中解析道路的主要方法已经训练CNN产生概率（可能性）地图，然后是阈值，i，t i，t+14526变薄和变薄。这种方法通常会导致地图中出现孔洞或误报路段，并应用拓扑学对拓扑进行后处理我们查看一个NTG模型训练生成城市图（即。未被训练用于道路解析）作为先验，并使用它来后处理来自CNN的可能性。从最有信心的交集节点作为根节点开始，将其所有邻居推入未访问节点队列，然后使用NTG扩展图。在每个解码步骤中，我们将CNN的似然性与NTG产生的先验相乘，并从该联合分布中采样输出节点。通过检查新节点的最大概率是否低于阈值（在我们的论文中为0.05）来简单地确定序列的结束。基于图像的NTG。我们还探索显式训练NTG空中解析。我们通过在属性向量hattr中包含来自CNN的预测来调整图像特征，CNN被训练来解析航拍图像。在实践中，我们初始化通过对CNN的输出进行阈值化和细化而获得的图，并在顶部使用经过训练的基于图像的NTG。3.4. 实现细节我们利用相同的NTG模型在城市生成和道路检测的任务。 根据任务的不同，我们根据经验发现，最佳参数化策略各不相同。对于城市的生成，我们使用离散的分辨率为1米的编码器和解码器，其中x指向东，y指向北。在这里，Rxx和Rxy仅限于[-100：100]，表示任一方向的最大偏移为100 m。给出了离散的λx和λy值相关的嵌入（类似于语言模型中的单词），它们被连接以在每一步生成到编码器的输入。对于道路检测，我们在编码器中使用连续极坐标，其中轴被旋转以与从前一个节点到当前节点的边缘对齐这形成了旋转不变的运动轨迹，有助于检测具有任意方向的道路。解码器总是使用离散表示。我们独立地对坐标x和y进行编码和解码。我们发现，与联合预测相比，这会产生类似的结果，同时显着节省训练内存和模型容量。编码器和解码器GRU中使用500个隐藏单元。3.5. 学习推理推理。在每个推理步骤中，我们从队列Q中弹出一个节点，对其现有的传入路径进行编码，并生成一组新节点。对于每个新节点，我们检查它是否与图中的现有节点非常接近。如果到现有节点的距离低于阈值1/2（在我们的论文中为5m），我们不将新节点添加到队列中相反，包括一条边以将当前节点连接到现有节点。这使得能够在图中生成循环我们还找到了最大节点度，最大节点密度，国家市节点 边缘区域长度道路网1317233.6k 262.1k 170.0km2 7410.7kmSpaceNet44115.8k 106.9k 122.3km2 2058.4km表1：RoadNet和SpaceNet的数据集统计[2]。和训练集中两条边之间的最小角度，并确保我们的生成不会超过这些限制。我们参考了补充材料以了解其影响。学习在训练时，对每个vi的K个传入路径进行采样，并且我们学习预测其所有相邻节点。我们在解码节点时强制执行一个顺序，其中我们将节点逆时针排序以形成一个序列。命令─这样就不必求解分配问题来计算损失函数。我们的模型使用具有教师强制的地面真值地图数据进行训练[39]，对每个输出节点使用交叉熵损失。使用Adam [24]优化网络，学习率为1 e-3，权重衰减为1 e-4，梯度裁剪为1.0。4. 实验我们演示NTG的三个任务：城市道路布局生成，卫星道路解析，和环境模拟。4.1. 城市道路布局生成RoadNet数据集。我们从OpenStreetMap（OSM）收集了一个真实世界的道路数据集，以促进这项任务。特别是，我们选择了各大洲17个独特的城市，并收集了所有的路标。OSM是众包的，在人口稀少的地区往往有不完整的标记。为了解决这个问题，我们手动选择每个城市内注释最密集的10平方公里区域。这就是我们最终的RoadNet数据集。表1显示了统计数据。4.1.1度量道路布局生成的目标是创建符合以下要求的道路网络：a）看起来合理，保持有意义的城市风格，b）多样性。我们使用三大类自动指标来评估城市生成：感知：对于每个节点，我们在画布上以它为中心的300m邻域中渲染图形。通过从InceptionV3网络[36]中提取的感知特征，我们计算了每个城市的合成道路和地面实况地图之间的Fre'chetInceptionDistance（FID）[21为了确保有意义的FID，我们将最初在自然图像上训练的InceptionV3调整为道路图，通过微调它来预测我们数据集上的城市这产生了90.27%的准确率，表明网络中跨城市的风格得到了有效捕捉。城市规划[5]：我们衡量了反映城市风格的四个常见城市规划特征：1。 100 m、200 m和300 m邻域内的节点密度。 2. 节点度反映 的连通性 。3. 到达距离为100m、200m和300m范围内的可通行道路的总长度。4.）交通便利性占4527zzz公制zzzz方法感知城市规划多样性MP110−1MP2100pa10−1FC101率densi。康尼到达Conve。10110−210510−3率GraphRNN-2D [41，7]7.126.358.4516.1525.051.584.6145.116.7243.744.26PGGAN [23]1.982.155.3410.5163.245.7719.484.332.9458.95.95城市引擎-5 K [1]2.742.718.3414.7847.113.5921.667.6116.6651.745.86城市引擎-10 k [1]2.552.568.2314.1748.912.4321.797.0516.8252.146.00NTG-香草2.632.334.059.1766.08.691.878.993.0686.541.27NTG增强1.521.342.836.7677.33.761.974.131.8692.442.09表2：感知领域适应的FID（{maxpool 1，maxpool 2，pre-aux，fc}，越低越好），城市规划特征差异（{密度，连通性，范围，便利性}，越低越好），以及城市生成的多样性评估。评分（越高越好）是通过对感知的尺度{10，10，10，20}和城市规划的尺度{60，30，50，20}进行平均来极低的多样性表明无法创建新的城市。GraphRNN-2D [41，7]PGGAN [23]CityEngine [1]NTGGT图3：城市道路布局生成的定性示例。GraphRNN-2D生成不自然的结构，无法捕捉城市风格。PGGAN无法通过严重的过度拟合或产生人工制品来创建新的城市CityEngine由于其固定的基于规则的合成算法而产生较少的样式丰富性NTG既能捕捉城市风格，又能创造新的城市。距离大于500m的节点对我们还计算从真实地图和生成地图的城市规划特征的串联计算的正常分布之间的Fre′chet距离多样性指标：我们通过计算真实城市和生成城市之间的重叠来衡量创建新城市的能力，即一个图中道路的百分比落在10米附近的道路在另一个图表，反之亦然。我们将这个类似倒角的距离与所有地面实况地图进行比较，并报告平均最低值。4.1.2结果我们比较以下方法：• GraphRNN-2D [41，7]： 我们增强了GraphRNN模型通过引入额外的分支来编码/解码节点坐标和城市ID。我们添加了一个CNN，它考虑了现有图的本地渲染，如[ 7 ]中所示，并添加了检查以避免推理期间的无效边缘交叉。• PGGAN[23]：我们训练生成分辨率为256×256的道路布局图像。我们使用经过训练的InceptionV3网络将样本分类到城市中，指标. 为了计算图形相关的度量，我们通过阈值化和细化将图像转换为图形。• CityEngine [1]：CityEngine是一个最先进的软件，用于基于优化的复杂规则合成城市基于L系统[32]。默认情况下，它只提供有限的模板，无法生成新的城市.为了增强CityEngine，我们使用其提供的控制接口和前墨西哥城NewYork伊斯坦布尔4528.1 2GT NTG图4：不同方法的城市FID（fc）。在其属性空间上进行枚举的随机搜索重要的控制参数如角度、弯曲规格和交叉比的组合。然后，我们使用InceptionV3网络预测城市概率，并选择排名最高的10平方公里作为每个城市的结果。• NTG：NTG以具有其边的根节点开始。我们评估NTG与随机根（NTG香草），以及与预先存储的高连通性根（NTG增强）。选项卡. 2和图3分别显示定量和定性从数量上看，NTG在所有指标上都优于基线。GraphRNN-2D无法捕捉各种城市风格，并且经常产生不自然的结构。这是由于其依赖于广度优先搜索的顺序生成性质。对完整历史进行编码的RNNPGGAN [23]产生清晰的图像，偶尔出现难以转换为有意义的图形的伪影PGGAN的样本严重过拟合，正如多样性指标所反映的那样，表明它无法创建新的城市。此外，PGGAN也遭受模式崩溃和记忆的一部分数据。这种风格分布的不平衡导致更差的 感 知 FID 。 通 过 我 们 的增 强 （ 穷 举 搜 索 ） ，CityEngine [1]能够捕获某些城市的风格元素：尤其是节点密度。然而，由于其固定的规则集，它具有较少的 拓 扑 变 化 和 风 格 丰 富 性 将 其 搜 索 从 5000km2（CityEngine-5 k）扩展到10000km2（CityEngine-10 k）生成的地图并不会带来显着的改进，同时需要双倍的计算量。NTG能够创造新的城市，同时更好地捕捉大多数城市的风格，如图所示4.第一章图5深入研究了NTG生成的地图，显示NTG学会了记住当地的道路模式。随着图的增长，不同的地方拓扑结构有机地交织在一起，产生新的城市。图6显示了两个重要超参数的影响：最大路径数K和最大输入路径长度L。结果表明，重建质量由L决定，而K和L都影响推理时间。使用更长和更多路径的训练不一定会提高感知质量，因为图5：NTG以组合方式橙色方框所示的局部模式被记住，然后交织在一起，创造出新颖的结构。图6：采样路径K和最大路径长度L对重建质量（以米为单位）（红色）、推断时间（以秒/km2为单位）（绿色）和FID-fc（蓝色）的影响。交互式合成。我们展示了一个交互式道路布局生成的应用程序，用户从城市的调色板中选择我们将用户的输入与预先存储的节点模板进行匹配，以形成根节点。为了允许在同一画布上生成多个组件，我们只需修改NTG推理过程，以并行地遍历多个图7显示了生成过程的示例超越道路布局在附录中，我们展示了使用NTG的多路径范式学习复杂形状的有效表示的结果这显示出作为城市道路建模之外的通用空间图形生成模型的潜力。4.2. 卫星道路解析SpaceNet数据集。虽然已经提出了几个数据集用于道路检测[2，14，38，7]，但我们使用SpaceNet [2]，因为它的规模大，图像质量高，并且许可证开放为了便于将来进行一致的基准测试，我们将原始数据重新格式化为易于使用的版本，在度量空间中具有一致的瓦片大小。选项卡. 1显示其统计数据。我们以4-1-1的比例将每个城市的瓦片分成训练验证测试。4.2.1度量平均路径长度相似性（APLS）已被证明是反映路由属性的最佳度量[2]。之间两个图，APLS被定义为生成从没有长路径的单个根节点开始1Σ|pvvΣ-p v′v′|我们进一步证明了我们的方法，有NTG预测两种类型的道路，即。主要和次要道路。结果APLS = 1− Nppv v∞min一，一，二，一，二pv1v 2示于图8，表明NTG很容易推广到一个更复杂的建模问题。其中，v表示源gr节点，v′是目标图中最接近的道路上点，如果这样的点存在于4529布鲁塞尔多伦多用户输入步骤0步骤20步骤40步骤60步骤80最终图7：通过用户草图和本地样式选择生成交互式城市道路布局的示例。图8：NTG可以很容易地扩展到生成道路类型。缓冲区范围（5m），Np路径数这里，pv1v2表示表3：标准SpaceNet拆分方法的比较两个节点之间的Dijkstra最短路径长度，以及如果不存在路径，则具有无限值我们还交换源图和目标图以建立度量对称性。为了确保均匀的节点分布，图是RDP简化的[34，15]，并均匀细分，最大边长为30m虽然我们使用APLS作为我们的主要指标，但我们也报告了传统的像素IOU和F1分数作为参考，尽管它们不太理想，如[2]所示。4.2.2结果我们比较了三种方法：• 现有技术：我们评估DeepRoadMapper [30]、Road-Extractor [7]和RoadTracer [7]。RoadTracer需要额外的起点作为输入。我们用最有可能由CNN预测的像素，以及从地面实况（RoadTracer-30）中随机选择的30个点• 更强大的CNN：我们探索更强大的CNN架构。我们用ResNet主干训练一个FCN [20，28]，以及使用DLA [42]和STEAL [3]的CNN为了获得图，我们使用标准细化和测地线排序。• NTG：我们评估了仅在RoadNet上训练并充当拓扑先验的解析NTG（NTG-P），基于图像的NTG（NTG-I），在SpaceNet上训练。表3和图9显示了SpaceNet的结果。可以看出，我们的方法在所有指标上都优于基线。DLA+STEAL CNN产生更清晰的预测，专注于道路。仅使用RoadNet训练的NTG-P能够成功解析图结构。使用进一步将CNN输出作为输入的NTG-I实现了最佳结果。我们也表4：通过在训练中保持一个城市，对看不见的城市进行SpaceNet评估。在没有微调的情况下，RoadNet预训练的NTG-P能够比DLA+STEAL有所改进。使用来自现有技术的CNN来实验RoadNet训练的NTG-P[30，7]。可以看出，与[30，7]中的手工后处理相比，NTG的城市拓扑对于使用DLA+STEAL的NTG-P，我们注意到它具有与标准图提取相似的性能。这是因为DLA+STEAL预测具有高置信度，因为它是用具有相似视觉外观的相同城市进行训练和测试的因此，我们进一步实验一个城市举行了模拟道路解析看不见的城市。结果见表4。可以看出，NTG-P能够进一步改善结果，证明了从RoadNet学习的生成式道路布局知识的有效性。我们进行4倍的评估，每倍每个城市举行，并报告平均结果。4.3. 环境模拟在图10中，我们进一步展示了一个结合了这两个任务的新应用程序。我们建议直接将卫星图像转换为模拟环境，这对未来测试自动驾驶汽车可能很重要。首先，我们在卫星图像中检测道路，IOUF1APLS[30]第三十话45.0262.0851.49RoadExtractor [7]52.9169.2057.38RoadTracer [7]10.2318.5648.55RoadTracer-30 [7]48.2965.1342.94[20，28]51.0967.6356.56DLA+STEAL [42，3]58.9674.1871.04NTG-P（[30]50.5867.1855.87NTG-P（[7]51.6268.0958.79NTG-P（DLA+STEAL）59.2974.4470.99NTG-I（DLA+STEAL）63.1577.4274.97IOUF1APLSRoadExtractor [7]20.5134.0343.06DLA+STEAL [42，3]33.9450.6856.15NTG-P（DLA+STEAL）35.1652.0257.894530DRM [30]RoadExtractor [7]RoadTracer [7][20，28]DLA+STEAL [42，3]NTGGT喀土穆巴黎上海Vegas图9：SpaceNet道路解析的定性示例。卫星检测模拟1仿真2模拟3模拟4图10：Sat2Sim：将卫星图像转换为一系列模拟环境。建筑物和植被通过[1]添加NTG，给我们一个初始图。然后，我们利用我们的生成模型提出合理的变化。这是通过将解析图中的所有单连接节点推入我们的生成队列，并运行NTG生成过程来扩展图来完成的。我们直接使用为城市生成训练的NTG模型，并为每次运行选择一个这有两个主要优点。 首先，它是全自动的，只需要低成本的卫星图像作为输入。其次，它提供了一组环境（城市）的合理变量，而不是静态变量，这最终可以训练出更强大的代理。为了可视化，我们还通过[1]添加了建筑物和树木，显示了合理和多样化的模拟城市。5. 结论在本文中，我们提出了神经海龟图形生成大型空间图形。NTG采用编码器-解码器神经网络的形式，它在本地对图进行操作。我们展示了NTG如何生成合理的城市新版本、城市道路布局的交互式生成以及空中道路解析。此外，我们结合了空中解析和生成这两个任务，并突出显示NTG，以自动模拟在训练期间没有看到地图任何部分的新城市。在未来的工作中，我们的目标是解决其他城市元素的生成，如建筑物和植被。北京凤凰4531引用[1] Esri：Cityengine。https://www.esri.com/en-us/arcgis/products/esri-cityengine. 二五六八[2] Spacenet 数 据 集 。 https://spacenetchallenge.github的网站。io/. 四、六、七[3] David Acuna，Amlan Kar，and Sanja Fidler.魔鬼在边缘：从嘈杂的注释中学习语义边界。在CVPR，2019年。七、八[4] David Acuna ， Huan Ling ， Amlan Kar ， and Sanja Fidler. 用polygon-rnn++实现分割数据集的高效交互式标注。在CVPR，2018年。2[5] Sawsan AlHalawani ， Yong-Liang Yang ， Peter Wonka ， andNiloy J Mitra. 是什么让伦敦像伦敦一样运转在计算机图形论坛，2014年。4[6] Daniel G Aliaga，Carlos A Vanegas，and Bedrich Benes.基于实例的交互式城市布局综合。SIGGRAPHAsia，2008年。2[7] Favyen Bastani ， Songtao He ， Sofiane Abbar ， MohammadAlizadeh，Hari Balakrishnan，Sanjay Chawla，Sam Madden，and David DeWitt.Roadtracer：从航空图像中自动提取道路网络在CVPR，2018年。二五六七八[8] 扬·贝尼斯、艾尔·亚历山大·威尔基和雅罗斯勒·阿v·克里弗·阿'内克。城市道路网络的程序化建模计算机图形学论坛，2014年。2[9] AleksandarBojche vski ， OleksandrShchur ， DanielZügner ，andStephanGünnemann. 网络生成：通过随机路径生成图形。在ICML，2018。2[10] Lluis Castrejon ， Kaustav Kundu ， Raquel Urtasun ， and SanjaFidler.使用多边形rnn注释对象实例。在CVPR，2017年。2[11] 陈国宁，格雷·埃施，彼得·翁卡，帕斯卡尔·穆勒，和尤金·张。交互式程序街道建模。 TOG，2008年。 2[12] Dominic Cheng ， Renjie Liao ， Sanja Fidler ， and RaquelUrtasun.Dar-net：用于建筑物分割的深层活动射线网络.在CVPR，2019年。2[13] Junyoung Chung、Caglar Gulcehre、KyungHyun Cho和YoshuaBengio。门控递归神经网络在序列建模中的实证评估。arXiv：1412.3555，2014。3[14] Ilke Demir 、 Krzysztof Koperski 、 David Lindenbaum 、 GuanPang、Jing Huang、Saikat Basu、Forest Hughes、Devis Tuia和Ramesh Raska。Deepglobe 2018：通过卫星图像解析地球的挑战。在CVPR研讨会，2018年。6[15] David H Douglas和Thomas K Peucker。用于减少表示数字化线或其漫画所需点数的制图：国际地理信息和地理可视化杂志，1973年。7[16] Arnaud Emilien ， Ulysse Vimont ， Marie-Paule Cani ， PierrePoulin，and Bedrich Benes.Worldbrush-基于实例的交互式程序化虚拟世界合成。TOG，2015。2[17] 田丰，于立辉，杨世杰，尹康康，周坤。大众驱动的中型布局设计。TOG，2016. 2[18] 埃里克·加林，阿德里安·佩伊特·维耶，埃里克·古埃林和贝德里奇·贝尼斯。支持等级道路网络。计算机图形论坛，2011年。2[19] Aditya Grover和Jure Leskovec。node2vec：可扩展的网络特征InKDD，2016. 2[20] Kaiming He，Xiangyu Zhang，Shaoying Ren，and Jian Sun.用于图像识别的深度残差学习。在CVPR，2016年。七、八[21] Martin Heusel 、 Hubert Ramsauer 、 Thomas Unterthiner 、Bernhard Nessler和Sepp Hochreiter。两个时间尺度更新规则训练的甘斯收敛到一个局部纳什均衡。在NIPS，2017年。4[22] Namdar Homayounfar ， Wei-Chiu Ma ， Shrinidhi KowshikaLaksh- mikanth，and Raquel Urtasun.结构化在线地图的层次递归注意网络。在CVPR，2018年。24532[23] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.gans的逐步增长，以提高质量，稳定性和变化。在ICLR，2018年。五、六[24] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv：1412.6980，2014。4[25] 李宇嘉，奥里尔·维纳尔斯，克里斯·戴尔，拉兹万·帕斯卡努和佩特·巴塔利亚。学习图形的深度生成模型。arXiv：1803.03324，2018。2[26] Zu o YueLi，JanDirkWegne r，andAur e'lienLucchi. Polymapper：使用多边形提取城市地图。arXiv：1812.01497，2018。2[27] Huan Ling，Jun Gao，Amlan Kar，Wenzheng Chen，and SanjaFidler.用curve-gcn实现快速交互式对象标注。在CVPR，2019年。2[28] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分割的全卷积网络。 CVPR，2015。 七、 8[29] Diego Marcos ， Devis Tuia ， Benjamin Kellenberger ， LisaZhang，Min Bai，Renjie Liao，and Raquel Urtasun.端到端学习深度结构化在CVPR中，第8877-8885页，2018年。2[30] Gell e'rtMa'ttyus，WenjieLuo，andRaquelUrtasun. Deeproadmapper：从航空影像中提取道路拓扑。InICCV，2017. 二七八[31] G Nishida，I Garcia-Dorado和D G Aliaga。示例驱动的过程城市道路。计算机图形学论坛，2015年。2[32] 你有一个Parish和Pascal Müller。城市的程序化建模在SIGGRAPH，2001年。一、二、五[33] Chi-Han Peng，Yong-Liang Yang，Fan Bao，Daniel Fink，Dong-Ming Yan，Peter Wonka，and Niloy J Mitra.从功能规范出发的计算网络TOG，2016. 2[34] 乌尔斯·拉默平面曲线多边形逼近的一种迭代方法。计算机图形和图像处理，1972年。7[35] Martin Simonovsky和Nikos Komodakis。Graphvae：Towardsgenerationofsmallgraphsusingvariationalautoencoders.ICANN，2018。2[36] Christian Szegedy 、 Vincent Vanhoucke 、 Sergey Ioffe 、 JonShlens和Zbigniew Wojna。重新思考计算机视觉的初始架构在CVPR