基于Bundle Pooling的多边形结构分割问题

1基于Bundle Pooling的Polyphonetic结构分割问题曾华一1凯文·约瑟夫2亚当·韦斯特3古川康孝21华盛顿大学路易斯2西蒙弗雷泽大学3耐克图1.复杂的房屋结构可以被解析为简单基元的组合。我们的系统把一个住宅的照片（左上）成一个简单的多边形图元（上中）的集合，而一个标准的检测系统只产生轴对齐的边界框（下中）。多边形表示支持照片级真实感虚拟重塑（左下）、表面法线估计（右上）或弹出式3D广告牌（右下）等应用。摘要本文介绍了一个多边形架构分割问题，提出了线结构推理的并行池模块，并演示了一个虚拟改造的应用程序，产生生产质量的结果。给定一张有几个消失点的房子照片，我们将房子分解成一组建筑构件，每个构件都表示为一个简单的几何图元。并行汇集模块沿着一束线段汇集卷积特征（例如，消失线族）并融合特征束以确定多边形边界或指定对应的消失点。定性和定量评估表明，显着的改进，现有的技术的基础上，我们的指标和基准数据集。我们将分享代码以供进一步研究。1. 介绍房屋由墙、窗和屋顶等建筑构件组成。人类的视觉可以毫不费力地将一个结构感知为简单的多边形形状的组合，如三角形、四边形或四边形（见图2）。1）。这种表示允许简单的人工后处理以及虚拟重构应用，例如替换墙壁材料或添加新窗口。由于深度神经网络的出现，图像分割近年来取得了突破（DNN）。最先进的技术Mask R-CNN [13]可以检测对象实例并为每个实例生成像素分割掩码然而，它无法精确地描绘边界或将形状表示为紧凑的多边形，这对于高端图形应用（如虚拟重构）至关重要[1]。提取紧凑的多边形段的任务对于人类视觉来说是一项微不足道的任务，但对于计算机视觉来说仍然是困难的。针对鲁棒多边形图像分割问题，提出了一种新的多边形结构分割问题。输入是房屋的照片和若干消失点候选者。任务是将房屋分解为建筑组件（即，墙、窗、门、车库或屋顶），其中的每一个都被表示为简单的几何图元（即，三角形、四边形、五边形或梯形）。我们通过提出一系列新颖的神经模块来解决这个问题，这些模块可以分析一束线。具体地说，本文提出了三个束池（BP）模块，每个模块（1）考虑一束线段;2）沿束汇集卷积特征;以及（3）融合汇集的特征束以确定多边形边界或分配相应的消失点。例如，给定一个包含窗口的边界框，我们考虑每个消失点的消失线束，并推断其多边形边界。我们引入了一个新的数据集，包括地面实况建筑多边形分割，和评估的度量。定性和定量评估显示-750751评估我们的方法的有效性，大大超过目前最先进的水平。我们还提出了一个自动化的虚拟重塑应用程序。总之，本文的贡献有三个方面：（技术）有效分析线结构的Bundle池化模块;（基准）具有地面实况注释的新多边形架构分割问题;和（系统）一个全自动的虚拟重塑系统生产质量的结果。2. 相关工作分割：实例分割一直是一个活跃的研究领域。基于提案的技术，如Mask R-CNN [13]已经成为一种流行的方法，具有很大的成功率。通过度量学习的无建议方法也正在出现[15]。然而，这些方法产生一个片段作为一组像素没有矢量图形结构。我们的目标是提取建筑构件作为紧凑的多边形图元，以下的建设的观点。Facade Parsing：Facade Parsing在计算机视觉中有着悠久的历史[25，24]。一种流行的方法是首先识别主要的建筑物立面，纠正图像，然后在纠正域中解析组件，遵循形状语法。Nishida等人将具有多个立面方向的建筑物的单个图像转换为CAD质量的3D模型[27]。他们还首先识别主要的立面，并逐一处理纠正后的图像。形状语法也被证明对传感器图像的建筑建模有效[31]。然而，形状语法需要简单，并且不能扩展到更复杂的领域，例如我们的问题，其中非矩形建筑组件以更混乱的方式排列。建筑建模：分段平滑场景建模的起源可以追溯到90随着高效离散优化技术的出现[5]，第二波分段平滑重建研究[10，11]在千禧年后激增。这些方法有效地检测组件，但以具有不精确边界的像素的形式。线框解析试图直接将组件边界建模为来自单个图像的一组线段。最先进的方法端到端地联合训练角点检测器和连接分类器[33]。3D线框重建使用深度信息重建线框模型[34]。然而，重建的线框往往是支离破碎的，有许多遗漏的连接：作为用于摄影应用的分割方法的系统很差。相反，存在从线段生成闭合多边形的方法例如，多边形可以通过递归神经网络（RNN）直接预测[6，2，20]。然而，它们不是被设计来利用结构先验的（即，消失几何和原始类型），这是我们问题的关键。房间布局估计一直是研究的活跃领域，其产生室内场景的完整建筑线框[9，14]。最近，CNN实现了鲁棒的解决方案[36，18]。虽然这些方法利用高度约束的布局结构，但它们通常假设一个矩形房间，这比我们的设置简单得多。平面图重建试图推断具有完整房间分段的任意拓扑的平面图[23，7]。这个问题在很大程度上取决于主要方向。我们的算法也依赖于消失的几何形状，但处理表面不对齐的主要方向，这几乎总是屋顶的情况。消失点检测：消失点（VP）对于建筑场景解析至关重要。线段提取和RANSAC是VP检测的经典方法[3]。最近提出了基于神经网络的方法，例如Kluger等人的具有逆几何投影的CNN。[16]或周等人的圆锥卷积。[32 ]第32段。我们的问题需要为每个架构组件分配一个VP。我们依靠现有的技术[3]进行检测，同时通过一个新的竞争池模块关注VP分配。3. 多线程体系结构分段问题我们提出了一个建筑分割问题。本节解释了问题、数据集和指标。3.1. 问题定义住宅建筑由表现出强烈结构性的建筑组成部分组成。输入是一张房子的照片和一组消失点候选者。 任务是把一所房子分解成一套建筑构件如墙、窗、门、车库或屋顶，其中每一个都是简单的几何图形（即，三角形，矩形，五边形或梯形），并坚持给定的角度（见图左栏。（3）第三章。每个多边形边界必须指向其中一个消失点，除了（1）顶部的两个三角形边;(2)顶部的两个五边形边缘;以及（3）左和右梯形边缘，其在图的左侧以红色或蓝色突出显示。3 .第三章。3.2. 注释我们需要为图像中的每个建筑组件添加3个注释：1）几何图元（三角形、直角形、五边形或梯形），2）建筑类型（墙、窗、门、车库或屋顶），以及3）来自预先计算的消失点（VP）集合的对应消失点（VP）。边界框是从基本形状计算出来的。752图2.我们的系统由两个DNN组成。第一个DNN是Faster RCNN的变体，检测具有一些属性（如原语类型）的架构组件。第二个DNN使用3个捆绑池模块的组合（分别由绿色，蓝色和红色箭头显示）。将建筑构件分割为多边形基本体。由于普遍存在遮挡（例如，汽车、树木、灌木丛或自遮挡物）。为了简单起见，我们假设所有的屋顶段都是曲面，并且曲面只出现在屋顶上。我们从数据集中排除了异常，这些异常不到5%，可以安全地忽略。对于VP分配，我们首先生成四个VP，包含-房子的主要方向。虽然存在一种巧妙的技术[32]，但我们采用一种简单的方法：通过LSD [12]提取线段，并通过RANSAC [3]枚举四个VP候选。虽然大多数房子只包含一个或两个主要方向，我们保持四个可能性，以确保地面真理是在集。我们使用启发式方法为每个组件分配VP，然后进行手动验证。3.3. 数据集我们的数据集由5039张住宅建筑外部的高分辨率照片组成，这些照片是由一家家居设计公司Renoworks[1]1提供的，用于实际的商业应用。我们将注释数据集分为4647张图像用于训练，392张图像用于测试。我们还通过Google搜索从完全不同的来源收集了60张3.4. 评估指标我们使用平均精度（meanAP）来评估系统的有效性，基于交集超过并集（IoU）或对象关键点相似度（OKS）。IoU是在地面真实形状和预测形状之间计算的，1https://www.renoworks.com/而OKS是对应顶点之间的基于距离的相似性两者的范围都在[0，1]，以显示从最差到完美的匹配质量。只有当IoU（或OKS）高于具有相同架构类型的一个地面实况特别是，我们使用MSCOCO [21]提供的实现来比较IoU meanAP和OKSmeanAP。4. 系统概述我们的系统由两个DNN组成（见图1）。2）。第一个DNN是Faster RCNN架构的变体[28]。除了检测建筑组件的边界框之外，该网络还对建筑类型（即，墙、窗、门、车库或屋顶），以及基本类型（即，三角形、四边形、五边形或梯形）。网络架构和培训是标准的，详情参见补充文件。对于每个检测到的组件，第二个DNN使用三个束池化模块的组合来分配水平VP并估计多边形边界（见图2）。（3）第三章。首先，消失线束池（V-BP）确定水平VP并估计除了五边形之外的顶部和底部多边形边界，五边形需要三个水平边界（图中的绿色）。（3）第三章。对于四边形，具有垂直VP的V-BP确定左边界和右边界。对于三角形和五边形，具有垂直VP的V-BP确定垂直边界（即，左，中，右），然后风扇束池（F-BP）细化斜面边缘（图中红色突出显示）。（3）第三章。最后，对于类星体，二分束池（B-BP）确定了左边界和右边界（图中的蓝色）。（3）第三章。753图3.三个束池化模块确定多边形分割边界。消失线束池化（V-BP）、扇形束池化（F-BP）和二分束池化（B-BP）分别以绿色、红色和蓝色突出显示图左侧的线条颜色表示哪些束池化模块估计哪些线条。5. 捆绑合并本节将详细介绍三个绑定池模块和一个后处理步骤。5.1. 消失线束池化（V BP）V-BP估计与给定消失点对齐的多边形结构（见图1）。（3）第三章。V-BP将建筑构件的边界框、其图元类型和一个消失点作为输入。我们首先确定与边界框相交的消失线的范围，然后将角度范围均匀地分成K（= 40）条线。对于每一条这样的消失线，我们通过Bresenham算法确定边界框内沿着线的像素。我们从我们的Faster RCNN变体的每个像素处的P2特征图2中提取大小为L（= 384）由于线可能具有不同数量的像素，我们通过最大值和平均值操作聚合向量，并将它们连接成2L维线特征向量。边界分类：借用非局部网络的思想[30]，我们将K条消失线上的线特征聚合为全局搜索特征，再次通过最大和平均池化。我们将全局束特征连接回每个线特征，使其维度为4L。2P2是来自特征金字塔网络[22]中定义的最精细级别的特征图，这是我们更快的RCNN变体的一部分。它编码了足够丰富的语义。我们将默认特征长度从256更改为384。最后，我们使用多层感知器（MLP）的每个线的功能和softmax函数跨K线的功能，以产生的概率分布的边界位置。我们使用标准的交叉熵损失。在我们的实现中，V-BP总是分类三个边界（从左到右或从上到下），并在不同的原语类型之间共享权重。最后，在多个MLP的输出上使用阶损失，使得边界的阶是一致的（例如，顶部边界不能低于中间或底部边界）。我们制定了一个简单的L0范数，计算违反成对顺序的数量。消失点分配：给定一个候选VP，我们再次使用V-BP模块生成L个长度为4K的线特征，这些线特征被连接并通过2层MLP来回归VP的置信度Softmax用于从所有VP候选中获取置信度值，这允许我们的系统接受任何数量的VP候选人。在测试时，我们将V-BP应用于所有VP候选，并选择具有最高置信度的结果。5.2. 风扇束池化（F BP）而垂直和水平边界的交点可以决定三角形和五边形的形状（见图左）。3），由于“肩”顶点附近的遮挡（如树），它们的斜边通常不精确。我们固定顶部顶点并考虑角度范围754与当前估计值相差±20度。我们将角度范围均匀地分成40条线以创建一个束。F-BP只用于边界分类，我们添加了与V-BP中相同的特征池、MLP和损失函数5.3. 二分束合并（BBP）梯形是最具挑战性的形状，其左右边界可以具有任意方向。不失一般性，假设我们试图推断右界。我们取边界框的右上角，并在边界的顶部边界均匀采样11个点在1/2W（外部）至−2/3W（内部）范围内的输入箱从边界框角开始。W是边界的宽度包装盒。同样，我们在右下角的边界框周围采样11个我们构造一个11x11完全二部图，并利用它的边来构造一个丛。我们只使用B-BP的边界元分类器具有相同的架构，除了顺序损失，这是不使用，由于复杂性。为了提高定位精度，我们在两个层次上应用B-BP算法。是精神上的更具体地，给定来自第一B-BP的多边形边界，我们考虑沿着边界框的顶部和底部边界远离当前估计的±1/8W我们均匀地抽取13个点，形成一个二部图的束，并进行边界分类。5.4. 后处理对于大型建筑组件，V-BP中的线采样不够精细，无法达到像素级精度。由于剩余位移很小，我们采用V-BP算法进行局部穷举搜索来细化边界。更确切地说，我们首先通过利用先前工作[10]中的VP来计算边缘图，然后搜索范围当前估计值周围± 12个像素（见图4）. 3图4.边缘映射细化来自V-BP的多边形边界6. 实验结果我们已经在python中实现了所提出的系统6.1. 多边形分割精度图5显示了我们的多边形分割结果，并在表1中进行了定量评估。该图和该表还与以下三个基线进行了比较：关键点：我们的基元有3到5个角。我们从Facebook的MaskRCNN代码[ 26 ]中修改了关键点头部知道基本类型后，我们选择适当数量的估计关键点来形成多边形形状。例如，我们使用前三个关键点来形成三角形基元。Homo + Axis Pooling：Facade解析文献提供了复杂的轴对齐识别技术。我们还比较了形状被纠正时的识别质量。对于每个房子，我们应用单应性来生成每个主要立面方向的校正图像。4然后，我们沿着坐标轴对校正后的图像应用并行池化模块。通过逆单应性将多边形变换回LineSweeping：Mask R-CNN产生像样的组件分割。我们只是找到一个多边形，其边界与分割边界重叠最多。更准确地说，给定一个基元类型和一个边界框，我们有一个启发式算法来确定每个边界的线的范围，然后穷举搜索通过最多分割边界的最佳线详见补充文件。表 1 测 量 了 IoU 平 均 AP 和 OKS 平 均 AP （ 见 第 二节）。3.4），而图5提供了定性评估。只有最困难的架构类型（即，墙和屋顶）被可视化以避免混乱。我们的bundle池始终优于其他人，除了少数指标，其中LineSweeping有小的性能增益。从定性评估中，我们发现LineSweeping在墙的相交处不太准确，因为墙边界通常无法区分。另一个观察是单应性校正不是有效的，特别是对于侧壁或小部件，其中图像失真使得CNN难以提取可靠的图像信息。正如预期的那样，Keypoint的性能最差，它不使用消失几何体。表2验证了合并和处理作为一个bundle可以提高性能，而不是单独合并和递减一条线的置信度。更具体地说，我们改变了在捆绑包中汇集功能的方式：线要素的最小/最大池化和线要素的全局池化。该表显示，具有所有功能池的配置可持续提高性能。另一个观察是，屋顶是和PyTorch，并使用NVIDIA 1080 ti 11GB的前，实验DNN训练大约需要48小时。3为了避免误导边缘，我们在窗口段内将边缘映射设置为0。[4]对于度量精确的单应性，我们需要一个焦距。对于一幅有两个VP的图像，我们假设它们是正交的，并计算出焦距。对于具有1个VP的图像，我们假设默认垂直视场为60度并进行计算。755图5.多边形分割结果。只有墙和屋顶显示，以避免混乱，因为他们是最具挑战性的组成部分。轴池不适用于屋顶，因为并非所有VP都是已知的。LineSweeping结果还可视化了Mask R-CNN片段。表1.多边形分割精度：（IoU mAP / OKS mAP）和（IoU meanAR / OKS meanAR）。IoU/OKS高于Thred且具有相同建筑类型的一个地面实况的细分市场为正。Thred=0.5：0.95是IoU/OKS从0.5到0.95的平均mAP，步长为0.05。AP阈值=0.50：0.95AP阈值=0.50AP阈值=0.75AR阈值=0.50：0.95单应性+轴池39.1/34.068.1/63.942.4/32.450.7/24.7关键点34.0/15.963.9/35.932.4/12.842.1/25.2蒙版+扫线55.5/41.880.4/63.363.2/44.664.5/51.0我们56.4/45.180.5/65.363.1/46.866.1/55.4最困难的建筑类型。它们的形状有更多的变化，我们没有左右边界的消失点。我们注意到门/窗/车库IoU低于预期，因为它们通常在我们的可视化中是精确的。这部分是由于注释中的不一致（例如，以包括/排除帧或注释半/全窗口）。6.2. VP分配表3将VP分配准确度与基于标准RANSAC的方法进行比较：（1）使用OpenCV LSD软件提取线段并丢弃位于边界框之外的线段;（2）对于每个VP候选，计数以5度的角度公差通过的线段数量;以及（3）挑选具有最高计数的VP。我们还改变了消融研究的合并操作。该表示出了我们的方法一致地优于基于RANSAC的方法，在所有类别上具有大的裕度（参见图6的示例）。在我们的方法中，单独的最大池化操作比预期的其他池化操作要差得多，因为我们希望像投票原则那样累积所有像素信息。756表2.多边形分割精度：（平均关键点距离/ IoU），具有不同的特征池策略。我们在生成线特征时打开或关闭均值/最大值池，在生成线特征时打开或关闭全局池。我们在这里显示绝对关键点距离，以避免OKS中手动选择比例因子的影响。是说Max全球壁门窗口车库屋顶所有X29.7/0.7310.9/0.878.4/0.7610.0/0.8067.2/0.5025.2/0.73X21.6/0.789.0/0.897.3/0.787.1/0.8257.8/0.5520.1/0.76XX18.8/0.806.3/0.917.4/0.787.0/0.8250.3/0.6118.0/0.78XXX15.3/0.825.1/0.926.2/0.806.4/0.8445.9/0.6615.8/0.81表3.VP分配准确性。左（左）右）数字显示输入为2（分别为4）副总裁候选人。方法测试集单立面围上双额叶围上双立面围上壁所有屋顶RANSAC94.0/87.894.0/89.883.3/76.173.0/73.087.4/81.974.5/72.789.9/83.785.8/83.3是说99.7/99100.0/100.091.389.2/89.294.0/9487.3/87.396.395.4/95我们Max99.1/99.194.671.0/71.078.4/78.476.4/76.467.3/67.386.9/86.985.6/85.6平均值+最大值100.0/100.0100.0/100.094.9/92.894.6/91.293.4/92.987.3/87.397.1/96.596.2/95.8图6.其中，我们的Bundle Pooling模块从候选中选择正确的VP，而RANSAC分配没有。6.3. 失败案例所提出的系统还远远不够完善，有以下两种主要的故障模式。首先，近正面拍摄两个门面方向表现出严重的透视缩短效果的小侧壁Mask R-CNN遗漏了这些成分，我们的算法无法从遗漏的检测中恢复。15%的图像存在这种故障模式。其次，屋顶结构通常非常具有挑战性，因为相邻的屋顶组件具有相似的纹理/颜色，并且在没有消失几何形状作为指导的情况下呈现出不寻常的形状。6.4. 应用多边形分割表示允许感兴趣的应用程序。我们展示了虚拟重塑，弹出式3D广告牌，这是标准技术的组合，并参考补充文件的系统细节。虚拟重塑：从一个建筑资产数据库中，也是由一家家居设计公司Renoworks提供的，我们为每个组件选择一个新的资产或材料纹理。我们应用单应性将纹理转移到图像域，并使用光谱抠图算法[19]合成图像。三重图是通过以下方式生成的：（1）将多边形内部的像素视为前景像素，以及（2）使用DeepLab v2 [8]来分割遮挡物（例如，汽车和绿色）作为背景像素。在获得蒙版之后，我们用新的纹理替换多边形内部的前景像素。图7将我们的结果与Cycle-GAN [35]进行了比较，假设我们希望在LIGHT颜色和DARK颜色之间传输纹理我们手动收集了433个浅色和深色的墙壁图像，并训练了Cycle-GAN，它令人惊讶地工作得很好，并正确地重新着色了墙壁纹理然而，Cycle-GAN不知道建筑结构或消失的几何形状，在特写镜头中引入了各种人为因素。此外，用户不能控制要插入什么新材料或资产，这对于房地产应用是关键的缺点，但通过我们的系统是可能的。弹出3D广告牌：多边形表示允许3D弹出模型（见图）。（八）。Kushal等人[17]提出了一种估计2D多边形形状的表面法线的我们合并15像素内的多边形边界，并使用他们的方法来估计表面法线，而VP用于估计相机的本质。在将一个顶点的深度设置为单位深度后，我们能够恢复所有顶点的深度并生成3D房屋模型。757图7.虚拟房屋改造应用程序。图8.弹出3D广告牌应用程序。7. 结论本文介绍了一个多边形建筑分割问题，并提出了一个竞争池模块族，它有效地分配消失点和确定建筑构件的多边形形状。定性和定量评估表明，基于我们的度量和基准，与现有技术相比，持续改进我们还展示了虚拟重新建模应用程序在生产质量上产生令人信服的结果。我们当前方法的局限性之一同时分割的建筑组件与组件间的一致性是我们的一个未来的作品我们将分享我们的代码以供进一步研究。8. 确认本 研 究 部 分 由 美 国 国 家 科 学 基 金 会 资 助 IIS1618685、NSERC发现补助金、NSERC发现补助金加速器补充和DND/NSERC发现补助金补充。我们感谢Renoworks [1]的Homayoon Farrahi和Nader Hamekasi对数据收集的贡献。引用[1] 雷诺沃克。https://www.renoworks.com/网站。一、三、八758[2] David Acuna，Huan Ling，Amlan Kar，and Sanja Fidler.使用polygon-rnn++对分割数据集进行有效的交互式注释。第859-868页，2018年6月。2[3] J. - C Bazin和Marc Pollefeys。3-用于正交消失点检测的线变换。第4282-4287页，2012年10月。二、三[4] 斯坦·伯奇菲尔德和卡洛·托马西。立体和运动与倾斜表面的多向切割。在第七届IEEE计算机视觉国际会议的会议，第1卷，第489-495页中IEEE，1999年。2[5] Yuri Boykov Olga Veksler和Ramin Zabih通过图割的快速近似能量最小化IEEE Transactions on pattern analysisand machine intelligence，23（11）：1222- 1239，2001.2[6] L. 卡斯特雷·乔恩，K。 昆杜河 Urtasun和S. 菲德尔河使用一个rnn注释对象实例。2017年IEEE计算机视觉和模式识别会议（CVPR），第4485-4493页，2017年。2[7] 陈嘉成，刘晨，吴嘉业，和安高Fu- rukawa. Floor-sp：通过顺序房间最短路径进行平面布置图的逆向cad。2019 IEEE/CVF计算机视觉国际会议（ICCV），第2661-2670页，2019年。2[8] L. Chen，G.帕潘德里欧岛科基诺斯角Murphy和A. L.尤尔。Deeplab：使用深度卷积网、无环卷积和全连接的crfs进行语义图像分割。IEEE Transactions on PatternAnalysis and Machine Intelligence，40（4）：834-848，2018年4月。7[9] 亚历克斯·弗林特，克里斯托弗·梅，大卫·默里和伊恩·里德。建筑物内部改造的动态规划方法。欧洲计算机视觉会议，第394-407页。施普林格，2010年。2[10] 作者：Yasutaka Furukawa，Brian Curless，S.M. Seitz和R.塞利斯基曼哈顿世界立体声。2012年IEEE计算机视觉和模式识别，0：1422二、五[11] David Gallup，Jan-Michael Frahm，and Marc Pollefeys.用于城市场景重建的分段平面和非平面立体。2010年IEEE计算机协会计算机视觉和模式识别会议，第1418-1425页。IEEE，2010。2[12] Rafael Gioi、Jeremie Jakubowicz、Jean-Michel Morel和Gregory Randall。Lsd：一个快速线段检测器，带有错误检测控制。IEEE transactions on pattern analysis andmachine intelligence，32：722-32，2010年4月。3[13] Kai m ingHe ， Geo r giaGkioxari ， PiotrDol la'r ，andRossB. 娘娘腔。面具R-CNN。2017年IEEE计算机视觉国际会议（ICCV），第2980-2988页，2017年。一、二[14] Varsha Hedau，Derek Hoiem，and David Forsyth.恢复杂乱房间的空间布局。2009年IEEE第12届计算机视觉国际会议，第1849- 1856页。IEEE，2009年。2[15] Yen-Chang Hsu ， Zheng Xu ， Zsolt Kira ， and JiaweiHuang.学习聚类以实现无建议的实例分割。CoRR，abs/1803.06459，2018。2[16] Florian Kluger ， Hanno Ackermann ， Michael YingYang，and Bodo Rosenhahn.使用逆日晷投影进行消失点检测的深度学习。CoRR，abs/1707.02427，2017。2[17] A. Kushal和S. M.塞茨分段扫描曲面的单视图重建。2013年国际3D视觉会议- 3DV 2013，第239-246页，2013年6月。7[18] Chen-YuLee ， VijayBadrinarayanan ， TomaszMalisiewicz，and Andrew Rabinovich. Roomnet：端到端的房间布局估计。在IEEE计算机视觉国际会议论文集，第4865-4874页，2017年。2[19] Anat Levin Alex Rav-Acha 和 Dani Lischinski 。 光 谱 消光。IEEE传输模式分析马赫内特尔，30（10）：1699-1712，Oct. 2008. 7[20] 李祖跃，杨德. 我们在一起，奥雷·雷连·卢奇。从俯视图像中提取拓扑图。2019 IEEE/CVF计算机视觉国际会议（ICCV），第1715-1724页2[21] 作者：Michael Maire，Serge J.卢博米尔？罗斯？布尔德 夫 Girshick ， James Hays ， Pietro Perona ， DevaRamanan ， PiotrDol la'r ， andC.劳 伦 斯 · 齐 特 尼 克 。MicrosoftCOCO ： 上 下 文 中 的 通 用 对 象 。 CoRR ，abs/1405.0312，2014。3[22] Tsung-Yi Lin ， Piotr Dollar ， Ross Girshick ， KaimingHe，Bharath Hariharan，and Serge Belongie.用于对象检测的特征金字塔网络。 在IEEE计算机视觉和模式识别会议（CVPR），2017年7月。4[23] 刘晨，吴嘉俊，Pushmeet Kohli，和Yasutaka Fu- rukawa.栅格到矢量：重新审视平面布置图转换。2017年IEEE国际计算机视觉会议（ICCV），第2214-2222页，2017年。2[24] Hantang Liu，Jialiang Zhang，Jianke Zhu，and StevenHoi. Deepfacade：一种用于facade解析的深度学习方法。第2301-2307页，2017年8月。2[25] AneloMartino vic'，MarkusMathias，JulienWeissenber g，andLuc Van Gool.一个三层的门面解析方法。在AndrewFitzgiant 、 Svetlana Lazebnik 、 Pietro Perona 、 YoichiSato和Cordelia Schmid编辑的《计算机视觉施普林格柏林海德堡。2[26] 弗朗西斯科·马萨和罗斯·格希克。maskrcnn基准：PyTorch中实例分割和对象检测算法的快速模块化参考实现。https://github.com/facebookresearch/maskrcnn-benchmark，2018. 5[27] Gen Nishida，Adrien Bousseau，and Daniel G Aliaga.从单个图像对建筑物进行过程建模。计算机图形论坛，第37卷，第415-429页。Wiley Online Library，2018. 2[28] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn：利用区域建议网络进行实时目标检测。IEEE传输模式分析马赫内特尔，39（6）：1137-1149，June 2017.3[29] John YA Wang和Edward H Adelson。用图层表示运动图像。IEEE图像处理学报，3（5）：625-638，1994。2[30] 王晓龙，Ross Girshick，Abhinav Gupta，和Kaiming He.非局部神经网络。在IEEE计算机视觉和模式识别会议集，第7794-7803页，2018年。4759[31] Huayi Zeng，Jiaye Wu，and Yasutaka Furukawa.住宅建筑的神经In Vitto- rio Ferrari，Martial Hebert，CristianSminchisescu ， and Yair Weiss ， editors ， ComputerVision施普林格国际出版社. 2[32] Yichao Zhou，Haozhi Qi，Jingwei Huang，and Yi Ma.Neurvps ： 通 过 圆 锥 卷 积 进 行 神 经 消 失 点 扫 描 。NeurIPS，2019。二、三[33] Yichao Zhou，Haozhi Qi，and Yi Ma.端到端线框解析。在ICCV 2019，2019。2[34] Yichao Zhou ， Haozhi Qi ， Yuexiang Zhai ， Qi Sun ，Zhili Chen，Li-Yi Wei，and Yi Ma.学习从一个单一的图像重建三维曼哈顿线框图在2019年国际计算机视觉会议2[35] Jun-Yan Zhu ， Taesung Park ， Phillip Isola ， Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。在计算机视觉（ICCV），2017年IEEE国际会议上，2017年。7[36] Chuhang Zou ， Alex Colburn ， Qi Shan ， and DerekHoiem. Layoutnet：从一个单一的rgb图像重建三维房间布局。In Proceedings of the IEEE Conference计算机视觉和模式识别，第2051- 2059页，2018年。2