探索和分类的结构化建筑重建方法

12.24.55.16.0勘探路线分类评分探索分类的结构化户外建筑改造加拿大卑诗西蒙弗雷泽大学{fuyangz，xuxiangx，nnauata，furukawa} @ sfu.ca图1.我们的探索和分类重建框架迭代探索新的建筑结构之间的启发式行动和分类的几何形状的正确性。该图示出了我们的系统的特定探索路径。红色突出显示相对于上一步骤的主要改进。摘要本文提出了一种探索和分类框架结构化建筑重建从航空影像。该方法从现有算法可能不完美的建筑物重构出发，1）通过启发式动作修改重构，探索建筑物模型的空间; 2）学习对构建模型的正确性进行分类，同时基于地面实况生成分类标签;以及3）重复。在测试时，我们迭代探索和分类，寻找具有最佳分类分数的结果。我们评估的方法使用初始重建两个基线和两个国家的最先进的重建算法。定性和定量的评价表明，我们的方法始终提高重建质量，从每一个初始重建。1. 介绍想象一个任务，画出你早上遇到的一个人的脸。这是一项具有挑战性的任务，其中大多数人会执行试错，即迭代修改和验证人脸重建，直到对结果满意为止。在结构化重建领域，即使随着深度学习的出现，这也是非常困难的，研究人员在设计有效的神经架构方面展开竞争，这些架构可以直接重建神经元。构造结构化几何（或其组成信息）[16，22，21，24]。我们的想法是将重建过程分解为反复试验和错误，其中核心学习是验证给定几何的正确性，而不是一次性几何回归。更具体地说，本文提出了一种新的探索和分类方法的结构化重建。从一个不完美的建筑物重建现有的算法，我们的方法使用简单的几何编辑动作，探索一组后代图，并学会分类的正确性，他们在不同层次的局部几何。在测试时，我们使用搜索方法（如beam搜索或序列蒙特卡罗[6]）迭代探索和分类，试图找到具有最佳分类得分的结果。我们证明了该方法在从航拍图像[ 18 ]进行结构化户外建筑重建的任务上的有效性，其中建筑结构表示为图（见图1）。①的人。我们使用两个基线和两种最先进的算法[22，18]来生成初始重建。我们的系统在所有的初始重建中不断地做出很大的改进，并实现了最先进的性能。总之，本文的贡献有两个方面：1）用于结构化重建问题的具有局部几何分类器的新的探索和分类框架;和2）在室外建筑重建问题上的最先进性能，在所有基线和最佳现有应用上都有显着改进。1242712428×接近虽然我们专注于一个问题设置，但这些想法可能适用于许多其他结构化重建任务，并且可以进一步提高其最先进技术的性能。我们的代码和预训练模型可在https://github.com/zhangfuyang/search_evaluate上获得。该数据可通过我们之前的项目公开获得[18]。2. 相关工作在本节中，我们回顾结构化几何重建领域中的相关工作。传统方法。Birchfield和Tomasi有一篇关于分段仿射曲面重建的开创性论文，其中迭代了平面分割和仿射参数估计[2]。图形模型推理技术的发展，如图切割[13]，α扩展[14]和消息传递[12]，使分段平滑深度图重建[8，9]的有效优化算法成为可能，这在曼哈顿约束下产生一致的3D平面。然而，由于使用了许多启发式算法和不稳定的深度估计，它们对于生产应用不够鲁棒。深度学习的到来深度神经网络（DNN）的出现带来了许多突破。识别中的实例分割网络[10]用于单视图分段平面深度图重建[17]。实例分割的度量学习方法也被证明对相同的任务有效[21]。递归神经网络[3，1]或迭代细化方法用于多边形曲线提取[5]。然而，这些方法是分割方法，其中区域边界是一组密集的点。对于具有紧凑表面表示的CAD级几何结构的重建，流行的方法是利用DNN进行低级几何结构推断（例如，基于DNN的几何结构推断）。拐角或边缘检测）和基于优化的方法使用试探法来重建高层次拓扑结构[16，4，18]。用于结构化几何重构的端到端神经架构也存在，尽管更具挑战性。卷积图神经网络被提出用于给定角点的2D平面图重建[22]。对于建筑场景的线框解析，端到端系统将连接点检测和边缘验证[24]或连接点检测和邻接矩阵推断[23]相结合。尽管在神经架构研究中持续取得进展，但CAD质量几何重建的任务仍然是一个挑战，其中最先进的算法产生的重建在我们的眼睛看来立即是强化学习。深度强化学习（DRL）是一种解决结构化几何重建的有趣方法。Ellis等人[7]提出了一种神经程序综合算法，其应用之一是构造神经程序。从2D或3D占有率网格进行立体几何重建。Lin等[15]提出了一种采用深度图并恢复一组基元并细化角位置的系统。DRL听起来很优雅，但需要许多技巧和启发式方法，特别是通过特定领域的知识生成伪监督训练数据秒5.2解释了我们的系统是DRL的一个特例，其形式更简单，而标准DRL特征对于结构化几何重建无效我们的实验表明，我们的系统比国家的最先进的基于DRL的重建方法有显着的改进。3. 问题回顾本文解决了一个结构化的体系结构重构问题Nauata等。[18 ]第10段。输入被裁剪和重新缩放（即，256.第256章一张照片 任务是重建建筑结构作为包括所有内部特征边缘的2D平面图。假设有一个L型的体型-由两个矩形部件组成（见右图）。输出必须有两个T形结和五个L形结，并具有共享的内部边缘。我 们 使 用 与 Nauata 等 人 相 同 的 指 标 进 行 评 估 。[18]，即角、边和区域基元的f1得分。该数据集包含2，001栋建筑物。我们将数据随机分为1601个训练数据、50个验证数据和350个测试数据。在验证集上微调诸如得分权重、搜索深度和搜索宽度之类的超参数。我们报告测试集上的所有结果注意，航空照片遭受透视失真，其中曼哈顿假设并不总是成立，产生非常具有挑战性的结构化重建问题。4. 探索分类重建我们的想法是将重建过程分解为探索和分类的迭代，其中核心学习发生在对几何的正确性进行分类中（见图11）2）的情况。4.1. 几何探索探索模块获取一个建筑图，并通过启发式动作产生一组子代图我们使用几何分类模块来对后代进行排名，缩小种群（例如，保持top-k），并重复探索和分类的迭代。在测试和培训期间，确切的程序略有不同。我们现在解释1）启发式操作，2）测试时探索，3）训练时探索。启发式操作。启发式操作要么添加原语，要么删除原语（见图1）。（3）第三章。有三个添加操作：1）在一对现有的12429×R {}J{}E{ }图2.系统概述。几何探索模块从另一种算法重建的初始模型开始，并通过启发式动作产生一组后代重建。几何结构分类模块对生成的重建进行排名，并为下一次迭代保留顶部样本（在右角具有绿色分数的图形是每次迭代中的顶部样本）。系统通过基于地面实况挑选生成的重建并创建分类标签来动态地生成用于分类模块的训练数据。分类模块由三个局部基元分类器（即，连接点、边缘和区域）。前两个分类器是神经网络，它学习分类当前重建中的每个图元是正确还是不正确。区域分类器测量与Mask R-CNN [10]生成的实例分割掩码的一致性总体分类分数是连接点、边缘和区域分数的总和。图3.几何修改的启发式操作。红色和灰色分别表示添加和删除的元素2）从一个角开始向另一个边正交地添加一个边，并在相交处插入一个新的角（如果交点在外面，我们将边延伸到交点）; 3）在共享一个角的两个边处，通过添加一个角和两个边来完成平行四边形。有三个移除动作：4）移除边缘;5）去除角点及其关联边; 6）对于2度角点，去除其自身并连接其端点，这对于去除共线角点是有效的。测试时间探索。给定一组构建图，我们将每个可能的动作应用于每个图，基于分类器评估分数（见第二节 ） 。 4.2 ） ， 并 使 用 Beam 搜 索 或 顺 序 蒙 特 卡 罗（SMC）[6]对总体进行子采样。该过程重复一定次数，并且具有最高分类分数的图成为输出。我们的默认选择是Beam搜索使用（深度=12，宽度=5），而我们根据初始重建的质量将深度增加到20或30。参见第五是细节。训练时间探索。在训练过程中，不需要为每个样本寻找最佳重建，并且我们支持群体多样性和效率。我们对每个图的6个动作类型中的每一个采取一个动作例如，边缘去除动作以均匀概率应用于一个边缘在每次迭代中，我们根据分类得分保留前两个图，同时使用ε贪婪策略以20%的机会用随机图替换一个总的来说，从每个训练构建开始，我们每次迭代生成12（=6 2）个候选图（第一次迭代中为6个），并重复5次。在五次迭代中的每一次处的前2个图（W/随机替换），即，10个构建图被添加到训练集。参见第4.2用于分类标签的生成。4.2. 几何分类我们在构建图中定义了三个层次的几何图元，即junctions =j，edges =e和regions =r。注意，接合点是具有入射边缘角度的信息的拐角，并且区域是由一组边缘围绕的2D我们的几何分类学习对每个几何图元的正确性进行12430- -图4.接合/边缘分类器。该架构由两个U-Net模型（U-Net deep和U-Net shallow）组成U-Net将输入图像深度转换为特征体积。U-Net shallow将特征量、由预训练的CNN生成的角/边置信度图像以及从当前图形光栅化的角/边掩码图像作为输入。然后，它产生逐像素分类分数。我们使用平均池像素之间的primitive计算每个图元的最终分类得分提维斯分类评分为：wj=Cjun c（j）+we=Cedge e（e）+wrCre gio n（er）。（一）区域分类器。接合点/边缘分类器到区域的自然扩展是将每个区域实例标记为正确/不正确并训练类似的分类器。然而，这种方法降低了性能。我们发现这是由于注释中的歧义。 假设一个系统用两个区域重建一个建筑在下图中，但注释是单个区域（无橙色结构）。所有区域都将具有针对地面实况的小IoU并且变得不正确。另一方面，对结点/边缘分类器的影响较小：9个接合点中只有2个和10个边中只有3个变为Incor-rect.因此，我们将我们的区域分数定义为所有区域的并集与由预训练的Mask R-CNN [10]获得的实例分割的并集之间的IoU度量。分类标签生成。对于初始重建和由探索生成的新训练样本，我们使用地面实况来生成分类标签。首先，我们通过贪婪地匹配距离中7个像素内的最近对来建立角到角的对应关系，其中没有两个角可以匹配到相同的GT角。如果一个接合点与一个GT cor-cor匹配，则该接合点被标记为正确j∈Je∈Er∈RNer和它们的入射边缘方向相同，误差容限为10度。边被标记为cor-Cjunc（j）和Cedge（e）是接合点/边缘分类分数。Cregion（r）是区域分数。Cjunc、Cedge和Cregion的范围分别为[1，1]、[1，1]和[0，1]。在基元实例上对接合点和边缘分类分数求和。 针对所有区域实例的并集评估区域分数。 w，j，e，r是缩放权重。现在我们来讨论一下细节。接合/边缘分类器。我们使用相同的架构的交界处和边缘分类。它们的输入是航拍图像和建筑物图，输出是逐像素分类分数。分类器由两个U形网组成（见图1）。4）.第一个在测试时，深度U-Net只为每个建筑物图像运行一次，大大降低了计算费用。第二个输入是特征体积、角/边缘置信度图像，如Nauata等人中所述。[18]，以及角/边缘二进制分割掩模，从当前构建图光栅化（角的直径为3个像素，边缘的厚度为2个像素我们将角像素处的得分作为角分类得分C_junc，并且将沿着边缘的像素上的平均值作为边缘分类得分C_edge。看到完整体系结构详细信息的补充文档。rect，如果其端点与GT中也连接的两个角相匹配。损失函数结点/边缘分类器的原始输出是范围[-1，1]中的逐像素分数。对于（正基元、背景、负基元）上的像素，地面实况被设置为（1，0，-1），其中角和边缘基元分别用3个直径像素和2个厚度像素光栅化。 我们实施逐像素胡伯损失（δ= 1. 0）的结/边缘分类器的输出与地面实况的比较。对于背景像素，损失的权重被设置为一半。5. 实验我们在PyTorch [19]中实现了该系统，并使用了一个带有Xeon CPU（20核）和双Titan RTX的工作站。训练分为预训练和微调阶段。在预训练阶段，通过现有算法的初始重建微调阶段使用2个线程运行第一个线程进行探索，同时产生更多的训练样本。第二线程微调分类器20个时期。分类器的网络权重在每个时期之后由第二线程更新，其由第一线程用于探索。在每个时期中大约生成1200个以上的训练样本。12431×������������������������������������������图5.定量评价。两个基线（每边缘和刮擦）和两个最先进的算法（Nauataet al.和Conv-MPN）用于生成初始重建以运行我们的系统。角、边缘和区域f1分数以不同颜色示出。空条和实心条表示原始和我们的重建。我们的系统在几乎所有情况下都能持续改进。图6.定性评价。在每一种情况下，质量上的改进也很明显更多示例请参见补充资料在预训练期间，学习率从5 10−4开始，每30个epoch减少一半在微调过程中，学习率从2×10−4开始，并降低一半每5个epoch。在我们所有的实验中，我们使用Adam优化器[11]，批量大小为16。平均训练时间为8小时在测试期间，运行时间取决于��������������������������������������������������������������������������������������������������������������������������12432··搜索的广度和深度默认设置宽度=5，深度=12，350个测试建筑需要大约3到4个小时。5.1. 主要结果我们的系统与产生初始图的任何重建算法一起工作。我们测试了2个基线和2个最先进的算法，其中四个实验是独立进行的，没有混合训练样本。每边缘分类器是第一基线，其在给定来自CNN的构建角的情况下对每个边缘的正确性进行分类详见补充文件。Nauata等人[18]是第一个最先进的算法，它依赖于具有启发式目标的整数规划。我们使用官方实现。Conv-MPN[22]是第二种最先进的方法，它使用端到端图神经网络对每个边缘候选的正确性我们使用官方实现。Scratch是一种极端的情况，我们只使用标准CNN检测到的角点，而没有任何边缘。使用来自Conv-MPN系统的角检测器。我们只允许在训练和测试的前10个步骤中执行加法操作。我们使用一个简单的网格搜索与验证集找到最好的超参数。在等式（1）中缩放三个分类得分（结点、边缘、区域）的权重1是（1，2，50）对于Per-edge和Conv-MPN，和（1，1，50）对于Nau- ata等人。还有Scratch Nauata等人的搜索深度和宽度为（12，5）。和Conv-MPN 。 每 边 和 划 痕 需 要 更 多 的 探 索 和 使 用（20，5）和（30，8）。图5是我们的定量结果，比较了初始重建和我们重建之间的角点、边缘和区域f1得分所提出的方法一致地提高了边缘和区域的度量，在每一个单一的情况下。在“逐边”和“划痕”的情况下，角度量会退化。然而，如图6，最低级别图元处的角度量不捕获整体重建质量。原始重建的每边和划痕遭受各种文物，如悬空边缘，重叠的边缘，不太可能的结构，作为一个建筑物，所有这些都很好地处理我们的系统。即使在极端的情况下，我们的系统也可以去除嘈杂的角落，并添加有意义的边缘来恢复大多数建筑结构。虽然我们的系统在改进原始重建方面做得最好，但最终质量取决于初始模型。我们的系统实现了最佳性能与Conv-MPN，但执行较差的Scratch，这仅仅是因为Scratch需要更多的行动，以一个良好的重建，使搜索空间呈指数级更大。5.2. 与强化学习的强化学习（RL）是解决结构化几何重建的一种有趣的方法。我们比较对两个国家的最先进的基于RL的结构化重建系统，埃利斯等人。[7]和Linet al. [15 ]第10段。算法比较。Ellis等人提出了一种神经程序综合算法，其应用之一是由占位网格重构构造性立体几何 Lin等提出了一种操纵一组图元以重构3D形状的系统。我们调整我们的系统的实现来再现他们的作品。对于这两个系统，状态是角/边缘掩模图像以及空间图像。动作由当前状态和下一状态之间的角/边缘掩模差表示。动作集和我们的一样奖励函数基于整个图并且取决于动作。我们只想评估RL系统的核心组件，并重新移动Lin等人的模仿学习。以及Ellis等人的预训练。.以下是更多细节。REPL使用REINFORCE训练策略网络，其中如果分类得分在以下范围内，则8.0从地面实况的角度，否则为0。还基于奖励训练状态值函数。我们遵循他们的优化过程来训练γ=1的两个模型，同时使用策略网络对动作进行采样。在测试时使用顺序蒙特卡罗。Lin等最初将奖励定义为当前状态和目标状态之间的IoU得分的增加。类似地，我们将奖励定义为每次操作后分类得分的增加。奖励折扣系数设置为相同0.9. 我们按照他们的程序训练双DQN [20]减少到RL。我们的系统是状态值函数的时间差分强化学习（TD-RL）的特例，其一般公式为Vπ（s）=Eπ[R（s，a）+γVπ（s′）|s]。（二）s是当前状态，s’是具有回报R（s，a）的动作a之后的下一个状态。γ和V表示折扣因子和状态值函数。π是政策。我们的分类器评估的重建和价值函数是等价的。分类标签是基于地面实况的，并且等同于奖励。三个专业化将TD-RL公式化为我们的方法：（1）设置γ= 0以忽略未来的奖励，（2）使奖励仅取决于状态，以及（3）每个原始分类器设计而不是评估整个状态的良好性的单个函数[7，15]。(1)（2）简化Eq. 2到V（s）=R（s），其中R（s）是我们案例中的分类标签(3)将奖励分解为本地原语。对于每个几何素数ives~，我们有V（s~）=R（s~），这与我们在Sec.四点二。经验比较。表1是两种基于RL的方法与我们的方法的定量比较，其中Conv-MPN是所有三种系统的初始重建。12433角落边缘区域我们比较制度无几何分类通过随机抽样增加数据图7.消融研究：（左）几何分类器由基于角/边置信度图的简单启发式规则替换（分类器的输入，参见图1B）。4）.该版本不需要任何训练，仅通过启发式规则执行探索和分类。（右）由探索模块进行的数据扩充被无扩充或随机抽样取代。每项研究报告了三种不同初始重建算法的数字。表1.与两种最先进的基于RL的系统的比较，Ellis等人。和Linet al.基于角/边/区域F1得分。所有系统都使用Conv-MPN重建作为初始模型。橙色和青色表示最佳和次佳得分。算法角落边缘区域Conv-MPN [22]78.858.154.9REPL [7]72.643.815.9Lin等[第十五条]74.751.635.8+我们的83.267.163.5令人惊讶的是，埃利斯等。和Linet al.而是使原始Conv-MPN重建的结果更差这表明了在结构化数据上使用RL的局限性，它无法学习建筑几何中的模式，而是成为破坏重建的嘈杂指导我们无数据扩充第5.3. 消融研究我们验证了我们的系统中的每个单独的组件的贡献，以及对通用化能力的评估探索舱。我们的探索模块通过利用分类模块动态地收集训练数据。我们实验了两种消融方法的训练数据收集。第一种表示为无数据增强，其不探索并且简单地使用初始重建作为唯一的训练数据。第二个表示为数据增强随机采样，它使用随机采样，而不是我们的分类器进行探索和选择训练样本。图7示出了两种消融方法都劣于我们的探索模块，除了具有每边缘初始重建的角度量中的一个条目，这不是整体重建质量的良好反映，因为所述每边缘初始重建的角度量中的一个条目是不完整的。图8.探索模式有效性的消融研究-乌莱我们展示了我们和没有数据增强之间的性能差距。顶部（RESP。底部）行显示使用每边（分别）时的角/边/区域f1分数。Nauata等人）作为最初的重建。性能差距随着搜索深度的增加而增加，因为随着重建样本与原始样本的差异越来越大，数据增强变得更加有效在SEC中被诅咒第5.1条对于无数据增强和通过随机采样的数据增强，当初始重建质量较低时（即，当初始重建质量较低时），与我们的区域度量差距较大。每边）。图8进一步示出了无数据增强和我们的探索模块之间的性能差距随着搜索深度的增加而增加这与我们的直觉一致，即当构建模型与初始重建差异更大时，数据增强更有效。分类模块。为了验证连接点/边缘分类器的有效性，我们用启发式算法代替它们Conv-MPNNauata等人Per-edge12434表2.我们的系统可以很好地与不同的搜索算法。算法角边区域波束搜索83.267.163.5SMC [6]81.265.664.0方法的基础上的角落/边缘置信度图像利用内部的分类器（见图1）。4）. 具体地，我们简单地使用角/边缘置信度图像进行池化，而不是逐像素分类得分。管道的其余部分保持不变。图7表明，缺少分类模块显著降低了性能，事实上，使得结果甚至比初始重构更差搜索策略。序贯蒙特卡罗[6]（SMC）是另一种流行的搜索方法。我们在测试时将Beam搜索替换为SMC，在每次迭代时基于分类分数对5个图进行采样，并重复12次（我们的默认搜索深度）。表2比较了SMC与Beam搜索，同时使用Conv-MPN作为初始重建。在这两种情况下，我们的系统实现了明显的改进，在原来的重建。泛化能力。我们评估我们的方法的泛化能力，在不同的初始重建的基础上的角/边f1得分表。3 .第三章。例如，第二列中的值76.6表示在训练和Nauata等人使用Conv-MPN [22]时的得分。[18]在测试中使用。我们的系统是能够实现高性能，无论训练- ING/测试数据组合。一个有趣的发现是最右边的列，其中在测试时使用每边重建。令人惊讶的是，使用Conv-MPN或Nauata等人。训练更好。我们的假设是Conv-MPN或Nauata等人的重建。包含高质量局部几何形状（接近GT）以及差的局部几何形状（即，重建失败），使得分类器能够从不同的训练样本集合中学习另一方面，如原始f1分数所示，每边重建大多很差，使得分类器难以学习不同的场景。5.4. 限制虽然所提出的系统实现了最佳性能超过竞争的国家的最先进的一个明确的利润率，有一些限制。首先，测试时间推断是缓慢的，这是任何基于搜索的方法的一般限制。接下来，该系统也有几个主要的故障模式（见图）。第9段）。第一种模式来自缺失的角落。角添加是具有许多自由度的具有挑战性的动作。我们的系统无法从极端角点检测故障中恢复，例如：区域错过多个角。第二种模式来自分类表3.评估不同初始重建的泛化能力列和行分别指示测试和训练时的初始重建。（角/边）f1分数报告在表中。第三行（标记为原始）示出了作为参考的三个系统的原始重建的f1分数。测试时初始化Conv-MPNNauata等人每边原始78.8/58.174.5/53.178.8/44.8Conv-MPN83.2/67.176.6/58.581.1/60.3Nauata等人83.1/67.076.5/58.680.5/60.1每边82.7/65.475.0/56.077.9/57.5图像初始图形输出图9.失效模式。顶行示出了遭受缺失角的示例底行示出了具有弱图像信号的复杂建筑物。当图像信号弱时会出现错误。我们的基于CNN的分类器在分析结构化几何和图像的一致性方面不如人类视觉系统6. 结论本文提出了一种新的结构化室外建筑改造的探索和分类框架，旨在提高不完善建筑改造的质量。 我们的系统学习分类的正确性的原语，同时探索通过启发式行动的重建空间。定性和定量评价表明，与所有最先进的方法相比，该方法有显著改进。虽然我们在一个特定的重建任务上验证了我们的想法的有效性，但计算框架是通用的。我们相信，这些想法有可能适用于许多其他结构化重建任务和超越。谢谢。这项研究部分由NSERC发现补助金与加速器补充和DND/NSERC发现补助金补充支持。12435引用[1] David Acuna，Huan Ling，Amlan Kar，and Sanja Fidler.使用polygon-rnn++对分割数据集进行有效的交互式注释。在IEEE计算机视觉和模式识别会议论文集，第859-868页，2018年。2[2] 斯坦·伯奇菲尔德和卡洛·托马西。立体和运动与倾斜表面的多向切割。在第七届IEEE计算机视觉国际会议的会议，第1卷，第489-495页中IEEE，1999年。2[3] Lluis Castrejon，Kaustav Kundu，Raquel Urtasun，andSanja Fidler.使用多边形rnn注释对象实例。在IEEE计算机视觉和模式识别会议论文集，第5230-5238页，2017年。2[4] 陈嘉成，刘晨，吴嘉业，和安高Fu- rukawa. Floor-sp：通过顺序房间最短路径进行平面布置图的逆向cad。在IEEE/CVF计算机视觉国际会议论文集，第2661- 2670页，2019年。2[5] 多米尼克·程，廖仁杰，桑加·菲德勒，拉奎尔·乌尔-塔松。Darnet：用于建筑分段的深层活动射线网络。 在IEEE/CVF计算机视觉和模式识别会议论文集，第7431-7439页，2019年。2[6] Arnaud Doucet、Nando De Freitas和Neil Gordon。序贯蒙特卡罗方法导论。在Sequent- tial Monte Carlo methodsin practice中，第3-14页。Springer，2001. 一、三、八[7] Kevin Ellis、 Maxwell Nye 、Yewen Pu 、 Felix Sosa 、Josh Tenenbaum 和 Armando Solar-Lezama 。 编 写 、 执行、评估：用repl进行程序合成。arXiv预印本arXiv：1906.04604，2019。二六七[8] Yasutaka Furukawa，Brian Curless，Steven M Seitz，andRichard Szeliski.曼哈顿世界立体声。2009年IEEE计算机视觉和模式识别会议，第1422-1429页。IEEE，2009年。2[9] David Gallup，Jan-Michael Frahm，and Marc Pollefeys.用于城市场景重建的分段平面和非平面立体。2010年IEEE计算机协会计算机视觉和模式识别会议，第1418-1425页。IEEE，2010。2[10] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGir-shick.面具R-CNN。在IEEE计算机视觉国际会议论文集，第2961-2969页二、三、四[11] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[12] 弗拉基米尔·科尔莫戈洛夫。能量最小化的收敛树重加权 IEEE Transactions on Pattern Analysis and MachineIntelligence，28（10）：1568-1583，2006. 2[13] Vladimir Kolmogorov和Ramin Zabih基于图割的多摄像机场景重建欧洲计算机视觉会议，第82-96页Springer，2002年。2[14] Vladimir Kolmogorov和Ramin Zabin。什么样的能量函数可以通过图形切割最小化IEEE Transactions on模式分析和机器智能，26（2）：147-159，2004。2[15] Cheng Lin ， Tingxiang Fan ， Wenping Wang ， andMatthias Nießner.用强化学习建立3d形状模型。欧洲计算机视觉会议，第545Springer，2020年。二六七[16] 刘晨，吴嘉俊，Pushmeet Kohli，和Yasutaka Fu- rukawa.栅格到矢量：重新审视平面布置图转换。在IEEE计算机视觉国际会议论文集，第2195-2203页，2017年。一、二[17] 刘晨，杨集美，杜伊古·锡兰，埃尔辛·尤默，古川雅秀.Planenet：从单个rgb图像进行逐段平面重建。在IEEE计算机视觉和模式识别会议论文集，第2579-2588页，2018年。2[18] Nelson Nauata和Yasutaka Furukawa。矢量化世界建筑物：基于基元检测和关系推理的平面图重构。欧洲计算机视觉会议，第711-726页。Springer，2020年。一二四六八[19] Adam Paszke ， Sam Gross ， Francisco Massa ， AdamLerer ， James Bradbury ， Gregory Chanan ， TrevorKilleen ， Zeming Lin ， Natalia Gimelshein ， LucaAntiga，et al.Pytorch：一个操作风格的高性能深度学习库。arXiv预印本arXiv：1912.01703，2019。4[20] Hado Van Hasselt，Arthur Guez和David Silver。使用双Q学习的深度再强化学习在AAAI人工智能会议论文集，第30卷，2016年。6[21] 余泽浩、郑佳、连东泽、周子涵、高盛华。基于关联嵌入的单幅图像分段平面三维重建。 在IEEE/CVF计算机视觉和模式识别会议论文集，第1029-1037页，2019年。一、二[22] Fuyang Zhang，Nelson Nauata，and Yasutaka Furukawa.Conv-mpn：用于结构化户外建筑重建的卷积消息传递神经网络。在IEEE/CVF计算机视觉和模式识别会议的论文集，第2798-2807页，2020年。一二六七八[23] 张子恒、李正新、毕宁、郑佳、王金磊、黄昆、罗伟新、徐燕宇和高胜华。Ppgnet：学习点对图进行线段检测。 IEEE/CVF会议论文集计算机视觉和模式识别，第7105- 7114页，2019年。2[24] Yichao Zhou，Haozhi Qi，and Yi Ma.端到端线框解析。在IEEE/CVF计算机视觉国际会议论文集，第962-971页一、二