基于放样和遮挡推理的多视图三维曲面生成

4321基于放样和遮挡推理的多视图三维图形曲面生成SRI International201 Washington Rd，Princeton，NJ 08540，美国anil. sri.com里卡多·法布里里约热内卢州立大学R. So Francisco Xavier，524-Sala 1006 A-Maracan，Rio de Janeiro-RJ，20550-900，巴西rfabbri@gmail.com本杰明湾基米亚布朗大学Providence，RI 02912，USAbenjaminkimia@brown.edu摘要近年来，从多个视图进行场景的三维重建已经取得了令人印象深刻的进步，主要是通过关联孤立特征点、强度或曲线结构的方法在一般情况下，即，在不需要受控采集、有限数量的对象、对象上的丰富图案或遵循特定模型的对象曲线的情况下，这些方法中的大多数产生重构场景的无组织点云、网格或体素表示，除了一些例外，产生作为曲线网络的3D绘图。许多应用，例如，然而，机器人、城市规划、工业设计和硬表面建模需要结构化表示，其产生明确的3D曲线、表面和它们的空间关系。重建表面表示现在可以通过3D绘图来约束，该3D绘图就像脚手架一样悬挂在计算表示上，从而提高了鲁棒性和再现质量。本文提出了一种通过放样算法探索闭合推理的方法来完成这种具有表面重构的3D绘图。1. 介绍稠密三维表面重建是计算机视觉中的一个重要问题，在一般情况下仍然具有挑战性。大多数现有的多视图重建方法都存在一些共同的问题，图1：所提出的方法将从一组完全校准的27个视图中获得的3D曲线图（上图）转换为通过放样和遮挡推理获得的密集曲面片（下图）。如：（i）对应于均匀/反射/透明图像区域的3D模型中的孔，（ii）语义上重要的细节如脊的过度平滑（iii）缺乏语义上有意义的表面特征、组织和几何细节。在计算机视觉和图形文献中，人们对使用3D曲线来推断基础形状[28，56]、与着色相关的形状相关特征[6]或闭合3D曲线[55]的各个方面存在分散但持续的兴趣。例如，Sadri和Singh[44]中的方法利用流复合体，一种捕获一组3D曲线的拓扑和几何结构的结构，以构建无相交的三角形3D形状。类似地，Panet al.[39]探索了一个类似的概念与流线，这是设计来封装主曲率线的表面上。作为另一个实例，Ab-basinejadet al.[1]识别潜在的表面补丁，29802981我我1我2通过3D曲线网络进行划线，将其分解为更小的平面面片以表示复杂曲面。这些方法是完全自动化的，并在广泛的对象上产生令人印象深刻的结果。然而，它们需要完整且准确的输入曲线网络，这很难从图像数据中以自下而上的方式获得：总会有孔、丢失的曲线、不正确的分组、噪声、离群值和其他真实世界的缺陷。然而，这些方法不是通用的，而是针对具有相对干净的几何体的对象的场景而定制的。因此，它们不适合于多视图立体社区定期处理的更一般的大规模复杂场景。提出了一种基于遮挡推理和CAD方法（放样）的稠密三维重构方法，放样是通过对三维结构曲线进行插值得到三维曲面的过程。放样主要是一种绘图技术，用于从最初用于设计和建造船舶和飞机的曲线图生成流线型物体。最近，放样已经成为计算机图形和计算机辅助设计（CAD）应用中的常用技术，其中使用表面曲线的集合来通过插值来定义表面。尽管放样是一个非常强大的工具，但它似乎在多视图几何应用程序中使用得不多。利用现有的基于曲线的重建方法，我们从校准的图像序列开始以3D图形的形式构建场景的3D绘图，其中图形链接包含曲线几何形状，并且图形节点包含曲线端点相遇的接合点。我们建议使用场景的3D绘图作为支架，在其上可以放置密集的表面补丁，参见图1。我们的方法依赖于表面的“3D绘图”的可用性，3D曲线片段的图形从对象的校准多视图观察重建[51]。观察到，这样的3D绘图充当对象表面的支架，因为绘图将对象表面分成3D表面片，这些片被粘在3D绘图支架上并由3D绘图支架支撑。然后，我们的方法是基于从3D绘图中选择一些3D曲线片段，从这些曲线片段形成表面假设，并使用遮挡推理来丢弃不一致的假设。除了产生有用的和语义上有意义的中间表示之外，通过穿过弯曲结构来重建表面紧密地复制了人类的绘画行为：在渐进式绘图中，基础与照明条件和其他细节无关。例如，测光/阴影/反射率可以稍后作为影线或逐渐细化为精细阴影来合并;可以从相同的基础执行多个渲染。即使是具有挑战性的材质，如海洋表面，也可以在曲线基础这种方法还具有可扩展性的优点，因为它允许选择性地和渐进地重建非常大的3D场景。本文的组织结构如下：第2节回顾了在校准视图下观察到的场景的3D绘图的最新技术。第3节回顾放样，并介绍了如何从曲面上的几个曲线片段产生的表面。第4节描述了如何从3D绘图生成3D曲面片假设，以及如何使用遮挡一致性来去除非真实假设。第6节涉及几个技术挑战，这需要对3D绘图进行正则化，以便可以鲁棒地推断曲面片。第6节介绍了实验结果、与PMVS的比较[12，13]以及重建精度的量化。2. 从图像曲线到三维曲线的绘制我们的多视图立体方法是基于使用3D曲线结构作为边界条件来假设将由这些边界解释的最简单的3D表面的想法。所需的3D曲线结构通过将校准的多视图图像中的图像曲线相关以重建3D曲线片段来获得，所述3D曲 线 片 段 被 组 织 为 图 形 并 且 被 称 为 “3D 曲 线 绘制”[51]。由于本文需要一个可用的三维曲线图，我们总结了我们所依赖的[51]的工作3D曲线绘制是建立在一系列步骤上的。首先，使用稳健的三阶算子对图像进行预处理以获得边缘，该算子提供高精度的边缘信息[49]。其次，几何链接器将边缘分组为曲线[18]，其声称可以改善分组错误和离群值的范围。这导致图像曲线片段γv，i= 1，. . .，Mv，对于每个视图v= 1，. . .、N.第三，使用来自两个“假设视图”v1 和v2的具有显著极线重叠的曲线对（γv1，γv2）来生成推定的候选重建Γ k，k = 1，. . .、K.这些候选重建曲线相对于被称为“确认视图”的其他投影视图上的图像证据进行测量这导致一组无组织的3D曲线片段，称为这幅画像确实像一幅素描。该草图中的3D曲线片段通常是冗余的，因为它们来自多个假设，通常由于部分核线重叠而过度碎片化，具有非平凡的杂乱程度，并且最重要的是，由于3D曲线片段的拓扑关系不可用而无组织。最近的工作[51]处理这些问题，并构建了一个3D曲线片段的图形，称为场景的3D绘图。2982我我们的方法需要三维曲线片段和它们的拓扑关系。据我们所知，[51]中的方法是基于曲线的多视图立体的最新技术。然而，任何其他方法，可以给3D曲线片段组织在一个拓扑图可以使用我们的方法以及。3. 将放样引入多视图立体放样是从一组3D曲线进行形状推断的图形技术，这是一个源于造船的术语，用于描述从曲线中塑造船体[5]。设计人员经常使用这种中间的、基于曲线的表示（草图、图形、绘图）来勾勒3D形状，因为它们复杂地捕获丰富的3D信息并且易于定制。通过放样，这些3D曲线被用来交互式地建模光滑表面。放样的实现在交互式CAD中是常见的[3，54，38，30，17，1，9，31]和应用[25，2，50]。放样尚未扩展到3D计算机视觉，其中基于图像的全自动建模是常态。这项工作利用放样来构建一个全自动的，密集的多视图立体重建管道。给定3D曲线Γ1、Γ2、. . . 在形成曲面的部分边界时，放样产生一个穿过它们的光滑曲面，该曲面被寻求为“简单”的图2：细分的应用产生了一个高多边形表面（手动标记为红色的硬边）[22]。图3：放样中的三角形;根据链上特殊内部顶点的配置，应用这些编辑之一来获得基本网格拓扑[45]。在放样之前自动重新组织曲线网络，并使用附加的几何学来避免退化。结果是放样方法，其可以：i）采用部分或完全覆盖期望表面的边界的任何数量的边界曲线，以及ii）处理拓扑不一致性、自相交、不连续性和其他几何伪影。下面是我们放样阶段的简要描述蒙皮：对输入曲线进行四边形化，以构建一个四边形拓扑基础网格，而无需最终几何模型[45，43，20，33]。蒙皮不会产生精确的形状近似，但主要是避免缺乏 曲 率 连 续 性 的 顶 点 [26] 。 给 定 闭 合 3D 曲 线 r=（s1，. . .，s n），则链是子序列ple’: smooth, avoiding holes and degeneracies such as路口 早期的方法将其表述为表面Γi+k我=（s i，. . .，s i+ k），i= 1，. . .，n+k。 的 拓扑使用估计的参数进行变形，以将先验拟合到3D曲线轮廓中[8，21]。 使用功能的方法的基本网格λ是由一系列链关于r：给定Γi+ k，这增加了一层k个四边形I+K到λ，其下由Γi有界，其上由一个新链有界优化[30，38，46，52，4，29]采用通用对象，r<$j+k=（s，. . . ，s）在所得到的补片的内部如最小二乘和平方主j的积分j j+k曲率，结果取决于这种选择，导致λ。将Γ替换为Γ=Γi−1<$Γ<$k<$Γn.取决于1j i +k+1过度拟合或过度平滑。 这些方法不能容易地处理具有许多自遮挡的复杂形状[25]。其他算法包括基于B样条的算法[53，41]。我们选择了基于细分曲面的放样，一个众所周知的图形技术，通过递归序列的变换或细分方案划分粗糙的输入网格的面，产生平滑的高多边形网格，图。二、细分广泛用于许多图形问题[42，10]，如曲面拟合[47，48，27]、重建[19，28，56]和放样[32，34，35，37，36，7]。 组合细分方案[24，23]将极限曲面上的条件转换为方案本身的条件，并允许在曲线网络附近调整细分，以及在细分或样条曲线之外调整边界条件。细分表面提供了一个简单的标准框架，与其他技术相比具有更强大的方案;可以更容易地处理在拐角处具有复杂约束的网格[45]。 我们利用[45]，它采用开放的3D多边形线，终止于一组角-就像我们的3D绘图一样，但交互式生成。 我们把它升级为自动-特殊内部顶点的配置，不同类型[45]第45话，你的选择。3.第三章。光顺通过最小化“光顺”能量来计算λ中顶点的位置，这是一个薄板泛函[45]。然后使用修改后的Catmull-Clark格式[45]进行细分，生成精细网格，见图2。4. 基于放样的多视图自动重建在前两节中，我们描述了：（i）3D曲线绘制的概念、3D轮廓片段的图形和从一组校准的多视图图像导出它的方法，以及（ii）放样的概念，其重建由一组给定轮廓片段限定的3D表面网格。我们现在描述从3D曲线图中选择的曲线片段对如何产生3D表面假设。当这些假设预测与输入数据不一致的遮挡时，则排除这些假设。其余的假设产生了一组2983图4：一个简单形状的示意图，其中一个表面补丁（绿色）由一对曲线（红色）表示;在闭合曲线的情况下，不需要一对。遮挡一致的表面补丁。在下文中，我们首先描述假设形成的过程，然后对所形成的假设进行遮挡一致性的检验。形成表面补片假设：理想情况下，任何子集的曲线片段应该能够形成表面hypothothes，但这显然是棘手的;即使曲线片段很长、没有噪声并且很突出（这是一个关键因素，我们将在第5节中看到），它们的数量也在100条左右。请注意，从闭合曲线产生的曲面片是一种特殊情况，这些曲面片可以先验地识别和处理。剩余的曲面片涉及至少两个曲线片段，但通常更多，比如大约3-5个。然后，成对的曲线片段可以用作入门级假设，图4。从其中选择对的曲线片段的池被限制为具有最小长度约束的那些，L > τ长度。这个阈值是从数据中学习的，对于我们的数据来说通常是几厘米左右。两条3D曲线之间的距离定义为两条曲线上所有样本的平均点到曲线距离。典型的3D曲线接近阈值τα（其也是从数据中学习的）是大约15-20 cm。第三，除了长度和对接近度之外，重建表面的曲率是其是否真实的线索。这是因为对象表面通常不像由不相关线索产生的表面那样卷积我们使用平均高斯曲率，即.在所有表面点上平均的表面上的每个点处的高斯曲率，以及也被学习的阈值τG。应注意，每个曲线对生成两个曲面假设：给定曲线中的每个端点可以与该对中的另一曲线上的两个可能端点配对。如果平均高斯曲率高于τ G，则选择具有较低平均高斯曲率的曲面假设，如图5所示。参见图6，以获得这样的样本表面假设的集合。注意，用于形成3D曲线片段对的替代方法是使用投影 到 2D 视 图 上 的 3D 曲 线 片 段 的 拓 扑 。 从 中 轴 或Delaunay三角剖分中导出2D图像曲线的拓扑，以确定任何给定曲线的相邻曲线投影的3D曲线片段的拓扑结构然后在3D曲线片段之间导出相邻关系：如果两个3D曲线片段的对应的2D图像曲线在至少一个视图中相邻，则它们在3D中是相邻的这在两个方面提高了性能：（i）超过proxim的真实配对图5：从两个端点配对的曲线片段重建曲面时存在固有的模糊性（顶行与底行）。当两个曲线片段确实属于一个真实表面时，两个重建中的一个通常具有比另一个低得多的平均当曲线片段的配对不正确时，因为它们之间不存在表面，两个重建都具有高平均高斯曲率，这是去除异常值的提示图6：我们的重建算法生成的各种几何形状的一些示例放样表面将阈值恢复到候选对池中;（ii）正确地丢弃不是相邻的非真实曲线对。与邻近度阈值相比，这是3D曲线中密集区域的重要因素，邻近度阈值会生成大量非真实曲线对。使用闭塞一致性的假设可行性：在探测3D表面补丁假设的可行性时，最重要的线索是它是否与它预测的遮挡一致（假设表面是不透明的）。如果一个不透明的3D曲面片是真实的，那么在给定的投影图像中被它遮挡的所有3D曲线结构都必须是不可见的。例如，表面假设可以遮挡3D曲线的一部分图像2984k，nKk，nk，nKKBK氮钾L图7：3D表面片S遮挡位于其后面的所有3D曲线片段。因此，Γ 1和Γ 4之间的3D曲线片段被部分地遮挡，使得在图像中仅（Γ1，Γ2）和（Γ3，Γ4）之间的部分作为（γ1，γ2）和（γ3，γ4）可见。（r2，r3）的投影在图像中应该没有边缘证据。另一方面，3D曲线片段（Γ5，Γ6）是完全未遮挡的图8：我们的密集表面重建管道的直观说明。至少一个视图中的一条曲线;注意，对于多面体形状，正面的补片遮挡了背面补片的轮廓，因此这不是严格的假设。 在事实上，在Amsterdam House数据集和Barcelona Pavilion数据集（在第6节中描述）上探测这一假设表明，超过90%的表面假设都是这种情况。该假设意味着每个表面假设需要相对于遮挡假设被确认至少一次，即，和边缘的证据是预期的。 边缘的存在n，< τ E（γ 2，γ 3）部分的证据是无效的理由三维表面假设S.支持闭塞部分的证据是使表面假设无效的理由，图7。测试遮挡的技术方法是基于光线跟踪[16]：将一条光线从相机中心连接到属于3D曲线的3D曲线片段上的每个点。曲线绘制，并且针对每个表面假设测试点的可见性。具体来说，让{1，. . . ，N}表示假设曲面片的集合。 令3D曲线绘图具有曲线片段{r1，. . . ..上述过程探讨了曲面片在三维曲线绘制中的意义。然而，当引入大量的曲面片时，出现了两个曲面假设之间的遮挡问题。一个表面假设可能被所有其他表面完全遮挡这样的曲面在任何视图中都不可见，并被丢弃。冗余假设：由于表面假设是由成对的3D曲线片段生成的，如果地面实况表面由多个曲线片段组成，比如由四个曲线片段组成的矩形片，则同一表面将可能由多个s表示长度参数s∈[0，Ll]，其中Ll是曲线片段对，六个可能的对在一个矩形的情况下K K投影曲线的总长度令3D曲线被曲面片遮挡的部分表示为角斑这些冗余表示在后处理中被检测到以间隔（allk，n）的情况。然后，针对sur的证据-加工阶段和巩固。当大部分的由来自视图1的曲线Γk提供的面假设E1是不可见部分的边缘支持。该证据是样本点s处的总边缘支持的总和，φ（γl（s）），其简单地是具有与样本点s处的曲线γl（s）匹配的位置和取向的图像边缘的数量：布里尔k，n表面假设（在我们的系统中占80%）被包含在另一个表面，即，如果其上80%的点与另一个表面的距离小于接近阈值，则该表面作为冗余假设被丢弃。一种更有原则的方法是通过形成曲线三元组假设来合并两个重叠的表面：当两个曲线对具有共同的曲线片段并且它们的表面假设重叠时，如上所述，放样方法被应用于两个曲线对的表面。n，k=lk，nφ（γl（s））ds（1）曲线三元组，并且所得到的曲面替换曲面假设对。当然，还有一个曲线三联体和一个然后将该证据置于显著性阈值τE之下;如果显著，则该证据使假设无效。另一方面，如果反对所有应该被遮挡的曲线的假设的证据确实是具有公共曲线片段和重叠表面的曲线对导致曲线四元组假设，等等。这种表面假设的增长产生了更准确和更少冗余的表面补丁，但结果无关紧要，即，El<τE，Escherk，缺乏证据，这一过程尚未准备好纳入本出版物。这一事实为表面假说提供了支持。 这是为了与不包括任何曲线的表面假设不同。与不遮挡任何曲线的情况相比，在图像证据显示遮挡的情况下，n遮挡Γ k的情况为n提供了更多的证据。我们现在假设所有曲面片至少图8是我们的整个表面重建的视觉图示施工方法。图9表明，我们的算法非常擅长将图像边缘与3D曲线结构相关联，准确地推理遮挡并确认绝大多数正确的表面，以及拒绝几乎所有不正确的假设，图10。应该注意的是，许多表面假设，bE一2985图9：通过此处显示的确认视图确认表面假设的示例。左列：投影曲面假设以绿色显示，投影曲线绘制以蓝色显示，遮挡段以紫色显示。右列：相同的表面和遮挡段显示为图像边缘为蓝色。请注意，大多数紫色段周围没有任何边缘存在，这清楚地表明图像和假设表面之间存在遮挡。不包含从任何给定视图绘制在其后面的曲线的任何部分。这些假设不能被确认或否认，并且根据假设生成算法的鲁棒性，它们可以根据需要被包括在输出中或从输出中丢弃。此外，许多现有的多视图立体方法可以插入到我们的系统中的曲线配对的水平，并作为替代方法来提供初始种子，我们的表面假设。如前所述，我们的放样算法可以很好地扩展到大量的输入3D曲线，这些曲线是同时或顺序提供的。5. 利用微分几何线索重组输入曲线图在应用放样从三维图纸重建曲面片时，出现了四个重要的技术问题。问题1：放样对过度分组的敏感性：首先，放样对分组边中的过度分组高度敏感变成曲线。如果曲线的某些部分属于一个垂直曲面片，而另一部分不属于，则放样结果会出现显著的和不可逆的几何误差，例如，如图11a所示，其中两个曲线片段C1和C2属于房屋的一侧，通过放样正确地假设曲面片但是，如果C2与属于C2所属房屋的相邻面的相邻曲线片段C3分组（设C4表示C2<$C3），则基于（C1，C4）的放样结果不会产生有意义的曲面片。这个问题的核心-Lem是曲线C2由两个曲面假设共享图10：通过检测到的边缘结构排除的异常表面假设示例。左栏：投影表面假设用绿色表示，投影曲线图用蓝色表示，遮挡段用紫色表示。右栏：相同的表面和被遮挡的片段以蓝色显示图像边缘。请注意，从位置和方向都匹配的所有边中几乎看不到大多数紫色线段。但如果与C3组合，则不再能代表C1和C2所创造的锋面假设。 这种转变的能力，代表多个表面的假设发生在交界处。因此，在拐角处破坏所有曲线，即。高曲率点，应该可以解决这个问题。不幸的是，很难输出噪声曲线的曲率，因此在曲线可以在高曲率点处断裂之前需要平滑算法。下面在曲线噪声的上下文中描述该平滑算法。问题2：放样对曲线噪波的敏感性：其次，3D绘图的曲线片段可能具有过多的噪声，描绘了环状结构和局部扰动，图11b。曲线片段的局部形式中的这些退化通常导致放样算法产生曲面假设的失败，或导致具有几何退化的曲面有许多平滑方法，我们使用一种相对较新的基于B样条模型的鲁棒算法[14，15]，平衡数据保真度项与平滑项。这两项的比值决定了平滑的程度这种方法的优点是，平滑后的曲线可以保持平滑表示。问题3：放样对过度碎片化和间隙的敏感性：第三，在边缘分组阶段缺少边缘或分组不足可能导致间隙和过度碎片化。在这两种情况下，长的垂直曲线表示为多个较小的曲线片段，图11 c。因此，原本是一个单一的表面补丁现在需要被一组次优的较小的重叠表面假设所覆盖。此外，曲线片段数量的增加也会增加曲线对2986图11：（a）将两个曲线片段C2和C3过度分组为C4可能导致对（C1，C4）中的无意义的放样结果，而不是接近真实的放样结果（C1，C2）;（b）放样对环状噪声或过度扰动敏感;（c）过度碎片化的放样曲线产生次优的放样结果以及冗余的表面建议，并导致放样应用和后处理的数量的组合增加。并导致计算成本的组合增加。如果曲线片段在端点处的切线具有良好的连续性，则可以对在一点处重合的曲线片段进行分组。类似地，两个曲线片段Γ1（s）和Γ2（s）之间的间隙可以在端点Γ1（s1）和Γ2（s2）之间桥接，如果：足够接近，即，|τdist，其中τ dist是间隙接近阈值，以及（ii）|< τ dist,where τ distis a gap proximity threshold, and (ii)CC （（r1（s1），T1（s1）），（r2（s2），T2（s2）<τ cocirc其中CC是共圆性度量，表征从一个点切对（P1，T1）到另一个点切对（P2，T2）的良好连续性[40]。问题4：由于曲线片段重叠导致的重复：第四，在3D曲线片段中存在一些重复，因为两条曲线可以沿着部分重叠，从而创建重复的表面表示。虽然这种重复对于某些应用可能不是问题，但如果删除重复，则可以获得更好的结果：当两条曲线重叠时，较长的曲线保持不变，重叠的线段从较短的曲线中删除。由于初始曲线绘制在采样点上是密集的，因此曲线也被下采样。上述四个问题的解决，显着提高了我们的算法的性能。请注意，这些步骤按顺序应用：修剪小曲线，平滑曲线片段，间隙填充和分组过碎片段，消除重复和下采样.此外，依次迭代应用这些步骤是明智的，从小参数开始，逐步增加参数（通常为3-4）。这是至关重要的，因为如果在单个迭代中过于积极地进行，拐角可能被过度平滑、错误的间隙可能被填充、有意义但相对较短的曲线片段可能被修剪而没有机会被合并成较大的曲线片段等。应该注意的是，在过多的交互式表面放样方法中不会出现上述问题，因为人类代理可以进行分解或分组3D结构，以获得几何精确的3D表面，[38]。一些放样方法试图通过将输入曲线约束为闭合曲线来解决这个问题，[55，45]，但是像我们这样的全自动自下而上放样系统必须能够在算法上处理这种分组。总之，该重新分组算法利用了底层组织以及嵌入在任何平滑的3D曲线表示中的丰富的微分几何性质，以调整任何输入曲线图或网络的粒度和连通性，以适应各种各样的应用的需要。在表面放样的情况下，如果输入曲线之间具有3D表面，则其样本或多或少地彼此线性对齐，从而产生更稳健的四边形步骤，从而启动大多数放样方法，则所得重建的质量会显著提高。因此，我们使用第一和第二阶微分几何线索，即切线和曲率，以充分的程度，以聚合地分组平滑段和高曲率点处的断裂曲线，最大化放样算法将接收最适合其功能的一组3D曲线的可能性6. 实验和结果实施情况：使用[51]的作者提供的代码计算3D绘图。平滑代码由[14]提供。放样软件的选择是其中最关键的 ; 我 们 已 经 选 择 了 一 个 最 健 壮 的 放 样 实 现 ，BSurfaces，它是Blender软件[11]的一部分，Blender软件是一个广为人知的专业级CAD工具，广泛使用。BSurfaces能够同时或增量地处理具有任意拓扑和配置的多条曲线，并生成简单而光滑的表面，这些表面可以精确地内插输入曲线，即使它们仅部分覆盖要重建的表面的边界。BSurfaces的使用仅限于交互式建模，其中人类代理向系统提供干净且连接良好的曲线据我们所知，首先获得3D曲线网络，然后使用放样以使用放样的全自动方式使该网络表面化的全自动3D建模流水线是新颖的。数据集：我们使用两个数据集来量化实验结果。阿姆斯特丹房屋数据集由50个完全校准的多视图图像，并且包括各种各样的对象属性，包括但不限于平滑表面、光亮表面、特定的闭合曲线几何形状、文本、纹理、杂乱和投射阴影。该数据集用于评估第4节中描述的管道的遮挡和可见性。其次，巴塞罗那馆数据集是一个真实的合成数据集，用于验证本方法，2987图12：阿姆斯特丹之家数据集和巴塞罗那馆数据集上PMVS重建结果的两个视图（第一行）。观察均匀表面上的宽间隙。第二行显示了我们的算法从相同的观点，从一组仅仅27曲线片段，没有使用外观获得的结果。请注意，PMVS的差距在我们的结果中得到了填补。我们的算法在将罐的背面重建为平面时出错。这可以很容易地通过在重建过程中整合外观线索来纠正。完全控制照明，3D几何和摄像头。该数据集与其3D网格地面实况一起使用，以评估拉动管道的几何精度。定性评价：图12显示了我们的算法的重建，并将其与PMVS [12]进行了比较。观察到重建的曲面片被粘到3D绘图上，以便曲面片之间的拓扑关系被显式地捕获和表示。需要记住的一个关键点是，这两种方法并没有进行比较，看哪种更好。相反，其目的是显示这两种方法的互补性，以及当外观（PMVS的支柱）集成到我们的方法中时，更大性能的承诺。定量评估：该算法以两种方式进行定量评估。首先，我们假设算法的输入（3D曲线图）是正确的，并将地面实况与基于常见3D图的算法结果进行比较。具体来说，我们使用Blender在交互式设计和建模环境中使用曲线绘制手动构建表面模型。然后将得到的表面模型作为地面实况（GT），因为它是我们算法的最佳可能预期结果。GT和算法表面模型都被采样，并且使用接近度阈值来确定样本是否属于另一个，反之亦然。然后将表面重构的三个阶段评估为精确度-召回率曲线，图13 a，即：（i）所有表面假设满足形成约束;（ii）在遮挡约束下存活的表面假设;（iii）进一步满足能见度约束的表面假设，其中去除重复。该算法恢复了90%的表面，精度接近100%。缺失的表面是那些不遮挡任何结构的表面，因此无法用我们的方法进行验证。显然，使用外观将有很长的路要走，以恢复这些失踪的表面。其次，我们还以端到端的方式定量评估该算法，包括3D绘图阶段。图13：（a）Amsterdam House数据集的精确度-召回率曲线，对应于后假设形成表面（绿色），确认表面（蓝色）和基于遮挡的清理后确认表面（红色）。这些结果为我们的重建算法中所有步骤的必要性提供了定量证明;（b）巴塞罗那Pavilion数据集的精确度-召回率曲线，评估整个管道的几何由于地面实况表面不能从Am-Barcelona House数据集获得，因此我们求助于使用具有GT表面的Barcelona由于这个数据集很大，我们将评估集中在具有两个椅子对象的特定区域。我们使用相同的策略来比较我们算法的最终结果，图13b。结果表明，尽管完全无视外观，几何的表面连同遮挡约束是能够恢复大量的表面补丁准确。召回没有达到100%，因为地面真实地面表面没有遮挡任何曲线，因此无法恢复。7. 结论本文提出了一种全自动的密集表面重建方法，利用几何曲线结构明显的宽基线校准视图的场景。该算法依赖于3D绘图，重建的3D曲线片段的基于图形的该算法通过对曲线曲面间的遮挡进行推理，验证了这些假设.因此，它需要来自宽范围的相机角度的视图，并且如果存在多个对象以提供对象间和对象内遮挡的机会，则定性和定量的评价表明，一个显着的部分场景表面结构可以恢复和它的拓扑结构是明确的，一个明显的优势。考虑到这只是我们方法的第一步，即使用几何而不使用外观，这是成功的密集重构系统（如PMVS）的核心思想，因此这是重要的。我们的目标是将外观的使用集成到这个过程中，这有望显着提高重建性能。2988引用[1] F. Abbasinejad，P. Joshi和N.阿门塔来自无组织空间曲线的曲面片。在Proceedings of the Twenty-eighth AnnualSymposium on Computational Geom-12，SoCGACM。[2] C. Beccari，E.Farella，A.Liverani，S.Morigi和M.鲁奇一个快速交互式逆向工程系统。计算机辅助设计，42（10）：860[3] Blender在线社区。Blender -3D建模和渲染软件包。Blender Foundation，Blender Institute，阿姆斯特丹，2016年。[4] A. I. Boben ko和P. Schr é de河离散Willmore流。第三届欧洲图形学几何处理研讨会论文集，SGP'05，Aire-la-Ville，瑞士，瑞士，2005年欧洲制图协会。[5] M.伯乐 重温传统的曲线放样，以改善船体曲面设计过程。船舶技术研究，2015年。[6] M. T. Bui，J.Kim和Y.李你从轮廓线和阴影线笔划的3D外观阴影。计算机与图形51：167- 176，2015年。国际会议形状建模国际。[7] C. E.卡塔拉诺岛Ivrissimtzis和A.纳斯里细分曲面和应用。在洛De Floriani和M. Spag-nuolo，编辑，形状分析和结构，第115143. Springer Berlin Heidelberg ， Berlin ， Heidelberg ，2008.[8] H. Chiyokura 和 F. 木 村 具 有 自 由 曲 面 的 实 体 设 计SIGGRAPH Comput. Graph. ，17（3）：289[9] K. Das，P. Diaz-Gutierrez，and M.戈比利用曲线网络绘制自由曲面.在J.A. P. Jorge和T. 基于草图的接口和建模欧洲图形工作坊编辑。欧洲制图协会，2005年。[10] T. DeRose，M.Kass和T.张角色动画中的细分曲面在第25 届计 算机 图形 和交 互技 术年会 的会 议记 录中，SIGGRAPHACM。[11] L. Eclectiel 和 Blender 在 线 社 区 。 Blender BSur-facesBlender基金会，Blender Institute，阿姆斯特丹，2016年。[12] Y. Furukawa和J.庞塞精确、密集和强大的多视图立体视觉。2007年IEEE计算机协会计算机视觉和模式识别会议（CVPR 2007），2007年6月18日至23日，明尼阿波利斯，明尼苏达州，美国。[13] Y. Furukawa和J.庞塞精确、密集和强大的多视图立体视觉。IEEE传输模式分析马赫内特尔，32（8）：1362-1376，Aug. 2010年。[14] D.加西亚在一维和更高维度中对具有缺失值的网格数据进行鲁棒平滑。计算统计和数据分析，54（4）：1167[15] D. 加西亚piv资料自动后处理之快速多合一方法。Experiments in Fluids，50（5）：1247[16] A. S.格拉斯纳编辑光线追踪简介。学术出版有限公司，英国伦敦，英国，1989年。[17] C. Grimm和P.乔希就这么画：一个3D素描系统。在Proceedings of the International Symposium on Sketch-Based Interfaces and Modeling ， SBIM'12 ， pages 121-130 ， Aire-la-Ville ， Switzerland ， Switzerland ， 2012中。欧洲制图协会。[18] Y. Guo，N.库马尔，M。Narayanan和B.基米亚曲线提取的多阶段方法. 2014年CVPR[19] H. Hoppe，T. DeRose，T. Duchamp，M.霍尔斯特德，H。金J. McDonald，J. Schweitzer和W.斯图策分段光滑曲面重构。在第21届计算机图形和交互技术年会的会议记录中，SIGGRAPH ACM。[20] P. Kaklis和A.金尼斯截面曲率保持蒙皮曲面。计算机辅助几何设计，13（7）：601– 619,[21] 诉Kraevoy，A.Sheffer和M.范德潘恩。从轮廓图建模 基于草图的界面和建模，新奥尔良，路易斯安那州，美国，2009年。Proceedings，pages 37 -44，2009.[22] G. Lavou ， F. Denis 和 F. 杜 邦 公 司 细 分 表 面 水 印 。Technical Report RR-LIRIS-2006-011，LIRIS UMR 5205CNRS/INSA de Lyon/Universit Claude Bernard Lyon1/Universit Lumire Lyon 2/cole Centrale de Lyon ， June2006.[23] A.莱文满足边界条件曲面设计的组合细分格式。计算机辅助几何设计，16（5）：345[24] A.莱文光滑细分曲面插值曲线网。在第26届计算机图形和交互技术年会的会议记录中，SIGGRAPH'99，第57-64 页 ， 纽 约 ， NY ， 美 国 ， 1999 。 出 版 社 ： ACMPress/Addison-Wesley Publishing Co.[25] C.- Y.林角，英-地S. Liou和J. - Y. Lai.由三维测量数据重建光滑曲面的曲面放样方法。工业计算机，34（1）：73[26] C.循环.特殊顶点上的二阶光滑性。在2004年欧洲图形学 /ACM SIG-GRAPH 几 何 处 理 研 讨 会 论 文 集 ， SGPACM。[27] W.妈，X。妈S K. Tso和Z.锅稠密三角网格细分曲面拟合的一种直接方法。计算机辅助设计，36（6）：525[28] T. Maekawa 和 K.Ko. 通 过 拟 合 无 序 曲 线 构 造 曲 面Graphical Models，64（5）：316[29] H. P. Moreton和C. H. 是的功能优化，用于光滑表面设计。在1992年美国纽约州纽约市SIGGRAPH'92的第19届计算机图形和交互技术年会的会议记录中ACM。[30] S. Morigi和M.鲁奇由三维不规则曲线网络重建曲面。在Proceedings of the Eighth Eurographics Symposium onSketch-Based Interfaces and Modeling，SBIMACM。2989[31] S. Nam和Y.阿柴太空箭：立体环境中三维网格与控制曲线的形状建模。Computers and Graphics，36（5）：526- 533，2012. 2012年国际形状[32] A.纳斯里任意拓扑上递归生成的b样条曲面计算机辅助几何设计，14（1）：13[33] A. Nasri，A.阿巴斯和我哈斯比尼 具有不相容截面曲线的蒙皮catmull-clark细分曲面。在Proceedings of the 11thPacificConferenceonComputerGraphicsandApplications，PG IEEE计算机协会。[34] A. H.纳斯里多边形复形的递归细分及其在计算机辅助几何设计中的应用。计算机辅助几何设计，17（7）：595[35] A. H.纳斯里在细分曲面上的特殊点处插值无限多条曲线。Comput. Graph. Forum，22（1）：87 -98，2003.[36] A. H. Nasri和A. M.阿巴斯放样catmull-clark细分曲面。在2002年几何建模和处理（GMP 2002），理论和应用，2002年7月10-12日，Wako，Saitama，日本，第83-93页[37] A. H. Nasri，T. Kim和K.李你具有曲线插值约束的递归细分曲面光顺。在2001年国际会议形状建模和应用（SMI 2001），7-11五月2001，热那亚，意大利，第49页，2001年。[38] A. Nealen，T.五十岚岛Sorkine和M. Alexa纤维网：用三维曲线设计自由曲面。ACM SIGGRAPH 2007论