130230Sketch2Mesh：从草图中重建和编辑3D形状0Benoit Guillard*，Edoardo Remelli*，Pierre Yvernay，Pascal Fua0CVLab，EPFL0name.surname@epfl.ch0摘要0从2D草图中重建3D形状长期以来一直是一个悬而未决的问题。0因为草图只提供了非常稀疏和模糊的信息，所以从2D草图中重建3D形状一直是一个悬而未决的问题。在本文中，我们使用了一个编码器/解码器架构来进行草图到网格的转换。当集成到为草图提供相机参数的用户界面中时，这使我们能够利用其潜在参数化来表示和优化3D网格，使其投影与草图中的外轮廓相匹配。我们将展示这种方法易于部署，对风格变化鲁棒，并且有效。此外，它可以用于仅给出单个笔画的形状优化。0我们将我们的方法与最先进的方法进行比较，0我们比较了手绘草图（包括手绘和合成的草图）的现有方法，并证明我们的方法优于它们。01. 引言0从手绘草图中重建3D形状一直是一个悬而未决的问题。0有潜力彻底改变设计师、工业工程师和艺术家与计算机辅助设计（CAD）系统互动的方式。它不仅可以解决工业界需要将大量遗留模型数字化的需求，这是一项无法克服的任务，而且还可以让从事者通过2D绘制与形状进行互动，这对他们来说是自然的，而不是必须通过笨重的3D扫描仪来雕刻3D形状。0当前的深度学习方法[26, 6, 45, 46]0尽管这些方法在合成数据上进行训练，但是从2D草图中回归3D点云和体积网格显示出了希望，但是得到的3D表面表示粗糙且难以编辑。此外，它们需要有效重建的多视图草图[6]或仅限于固定的视图集[26]。0与此同时，单视图重建（SVR）方法-0由于引入了新的形状表示[11, 33, 30, 36]以及利用图像平面特征池化对齐重建到输入图像的新颖架构[43, 10,13, 44]，这些方法取得了快速进展。0* 相等贡献0(a)重建0(b)编辑0图1. Sketch2Mesh.我们提出了一个从线条绘画中重建和编辑3D形状的流程。我们训练了一个编码器/解码器架构，从合成的草图中回归出表面网格。我们的网络学习到了适用于下游优化的3D形状的紧凑表示：(a)当呈现给与训练样本不同风格的线条绘画时，将投影的外轮廓与输入线条绘画对齐可以弥合领域差距。(b)相同的公式可以用于使经验不丰富的用户通过简单的2D笔画来编辑重建的形状。在补充视频中最好看到。0通过引入新的形状表示[11, 33, 30,36]以及利用图像平面特征池化对齐重建到输入图像的新颖架构[43, 10, 13,44]，我们克服了这些挑战。因此，似乎也可以将它们用于从草图中进行重建。不幸的是，正如我们将展示的那样，草图图像的稀疏性使得依赖于从图像平面进行局部特征池化的最先进的SVR网络难以表现良好。这种困难加剧了不同人的不同绘画方式，这在训练过程中引入了很大的变异性，并使得泛化变得困难。此外，这些架构不能学习到3D形状的紧凑表示，这使得学习的模型变得不够理想。130240对于需要强大的形状先验的下游应用，如形状编辑，这些方法不适用。0编码器/解码器架构[36]，以生成给定输入线条绘制的3D网格估计。这产生了一个紧凑的潜在表示，作为信息瓶颈。0作为信息瓶颈的紧凑潜在表示。在推理时，给定一个之前未见过的相机校准草图，我们计算相应的潜在向量，并调整其分量，使其参数化的投影3D形状与草图尽可能匹配。实际上，这弥补了输入草图与用于训练目的的草图之间的风格差异。我们提出并研究了两种不同的方法来实现这一点：01. Sketch2Mesh/Render。我们使用最先进的图像0翻译技术[17]训练以从草图合成前景/背景图像，然后使用生成的图像作为可微分光栅化的目标[38，36，34]。02. Sketch2Mesh/Chamfer。我们直接优化位置0通过最小化2DChamfer距离，将3D形状的投影轮廓与输入草图的轮廓重合。0值得注意的是，Sketch2Mesh/Chamfer虽然更简单，但效果与Sketch2Mesh/Render一样好甚至更好。前者仅利用外部对象轮廓进行细化，这有助于泛化，因为大多数图形设计师以相似的方式绘制这些外部轮廓。它还使得将草图转换为前景/背景图像的辅助网络变得不必要。0Sketch2Mesh/Chamfer的另一个优势是它0不需要从完整的光栅化图像进行反向传播，只需要从稀疏轮廓进行反向传播。因此，它自然适用于在相机校准的部分草图给定情况下的局部细化。与之前关于从局部笔画进行形状编辑的工作[32，20，21]不同，它允许我们依靠潜在向量考虑强大的形状先验，确保可以通过稀疏的2D笔画进行鲁棒的形状编辑。02. 相关工作0近年来，三维形状建模领域发生了爆炸性增长。0从图像中提取三维形状的能力在一般情况下和特别是从草图中提取的能力已经取得了显著的进展。在本节中，我们首先回顾一些使这一进展成为可能的新形状表示方法，然后讨论具体的进展与我们提出的方法的关系。0表面表示。在现有的三维表面表示方法中，0在表示方法中，由顶点和面构成的网格是最流行和多功能的类型之一。0早期的表面建模方法主要集中在基于这些网格的变形预定义模板上，这些模板要么在设计上受限于固定的拓扑结构[8，40]，要么需要不适用于广义的临时启发式方法[29]。此外，由于网格的顶点和面的数量可以变化，使得这种表示方法适用于深度学习架构是具有挑战性的。一种常见的方法是0因此，使用图卷积来变形预定义模板[31，43]是一种方法。因此，它在设计上受限于固定的拓扑结构。一种有前途的替代方法[11]是使用一组表面片段，可以处理任意的拓扑结构。然而，这种方法不能保证片段正确拼接在一起，并且在实践中产生非封闭的表面。0另一种选择是使用隐式描述。0表面由体积函数的零交叉描述，该函数的值可以调整。这种隐式表示的优势在于零交叉表面可以在不显式重新参数化的情况下改变拓扑结构。直到最近，它的主要缺点被认为是使用体积而不是表面会大大增加计算负担。0两年前，这种情况发生了巨大变化。0连续深度隐式场的引入改变了这一点。它们将3D形状表示为将3D坐标映射到有符号距离函数[33]或占据场[30,3]的深度网络的等值面。这种映射产生了一个轻量级但分辨率不受限制的连续形状表示。0然而，对于需要显式表面参数化的应用程序，情况则不同。0参数化，标准的等值面提取方法的不可微性[25]仍然是利用隐式表示优势的障碍。最近，通过引入一种可微分的方法，从深度有符号距离函数[36]生成显式表面网格表示。通过推理隐式场扰动如何影响局部表面几何，可以将表面样本的3D位置与底层深度隐式场区分开。这一见解导致了MeshSDF端到端可微分架构，它以紧凑的潜在向量作为输入，并输出一个3D无漏洞网格，我们在这里使用。0从草图中重建3D。从草图中重建3D0几十年来，从线条绘制中重建模型也一直是一个活跃的研究领域。早期的尝试通过假设绘制的线条代表特定的形状特征[27, 15]或者限制可以处理的3D形状类别[22, 24, 4,19]来解决这个逆问题的固有模糊性。最近，可充气表面模型[7]展示了重建形状的简单动画，但仍然限制艺术家从物体的侧视图绘制，并且局限于固定的拓扑结构。深度学习的出现催生了更加表达力强大的模型[26, 6,18]，从而提高了解析草图为3D形状的性能和泛化能力。给定一个输入草图，[26]从12个视点回归深度和法线图，并将它们融合以获得密集的点云，从中提取表面网格。然而，他们的流程必须针对每个输入草图视点进行训练，因此与自由视点草图界面不兼容。在[6]中，一个在简单形状基元目录上训练的3D卷积网络从草图中回归占据网格。除了有限的输出分辨率，还需要基于多个视图的草图的细化策略来进行有效的重建。[18]在VAE的嵌入空间中同时投影3D形状和它们的前、侧和顶视图遮挡轮廓。他们的流程在单一草图样式（遮挡轮廓）上进行训练，并输出体积网格。在推理时，它检索在训练过程中看到的最接近的嵌入代码，从而限制了其泛化能力。!!""#!#"(a)(b)(c)130250图2. 2D和3D中的外轮廓。(a) 投影网格的外轮廓显示为橙色。它们形成方程4的S2D集合。(b)网格上的对应3D点也以橙色叠加显示。它们形成方程3的S3D集合。(c) 我们过滤原始草图，只保留外轮廓，将其与S2D进行匹配。0[26, 6,18]的表达力更强，因此提高了解析草图为3D形状的性能和泛化能力。给定一个输入草图，[26]从12个视点回归深度和法线图，并将它们融合以获得密集的点云，从中提取表面网格。然而，他们的流程必须针对每个输入草图视点进行训练，因此与自由视点草图界面不兼容。在[6]中，一个在简单形状基元目录上训练的3D卷积网络从草图中回归占据网格。除了有限的输出分辨率，还需要基于多个视图的草图的细化策略来进行有效的重建。[18]在VAE的嵌入空间中同时投影3D形状和它们的前、侧和顶视图遮挡轮廓。他们的流程在单一草图样式（遮挡轮廓）上进行训练，并输出体积网格。在推理时，它检索在训练过程中看到的最接近的嵌入代码，从而限制了其泛化能力。0单视图重建。最近，单视图重建（Single View Re-0从RGB图像中进行的3D重建也因上述新形状表示的引入和基于图像平面特征池化的新的3D重建架构[43, 10, 13,44]而取得了巨大的进展。不幸的是，许多这些方法依赖于特征池化，因此缺乏可以用于需要强大形状先验的下游应用程序（如细化或编辑）的紧凑潜在表示。然而，有一些具有紧凑表面表示的3D重建方法，我们将在下面讨论那些利用可微渲染或轮廓的方法，就像我们一样。0方法依赖于估计输入图像的2D缓冲区-使用在大规模真实世界数据集上训练的最先进的分割/深度估计网络[23]，或者通过特定传感器获取额外信息。将细化技术应用于线条绘图需要使用辅助网络从输入草图中推断出占用掩码。然而，我们发现这样的网络很难推广到不同的绘图风格。这是由于缺乏多样化的大规模线条绘图数据集[12]，使得通过可微分光栅化进行细化变得不太有效，或者在某些情况下是有害的。0现有的方法要么通过使用基于大规模真实世界数据集训练的最先进的分割/深度估计网络来从输入图像中估计2D缓冲区[23]，要么通过特定传感器获取额外信息。将细化技术应用于线条绘图需要使用辅助网络从输入草图中推断出占用掩码。然而，我们发现这样的网络很难推广到不同的绘图风格。这是由于缺乏多样化的大规模线条绘图数据集[12]，使得通过可微分光栅化进行细化变得不太有效，或者在某些情况下是有害的。0通过匹配轮廓进行细化。轮廓匹配是一种常用的方法，用于跟踪物体的形状。我们的方法遵循这一传统0通过对建模刚性物体和关节物体使用体积原语进行建模，长期以来已经被用于跟踪这些物体。这些体积原语的遮挡轮廓可以根据姿态估计计算得到。可以使用与图像边缘的Chamfer距离[9]或更复杂的度量[42,1]来评估这些轮廓的质量。利用外部轮廓的其他方法依赖于最小化3D模型与这些轮廓定义的视线之间的距离[16]。我们的方法遵循这一传统，但将轮廓对齐与更强大的潜在表示相结合。03. 方法03.1. 形式化0假设 C 为表示草图的二值图像，其尺寸为 H � W 。0假设我们有一个草图，并且让 � : R 3 ! R 2表示将3D点投影到该图像中的函数。按照惯例，如果草图上的像素由笔画标记，则 C [ i, j ] 为 0 ，否则为 1 。0我们学习一个编码器 E 和一个解码器 D ，使得 D ◦0E ( C ) 产生一个网格 M � = ( V � , F � ) 。 � = E ( C )是参数化我们形状的潜在向量。 V � 和 F �表示3D顶点和面。在实践中，我们使用[36]中的MeshSDF编码/解码网络架构。一般来说，M �表示一个3D形状，其投影与草图相匹配。LF/B =M � M,(1)P = ↵1V1 + ↵2V2 + ↵3V3 ,(2)8P 2 S3DF[⇤(P)] = 0 ,(3)S2D = {⇤(P)|P 2 S3D} .(4)LCD =Xu2S2Dminv|F[v]=0ku � vk2+Xv|F[v]=0minu2S2Dku � vk2 . (5)Lpartial = LCD(6)+ k1t � (M⇥ � M⇥0)k2 + k1t � (N⇥ � N⇥0)k2130260�( M � ) 与草图 C只大致匹配。因此，我们的下一个目标是通过优化 � 来改善匹配。0我们有两种方法可以实现这一点。我们可以将草图转换为前景/背景图像，并使用可微分的光栅化来确保 M �的投影与该图像匹配。或者，我们可以最小化草图与投影之间的2D Chamfer距离。我们在下面描述这两种选择。0我们可以通过两种方式实现这一点。我们可以将草图转换为前景/背景图像，并使用可微分的光栅化来确保 M �的投影与该图像匹配。或者，我们可以最小化草图与投影之间的2D Chamfer距离。我们在下面描述这两种选择。03.2. 使用可微分渲染0在我们称之为 Sketch2Mesh/Render 的方法中，我们将草图转换为前景/背景图像，并使用可微分的光栅化来确保0通过训练图像翻译技术[17]，我们可以从草图中合成前景/背景图像。我们用 M 2 { 0 , 1} H � W 表示从输入草图 C估计得到的前景/背景图像。另一方面，我们使用可微分的光栅化器[35] R F/B来渲染前景/背景掩码 f M = R F/B0� ( M � ) 是投影的0通过 � 将 M � 投影到图像上。在 f M0M � 的表面，否则为0。最后，我们通过最小化 M � 相对于� 的 L 2 差异来优化 M � 的形状。0通过最小化 M 与 f M 相对于 � 的 L 2 差异来优化 M的0实际上相当复杂，因为它依赖于两个现成的但复杂的软件，即光栅化器[35]和图像翻译器[17]，其中一个必须经过适当的训练。现在我们转向一种更简单的技术，可以从头开始实现，而不依赖于辅助神经网络。03.3. 最小化2D Chamfer距离0更简单的 Sketch2Mesh/Chamfer 方法涉及0直接找到投影到前景图像轮廓的3D网格点，然后最小化该轮廓与草图之间的Chamfer距离。03.3.1 寻找2D和3D的外轮廓0为了确定在 M �上投影到外轮廓像素的表面点，我们首先使用 �将整个网格投影到一个 H � W 的二值图像 e F，其中所有像素都是1，除了属于外轮廓的像素，如图2(a)中的橙色像素。然后，对于 e F 中的每个值为零的像素 p，我们寻找一个网格面上的3D点 P，使其投影到该像素，即一个可见的点，并且满足 �( P ) =p 。理论上，这可以通过找到 p属于哪个面，并计算视线与该面定义的平面的交点来完成。实际上，我们使用 Pytorch3d [35] ，它提供了 P在该面内的重心坐标以及面的编号。因此，我们可以写成0其中 V 1 ， V 1 和 V 3 是 P 所属的面的顶点， � 1 + � 2 + �3 = 1 。由于这三个顶点的坐标是 � 的可微分函数，因此 P的坐标也是 �的可微分函数。对于所有外轮廓点重复此操作，得到一组3D点 S 3 D ，使得0以及相应的一组2D投影0图2(b)描述了这样一个集合。03.3.2 目标函数0为了利用目标草图 C，我们首先对其进行滤波，只保留外轮廓。为此，我们从图像的四个边界发射射线，并仅保留射线击中的第一个黑色像素，如图2(c)所示。这样得到一个滤波后的草图 F 2 { 0 , 1 }H � W 。与之前一样，对于属于外轮廓的像素 p ，F [ p ] =0 ，对于其他像素 p ，F [ p ] = 1。我们使用的射线发射算法在补充材料中有详细描述。0我们的目标是对于 F ，即滤波后的草图，和 e F0为了尽可能匹配投影三角化的外轮廓，我们将要最小化的目标函数写为双向2D Chamfer损失0S 3 D 中的3D顶点的坐标对于 � 是可微分的。由于 �是可微分的，所以它们在 S 2 D 中的2D投影和整个 L CD也是可微分的。03.4. 使用部分草图0最小化外轮廓之间的2D Chamfer距离0如上所述，使用部分轮廓不需要输入草图完整地描绘形状。这使我们能够利用由单一笔画成的部分草图。在这种情况下，我们可以简单地将上述引入的过滤后的草图 F作为草图本身。但是我们必须确保远离草图的表面部分保持不变。这样做的原因是初始形状应该被保留，除非指定了修改。为此，我们将细化过程规范化如下。0给定我们想要的潜变量的初始值 � 00对于可微分的光栅化器[35]进行细化 R N0和返回法线图 N � 以及前景/背景掩码 M � 的 R F/B，我们最小化inputPix2Vox [6]MeshRCNN [10]DISN [44]Sketch2Mesh130270图3. 对草图风格变化的鲁棒性。给定一个0暗示草图（顶部），SketchFD草图（中部）或手绘草图（底部），与Pix2Vox、MeshRCNN和DISN不同，Sketch2Mesh生成的重建结果彼此相似且接近于真实值。0其中L CD是等式5的Chamfer距离，1t是一个在草图距离t内为零，在更远处为一的掩码，◦是逐元素乘积。换句话说，与草图投影附近的表面部分应该与之匹配，其他部分应该保持其原始法线和边界。0关键是，这是一件我们无法做到的事情。0根据第3.2节的方法，我们需要完整的草图。这样做的代价是需要使用差分渲染器，而不像第3.3节的方法那样需要训练好的图像转换网络，这使得部署变得容易。04. 结果04.1. 数据集0公开可用的大规模线条数据集0带有关联3D模型的公开可用的大规模线条数据集很少。因此，我们在椅子数据集[46]上进行测试，并自己创建了汽车数据集。为了进一步测试和关键的训练我们的方法，我们使用了来自知名的ShapeNet [2]的3D模型来渲染2D草图。0我们在两个数据集上测试了我们的方法，一个是可用的椅子数据集[46]，另一个是我们自己创建的汽车数据集。为了进一步测试和关键的训练我们的方法，我们使用了来自知名的ShapeNet [2]的3D模型来渲染2D草图。0渲染的汽车和椅子草图。我们使用汽车和椅子的ShapeNet [2]数据集。0椅子类别来自ShapeNet[2]，用于训练和测试。我们采用与[36]相同的训练/测试划分。对于汽车，我们使用了1311个训练样本和113个测试样本。相应的数字分别为5268和127个椅子。对于每个物体和相应的3D网格，我们随机采样16个方位角和仰角。摄像机指向物体的质心，其与物体的距离和焦距保持不变。为了展示对草图风格的鲁棒性，我们为每个视角生成了两种不同的256x256二进制草图，如图3的前两行所示。我们将它们称为暗示草图和SketchFD草图，如下所述。0暗示。我们使用[5]的配套软件来渲染显示既包含遮挡又包含暗示轮廓的草图。0渲染显示既包含遮挡又包含暗示轮廓的草图。0(a) (b)0图4. 数据采集界面。 (a)为了引导没有经验的用户并限制不准确性，我们显示了从特定视角看到的法线图。 (b) 用户可以使用笔在生成的图像上自由绘制。0图5. ProSketch。输入手绘的椅子草图和0Sketch2Mesh重建结果。0暗示轮廓。暗示轮廓是在表面的可见部分上绘制的线条，当视角发生最小变化时，真正的遮挡轮廓首先出现。它们旨在模拟真实的线条绘画，其中除了遮挡轮廓之外，还绘制了其他线条以增加表现力。0SketchFD。我们还使用了旧的渲染方法。0我们对渲染对象的法线图和深度图运行边缘检测器。深度图中的边缘对应于深度不连续性，而法线图中的边缘对应于陡峭的脊和谷。这产生了合成的草图，虽然传达了相同的信息，但与[5]上的草图看起来非常不同，如图3左侧所示。0手绘汽车草图。我们请5名没有3D设计经验的学生进行绘制。0在ShapeNet测试集中，我们需要有3D设计的先验经验，通过手绘的方式绘制113辆汽车。为此，我们开发了图4所示的绘图界面，可以在标准平板上运行。参与者在所选视角上绘制正常地图的覆盖，以提供指导并确保他们都绘制了相似的汽车并使用了已知的透视图。然而，他们可以自由地进行笔画。因此，该数据集展示了自然风格的变化。为了与渲染的草图结果进行比较，我们使用了相同的视角，我们将使用它来证明仅仅风格的变化对许多方法的泛化是一个障碍。0手绘椅子草图我们使用了177张椅子草图0来自Prosketch数据集[12]。椅子的视角是从正面、侧面或45°方位视图观察，如图5所示。这些视角与我们0从正面、侧面或45°方位视图观察，如图5所示。这些视角与我们用于训练的随机选择的视角不匹配，这使得该数据集特别具有挑战性。Xx2C1miny2y kx � yk2 + 1NXy2C2minx2x ky � xk2 .130280特别具有挑战性。样本草图和重建结果0如图5所示的截图04.2.度量0作为重建度量，我们使用3D Chamfer损失0（CD-l2，越低越好）。它通过在重建的网格上采样N =10000个点形成第一个点云C1，并在真实的网格上采样N个点形成第二个点云C2来计算。然后我们计算0CD-l2 = 1 N0我们还报告了法线一致性度量（NC，越高越好）0更高越好），通过计算重建形状的法线图与真实形状的法线图之间的平均像素点乘积来计算。04.3.选择最佳方法0我们提出了两种改进我们的3D网格的方法。Sketch2Mesh/Render通过将草图转换为前景/背景图像，并最小化该图像与网格投影之间的距离，而Sketch2Mesh/Chamfer通过改变网格形状，最小化其投影的外部轮廓与草图的外部轮廓之间的2D Chamfer距离。0一旦学习到潜在表示0在Suggestive或SketchFD轮廓上0Sketch2Mesh/Chamfer可以直接使用，无需进一步训练。相比之下，Sketch2Mesh/Render需要一个图像转换网络，从草图中预测前景/背景掩码。在这里，我们使用[17]中的一个UNet[37]作为生成器，并在LSGAN设置[28]下进行训练。我们在ShapeNet上训练了四个独立的实例，分别用于每个形状类别（汽车和椅子）和每个草图渲染风格（Suggestive和SketchFD）。0完成后，我们可以比较Sketch2Mesh/Render和Sketch2Mesh/Chamfer在Suggestive轮廓上的性能0针对我们使用的两类物体和三类绘图（Suggestive、SketchFD和HandDrawn）的测试集，我们对比了Sketch2Mesh/Chamfer和Sketch2Mesh/Render的性能。我们在图5和图11中展示了定性结果。0在Suggestive轮廓上训练的模型在Tab.1中报告了定量结果。在SketchFD上也有类似的结果。0轮廓在补充材料中呈现。总体而言，Sketch2Mesh/Render和Sketch2Mesh/Chamfer都改善了初始指标，但Sketch2Mesh/Chamfer对风格变化更具鲁棒性。换句话说，Sketch2Mesh/Render过度拟合于其训练的风格，并且在测试不同风格时不如Sketch2Mesh/Chamfer表现好。加上这个事实，0与Sketch2Mesh/Render不同，Sketch2Mesh/Chamfer不需要训练辅助网络，这使得它更加方便。0更好的方法。因此，在本文的剩余部分中，我们将使用它，除非另有说明，并将其简称为Sketch2Mesh。04.4.与最先进的方法进行比较0我们现在将Sketch2Mesh与最先进的方法进行比较0我们训练了从草图中回归体积网格的Pix2Vox[6]架构，并与最近的基于感知特征池化的SVR方法DISN[44]和MeshRCNN[10]进行比较。为了公平比较，我们使用了它们。0与我们使用的相同图像编码器一起，我们在图3中展示了定量结果0我们在图3中展示了定性结果0在ShapeNetCars和Chairs上的定量结果见表2和表3，当学习了潜在表示时，Sketch2Mesh明显优于其他方法。在椅子上，MeshRCNN非常有竞争力，特别是在CD-l2方面。但是，如图7所示，它生成的网格几乎无法使用，即使我们使用了试图使其规范化的算法的Pretty设置。这是其作者自己报告的一个众所周知的现象。相比之下，我们的网格可以直接用于下游应用，无需进一步预处理。0为了完整起见，我们注意到最近的一篇论文[45]0还提倡使用前景/背景掩码来改善从草图中的3D重建。然而，与Sketch2Mesh/Render通过对网格进行细化来改进网络生成的网格不同，它建议将掩码作为附加输入提供给生成初始3D形状的网络。在表4中，我们将这种方法与我们的方法进行了比较，当网络使用SketchFD汽车草图进行训练并在Suggestive上进行测试时。Sketch2Mesh/Render和Sketch2Mesh/Chamfer都表现得更好。04.5. 交互式3D编辑0Sketch2Mesh的一个重要特点是它可以利用单一笔画的草图来改进先前获得的形状0利用由单一笔画组成的草图来改进先前获得的形状，如第3.4节所讨论的，如图8所示。为了展示我们方法的交互性，我们构建了一个基于Web的用户界面。用户可以使用鼠标或触摸设备绘制草图，并将其提交给Sketch2Mesh。然后，连续的部分草图也可以输入并由优化器匹配。在补充材料中提供了一个视频来展示其工作过程。05. 结论0我们提出了一种推导3D形状的方法0从草图中生成的网格，依赖于编码/解码架构来计算草图的潜在表面表示Sketch2Mesh/Render1.4004.2535.752Sketch2Mesh/Chamfer1.4203.1324.395Sketch2Mesh/Render92.4186.1883.88Sketch2Mesh/Chamfer92.2087.0084.75Sketch2Mesh/Render7.47112.86517.519Sketch2Mesh/Chamfer7.18012.24813.787Sketch2Mesh/Render83.9975.3765.23Sketch2Mesh/Chamfer82.6176.2767.67Sketch2Mesh/RenderSketch2Mesh/Chamfer(b)(a)(a)(b)(c)(d)130290度量方法 测试绘制风格0Suggestive SketchFD 手绘0CD-l2∙10^3#0初始 1.613 4.658 6.8180法线一致性0初始 91.14 84.73 81.400度量方法 测试绘制风格0Suggestive SketchFD 手绘0CD-l2∙10^3#0初始 8.572 15.691 18.7520法线一致性0初始 80.86 72.83 61.170汽车 椅子0表1. 汽车和椅子. 使用在Suggestive合成数据集上训练的编码/解码网络进行重建的度量指标0在汽车和椅子的草图上进行测试，并在所有3个数据集上进行测试。我们展示了在细化之前和使用我们的两种细化方法之后的初始结果。注意，Sketch2Mesh/Chamfer在未经训练的风格上表现更好，表明对风格变化具有更强的鲁棒性。0输入重建迭代次数 = 0 迭代次数 = 250 优化后的真实值0输入重建0iter = 0 iter = 250 细化0图6.网格细化。Sketch2Mesh/Chamfer（上）和Sketch2Mesh/Render（下）的比较。Sketch2Mesh/Chamfer更好地处理细小的组件，如椅子的腿，因为它利用了稀疏信息。我们在补充材料中对此进行了更详细的研究。（b）挑战性线条草图的Sketch2Mesh/Chamfer结果，包括椅子和汽车。我们展示了由以草图为输入的网络生成的初始网格的迭代过程，然后逐步进行细化。0图7.与MeshRCNN的比较：（a）输入草图（b）真实形状，（c）Sketch2Mesh重建，CD- l 2 =1.98，（d）MeshRCNN重建，CD- l 2=1.91。红色显示翻转的面。尽管CD- l 2稍高，但我们的重建对于进一步处理更加可用，并且可以说与真实形状更相似。0它可以进一步细化以匹配草图的外部轮廓。它可以处理以其未经专门训练的风格绘制的草图，并且优于最先进的方法。此外，它允许通过指定对象投影必须匹配的部分2D轮廓来进行交互式细化，前提是将透视相机参数与草图相关联。可以使用基于触控笔的界面在平板电脑上轻松实现这一点。0我们可以看到对我们的工作有两个自然的改进。一0与我们的参数化中学习到的先验相关联。尽管先验通常能够很好地保留全局形状属性，如对称性，但在部分细化时可能过于约束或不足。我们希望某些先验实际上成为约束条件 -汽车的车轮必须是圆的，不能接触车轮井，椅子的脚必须都有CD-l2 · 103 #Pix2Vox [6]2.3366.2378.599MeshRCNN [10]3.4916.9237.849DISN [44]1.5297.76410.396Sketch2Mesh1.4203.1324.396Pix2Vox [6]89.0780.4976.70MeshRCNN [10]84.1979.9377.91DISN [44]92.1579.5172.52Sketch2Mesh92.2087.0084.74CD-l2 · 103 #Pix2Vox [11]3.5292.4753.146MeshRCNN [10]3.1173.5964.829DISN [44]4.0361.5733.763Sketch2Mesh2.4191.5162.047Pix2Vox [11]87.1189.2186.27MeshRCNN [10]83.2282.8180.83DISN [44]86.3491.3087.66Sketch2Mesh91.2392.0991.036. AcknowledgmentsThis work was supported in part by the Swiss NationalScience Foundation and by the Swiss Innovation Agency.References[1] A. Agarwal and B. Triggs. 3D Human Pose from Silhouettesby Relevance Vector Regression. In Conference on Com-Table 3. Comparative results on Chairs.Training Drawing Style: SuggestiveMetricMethodTest Drawing StyleSuggestiveSketchFDHand-drawnCD-l2 · 103 #Pix2Vox [6]22.95333.4662.132MeshRCNN [10]6.77510.71819.055DISN [44]7.04518.10423.282Sketch2Mesh7.18012.24813.787Normal Consistency "Pix2Vox [11]73.0164.2840.12MeshRCNN [10]76.9172.7758.03DISN [44]80.4454.1051.81Sketch2Mesh82.6176.2767.67Training Drawing Style: SketchFDCD-l2 · 103 #Pix2Vox [11]34.75922.69046.687MeshRCNN [10]9.5305.81216.620DISN [44]13.0598.62818.104Sketch2Mesh9.5246.73712.585Normal Consistency "Pix2Vox [11]65.9772.5252.96MeshRCNN [10]77.6284.7569.76DISN [44]73.3980.2162.58Sketch2Mesh81.0083.1070.39Table 4. Comparison with the approach of [45].MethodMetricCD-l2 · 103 #NC "MeshSDF [36]3.23189.67MeshSDF [36] + mask3.12490.05Sketch2Mesh/Render2.53890.92Sketch2Mesh/Chamfer2.41991.23puter Vision and Pattern Recognition, 2004. 3[2] A. Chang, T. Funkhouser, L. G., P. Hanrahan, Q. Huang, Z.Li, S. Savarese, M. Savva, S. Song, H. Su, J. Xiao, L. Yi, andF. Yu. Shapenet: An Information-Rich 3D Model Reposi-tory. In arXiv Preprint, 2015. 5[3] Z. Chen and H. Zhang. Learning Implicit Fields for Gener-ative Shape Modeling. In Conference on Computer Visionand Pattern Recognition, 2019. 2[4] Frederic Cordier, Hyewon Seo, Mahmoud Melkemi, and130300（a）输入草图（b）重建（c）编辑0图8.交互式重建和编辑。我们开发了一个界面，用户可以绘制一个初始草图（a）来获得其3D重建（b）。然后可以在3D中操作对象并绘制一个或多个所需的修改（c）。然后，优化3D表面以匹配每个约束，解决第3.4节中的优化问题。我们的模型学习到的强先验允许在输入中提供稀疏的2D笔画的情况下保留全局属性，如对称性。在补充视频中最好看到。0表2. 汽车的比较结果。0训练绘图风格：建议性0度量方法 测试绘图风格0建议性SketchFD手绘0法线一致性 "0训练绘图风格：SketchFD0法线一致性 "0与2D草图所施加的限制相比，例如长度相同，以便我们的技术可以成为计算机辅助设计的一个完整工具。另一个研究方向是将内部线条纳入我们的细化过程中。这也是一个有趣的挑战，因为我们不希望牺牲这种简单技术所允许我们实现的泛化能力。Nickolas S Sapidis. Inferring mirror symmetric 3d shapesfrom sketches.Computer-Aided Design, 45(2):301–311,2013. 2[5] D. DeCarlo, A. Finkelstein, S. Rusinkiewicz, and A. San-tella. Suggestive Contours for Conveying Shape. ACM SIG-GRAPH, 22(3):848–855, July 2003. 5[6] J. Delanoy, M. Aubry, P. Isola, A. Efros, and A. Bousseau.3D Sketching using Multi-View Deep Volumetric Prediction.ACM on Computer Graphics and Interactive Techniques,1(1):1–22, 2018. 1, 3, 5, 6, 8[7] M. Dvoroˇzˇn´ak, D. S`ykora, C. Curtis, B. Curless, O. Sorkine-Hornung, and D. Salesin. Monster mash: a single-view ap-proach to casual
我的内容管理
展开
