基于桥接的阶段学习方法生成单个RGB图像的复杂拓扑网格

4541一种从单个RGB图像生成复杂拓扑网格的唐嘉鹏1、韩晓光2、潘俊义1、贾奎1、童欣31华南理工大学电子信息工程学院2香港中文大学（深圳）深圳大数据研究院3微软亚洲研究院网址：msjptang@mail.scut.edu.cn，网址：hanxiaoguang@cuhk.edu.cneejypan@mail.scut.edu.cn，网址：xtong@microsoft.com，kuijia@scut.edu.cn摘要本文重点研究了从单个RGB图像中学习3D物体表面重建现有的方法通过使用不同的几何表示来实现不同程度的成功然而，它们都有自己的缺点，不能很好地重建那些复杂的拓扑结构的表面。为此，我们在本文中提出了一种基于桥接的阶段学习方法来应对这一挑战。我们使用骨架是因为它具有良好的拓扑保持性，同时具有较低的学习复杂度。为了从输入图像中学习骨架，我们设计了一个深度架构，其解码器基于一种新颖的并行流设计，分别用于合成曲线和曲面状骨架点。我们使用不同的形状表示的点云，体积和网格在我们的阶段式学习，以发挥各自的优势。我们还提出了多级使用的输入图像，以纠正预测误差，可能在每个阶段积累我们进行密集的实验，iments调查我们提出的方法的有效性定性和定量结果的代表对象类别的简单和复杂的拓扑结构，证明我们的方法优于现有的。我们将使我们的ShapeNet-Skeleton数据集公开可用。1. 介绍从单个RGB图像学习物体的3D表面重建是一个重要的课题，*平等捐款†通讯作者图1.我们提出的方法可以从一个单一的RGB视图的图像生成一个封闭的表面网格，通过正确地恢复复杂的拓扑结构。学术和实践的观点。由于不同对象实例的任意形状及其可能的复杂拓扑结构，该逆问题极具挑战性。最近的方法[4，7，27，30，8，11，24，6，16，28，19]利用深度网络的强大学习能力体积、点云或网格。这些方法各有优点，但也有各自的缺点.例如，基于体积的方法[4，7，30]利用卷积神经网络的建立人工神经网络（CNN）[23，14，26，10]，并简单地扩展CNN的3D版本以生成3D形状的体积表示;然而，它们的计算和分类复杂性都足够高，这阻止了它们被部署以生成高分辨率输出。另一方面，基于点云的方法[6，16]本质上难以生成光滑和干净的表面。考虑到网格表示是一种更有效的方法，4542对象表面的连续流形的高效离散近似，一些最近的方法[6，16]试图从单个输入图像直接学习网格重建。这些方法都是在假设点云初始网格化是可行的前提下，进行网格变形的;例如它们通常假定单位正方形/球面作为初始网格。尽管这些最近的方法取得了成功，但它们仍然受到生成复杂拓扑的表面网格的具有如图1所示的薄结构的那些。为此，我们在本文中提出了一种基于级联的、分阶段的深度学习方法，用于从单个RGB图像生成物体表面的网格重建。我们特别关注那些具有复杂拓扑结构的物体表面，例如，椅子或桌子具有局部的、细长的结构。我们选择中间骨架1是因为它具有良好的拓扑保持特性，同时与直接学习表面网格相比，学习复杂度较低我们提出的方法是由三个阶段。第一阶段学习从输入图像中生成骨架点，为此我们设计了一个深度架构，其解码器基于CurSkeNet和SurSkeNet的新颖为了训练CurSkeNet和SurSkeNet，我们计算ShapeNet实例的骨架形状表示[3]。 我们将公开我们的ShapeNet-Skeleton数据集。在第二阶段，我们首先将获得的骨架转换为粗体积表示，然后使用学习的3D CNN细化粗体积，从而产生基础网格，其中我们采用了独立子体积合成与全局结构正则化的策略，以降低产生高分辨率体积的复杂性。在最后一个阶段，我们通过从获得的体积中提取基础网格[17]并使用学习的Graph CNN（GCNN）[12，5，1，22]变形基础网格的顶点来生成最终网格结果我们的方法的三个阶段中的学习和推理基于不同的形状表示，它们分别利用了点云、体积和网格的优点。我们还提出了多级使用的输入图像，以纠正预测误差，可能在每个阶段积累。我们进行了深入的消融研究，显示了我们提出的方法的分期设计的有效性我们总结了我们的主要贡献如下。• 我们的方法是基于一个集成的阶段式学习，其中学习和推理在不同的阶段是基于不同的形状表示，1Skeleton形状表示是一种中轴变换（MAT）。虽然2D形状的MAT是1D骨架，但是对于3D模型，MAT通常由2D表面片组成由骨架曲线和骨架片组成的骨架中轴）通常称为中骨骼。利用点云、体积和网格各自的优点。我们还提出了多级使用的输入图像，以纠正预测误差，可能在每个阶段积累。• 本文提出了一种从单个RGB图像中学习复杂拓扑结构的物体表面网格的方法。我们对骨架的使用这是由于它具有良好的拓扑保持性，同时具有较低的学习复杂度。我们设计了一个骨架学习的深层架构，其解码器基于一种新颖的并行流设计，分别用于合成曲线和曲面类的拓扑点。为了训练网络，我们准备了ShapeNet- Skeleton数据集，并将其公开。• 我们进行了深入的消融研究，以调查我们提出的方法的有效性定性和对简单和复杂拓扑结构的典型对象类别的定量结果表明，我们的方法优于现有的方法，特别是对于那些具有局部薄结构的对象。2. 相关作品在本节中，我们只关注基于深度网络的完全对象重建算法的相关工作本文从以下三个方面进行了文献综述。从像素扩展的基于体积的生成器体素通常以二进制值或带符号距离的形式用于表示3D形状。因为它的规律性，大多数现有的基于深度网络的形状分析[32，2]或形状生成[4，7，30]方法采用它作为主要表示。例如，[4]的工作将3D卷积与长短期记忆（LSTM）单元相结合，以实现单视图或多视图RGB图像的体积网格重建。由于3D卷积算子的高计算成本，这些方法倾向于预测低分辨率体积网格。基于边界表面周围只有一小部分区域包含形状信息的观察，在最近的形状分析工作中采用了Oc树表示[20，29]。在[27]中还设计了卷积八叉树解码器，以支持具有有限时间和存储器成本的高分辨率在我们的工作中，我们的目标是生成物体的表面网格，而不是其实体体积。由于其效率和拓扑不敏感性，我们还利用基于体积的生成器将推断的骨架点云转换为实体体积，有效地弥合了骨架和表面网格之间的差距基于表面的生成器点云，从对象的表面采样，是最流行的3D形状表示之一。 Fan等人 [6]建议第一点可以4543线CurSkeNet阶段1阶段2阶段3潜向量一BGCNN我平方SurSkeNetKVKVMbM3DCNNMLP编码器1MLP编码器2编码器3图2.我们的整个管道。给定输入图像I，我们采用两个并行的MLP来推断阶段一中的骨架点K。在将K转换为粗体积Vk之后，我们通过3D CNN对Vk进行细化以获得V，并在第二阶段从V中提取基础网格Mb我们使用GCNN进一步优化Mb的顶点以获得最终网格M。操作a表示体素化，操作b表示移动立方体。生成神经网络，它是建立在一个深度回归模型训练的损失函数，评估两个无序点集的相似性，如倒角距离。虽然可以捕获粗略的形状，但生成的点是稀疏和分散的。网格作为流形曲面最自然的离散化形式，在图形学中有着广泛的应用。由于细胞神经网络的不规则结构，很难直接应用于网格生成。为了缓解这一挑战，[11，28]的方法采用额外的模板网格作为输入，并尝试学习变形以近似目标表面。由于受限于对初始网格的要求，它们不能进行无拓扑重构。另一种最近的方法，称为Brachasnet [8]，提出了变形多个2D平面贴片以覆盖对象的表面。在[19]中采用残差预测和渐进变形，降低了学习的复杂度，增加了更多的细节。它没有复杂的拓扑结构，但会导致严重的补丁重叠和漏洞。在我们的工作中，我们的目标不仅是生成一个干净的网格，但也捕捉正确的拓扑结构。为此，我们首先借用了[8]以推断中间骨架点，然后将中间骨架点转换为基本网格。最后，进一步采用[28]的方法生成几何细节。结构推断代替估计几何形状，许多最近的工作试图恢复物体的3D从一个单一的图像，邹等人。[33]提出了一种基元递归神经网络来顺序地预测一组长方体基元以近似形状结构。在[15]中提出了一种递归解码器，用于生成形状部件并推断合理的高层结构信息，包括部件连接、邻接和对称关系。这在[18]中进一步用于基于图像的结构推断。然而，长方体很难用于拟合曲线形状。此外，这些方法还需要大量的人工标记数据集。我们使用中间骨架，一个点云，来表示形状结构，这是更容易从地面真理获得的真理。参数线和方形元素的使用也简化了不同局部结构的近似。3. 所提出的方法我们首先概述了我们提出的用于从输入RGB图像生成表面网格的级联桥接方法，然后解释阶段式学习的细节。给定对象的输入图像I，我们的目标是恢复理想地捕获对象的3D形状的可能复杂拓扑的表面网格M这是一项极具挑战性的逆向任务;现有方法[11，28，8]对于具有相对简单拓扑的对象可能仅获得部分成功。为了解决这一问题，我们的核心思想是通过中间骨架的学习来连接物体表面的网格生成。如第1节所讨论的，基本原理是骨架形状表示保留了形状的主要拓扑结构，同时具有较低的学习复杂度。更具体地说，我们的网格生成过程是由以下三个阶段组成。在第一阶段，我们学习一个编码器-解码器架构，它将I映射到其中间骨架K，表示为紧凑的点云。在第二阶段中，我们通过首先将K转换为其粗略的体积表示Vk，然后使用学习的3D CNN（例如，的风格[9]。在最后一个阶段，我们通过从V中提取基础网格Mb来生成最终输出网格M，并使用学习的图CNN [22]进一步优化Mb每个阶段拥有其自己的图像编码器，因此所有三个阶段中的推断都由输入图像I引导。图2说明了我们的方法的整个管道。3.1. Meso骨架如第1节中所定义，形状的中间骨架表示为其中轴，并且3D模型的中轴由曲线骨架和中间片组成4544¨其从形状的局部区域自适应地生成。在这项工作中，我们利用[31]中介绍的骨架表示，即，一个紧凑的点云图8显示了我们要恢复的骨架示例。为了学习从输入图像生成骨架， 在这项工作中，我们为ShapeNet [3]准备了100吨的训练数据，如下所示：1）对于ShapeNet中的每个3D多边形模型，我们将其转换为点云; 2）采用文献[31]的方法提取中间骨架点;3)我们基于其相邻点的主成分分析将每个骨架点分类为曲线类或表面类类别我们将公开我们的ShapeNet-Skeleton数据集。CurSkeNet和SurSkeNet给定每个图像中对象的训练骨架点，我们设计了用于骨架学习的编码器-解码器架构，其中输入I首先被编码为潜在向量，然后被解码为骨架的点云。我们的编码器类似于现有的点集生成方法，如[6，8]。在这项工作中，我们使用ResNet-18 [10]作为图像编码器。我们的主要贡献是一个新的设计解码器architec- ture，将很快提出。我们注意到，人们可能会考虑使用现有的方法[6，8]从I生成K;然而，由于骨架的复杂，特别是薄的结构，它们往往会失败，如图8所示。我们的德-图3.我们的高分辨率骨架体合成方法的流水线我们将推断的骨架点K并行地转换为低分辨率体积V64和高分辨率体积V128。 给定V64、V128与输入图像I配对，提出全局引导子体积合成网络以输出V 128的细化体积。它由两个子网组成：一个网络从I和V 64生成粗略的骨架体积，而另一个网络在来自第一网络的输出的引导下逐片局部地增强V 128。其中{x∈K}和{y∈K}分别是预测点和训练点的集合此外，为了确保当地的康...拉普拉斯平滑的正则化子simulator也用于生成曲线和曲面样点。其定义为：编码器基于CurSkeNet的两个并行流，SurSkeNet，其设计用于合成Σ¨1L=x−¨pé，（2）曲线形和表面形区域。两CurSkeNet和SurSkeNet基于多层封装，圈¨x∈K|N(x)|¨p∈N（x）2[8]在《易经》中，有一种说法是：“天有不测风云，地有旦夕祸福。包括4个完全连接的层，其各自的大小为1024、512、256和3，其中非线性激活函数对于前3层为ReLU，对于最后一层为tanh。我们的SurSkeNet学习变形一组在开放单位正方形[0，1]2上定义的2D图元，产生所需的片材骨架点的局部近似。我们的CurSkeNet学习变形定义在开放单位线[0，1]上的一组1D图元;因此，它对它们进行仿射变换以形成曲线，并学习装配生成的曲线以近似曲线状骨架部分。在我们当前的实现中，我们使用CurSkeNet中的20个线图元和SurSkeNet中的20个方形图元。在第4.3节中，我们进行了消融研究，以验证CurSkeNet和SurSkeNet设计的有效性。网络训练我们使用曲线状和曲面状骨架点的训练数据来训练CurSkeNet和SurSkeNet。学习任务本质上是点集生成。与[8]类似，我们使用倒角距离（CD）作为损失函数之一。CD损失定义为：其中N（x）是点x的邻居。3.2. 从骨架到基础网格在本节中，我们介绍如何从所获得的骨架K生成基础网格Mb。要做到这一点，一个直接的方法是直接用手 工制 作的 方 法将K粗 化为 一个 体 积， 然后 使 用Marching Cubes [17]的方法生成基础网格。然而，这样的方法可能累积逐阶段预测误差。相反，我们依赖于原始输入I来校正可能的阶段误差，首先将K转换为其体积表示Vk，然后使用训练的3D CNN进行更精细和更准确的体积形状合成，从而产生体积V。然后可以通过将Marching Cubes应用于更精细的V来获得基础网格Mb。为了保持K捕获的拓扑结构，需要高分辨率的体积表示。 然而，这并不容易满足这是由于3D卷积运算的昂贵计算成本。 OctNet[20]可以减轻计算ΣLcd=最小值x−y<$2+Σ minx−y2，（1）然而，这是一个复杂和难以实施的负担。相反，我们将体积空间划分为重叠的子空间，x∈K y∈K2y∈K x∈K2卷，并对它们进行并行细化。 我们全局卷推断V我V64V64K643补丁1283V128643子体积合成全球指导细化图像指导3DConv+3DDeconv6436433DConv+3DDeconv323Resnet+FC+3DDeconv…Σ4545KK也遵循[9]并采用全局指导来保持子体积之间的空间一致性。更具体地说，我们首先将K转换为两个不同尺度的体积，记为Vl和VH。 我们设定|V l|=643和|V H|= 12833.3. 网格细化k k k k在这项工作中。 我们使用两个3D CNN网络进行全局搜索。和骨架体积的局部合成。训练全局网络以细化Vl并生成骨架体积KL3V 尺寸64 本地网络将子网络作为输入，大小为643的卷，这些卷均匀地从Vh，然后分别进行细化两我们的全局和局部细化网络基于3DU-Net架构[21]。当细化Vh的每个子体积时，Vl的对应32 ×3大小的子体积被连接以提供结构正则化。我们的方法的整体流水线如图3所示如图4所示，我们的方法不仅支持高分辨率合成，而且还保留了全局结构。图5.我们的网格细化网络。给定图像I和初始网格Mb，我们将I的逐像素特征（例如VGG-16）连接到顶点到目前为止，我们有基本网格Mb，它捕获底层对象表面的拓扑，但可能缺乏表面细节。为了用表面细节补偿Mb，我们采用了使用图CNN的网格变形方法[12，5，1，22]。使用图CNN的网格变形以Mb为输入，我们的图CNN简单地由几个图卷积层组成，每个卷积层都应用空间滤波操作到与Mb的每个顶点相关联的局部邻域。基于图的卷积层被定义为：hl+1=w0hl+ Σ w1hl，（3）图4. （a）输入图像; （b）推断的骨骼点;（c）仅卷综合;（d）增加全球指南;（e）增加图像指南。p p qq∈N（p）其中hl，hl+1是顶点pbe上的特征向量p p图像引导的体积校正为了校正来自子图生成阶段的可能累积的预测误差，我们通过学习独立的编码器-解码器网络来重用原始输入I，该网络被训练成将I映射到323大小的体积。我们使用ResNet-18作为编码器，使用几个3D去卷积层作为解码器。解码器的输出被合并到上述全局合成网络中，目的是获得更准确的VI，这最终有助于生成更好的V。从从单个图像生成3D体积的学习任务的角度来看[4，7，30，27]，我们的方法通过增加额外的骨架推理路径而优于现有方法。如图4所示，我们使用I进行纠错，大大改善了合成结果。基础网格提取给定V，我们使用Marching Cubes[17]以产生基本网格Mb，其理想地保留与骨架K的拓扑结构相同。因为V在高分辨率中，Mb将包含大量的顶点和面。为了减少最后阶段的计算负担，我们在Mb上应用QEM算法[13]以得到简化的网格用于后续处理。在应用卷积运算之前和之后，以及N（p）是p的邻居。w0和w1是可学习的参数应用于所有顶点的矩阵。与[28]类似，我们还将从I中提取的逐像素VGG特征与相应顶点的坐标连接起来，以增强学习。我们再次使用CD损失来训练我们的图CNN。为了使网格变形规则化，还增加了几个光滑项。一个是边缘正则化，用于通过限制输出边缘的长度来避免大的变形。另一个是正常损耗，用于保证输出表面的光滑性。几何细节一般存在于法线变化明显的区域。考虑到这一事实，为了引导GCNN更好地学习这些区域中的表面，我们相应地构建了加权损失函数。图5示出了这种加权策略的功效，其中尖锐边缘被更好地合成。4. 实验数据集为了支持我们提出的方法的训练和测试，我们从ShapeNet中的五个类别收集了17705个3D形状[3]：平面（1000），长凳（1816），椅子（5380），我VGG-16MMbGCNN投影&提取物4546图6. （a）输入图像;（c）PSG;（d）电子商务网;（e）Pixel2Mesh;（g）地面实况桌子（8509），枪支（1000）。数据集分为两部分，80%的形状用于训练，另一部分用于测试。我们将[4]提供的渲染图像作为输入数据集中的每个形状都被转换为点云（在表面上采样10000个点），作为网格细化网络的基础数据。实现细节输入图像的大小均为224*224。我们使用批量大小为32，学习率为1 e-3（80个epoch后降至3e-4）的120个epoch来训练CurSkeNet和SurSkeNet。骨架体积细化网络的训练分为三个步骤：1）全局体积推断网络以学习率1 e-4单独训练50个epoch（在35个epoch之后下降到1 e-5）; 2）训练学习率为1 e-5的子体积合成网络10个epoch;（3）全网优化。网格细化网络以学习率3e- 5训练50个epoch（20个epoch后降至1 e-5），使用批量大小1。4.1. 与最先进技术的比较我们首先评估了我们的整体管道对现有的单视图重建 方 法 。 3D-R2 N2 [4] 、 PSG[6] 、 P2P [8] 、 Pixel 2Mesh [28]因其受欢迎程度而被选中：3D-R2 N2是最著名的体积-作为Ric形状生成器，PSG是第一个基于深度回归模型的点集生成器，而MixasNet和Pixel2Mesh都是当前最先进的网格生成器。为了公平比较，这些模型在我们的预处理数据集下重新训练。定性结果目视比较如图6所示。如图所示，3D-R2 N2总是产生低分辨率体积，这会导致结构断裂。他们的结果也没有显示表面细节。PSG回归得到的点集稀疏、散乱，给三角网格的提取带来困难MeshasNet能够生成网格表示，而不会对形状的拓扑结构产生强烈的限制。然而，输出是非封闭的，并且遭受表面自穿透 ， 这 也 引 起 了 将 其 转 换 为 流 形 网 格 的 挑 战 。Pixel2Mesh仅限于0类模板网格输入的要求，很难对具有复杂拓扑结构的对象（如图所示的椅子）进行精确的该方法生成的闭合网格拓扑精确，细节丰富，从视觉效果上看，具有很大的优越性。对于如图所示的枪支的示例，我们的方法也优于Pixel2Mesh，这在另一方面表明所提出的方法也擅长恢复具有复杂结构的形状，而不涉及拓扑结构。4547类别CDEMDR2N2PSGAtlasNet Pixel2Mesh我们R2N2PSGAtlasNet Pixel2Mesh我们平面10.434 3.8241.5291.8901.36411.060 13.9458.9817.7286.026板凳10.511 3.5042.2641.7741.63910.5558.0539.1437.0836.059椅子4.7232.5531.3421.9231.0027.76210.2227.8668.3125.484火器10.176 1.4732.2761.7931.7849.76012.5559.8256.8876.413表12.230 5.4661.7512.1091.32111.1609.5619.0537.4425.688是说9.6153.3641.8321.8981.42210.059 10.8678.9747.4905.934表1.我们的方法与最先进的方法的定量比较。使用倒角距离（×103）和地球移动器在所有指标上越低越好。图7.从真实的照片和对象掩模（顶行），我们的方法成功地重建3D对象网格。结果的masNet（左下一行）对我们的（右下一行）。定量结果与Pixel2Mesh [28]类似，我们采用倒角距离（CD）和地球移动器它们都是在预测网格表面上采样的点集（10，000个点）和地面实况点云之间计算的。表1中报告了定量比较结果。值得注意的是，在这两个指标上，我们的方法在几乎所有列出的类别中都优于所有其他方法，特别是在具有复杂拓扑结构的模型上，如椅子和桌子。真实图像上的泛化图7示出了通过我们的方法在Pix3D[25]的三张真实照片上重建的3D形状，其中图像中的椅子和桌子是手动分段。结果如图7（a）所示，真实世界的图像与ShapeNet无关，而椅子杆仍然可以很好地重建。这验证了我们的方法的推广能力。4.2. 烧蚀技术在网格生成中的应用我们的整个框架包含多个阶段。在本节中，我们通过交替移动其中一个来进行消融研究w/o骨架推断基于我们的流水线，不使用骨架推断的替代解决方案是首先直接从图像生成体积，然后应用我们的网格细化模型输出最终结果。然后，我们通过使用OGN [27]作为基于图像的体积生成器来实现这种方法，用于高分辨率（1283）重建该方法与我们的方法进行了比较，如图9所示。如图所示，基于OGN的网格生成方法未能捕获导致不正确拓扑的薄结构。相比之下，我们的方法产生了更好的性能。w/o基于体素的校正在从我们的第一阶段推断骨架之后，通过直接应用用于体生成的腐蚀技术来获取基础网格是一种直接的方法，并且可以提取基础网格图10显示了这种方法与我们的方法的视觉比较可以看出，在没有体积校正的情况下，由骨架推断引起的错误预测将被转移到网格细化阶段，从而影响最终输出。我们提出的基于体素的校正网络有效地解决了这个问题。4.3. 骨架推理的评价在本节中，我们将与骨架推理方法的几种变体进行比较，以验证我们的最终模型是最佳选择。这些变体包括：“单点拟合”法直接采用PSG [6]对骨架点进行回归;“直线拟合”方法重新移动了模型的正方形流，只对多条直线进行变形以逼近骨架;“仅限正方形拟合”去除了我们模型的线条流，并使多个正方形变形以拟合骨架;“直线-正方形拟合”方法利用单个MLP来逼近骨架，将多条直线和多个正方形一起学习变形;“Ours w/olaplacian”代表我们的模型没有拉普拉斯平滑项。注意，拉普拉斯平滑度损失也用于“仅线性拟合”、“仅平方拟合”和“线性和平方拟合”的训练。定量结果所有这些方法都在CD度量上进行评价，结果见表2。可以看出，我们的最终模型优于所有其他模型。另一个阐述是拉普拉斯正则化子是非常有帮助的，以达到更好的精度。定性结果然后，我们报告了这些方法在图8中的采样示例如图所示，（一）（b）第（1）款（c）第（1）款4548图8.（a）输入图像;（b）仅点拟合;（c）仅线路装配;（d）只采用直角拟合;（e）直线和正方形拟合;（f）我们的非拉丁美洲人;（g）我们的最后文件;（h）地面实况。方法CD单点拟合1.185纯直线拟合1.649仅平方拟合1.185直线和正方形拟合1.252我们的w/o laplacian 1.621我们1.103表2.对我们的两个变种进行了定量比较，吨推理方法。报告了倒角距离（×103）图9.（b）最终网格，其基础网格使用OGN生成;（c）本方法生成的网格;（d）地面实况。图10.（a）输入图像;（b）推断骨架点;（c）用腐蚀技术从粗化后的骨架体中提取基本网格，然后合成网格;（e）地面实况。仅点拟合导致不提及结构的分散点。仅直线拟合无法恢复曲面形状的骨架部分.只适合方形不能捕捉细长杆和腿。直线和平方拟合的方法导致杂乱的输出，因为单个MLP难以近似不同的局部结构。如所观察到的，拉普拉斯损失的参与有效地改善了结果的视觉外观。5. 结论从物体的某个角度恢复物体的三维形状是计算机视觉领域中一个非常基本而又具有挑战性的课题拟议的框架将这一挑战性任务分为三个阶段。它首先恢复一个表示为点的三维中骨架，然后将这些骨架点用于固体体积合成的3DCNN。从中可以提取粗网格最后训练GCNN来学习网格变形以产生几何细节。在我们的实验定性和定量证明，建议的管道优于所有现有的方法。未来有两个方向值得探索：1）如何将整个管道变成一个端到端的网络; 2）尝试将对抗性学习应用于骨架点推断、体生成和网格细化，以进一步提高最终输出网格的质量。6. 承认国家自然科学基金（批准号：61771201）、广东省引 进 创 新 创 业 团 队 项 目 （ 批 准 号 ：2017ZT07X183）、2017年珠江人才引进计划创新创业团队（批准号：2017ZT07X152）和深圳基本面研究基金（批准号：KQTD2015033114415450和ZDSYS201707251409055）。（一）（b）第（1）款（c）第（1）款（d）其他事项4549引用[1] D. Boscaini，J. Masci、E. Rodolà，和M. M.布朗斯坦用各向异性卷积神经网络学习形状对应。神经信息处理系统，第3189-3197页[2] A. Brock，T. Lim，J. M. Ritchie和N.韦斯顿使用卷积神经网络的生成和判别体素建模arXiv预印本arXiv：1608.04236，2016。[3] A. X. 张， T. 放克豪瑟 L. 吉巴斯 P. 汉拉汉Q. Huang，Z. Li，S. Savarese，M. Savva，S.宋，H. Su等人Shapenet：一个信息丰富的3d模型库。arXiv预印本arXiv：1512.03012，2015。[4] C. B. Choy，D. Xu，J. Gwak，K. Chen和S. Savarese 3d-r2 n2：一种用于单视图和多视图三维物体重建的统一方法。欧洲计算机视觉会议，第628-644页[5] M. Defferrard，X.布列松和P。范德海恩斯具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统，第3844-3852页[6] H.范，H. Su和L.吉巴斯从单幅图像重建三维物体的点集生成网络。在2017年IEEE计算机视觉和模式识别会议（CVPR）上，第2463-2471页[7] R. Girdhar，D. F. Fouhey，M. Rodriguez和A.古普塔。学习对象的可预测和生成矢量表示。欧洲计算机视觉会议，第484-499页。施普林格，2016年。[8] T. Groueix，M. 费希尔 金湾，澳-地 C. 罗素和M.奥布莉Pakasnet：学习3D表面生成的纸加工方法。计算机视觉和模式识别，2018年。[9] X.汉，Z. Li，H. Huang，E. Kalogerakis和Y. Yu.使用深度神经网络进行全局结构和局部几何推理的高分辨率形状完成。2017年IEEE国际计算机视觉会议（ICCV），第85-93页[10] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 770[11] H. 卡托湾Ushiku和T.原田。神经三维网格渲染器。计算机视觉和模式识别，第3907-3916页，2018年。[12] T. N. Kipf和M。威林基于图卷积网络的半监督分类。2017年学习表征国际[13] L. Kobbelt，S. Campagna和H.- P. Seidel一个通用的网格抽取框架。在GraphicsInterface，vol.98，pages 43[14] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。神经信息处理系统进展25，第1097-1105页，2012年[15]J. Li，K.Xu，S.Chaudhuri，E.Yumer，H.zhang和L. Guibas Grass：生成递归自动编码器形 状 结 构 。 ACM Transactions on Graphics （ Proc. ofSIGGRAPH 2017），36（4）：to appear，2017.[16] C.- H.林角，澳-地Kong和S.露西密集三维物体重建的学习高效点云生成。arXiv预印本arXiv：1706.07036，2017。[17] W. Lorensen和H. E.克莱恩移动立方体：一种高分辨率三维表面构造算法。计算机图形学，1987年.[18] C. Niu，J. Li，and K.徐Im2struct：从单个rgb图像恢复3d形状结构。计算机视觉和模式识别，2018年。[19] J. Pan，J.Li，X.Han和K.贾残差网格：学习变形单视图三维重建网格在2018年3D视觉国际会议（3DV）上，第719- 727页IEEE，2018年。[20] G. Riegler，A. O. Ulusoy和A.盖革Octnet：学习- ING深3D表示在高分辨率。在IEEE计算机视觉和模式识别会议论文集，第3卷，2017年。[21] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络医学图像计算和计算机辅助干预，第234-241页[22] F. Scarselli，M. Gori，A. C. Tsoi、M. Hagenbuchner和G.蒙法迪尼图神经网络模型。IEEE Transactions onNeural Networks，20（1）：61[23] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。2015年学习表征国际会议[24] A.辛哈A. Unmesh，Q. Huang和K. Ramani Surfnet：使用深度残差网络生成3D形状表面。2017年IEEE计算机视觉和模式识别会议（CVPR），第791-800页[25] X. Sun，J. Wu，X. Zhang，Z. Zhang C.，中国古猿科Zhang ， T. Xue ， J.B. Tenenbaum 和 W.T. 弗 里 曼 。Pix3d：单图像3D形状建模的数据集和在IEEE计算机视觉和模式识别会议集，第2974-2983页[26] C. 塞格迪W. 刘先生，Y. 贾，P. Sermanet，S. E.里德D.安格洛夫，D。Erhan，V. Vanhoucke，和A.拉比诺维奇。更深的回旋。2015年IEEE计算机视觉和模式识别会议（CVPR），第1-9页[27] M. Tatarchenko，A. Dosovitskiy和T.布洛克斯八叉树生成网络：用于高分辨率3d输出的高效卷积架构。在2017年IEEE国际计算机视觉会议（ICCV），第2107-2115页，2017年。[28] N. Wang，Y. Zhang，Z. Li，Y.傅，W.刘和Y.- G.蒋Pixel2mesh：从单个RGB图像生成3D网格模型arXiv预印本arXiv：1804.01654，2018。[29] P. - S. Wang，Y.刘玉- X.郭角Y. Sun和X.童O-cnn：基于八叉树的卷积神经网络，用于3D形状分析。ACMTransactions on Graphics （ TOG ） ， 36 （ 4 ） ： 72 ，2017。[30] J.Wu，C. Zhang，T.薛湾，澳-地Freeman和J.特南鲍姆通过3D4550生成对抗建模神经信息处理系统的进展，第82-90页，2016年[31] S. Wu，H. Huang，M. Gong，M. Zwicker和D.科恩-奥深点巩固。ACM Transactions on Graphics（TOG），34（6）：176，2015。[32] Z. Wu，S.Song，中国黑杨A.Khosla，F.于湖，加-地Zhang，X.唐和J.肖。3d shapenets：体积形状的深度表示。在IEEE计算机视觉和模式识别集，第1912-1920页[33] C. Zou，E. Yumer，J. Yang，D. Ceylan和D.霍伊姆3d-prnn：用递归神经网络生成形状基元。2017年10月在IEEE计算机视觉国际会议（ICCV）上发表