没有合适的资源?快使用搜索试试~ 我知道了~
110383DN:三维变形网络Weiyue Wang1Duygu Ceylan2Radomir Mech2Ulrich Neumann11南加州大学2Adobe加利福尼亚州洛杉矶{weiyuewa,uneumann}@ usc.edu{ceylan,rmech}@ adobe.com摘要虚拟现实和增强现实中的应用创造了快速创建和轻松访问大型集的需求3D模型。解决这一需求的有效方法是基于参考来编辑或变形现有的3D模型,例如,一个2D图像,这是很容易获得。给定这样的源3D模型和可以是2D图像的目标,3D目标图像源网格3DN变形补片源网格3DN变形补片模型或作为深度扫描获得的点云,我们引入了3DN,这是一种端到端网络,它使源模型变形以类似于目标。我们的方法推断每顶点偏移位移,同时保持源模型的网格连接固定。 我们提出了一种训练策略,它使用了一种新的可微操作,网格采样操作,erator,推广我们的方法在源和目标模型与不同的网格密度。网格采样操作器可以无缝集成到网络中,以处理具有不同拓扑结构的网格。定性和定量的结果表明,我们的方法产生更高的qual- ity结果相比,最先进的基于学习的方法为3D形状生成。1. 介绍虚拟和增强现实以及机器人技术中的应用需要快速创建和访问大量3D模型。即使随着大型3D模型数据库[1]的可用性增加,与2D图像数据库的巨大规模相比,这种数据库的规模和增长也相形见绌。因此,基于参考图像或其他输入源(如RGBD扫描)编辑或变形现有3D模型的想法受到研究界的追捧。用于编辑3D模型以匹配参考目标的传统方法依赖于基于优化的管道,其需要用户交互[32]或依赖于分段3D模型组件的数据库的存在[9]。3D深度学习方法的发展[17,2,31,28,10]激发了更有效的替代方法来处理3D数据。事实上,许多方法图1:3DN将给定的源网格变形为基于参考目标的新网格。目标可以是2D图像或3D点云。在过去的几年里,已经提出了使用深度学习的3D形状生成。然而,其中许多都使用体素[33,5,37,29,24,30,34,27]或基于点的表示[3],因为神经网络中的网格和网格连接的表示仍然是一个悬而未决的问题。最近使用网格表示的几种方法假设固定拓扑[7,25],这限制了其方法的灵活性。本文描述了3DN,一种3D变形网络,其基于目标2D图像、3D网格或3D点云(例如,用深度传感器获取)。不像以前的工作,假设一个固定的topol- ogy网格的所有例子,我们利用网格结构的源模型。这意味着我们可以使用任何现有的高质量网格模型来生成新模型。具体而言,给定任何源网格和目标,我们的网络估计顶点位移向量(3D偏移)以使源模型变形,同时保持其网格连接性。此外,许多人造物体所表现出的全局几何约束在变形过程中被显式地保留,以增强输出模型的可扩展性。我们的网络首先从源和目标输入中提取全局特征。这些被输入到偏移解码器以估计每顶点偏移。由于获取源和目标之间的真实对应非常具有挑战性,因此我们使用无监督损失函数(例如,倒角和地球移动器一个困难-目标点云11039在测量网格之间的相似性时,虚构的是跨不同模型的变化的网格密度。想象一个由4个顶点和2个三角形表示的平面,而不是一组密集的平面三角形。即使这些网格表示相同的形状,基于顶点的相似性计算也可能产生大的误差。为了克服这个问题,我们采用了点云中间表示。具体来说,我们采样的变形源网格和目标模型上的一组点,并measure- sure的损失之间的结果点集。该措施引入了可微分网格采样算子,其传播特征,例如,偏移,从顶点到点以可微的方式。我们评估我们的方法,包括各种目标的3D形状数据集,以及真实的图像和分析,tial points扫描定性和定量的比较表明,我们的网络学习执行更高质量的网格变形相比,以前的学习方法。我们还展示了几个应用程序,如形状插值。总之,我们的贡献如下:• 我们提出了一个端到端的网络来预测3D变形。通过保持源的网格拓扑固定并保持诸如对称性之类的属性,我们能够生成合理的变形网格。• 我们提出了一个可微网格采样算子,以使我们的网络架构弹性的源和目标模型中的不同的网格密度2. 相关工作2.1. 三维网格变形3D网格编辑和变形受到了图形界的广泛关注,其中已经提出了大量基于保留局部拉普拉斯属性[20]或更多全局特征[4]的交互式编辑系统随着对不断增长的2D图像存储库和RGBD扫描的轻松访问,已经引入了利用参考目标的编辑方法。给定源和目标对,这些方法使用交互式[32]或重处理管道[9]来建立对应关系以驱动变形。深度学习最近的成功启发了处理3D数据的替代方法。Yumer和Mitra[36]提出了一种体积CNN,基于高级编辑意图的变形场。该方法依赖于基于语义控制器的模型编辑结果的存在。Kurenkov等人目前DeformNet [14]采用自由形式变形(FFD)模块作为其网络中的可微层。然而,该网络输出的是一组点,而不是一个变形的网格。此外,变形空间缺乏平滑性,点随机移动。Groueix等人[6]美国提出了一种方法来计算跨可变形模型(如人类)的对应关系然而,他们使用一个中间的共同模板表示,这是很难获得的人造物体。Pontes等人[16] Jack et al. [11]介绍学习FFD的方法。杨等人提出了Foldingnet[35],它将2D网格变形为3D点云,同时保留局部信息。与现有的方法相比,该方法能有效地处理不同拓扑结构的源网格,并保留原网格中的细节信息,从而生成更高质量的变形网格。2.2. 单视图三维重建我们的工作也与单视图3D重建方法有关,这些方法最近受到了深度学习社区的广泛关注。这些方法使用了各种3D表示,包括体素[33,2,5,37,29,24,30,34],点云[3],八叉树[23,8,26]和图元[38,15]。Sun等人。[21]提出了一个用于从单个图像进行3D建模的数据集。然而,姿势模糊和伪影广泛地出现在该数据集中。最近,Sinha et al.[19]提出了一种使用基于几何图像的表示来生成对象的表面的方法在类似的方法中,Groueix et al.[7]提出了一种使用一组参数表面元素生成3D形状的表面的方法。Hiro Haro et al.[13]和Kanazawa et al.[12]还使用可重构渲染器和逐顶点位移作为从图像集生成网格的变形方法。Wang等人。[25]介绍了一种基于图的网络,用于从输入图像重建3D流形形状。然而,这些最近的方法仅限于生成流形,并且要求3D输出对于所有示例都是拓扑不变的。3. 方法给定源3D网格和目标模型(表示为2D图像或3D模型),我们的目标是使源网格变形,使其尽可能接近目标模型。我们的变形模型保持三角形拓扑的源网格固定,只更新顶点的我们引入了一个端到端的3D变形网络(3DN)来预测这样的源网格的每个顶点的位移。我 们 将 源 网 格 表 示 为 S= ( V , E ) , 其 中V∈RNV×3是顶点的(x,y,z)位置,E∈ZNE×3是三角形的集合,并使用内-外编码对每个三角形进行顶点的骰子NV和NE分别表示顶点和三角形的数量目标模型T是H×W×3图像或3D模型。如果T是一个三维模型,我们将其表示为一组三维点T∈RNT×3,其中NT表示T中的点的数量。如图2所示,3DN将S和T作为输入并输出每个顶点的位移,即,偏移量,O∈RNV×3。11040vvv不目标编码器源编码器损失图2:3DN从源和目标提取全局特征。‘MLP’ denotes the ‘然后,这些特征被输入到偏移解码器,该解码器预测每个顶点的偏移以使源变形。我们利用损失函数来保留源(LLap,LLPI,LSym)中的几何细节,并确保变形输出与目标(LCD,LEMD)。最终变形网格为S′=(V′,E),其中V′=V+O。此外,当我们用源上的采样点云替换输入源顶点时,3DN可以被扩展以产生逐 3DN由分别从源和目标模型中提取全局特征的目标和源编码器以及利用这些特征来估计形状变形的偏移解码器组成。接下来,我们将详细描述每个组件。3.1. 形状变形网络(3DN)源和目标编码器。给定源模型S,我们首先统一采样S上的一组点,并使用PointNet [17]架构将S编码为源全局特征向量。类似于源编码器,目标编码器从目标模型提取目标全局特征向量。如果目标模型是2D图像,我们使用VGG [18]来提取特征。如果目标是3D模型,我们在T上采样点并使用PointNet。我们将源和目标全局特征向量连接成单个全局形状特征向量并馈送到偏移解码器。偏移解码器。 给定由源编码器和目标编码器表示的全局形状特征向量,偏移解码 器 学 习 函 数 F(·),该函数预测对于S的per_vere_x位移。换句话说,给定S中的顶点v=(x v,y v,z v),偏移解码器预测F(v)= ov=(x o,y o,z o)更新S '中的变形顶点为偏移解码器具有类似于PointNet分段网络的架构[17]。 然而,与将全局形状特征向量与每个点的特征相连接的原始PointNet架构不同,我们将原始点的位置与全局形状特征相连接。我们发现这使得能够更好地捕捉源中的顶点和点的位置分布,并导致有效的变形结果。我们在4.3节中研究了这种架构的重要性最后,我们注意到,我们的网络是灵活的,以处理不同数量的顶点的源和目标模型。3.2. 学习形状变形给定由3DN生成的变形网格S′和目标模型对应的三维网格T =( VT, ET),其中VT∈R NVT×3(N VNV),ET 剩下的任务是设计一个损失函数,S′与T的相似性。由于在S ′和T之间建立地面真实对应关系并不简单,因此我们的方法改为利用Fan等人引入的倒角和地球移动器的损失。[3]的文件。 为了使 为了克服这些损失对源模型和目标模型的不同网格密度的 鲁 棒 性 , 我 们 通 过 引 入 可 重 构 网 格 采 样 算 子(DMSO )对S′和T上均匀采样的点集进行操作。DMSO无缝集成在3DN中,并弥合了处理网格和点集损失计算之间的差距。v′= v + ov.偏移解码器很容易扩展到执行点云变形。当我们将输入顶点位置替换为点位置时,假设给定采样形式S中的点云中的点p=(xp,yp,zp),偏移解码器预测位移F(p)=op,并且类似地,变形的点是p′= p +op。微分网格采样算子。 如图3所示,使用DMSO对一组均匀的点从三维网格。 假设点p在由顶点v1,v2,v3包围的面e=(v1,v2,v3)上采样。p的位置为p =w1v1+w2v2+w3v3,目标模型/目标全局特征样品源全局特征变形顶点L圈源顶点偏移解码器源采样顶点点云顶点/点位置/目标LCD,点云LEMDConcat偏移变形顶点变形点云变形点云/LCD,LEMD,LLPI,L对称CNN/PointNet共享权重PointNetMLP网格采样算子11041CD22第二遍帮助网络处理稀疏网格。具体来说,给定在S上采样的点集,我们预测每个点的偏移,并计算上述倒角和地球移动器在所我们将这两个损失记为L点和L点。CD EMD图3:可微网格采样算子(最佳颜色视图)。给定一个面e=(v1,v2,v3),p在网络前向传递中使用重心坐标w1,w2,w3在e上采样。 在损失计算期间使用采样点。当执行反向传播时,p的梯度被传递回具有存储的权重w1,w2,w 3的(v 1,v 2,v3)。这个过程是有区别的。其中w1+ w2+ w3= 1是p的重心坐标。 给定原始顶点的任何典型特征,在我们的例子中,每个顶点的偏移量为ov1,ov2,ov3,p的偏移量为o p= w1 o v1 + w2 o v2 + w3 o v3。为了执行反向传播,每个原点的梯度-在测试期间,这第二遍是不必要的,我们仅预测S的每顶点偏移。我们注意到,我们使用合成数据训练模型,我们始终可以访问3D模型。因此,即使目标是2D图像,我们也使用相应的3D模型来计算点云形状损失。然而,在测试期间,我们不需要访问任何3D目标模型,因为偏移预测所需的全局形状特征仅从2D图像中提取。对称性损失。许多人造模型表现出全局反射对称性,我们的目标是在变形过程中保持这一点。然而,网状拓扑本身并不总是保证对称的,即,对称的椅子并不总是具有对称的顶点。因此,我们建议通过在镜像变形输出上采样点云M(PC)来保持形状对称性,并使用该镜像点云测量点云形状损失,最终的每顶点偏移量ovi简单地由gov计算 为wigovp 其中g表示梯度。iLsym(PC,PCT)=LCD(M(PC),PCT)我们使用不同损失的组合来训练3DN,我们接下来讨论。形状损失。 给定目标模型T,受[3]的启发,我们使用Chamfer和Earth Mover的距离来衡量变形源和目标之间的相似性。具体而言,给定在变形输出上采样的点云PC和在目标模型上采样的PCT,倒角损失定义为Σ+L EMD(M(PC),PC T)。(三)我们注意到,我们假设源模型的反射对称平面是已知的。在我们的实验中,我们使用ShapeNet [1]中的3D模型,这些模型已经对齐,使得反射平面与xz−平面重合。网格拉普拉斯损失。为了保留源网格中的局部几何细节并在网格表面上强制平滑变形,我们需要拉普拉斯坐标,L补片(PC,PCT)=p1∈PCminp2∈PCT p1−p2变形网格的颜色与原始网格相同源网格。我们会把这一损失作为Σ+p2∈PCTminp1∈PC p1−p2Llap=||二、||2.(四)我地球移动者ΣL网格( PC,PCT)=最小值p−φ(p)其中Lap是网格拉普拉斯算子,S和S′分别是原始网格和变形局部置换不变损失。最传统的德-EMDφ:PC→PCTp∈PC形成方法(如FFD)易于遭受可能在变形期间发生的自相交其中φ:PC→PCT是双射。我们计算采样点集之间的距离在源(使用DMSO)和目标模型上。此外,在源模型和目标模型上采样的点集上计算上述损失进一步有助于对不同网格密度的鲁棒性。在实践中,对于每个(S,T)源-目标模型对,我们还将在S上采样的点云与T一起通过解码器偏移,(见图4)为了防止这种自相交,我们提出了一种新的局部置换不变损失。具体地,给定点p和与p距离δ的相邻点,我们也希望在变形之后保持这两个相邻点之间的距离我们定义LLPI= − min(F(V + δ)− F(V),0).(五)变形补片:由网络生成点云w3梯度V1V3P样品WP1计算损失V2w211042(a)(b)(c)第(1)款图4:自相交。红色箭头是变形控制柄。(a)原始网格。(b)自相交变形. (c)合理的变形。其中δ是具有小幅度的矢量,0=(0,0,0)。在我们的实验中,我们定义δ∈{(0,0,0),(0,0,0),(0,0,0,0)}其中0 = 0。05. 这背后的直觉是保持点的局部排序,源头我们观察到,局部置换不变损失有助于在3D空间中实现平滑变形。考虑到上面定义的所有损失,我们训练3DN的组合损失为L=ωLL网格+ωLL网格+ωLL点+ωLL点+didate,我们选择这个嵌入中最近的邻居作为源模型。源模型是从上述模板集中选择的。在此过程中不需要类别标签信息,但是,在同一类别中查询最近的邻居。当给定一个目标2D图像进行测试时,如果没有给定所需的源模型,我们使用点集生成网络PSGN [3]来生成初始点云,并使用其最近的邻居作为源模型。评估指标。给定一个源和目标模型对(S,T),我们在定量评估中使用三个度量来比较变形输出S′和目标T:1)S ′和T上采样的点云之间的倒角距离(CD),2 ) S ′ 和 T 上 采 样 的 点 云 之 间 的地 球 移 动 器 距离(EMD),3)并集上的相交(IoU)之间的S ′和T的固体体素化。在计算这些度量之前,我们将我们的方法和以前的工作的输出规范化为单位立方体。我们还评估了我们的结果的视觉可接受性提供-1 CD2EMD3CD4EMDωL5Lsym+ωL 6Llap+ωL7LLPI,(六)其中ωL1,ωL2,ωL3,ωL4,ωL5,ωL6,ωL7表示损失的相对权重4. 实验在本节中,我们对3D目标模型(第4.1节)以及单视图重建(第4.2节)的形状重建进行了定性和定量比较。我们还进行烧蚀研究,我们的方法,以证明偏移解码器架构的有效性最后,我们提供了几个应用程序来证明我们的方法的灵活性更多的定性结果和执行细节见补充材料。数据集。在我们的实验中,我们使用ShapeNet Core数据集[1],其中包括13个形状类别和官方训练/测试分裂。对于潜在的源网格,我们使用与[11]中相同的模型模板集。此模板集中的每个类别有在训练基于2D图像的目标模型时,我们使用Choy等人提供的渲染视图。[2]的文件。我们注意到,我们训练了一个跨所有类别的单一网络。模板选择。为了对3DN的源和目标模型对进行采样,我们训练了一个基于PointNet的自动编码器来学习3D形状的嵌入。具体来说,我们表示每个3D形状作为一个统一的采样点集。编码器将点编码为特征向量,解码器根据该特征向量预测点的位置给定由编码器提取的特征组成的嵌入,对于每个目标模型,大量的定性例子。比较我们将我们的方法与最先进的重建方法进行比较。具体来说,我们比较三类方法:1)基于学习的表面生成,2)基于学习的变形预测,以及3)传统的表面重建方法。我们要指出的是,我们正在解决一个根本不同的问题,比表面生成方法。尽管从源网格开始似乎是有利的,但我们手头的问题并不容易,因为我们的目标不仅是生成与目标相似的网格,而且还要保留源的某些属性。此外,我们的源网格是从一组固定的模板中获得的,其中每个类别只包含30个模型。4.1. 点云数据的形状重建对于这个实验,我们将测试分割中的每个3D模型定义为目标,并基于上述自动编码器嵌入来识别测试分割3DN计算逐顶点位移以使源变形并保持源网格拓扑固定。我们评估质量的网格与替代网格技术。具体来说,给定一组采样点上所需的目标模型,我们重建一个三维网格使用泊松曲面重建。如图5所示,该比较表明,即使使用地面实况点集,生成保留尖锐特征的网格也不是微不足道的。相反,我们的方法利用源网格连接输出一个合理的网格。此外,我们在目标模型上的均匀采样点上应用基于学习的曲面生成技术。因此,我们希望PullasNet只执行没有任何变形的表面生成。我们也比较11043(a) 源模板(b)目标网格(c)目标点云(d)Poisson(e)FFD(f)Ours图5:给定ShapeNet数据集的源(a)和目标(b)模型,我们显示了通过我们的方法(g)获得的变形网格。我们还展示了从目标(c)上采样的一组点的泊松曲面重建(d) 我们还显示比较以前的方法杰克等人。(e)和EASNet(f)。飞机长椅箱汽车座椅陈列灯扬声器步枪沙发台式电话艇是说AtlasNet3.463.18 4.20 2.84 3.47 3.97 3.79 3.83 2.44 3.19 3.76 3.87 2.993.46EMDFFD我们1.882.02 2.50 2.11 2.13 2.69 2.42 3.06 1.55 2.44 2.44 1.88 2.000.791.98 3.57 1.24 1.12 3.08 3.44 3.40 1.79 2.06 1.34 3.272.242.26AtlasNet2.162.91 6.62 3.97 3.65 3.65 4.48 6.29 0.98 4.34 6.01 2.44 2.733.86CDFFD我们3.224.53 6.94 4.45 4.99 5.98 8.72 11.97 6.29 6.89 3.61 4.410.382.40 5.26 0.90 0.82 5.59 8.74 9.27 1.52 2.55 0.97 2.66 2.775.693.37AtlasNet56.953.3 31.3 44.0 47.9 48.0 41.6 33.2 63.4 44.7 43.8 58.7 50.946.7IOUFFD我们29.042.3 28.4 21.1 42.2 27.9 38.9 52.5 31.9 34.7 43.3 22.9 47.771.040.7 43.6 75.8 66.3 40.4 25.1 49.2 40.0 60.6 57.9 50.1 42.635.651.1表1:ShapeNet核心数据集上的点云重建结果。是平均倒角距离(×0. 001,CD),点上的地球移动器对于CD和EMD,越低越好。对于IoU,越高越好。Jack等人的方法。[11](FFD),其引入了一种基于学习的方法来将自由形式变形应用于给定的模板模型以匹配输入图像。该网络由一个模块组成,该模块基于从输入图像中提取的特征来预测FFD参数。我们重新训练这个模块,使其使用从3D目标模型上采样的点提取的特征。如图5所示,我们的方法生成的变形网格比以前的方法质量更高我们还在表1中报告了定量数字。虽然AtlastNet基于Chamfer Distance实现了较低的误差,但我们在其结果中观察到了我们还观察到我们的变形结果比FFD更平滑。4.2. 单视图重建我们还将我们的方法与最近最先进的基于单视图图像的重建方法进行了比较,包括[25]第25话:“你是我的朋友”具体来说,我们从测试分割中选择一个目标渲染图像,并输入到前面的方法中。对于我们的方法,除了这个目标图像之外,我们还提供了从模板集中选择的源模型我们注意到,我们的工作范围不是单视图重建,因此与Pixel2Mesh和MixasNet的比较并不完全公平。然而,定量(见表2)和定性(图6)结果仍然提供了有用的见解。虽然图6中的MixasNet和Pixel2Mesh的渲染输出在视觉上是令人愉快的,但它们的结果中经常存在自相交和断开的表面。图7通过在线框模式下渲染输出网格演示了这一点。此外,如图7所示,虽然表面生成方法很难捕获形状细节,如椅子把手和汽车车轮,但我们的方法保留了源网格中的这些细节。11044飞机长椅箱汽车座椅陈列灯扬声器步枪沙发台式电话艇是说AtlasNet3.393.22 3.36 3.72 3.86 3.12 5.29 3.75 3.35 3.14 3.98 3.193.67EMD Pxel2meshFFD2.982.58 3.44 3.43 3.52 2.92 5.15 3.56 3.04 2.70 3.52 2.66 3.942.633.96 4.87 2.98 3.38 4.88 7.19 5.04 3.58 3.70 3.56 4.11 3.863.344.13我们3.302.98 3.21 3.28 4.45 3.91 3.99 4.47 2.78 3.31 3.94 2.70 3.923.56AtlasNet5.986.98 13.76 17.04 13.21 7.18 38.21 15.96 4.59 8.29 18.08 6.35 15.8513.19CD Pixel2meshFFD6.106.20 12.11 13.45 11.13 6.39 31.41 14.52 4.51 6.54 15.61 6.04 12.663.4113.73 29.23 5.35 7.75 24.03 45.86 27.57 6.45 11.89 13.74 16.93 11.3111.2816.71我们6.757.96 8.34 7.09 17.53 8.35 12.79 17.28 3.26 8.27 14.05 5.18 10.209.77AtlasNet39.234.2 20.7 22.0 25.7 36.4 21.3 23.2 45.3 27.9 23.3 42.5 28.130.0IOU Pixel2meshFFD51.540.7 43.4 50.1 40.2 55.9 29.1 52.3 50.9 60.0 31.2 69.4 40.130.344.8 30.1 22.1 38.7 31.6 35.0 52.5 29.9 34.7 45.3 22.0 50.847.336.7我们54.339.8 49.4 59.4 34.4 47.2 35.5 45.3 57.62 60.7 31.3 71.5 46.548.7表2:ShapeNet渲染图像的定量比较。CD(×0. 001)、EMD(×100)和IoU(%)。图7:对于给定的目标图像和源模型,我们展示了Pixel2Mesh(P2M)、P2M和我们的方法(3DN)在线框模式下渲染的真实模型和结果,以更好地判断网格的质量请放大PDF查看详情。目标源GT FFD P2M 3DN FFD P2M 3DN图6:给定一个目标图像和一个源,我们显示FFD、P2M、Pixel2Mesh(P2M)和3DN的变形结果我们还展示了地面实况目标模型(GT)。对真实图像的评价。我们进一步评估我们的可以在网上找到的真实产品图像上的方法对于每个输入图像,我们如前所述选择源模型尽管我们的方法仅在合成图像上训练,但我们观察到它推广到 真 实 图 像 , 如 图 8 所 示 。在 大 多 数 情 况 下 ,Pixel2Mesh和MixasNet会失败,而我们的方法是能够产生合理的结果,通过利用源网格。4.3. 消融研究我们研究了不同损失的重要性和ShapeNet椅子类别上的偏移解码器架构。我们将我们的最终模型与变体进行比较,包括1)没有对称性损失的3DN,2)没有网格拉普拉斯损失的3DN,3)没有局部置换不变性损失的3DN,以及4)将全局特征与中间层特征融合,而不是原始点位置(详细信息请参见补充材料)。我们在表3中提供了定量结果。对称性损失有助于变形产生合理的对称形状。 局部置换和拉普拉斯损失有助于在3D上获得变形场的平滑度11045S不图9:不同源-目标对的变形‘S’图8:在线产品图片的定性结果。第一行显示了在线废弃 的 图 像 。 第 二 行 和 第 三 行 分 别 是 MixasNet 和Pixel2Mesh的结果。最后一行是我们的结果。源目标1插值目标2图10:形状插值。表3:ShapeNet渲染图像的定量比较。'-x'表示没有x损失 。 分 别 为 CD ( ×1000 ) 、 EMD ( ×0. 01 ) 和 IoU(%)。空间并沿着网格表面。然而,中间层融合使得网络很难收敛到一个有效的变形空间。4.4. 应用随机对变形。在图9中,我们显示了随机选择的源和目标模型对的变形结果每行的第一列是源网格,而每列的第一行是目标网格。每个网格单元显示对应的源-目标对的变形结果形状插值。图10显示了形状插值结果。每行显示从两个目标网格和源网格生成的插值形状。使用目标形状的全局特征表示的加权和来生成每个中间形状。请注意插值形状如何从第一个目标逐渐变形到第二个目标。形状修复。我们以RGBD数据产生的部分扫描的形式在目标上测试我们在第4.1节中训练的模型[22]。我们在图11中提供了选择不同源模型的结果。我们注意到,AtlastNet在这种部分扫描输入上失败。ScanSrc1Out1Src2Out2Src3Out3AnchasNet图11:使用真实点云扫描作为输入的形状修复。Src表示源网格,变形网格。5. 结论我们已经提出了3DN,一个端到端的网络架构网格变形。给定源网格和目标(可以是2D图像、3D网格或3D点云的形式),3DN通过推断每个顶点的位移来使源变形,我们将我们的方法与最近的基于学习的表面生成和变形网络进行比较,并显示出优越的结果。然而,我们的方法并非没有局限性。某些变形确实需要改变源网格拓扑,例如,当将没有把手的椅子变形为有把手的椅子时,如果在源模型或目标模型中存在大洞,则倒角和地球移动器除了解决上述限制外,我们未来的工作还包括通过利用可微渲染器来扩展我们的方法以预测网格纹理[13]。CD EMD IoU3DN4.50 2.06 41.0- 对称4.78 2.73 36.7- 网格拉普拉斯算子4.55 2.08 39.8- 局部置换5.31 2.96 35.4中层融合6.63 3.03 30.911046引用[1] A. X. 张, T. 放克豪瑟 L. 吉巴斯 P. 汉拉汉Q. Huang,Z. Li,S. Savarese,M. Savva,S.宋,H. 苏肖湖,加-地Yi和F. Yu. Shapenet:一个信息丰富的3D模型存储库。arxiv,2015.[2] C. B. Choy,D. Xu,J. Gwak,K. Chen和S. Savarese 3d-r2 n2:一种用于单视图和多视图3d对象重建的统一方法在ECCV,2016年。[3] H.范,H. Su和L.吉巴斯一种从单幅图像重建三维物体的点集生成网络。在CVPR,2017年。[4] R. Gal,O. Sorkine,N. J. Mitra和D.科恩-奥iwires:一种用 于 形 状 操 作 的 分 析 和 编 辑 方 法 。 ACM Trans. onGraph. ,28(3),2009.[5] R. Girdhar,D. Fouhey,M. Rodriguez和A.古普塔。学习一个可预测的和生成的矢量表示的ob-batch。在ECCV,2016年。[6] T. Groueix,M.Fisher,V.G. 金湾,澳-地Russell和M.奥布莉3d编码:通过深度变形的3d对应。在ECCV,2018。[7] T. Groueix,M.Fisher,V.G. 金湾,澳-地Russell和M.奥布莉学习3D表面生成的一种方法在CVPR,2018年。[8] C. Hane,S. Tulsiani和J. 马利克三维物体重建的层次表面预测在3DV,2017年。[9] Q. Huang,H.Wang和V.科尔顿。通过图像和形状集合的联合分析实现单视图ACM事务处理图表,2015年。[10] Q.黄,W. Wang和U.诺伊曼递归切片网络用于点云数据的三维分割。arXiv预印本arXiv:1802.04402,2018。[11] D.杰克,J.K. Pontes,S.斯里德哈兰角Fookes,S. 设拉子,F. Maire和A.埃里克森学习自由变形的三维物体重建。在ACCV,2018年。[12] A. Kanazawa,S.科瓦尔斯基河Basri和D. W.雅各布斯从2d图像学习动物的3d变形。2016年在欧洲出版[13] H. 卡托湾Ushiku和T.原田。神经三维网格渲染器。在CVPR,2018年。[14] A. Kurenkov,J.Ji,黑穗醋栗A.Garg,V.Mehta,J.瓜克角蔡,和S. Savarese Deformnet:用于从单个图像重建3d形状的自由形式变形网络。arXiv预印本arXiv:1708.04672,2017。[15] C. Niu,J. Li,and K.徐Im2struct:从单个rgb图像恢复3d形状结构。在CVPR,2018年。[16] J. K.庞特斯角孔,S. Sridharan,S. Lucey,A. Eriksson和C.福克斯Image2mesh:一个用于单图像三维重建的学习框架。在ACCV,2017年。[17] C. R. Qi,H. Su,K. Mo和L.吉巴斯Pointnet:对点集进行深度学习,用于3D分类和分割。在CVPR,2017年。[18] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv:1409.1556,2014。[19] A.辛哈A. Unmesh,Q. Huang和K. Ramani Surfnet:使用深度残差网络生成3D形状表面。在CVPR,2018年。[20] O. Sorkine、D. Cohen-O r,Y. Lipman,M. Al e xa,C. R? ssl和H.P. 赛德尔拉普拉斯曲面编辑。在欧洲图形,2004年。[21] X. Sun,J. Wu,X. Zhang,Z. Zhang C.,中国古猿科Zhang , T. Xue , J.B. Tenenbaum 和 W.T. 弗 里 曼 。Pix3d:单图像3D形状建模的数据集和在CVPR,2018年。[22] M. Sung,V. G.金河,巴西-地Angst和L. Guibas用于形状 补 全 的 数 据 驱 动 结 构 先 验 ACMTransactions onGraphics(Proc. SIGGRAPH Asia),2015年。[23] M. Tatarchenko,A. Dosovitskiy和T.布洛克斯八叉树生成网 络: 用于 高分 辨率3d输出 的高 效卷 积架 构。InICCV,2017.[24] S. Tulsiani,T. Zhou,中国古柏A. A. Efros和J.马利克通过可微射线一致性进行单视图重建的多视图监督。在CVPR,2017年。[25] N. Wang,Y. Zhang,Z. Li,Y.傅,W.刘和Y.- G.蒋Pixel2mesh:从单个RGB图像生成3D网格模型arXiv预印本arXiv:1804.01654,2018。[26] P. - S.王角Y.太阳,Y.刘,和X。童自适应o- cnn:一种基于面 片的三维形状 深度表示方 法。arXiv预印本arXiv:1809.07917,2018。[27] W.王,英-地Huang,S.你C Yang和U.诺伊曼使用3d生成对抗网络和递归卷积网络进行形状修复。InICCV,2017.[28] W.王河,巴西-地于角,澳-地Huang和U.诺伊曼SGPN:用于 三维 点云 实例 分割 的相似 性组 建议 网络 。在CVPR,2018年。[29] J.Wu,Y. Wang,T. Xue,X.太阳,W。T. Freeman和J.B.特南鲍姆MarrNet:通过2.5D草图进行3D形状重建。在NIPS,2017年。[30] J. 吴角,加-地Zhang,X.Zhang,Z.Zhang,W.T. 弗里曼和J. B.特南鲍姆学习形状先验用于单视图3d完成和重建。在NIPS,2018年。[31] Z. Wu,S.Song,中国黑杨A.Khosla,F.于湖,加-地Zhang,X.唐和J.肖。3d shapenets:体积形状的深度表示。在CVPR中,第1912-1920页[32]K. Xu,H. 郑惠南 Zhang,L. 科恩奥尔湖 刘翔的成功Y.雄照片启发模型驱动的三维物体建模。ACM Trans.Graph. ,30(4):80:1[33] X. 杨 , J.Yang , E.Yumer , Y.Guo 和 H. 李 你 透 视Transformer网络:学习单视图3D对象再现,无需3D监督。在NIPS,2016年。[34] G. Yang,Y. Cui,S. Belongie和B.哈里哈兰学习单视图三维重建与有限的姿态监督。在ECCV,2018。[35] Y.杨角,澳-地冯,Y. Shen和D.田Foldingnet:通过深度网格变形的点云自动编码器。在CVPR,2018年。[36] M. E. Yumer和N.J. 米特拉用3d卷积网络学习语义在ECCV,2016年。[37] R. Zhu,H. Kiani Galoogahi角Wang和S.露西重新思考重投影:关闭从单个图像进行姿态感知形状重建的循环11047InICCV,2017.[38] C. Zou,E. Yumer,J. Yang,D. Ceylan和D.霍伊姆 3d-prnn : 用 递 归 神 经 网 络 生 成 形 状 基 元 。InICCV,2017.
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 十种常见电感线圈电感量计算公式详解
- 军用车辆:CAN总线的集成与优势
- CAN总线在汽车智能换档系统中的作用与实现
- CAN总线数据超载问题及解决策略
- 汽车车身系统CAN总线设计与应用
- SAP企业需求深度剖析:财务会计与供应链的关键流程与改进策略
- CAN总线在发动机电控系统中的通信设计实践
- Spring与iBATIS整合:快速开发与比较分析
- CAN总线驱动的整车管理系统硬件设计详解
- CAN总线通讯智能节点设计与实现
- DSP实现电动汽车CAN总线通讯技术
- CAN协议网关设计:自动位速率检测与互连
- Xcode免证书调试iPad程序开发指南
- 分布式数据库查询优化算法探讨
- Win7安装VC++6.0完全指南:解决兼容性与Office冲突
- MFC实现学生信息管理系统:登录与数据库操作
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功