三维表面的纹理，并将它们与目标3D形状对齐

1465AUV-Net：学习对齐的UV贴图用于纹理传输和合成陈志勤1，2尹康学1SanjaFidler1，3，4NVIDIA1西蒙弗雷泽大学2多伦多大学3Vector Institute4摘要在本文中，我们解决了三维形状的纹理表示的问题，具有挑战性的和未开发的任务，纹理转移和合成。以前的作品要么应用球形纹理映射，这可能会导致大的失真，或使用连续的纹理字段，产生光滑的输出缺乏细节。我们认为用图像表示纹理并通过UV映射将其链接到3D网格的trans-mandrel方式更可取，因为合成2D图像是一个研究得很好的问题。我们提出了AUV-Net，它通过将不同3D形状的相应SEMANIC部分映射到UV空间中的相同位置来学习将3D表面嵌入到2D对齐的UV空间中。因此，纹理跨对象对齐，并且因此可以通过图像的生成模型容易地合成。纹理对齐是在一个无监督的方式学习一个简单而有效的纹理对齐模块，灵感来自传统的线性子空间学习的作品。学习的UV映射和对齐的纹理表示使各种应用，包括纹理传输，纹理合成，和纹理的单视图3D重建。我们在多个数据集上进行实验，以证明我们的方法的有效性。1. 介绍在过去的几年里，三维形状重建和合成领域取得了重大进展。通过利用深度学习的力量，一些作品从体素、点云、单视图和多视图图像重建3D形状，并具有各种输出形状表示[12，14，15，20，24，30，51]。3D生成模型也被提出来合成新的形状[4，11，19，34，39]，目的是使3D内容创作民主化。然而，尽管纹理在将3D形状带入生活中的重要性，但很少有方法解决3D形状的语义感知纹理转移或合成[5，10，18，22，35，36，50]。以前的纹理生成工作主要依赖于将球形网格模板变形为目标形状[5，10，22，35]，因此获得定义在图1.AUV-Net学习一组3D形状的对齐UV贴图，使我们能够轻松地在形状之间传输纹理。球体的表面，它可以被重新投影成一个正方形的NeuTex [47]使用任意表面拓扑的神经隐式表示生成3D形状，但将形状的表面嵌入到球体上，这也导致球形纹理映射。球形纹理贴图只能支持有限的拓扑结构，并且可能会对动物四肢等薄的部分引入严重的扭曲[27，43]。另一种工作是使用隐式纹理场进行纹理合成[32]，而不依赖于显式纹理映射。尽管纹理场已成功应用于多视图图像再现[31]，但它们主要用于拟合单个对象或场景。生成模型通常遭受过度平滑的合成纹理[37，48]。相比之下，计算机图形学中的传统UV映射处理任意形状拓扑，并通过将表面切割成碎片并将不同碎片映射到2D UV平面上的不同区域来避免它通过将纹理存储在1466高分辨率纹理图像。但是，UV映射通常是由3D艺术家创建的，因此在不同的形状中不一致。因此，使用这种表示纹理合成和转移将需要密集的形状对应。在本文中，我们提出了训练一个神经网络来预测UV映射和纹理图像联合，旨在高质量的纹理传输和合成，而不需要符合预定义的形状拓扑。具体来说，我们的网络学习将网格表面上的3D坐标嵌入到2D对齐的UV空间中，其中不同3D形状的相应部分映射到纹理图像中的相同位置，如图1所示。这种对齐是通过一个简单而有效的纹理对齐模块实现的，该模块受传统线性子空间学习方法（如主成分分析（PCA））的启发，如图3所示。该网络生成由所有形状纹理共享的基础，并预测输入特定系数，以将每个形状的纹理图像构造为基础图像的线性组合。这迫使纹理图像对齐，以便它们可以有效地分解为基础图像的组合，如图2所示。然后，网络通过学习UV映射来重建输入形状的颜色，以索引对齐的纹理图像。为了展开复杂结构或拓扑的3D形状，我们进一步引入了一个掩蔽网络，该网络将形状切割成多个部分以减少UV映射中的失真。我们的方法有效地对齐所有形状的纹理，使我们能够交换不同对象之间的纹理，通过简单地替换一个对象的纹理图像与其他。通过我们的方法产生的对齐的高质量纹理图像它们还能够从单个图像重建纹理3D形状。我们对多个类别进行了广泛的实验，包括人类头部，人类身体，哺乳动物，汽车和椅子，以证明我们的方法的有效性。2. 相关工作我们讨论以前的工作是最相关的，我们在纹理传输和合成的3D形状领域。基于模板的方法假设所有目标形状都可以通过变形模板网格来表示，通常是球体[5，10，22，27，35，43]或平面[33，46]。给出了模板网格的UV映射，并将其转换为变形后的目标形状然而，通过施加网格模板，这些方法通常不能捕获细节，特别是当目标形状的拓扑或结构复杂时。例如，当将球体变形为人体时，很难准确地重建手指。即使变形成功，当手指从人体投影到球体然后投影到其纹理图像时艺术家的UV贴图。另一行工作[8，50]不假设模板网格给定，而是假设UV贴图与3D形状一起提供的UV地图和纹理通常由艺术家建模，并且可以是任意布局。为了解决这个问题，这些方法通常需要纹理图像或3D形状的地面真实语义分割用于语义感知纹理合成。在我们的工作中，我们的目标是执行纹理合成没有这样的监督。自动UV映射在计算机图形学中也得到了广泛的研究，尽管是针对单个形状。它包括具有一定约束的网格参数化和曲面切割，以生成具有磁盘拓扑结构的图表。我们参考[38]，了解相关技术的调查。与这些传统方法不同的是，我们学习一组形状的对齐UV贴图。离散化和彩色化。一些方法不是采用UV贴图来将纹理的维度从3D减少到2D，而是将3D形状离散为“原子”，然后对每个“原子”进行着色。当形状被表示为体素网格时，可以通过预测每个体素的颜色来纹理化形状[9，41]。对于三角形网格，每个顶点的颜色都可以预测[17]。然而，由于离散化是在3D中而不是在2D（像素）中，这些方法要么不能按比例放大，要么由于表示的不规则性而不能有效地预测颜色。纹理字段[32]预测连续3D空间中每个3D点的颜色。NeRF家族[31]也采用这种方法，通过使用观察方向作为预测每个点的颜色的附加条件由于NeRF家族不直接生成3D形状的纹理，本文主要讨论和比较纹理场。纹理场的一个主要问题是它不能表示高频细节，这是它使用的MLP的一位置编码[31]和SIREN [40]被提出来缓解这个问题，它在单一形状的过拟合上效果很好。然而，在生成性任务中，per-cartridge显著下降。隐式方法的结果往往是平滑的，缺乏高频细节[6，40].形状对应。有大量的工作发现了形状之间的密集对应关系[16，28]，这也可以实现纹理转移。然而，这些方法在寻找对应时不考虑颜色，这可能会妨碍它们的性能。3. 我们的方法在本节中，我们首先介绍我们的2D核心对齐模块，并在第3.1节中通过2D到2D图像对齐实验对其进行验证。然后，我们在第3.2节中解释了我们的网络架构，用于学习3D形状的对齐UV贴图。最后，在第3.3节中，我们展示了1467图2.人脸数据集上的2D玩具实验结果我们的网络通过学习一组基础图像来重建输入图像（a）(d)以及线性地将它们组合成对齐的纹理图像（c），然后通过学习的UV映射将纹理图像（c）变形为输出（b）学习的UV映射可用于将输入图像（a）变形为对齐的高质量纹理图像（e）。图3.在人脸数据集上进行的2D玩具实验的网络架构，以展示我们对齐模块的概念。我们的方法，包括纹理转移，纹理合成，和纹理预测从单一的图像。3.1. 纹理对齐模块学习一组形状的对齐纹理是一项复杂的任务。然而，我们发现，一个简单的对齐模块表现得出奇的好。在我们介绍我们的网络三维形状，我们将使用一个玩具二维实验来演示如何对齐模块的工作。任务给定一组随机姿态的人脸图像，如图2（a）所示，我们的目标是将它们对齐到规范姿态，如图2（e）所示。我们从CelebA-HQ [25，29]中获取1，000张人脸图像，并执行随机透视变换以获得128 x128的训练图像，如图2（a）中所示。为了将此任务与纹理映射联系起来，可以将图2（a）中的训练图像视为2D中的正方形，而图2（b）中的训练图像则是2D中的正方形。2（e）是它们的对齐纹理图像。正方形形状中每个像素的颜色必须从形状的纹理图像中检索洞察力.我们从经典的线性子空间学习方法（如特征脸[44]）中获得灵感，其中通过PCA为一组面部图像计算基，以便将每个面部分解为特征脸的加权和。请注意，PCA在图像对齐时效果最好。因此，如果一个网络被设计成分解输入信息，年龄分解为基础图像的加权和，并允许在分解之前对输入图像进行变形，则网络应该学习将输入图像对准到规范姿态，并分解对准的图像，以便最小化重建误差。框架. 图3示出了我们的对准模块针对2D图像进行操作。它由三个神经网络组成：一个基生成器，用于预测一组基图像;一个编码器，用于预测系数，以加权基图像;和一个UV映射器，用于预测每个查询点的UV坐标。编码器还预测形状代码以调节UV映射器。基础生成器。我们的基础生成器是一个多层感知器（MLP），它将一个2D点（x，y）作为输入，并输出该点的颜色对于N个基本图像，网络输出N个值（N个灰 度 颜 色 ） 。 在 这 个 玩 具 2D 实 验 中 ， 我 们 使 用N=128。我们采用MLP生成的基础，因为它是完全可微的基础和输入点坐标的颜色。相比之下，如果应用卷积神经网络（CNN）或可学习权重网格来生成基础，则需要使用查询点索引输出网格，将从输出颜色到基础的梯度和查询点坐标限制为小邻域。UV映射器。 一旦经过训练，我们就可以将查询点的规则网格输入到基础生成器中，以获得对齐的基础图像，例如图11中的那些2（d），以及图2（d）中所示的对齐的纹理图像2（c）通过将基本图像与系数相乘。然而，在训练时，我们需要对纹理图像进行第2段（a）分段。这是通过UV映射器实现的，它将从正方形采样的查询点映射到UV坐标中，以索引纹理图像，如图3所示。最终的变形输出如图2（b）所示。UV映射器是以形状潜在代码为条件的MLP。它将与形状代码连接的2D点坐标作为输入，并输出UV坐标。编码器和损失函数。由于输入是图像，因此我们使用2D CNN作为编码器来预测形状代码1468·−·图4.我们的AUV网络的网络架构和系数。由基生成器产生的变形基与系数相乘以产生最终输出，如图3所示。我们使用输出和输入图像之间的均方误差（MSE）作为重建损失。在训练的早期阶段（前几个时期），我们应用先验损失，即，MSE之间的查询点坐标和它们相应的UV坐标，以鼓励UV映射器执行身份映射，使基础初始化具有适当的方向，规模和位置。获得高质量的纹理图像。训练后，我们的网络产生对齐的纹理图像，如图所示。第2段（c）分段。然而，图像质量低，因为它们是由有限数量的过度平滑的基础图像构成的为了获得具有细节的高质量纹理图像，我们可以将输入图像变形到UV空间。我们从输入图像中采样点，将这些点馈送到UV映射器以获得UV坐标，使用采样点的UV坐标和颜色来填充空白图像，最后对缺失区域进行修补我们使用[42]来进行修补。结果示于图第2段（e）分段。3.2. 学习3D形状我们的3D形状网络，称为AUV-Net，是建立在图3中的对齐模块上的。它可以被认为是2D到2D对齐模块的3D到2D版本，具有修改以解决由3D形状的特性引起的问题。AUV网络的架构如图4所示。在下文中，我们将首先描述与2D对齐模块相比，AUV-Net中的无表变化，然后是损失函数和训练细节。预测颜色、法线和坐标贴图。3D形状往往具有大面积的纯色或类似颜色的纹理。这些毫无特色的区域对于我们的网络来说，只使用颜色上定义的损失函数来对齐纹理。因此，除了颜色映射，我们的网络还生成法线映射和坐标映射，如图4右上所示。法线映射用于预测输入点的单位法线坐标映射用于预测输入3D点的位置，因此在我们的网络中形成3D-2D-3D循环，这鼓励了单射UV映射。使用遮罩网络切割曲面。与图像不同，通常不可能在没有重叠或严重失真的情况下将3D形状嵌入到2D平面上。因此，我们引入了一个masker，为输入形状生成一个分割掩码，如图4左下角所示。这可以被认为是将3D形状切割成多个片段，使得每个片段可以由单个纹理图像表示遮罩的输入包含点坐标、点法线和形状代码。法线对于分割形状是必不可少的，因为人体网格上的手指等薄部分很难仅用点坐标进行分割预测的分割掩码（M）用于将两个基生成器（A和B）的输出掩码为M A+（1M）B，以产生最终输出。多基生成器。我们引入了两个基元，分别表示形状的“前”和“后”部分。“前面”不必从字面上表示形状的面向前面的部分。它只是指形状的一部分，因此“前”和“后”的结合两个基本生成器的输出如图4右侧所示，其中头部用两个纹理图表示。请注意，基生成器的数量不一定是两个;在我们的实验中，我们使用四个基生成器作为椅子。共享UV映射器。我们使用一个共享的UV映射器用于前后基生成器，而不是两个1469--2S−MN我 J我 J我 J1Σy y2你我我独立的UV映射器。这是基于仔细的考虑。在我们的实验中，最突出的一个问题是，当我们将纹理从一个形状转移到另一个形状时，我们不可避免地使用两个不同的纹理图像在两个形状之间获得接缝。共享UV映射器通过强制两个部分共享纹理图像中的相同边界来解决此问题。它不能完全解决接缝问题，但在实践中很有帮助在我们修补纹理图像之后，接缝在大多数情况下几乎不可见。损失函数。为了训练AUV-Net，网格被转换成具有法线和颜色的点云，作为我们网络的输入。我们还对点云进行体素化，以获得彩色体素网格作为3D CNN编码器的输入。总损失函数由五项组成：L=wc Lc+wn Ln+wx Lx+ws Ls+wp Lp（1）其中Lc、Ln、LX分别表示3D坐标上的颜色损失、正常损失和循环一致性损失。它们被定义为预测和地面实况之间的MSE。Ls是平滑度损失。对于输入点的子集，我们在距离σ = 0内找到它们的邻居。02，并使用点与其相邻点之间的距离来正则化UV空间中的相应距离：初始化遮罩和UV坐标的前几个训练时期我们在补充资料中提供了其他类别的先前损失的定义。对训练集的假设。请注意，上述损失项假设了训练数据集的某些属性。首先，形状需要具有部分级别的对应关系，因为当网络将所有形状映射到相同的UV空间时，它实际上会在形状之间分配密集的对应关系。因此，我们只在同一类别的3D形状上训练模型。第二，形状需要姿态对准，例如，在上述人头数据集中，人头应该都面向z方向。在训练之前，我们还将所有形状规范化为单位框，以避免不同尺度的干扰。多阶段训练。我们分三个阶段训练网络，这是由于纹理对齐质量和失真水平之间的权衡。在某些情况下，对齐纹理需要纹理图像中的严重失真，例如，当轿车与货车对齐时（图5）。然而，较少的失真是在渲染纹理时减少混叠效应并且使后处理更容易的期望特征，例如，当被艺术家编辑时。我们发现，如果用固定的权重训练网络，在损失项中，我们不能同时得到对齐和最小失真。因此，我们首先用先验损失Lp和一组关注于MN最小失真。 在第二阶段，我们移除Lp，L=1Σ Σ|D（p，p）− D（q，q）|·T（p，p）（2）i=1j=1其中，N是输入点的数量，M是子集的大小，pi是第i个输入3D点，qi是2D UV并使用关注对齐的权重在最后阶段我们使用关注最小失真的权重。为人类头部数据集，第一阶段有10个时期，{w c，w n，w x，w s，w p}={1，0. 5，100，100，1};第二阶段具有2，000个时期，其中{1，0. 5，1，1，0};第三阶段具有UV映射器为pi预测的点D（a，b）是点A和点B之间的欧氏距离。如果D（a，b）<σ，则T（a，b）定义为1，否则为0在每个小批中，我们处理一个形状，N=16384，M=2048。Lp是初始化UV坐标和掩模的先验损失。它可以根据训练形状的类别而变化。对于图1和图4所示的人类头部数据集，其中所有头部都面向z方向，我们有：NLp=（px−qx）2+（p−q）+（mi−ni）（3）i=1其中px是pi的x坐标，qx是2,000 epochs，1，0。5，100，100，0。训练需要在一个NVIDIA RTX 3080 Ti GPU上进行2天。其他培训详情见补充资料。3.3. 应用纹理转移。在训练AUV-Net之后，我们获得了所有训练形状的对齐的高质量纹理图像（在我们的实验中为10242），如图1所示。这些纹理图像对齐的事实允许我们通过简单地交换它们的纹理图像来在两个训练形状之间传输纹理，如图1和图5所示。我们将该应用表示为Tsf（transfer）。给定一个不在训练集中的新形状，我们也可以通过映射其我我qi，mi是由掩蔽器针对pi预测的掩蔽值。如果pi在z方向上的单位法线大于0，则ni被定义为1。5，否则为0。该先验损失通过将3D点投影到xy平面上来初始化UV映射。为了将形状切割成两部分，这个先验损失遵循我们的先验：如果点的法线和z轴之间的角度类似于Sec。3.1、事前损失仅用于顶点到对齐的UV空间中。这是通过训练后的优化阶段完成的，在这个阶段中，我们将新的形状添加到训练集中，并继续训练网络几个时期。在优化过程中，我们固定基生成器的权重，以重用学习良好的纹理基。纹理合成。对齐纹理图像的一个很大的优点是，它允许我们利用现有的2D生成模型来合成3D形状的新纹理1470数据集名称数量的形状应用ShapeNet [7]汽车7,497Tsf、Gen、SVR德国[7]6,778Tsf、Gen、SVRTurbosquid [3]汽车436TSFRenderPeople [1]人体500TSF[2]第一次见面515Tsf，GenTurbosquid [3]动物442TSF表1.我们实验中使用的数据集。Tsf、Gen和SVR指的是第2.1节中列出的应用程序。三点三我们在实验中训练StyleGAN2 [26]，结果如图9所示。我们将该应用表示为Gen（生成）。单幅图像三维重建。我们可以根据各种输入来调节纹理合成，例如，从单个图像重建纹理3D形状，如图10所示。为此，我们添加了一个2D ResNet [21]图像编码器来预测来自输入图像的纹理潜码和形状代码，一个CNN解码器来预测来自纹理潜码的对齐纹理图像，以及一个IM-Net解码器[14]来预测基于形状代码的形状的几何形状。我们将这种应用称为SVR（单视图重建）。实施细节见补充资料。4. 实验数据集。我 们 在实验中使用了六个数据集，如表1所示。有关数据集许可证的信息在补充资料中。我们主要 在 ShapeNet [7] 类 别 上 执 行 生 成 任 务 （ Gen ，SVR），因为其他数据集的训练形状太少。请注意，ShapeNet中的原始形状通常具有复杂的几何形状，但具有简单的纹理。通过简化网格以减少几何细节并将几何细节烘焙到纹理中，我们创建了一个更适合纹理传输/合成任务的新版本的ShapeNet汽车和4.1. 纹理转移我们在图1和图5中显示了纹理转移结果。由于页面限制，仅显示非ShapeNet类别更多的结果可以在补充资料中找到我们的方法在学习对齐的UV贴图时使用颜色、法线和位置等线索，因此在对齐面部孔口、车窗和车轮、手指和四肢时表现良好以前的方法通过变形几何形状[16，28]来找到形状之间的密集对应。然而，它们不利用颜色信息，因此可能使具有较少几何线索的区域错位，如图6所示。我们展示了将纹理转换为新形状的结果，这些新形状与图5中的训练形状明显不同。我们的方法能够正确地纹理一个过于简化的无纹理的汽车模型，并转移到一个卡通人物模型的纹理。定量评价。为了评估对齐质量，我们用不同颜色的每个部分标记一个纹理图像，如图7（b）所示。由于纹理图像图 5. 纹 理 转 移 结 果 。 我 们 在 此 图 中 显 示 了 三 个 类 别Triplegangers头可以在图1中找到。对于RenderPeople，我们在每个形状的左下方显示头部的放大;我们还显示第二列形状的手的放大。是对齐的形状，我们得到一个单一的标记的例子的3D形状的语义分割。我们使用ShapeNet部件数据集[49]中提供的地面真实分割来评估我们的形状部分分割我们与执行单次形状分割的BAE-Net [13]和学习密集对应的 DIF-Net [16] 进 行 了 比 较 ， 并 在 表 2 中 报 告 了Intersection Over Union（IOU）。我们的方法优于其他方法。消融研究。我们在表3和图3中提供了消融研究。8，其中我们删除五个损失项之一，1471图6.与DIF-Net [16]在纹理传输上的比较。纹理从（a）转移到（b）。在（c）中，眼睛的形状相对于（a）没有改变，嘴唇没有对齐，帽子低于（b）。这些细节主要用颜色而不是几何来表示。图7. ShapeNet汽车和椅子上的样本纹理图像和分割。(a)显示修复前的纹理图像。请注意，每辆汽车有2个纹理图像，每把椅子有4个纹理图像。在（b）中，我们展示了用于生成表2的分割。3D形状的可视化显示在（c）中。数据集（部件数量）ShapeNet汽车（4）ShapeNet椅子（4）经分割的部分车轮、车身、发动机罩、车顶靠背、座椅、腿、手臂BAE网络59.385.2DIF-Net69.080.3AUV网络72.785.8表 2. 与 BAE-Net [13] 和DIF-Net [16] 相 比 ，语 义 分 割 导 致IOU。当量1，或掩蔽模块。我们使用与上述相同的评估设置。结果与我们对各个模块的设计选择颜色损失Lc、正常损失Ln和循环损失Lx旨在帮助找到对应关系，因此删除它们通常会导致性能下降（表3）。平滑度损失Ls旨在正则化UV坐标;它可能会损害对应性，但删除它会导致某些部分被压扁（图8第4列），从而使纹理合成变得困难。循环损失Lx还有助于正则化UV坐标，因为它鼓励3D形状的表面和2D纹理之间的一对一映射;移除它会导致纹理图像中的重叠（图8第3列）。先验损失Lp和掩蔽对我们的模型至关重要，因为去除它们会导致严重的分割和重叠问题（图8第5列和第6列）。还要注意，不同的类别对损失条款的敏感度不同作为图8.消融研究：通过不同设置学习纹理图像。每个椅子有四个纹理图像（垂直显示）。无L c无L n无L x没有L无L p没有面具全车型轿车68.5 71.773.072.8 70.6 72.0 72.7椅子85.284.683.7八 十 七 点一85.7 71.185.8表3.消融研究：语义分割导致IOU。三重杀手ShapeNet汽车ShapeNet椅子Tex. 领域24.5953.097.03AUV网络5.6912.115.33表4.FID中生成模型的定量结果如表3所示，汽车类别严重依赖于颜色：去除Lc导致显著的性能下降。相比之下，椅子类别不太敏感：移除Lc对图12中的学习纹理图没有可见的影响。8.4.2. 纹理合成我们在图中显示纹理合成结果9，并将它们与纹理场[32]（TF）进行比较。我们的方法生成更多的细节，并得到正确的对齐，而TF输出平滑的颜色块，有时错位。这是因为TF使用MLP将连续的3D坐标映射到颜色中，并且没有正确地解开纹理和几何体。相比之下，我们的方法使用一个复杂的2D生成模型训练对齐的纹理图像生成erate的输出。由AUV-NET对齐的纹理图像大多独立于实际网格几何形状。为了定量评估这些方法，我们使用Fre' chetInceptionDistance（FID）[23]。我们对每个ShapeNet类别的1，000个形状进行测试，并对Triplegangers头部进行100个形状测试。对于每个测试形状，我们生成5个纹理，并将每个纹理形状渲染到8个视图中。结果如表4所示，其中我们的方法明显优于基线。4.3. 纹理单视图3D重建我们在图10中显示了结果，并与TF进行了比较。为了在纹理预测上进行公平的比较，我们使用由我们的方法生成的网格作为TF的输出网格，使得TF只需要预测形状的纹理。实验结果表明，该方法能产生更清晰的纹理边界和更多的纹理细节.除了在一组形状上评估FID之外，我们 使用结构相似性指数测量（SSIM）[45]和feature-11[32]来评估每个渲染视图的质量表5报告1472图9.纹理合成结果。椅子上的洞通过纹理透明度（纹理图像中的Alpha通道）产生幻觉图10.纹理单视图重建结果。放大以查看详细信息，例如，汽车的轮子ShapeNet汽车ShapeNet椅子FIDSSIM功能-l1FIDSSIM功能-l1Tex. 领域AUV网络92.8940.850.8970.8940.2190.18636.8933.260.8550.8530.1930.189表5.纹理单视图重建的结果。结果，AUV-Net的表现优于基线。我们观察到这两种方法在ShapeNet椅子上过拟合，并且无法恢复复杂测试形状的正确纹理。这可能是由于数据集对于椅子具有显著的变化，但是具有不足的训练示例。此外，我们发现，SSIM，这是不是语义感知，可能不是一个很好的评价指标时，结果不是很接近地面真相。如表5所示，我们的SSIM和基线非常接近，尽管其他指标显示出明显的差异。图11.在将卡通长颈鹿的纹理转移到其他动物上时，眼睛的位置是错误的。河马身上的切割缝清晰可见，尽管经过了修补。5. 结论、局限性和未来工作我们介绍了第一种方法来学习对齐的纹理地图的形状在一组无监督的方式。我们表明，对齐可以用一个简单的对齐模块的启发PCA。我们的方法得到的纹理图像是很好的对齐和解开从几何。他们已经启用了几个应用程序，包括纹理传输，纹理合成，纹理单视图三维重建，我们在我们的实验中展示。我们的方法有三个主要局限性。首先，我们的方法不处理纹理形状时出现的接缝，只利用共享的UV映射器网络来缓解这个问题。因此，在转移纹理后，某些形状的接缝可能会变得不连续，如图所示。11个国家。其次，我们的方法并不总是找到正确的对应关系，特别是当纹理很乱时，例如，动物数据集-可以观察到眼睛在图5中没有正确对准。增加薄弱的监督可能会有所帮助，例如，在所有训练形状中为眼睛标注两个点。第三，我们的方法不能很好地处理具有复杂拓扑结构的形状。事实上，ShapeNet椅子给我们的方法带来了很大的困难，我们不得不使用四个来避免重叠的纹理。我们把这些挑战留给今后的工作。鸣谢。我们感谢审稿人的宝贵意见。这项工作是在第一作者在NVIDIA实习时完成的。1473引用[1] 渲染人https://renderpeople.com/. 6[2] 三人帮。https://triplegangers.com/. 6[3] 大乌贼网址为//www.turbosquid.com/。 6[4] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas J Guibas.学习3D点云的表示和生成模型。在ICML，2018。1[5] Anand Bhattad、Aysegul Dundar、Guilin Liu、AndrewTao和Bryan Catanzaro。单图像纹理3d模型的视图泛化。在CVPR，2021年。一、二[6] Eric R Chan，Marco Monteiro，Petr Kellnhofer，JiajunWu，and Gordon Wetzstein. pi-gan：用于3d感知图像合成的周期性隐式生成对抗网络。在CVPR，2021年。2[7] 天使XChang，Thomas Funkhouser，Leonidas Guibas，Pat Hanrahan ， Qixing Huang ， Zimo Li ， SilvioSavarese ， Mano-lis Savva ， Shuran Song ， Hao Su ，Jianxiong Xiao，Li Yi，and Fisher Yu.ShapeNet：一个信息 丰 富 的 3D 模 型 存 储 库 。 arXiv 预 印 本 arXiv ：1512.03012，2015。6[8] Bindita Chaudhuri、Nikolaos Sarafianos、Linda Shapiro和Tony Tung。3d人体高分辨率可编辑纹理的半监督合成在CVPR，2021年。2[9] Kevin Chen 、 Christopher B Choy 、 Manolis Savva 、Angel X Chang、Thomas Funkhouser和Silvio Savarese。Text2shape：通过学习关节嵌入从自然语言生成形状。ACCV，2018年。2[10] Wenzheng Chen，Jun Gao，Huan Ling，Edward Smith，Jaakko Lehtinen，Alec Jacobson，and Sanja Fidler.学习使用基于插值的可区分渲染器预测3d对象。在神经信息处理系统的进展，2019。一、二[11] 陈 志 勤 ， Vladimir G. Kim ， Matthew Fisher ， NoamAigerman，Hao Zhang，and Siddhartha Chaudhuri.通过条件细化实现三维形状细节化CVPR，2021年。1[12] Zhiqin Chen，Andrea Tagliasacchi，and Hao Zhang. BSP-net：通过二元空间划分生成紧致网格. CVPR，2020年。1[13] Zhiqin Chen，Kangxue Yin，Matthew Fisher，SiddharthaChaudhuri，and Hao Zhang. BAE-NET：用于形状共分割的分支自动编码器。ICCV，2019。六、七[14] 陈志勤和张浩。学习生成式形状建模的隐式字段。CVPR，2019年。1、6[15] Christopher B Choy ， Danfei Xu ， JunYoung Gwak ，Kevin Chen，and Silvio Savarese. 3D-R2 N2：用于单视图和多视图3D对象重建的统一方法。在ECCV，2016年。1[16] 登宇，杨蛟龙，童欣。变形隐式场：用学到的密集对应建模3D形状。在CVPR，2021年。二六七[17] Jun Gao，Wenzheng Chen，Tommy Xiang，Clement FujiTsang ， Alec Jacobson ， Morgan McGuire ， and SanjaFidler.学习可变形四面体网格进行三维重建。神经IPS，2020年。2[18] Lin Gao，Tong Wu，Yu-Jie Yuan，Ming-Xian Lin，Yu-Kun Lai，Hao Zhang. Tm-net：纹理网格的深度生成网络。2021年在Siggraph Asia。11474[19] Lin Gao，Jie Yang，Tong Wu，Yu-Jie Yuan，HongboFu，Yu-Kun Lai，and Hao Zhang.SDM-net：用于结构化变形网格的深度生成网络。ACM Transactions onGraphics（TOG），38（6）：1-15，2019。1[20] 放 大 图 片 作 者 ： David G. Kim ， Bryan Russell ，andMathieuAubry. 一个学习3D表面生成的简单方法在CVPR，2018年。 1[21] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。6[22] Paul Henderson ， Vagia Tsiminaki ， and ChristophLampert.利用2D数据学习纹理3D网格生成。在CVPR，2020年。一、二[23] MartinHeusel、HubertRamsauer、ThomasUnterthiner、Bernhard Nessler和Sepp Hochreiter。 通过两个时间尺度更新规则训练的GAN收敛到局部纳什均衡。NeurIPS，2017。7[24] Krishna Murthy J. ， Edward Smith ， Jean-FrancoisLafleche ， Clement Fuji Tsang ， Artem Rozantsev ，Wenzheng Chen，Tommy Xiang，Rev Lebaredian，andSanja Fidler. Kaolin ： 一个 加速 3D深 度学 习研 究 的Pytorch库arXiv：1911.05063，2019。1[25] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。在ICLR，2018年。3[26] Tero Karras ， Samuli Laine ， Miika Aittala ， JanneHellsten，Jaakko Lehtinen，and Timo Aila.分析和改进StyleGAN的图像质量。在CVPR，2020年。6[27] Xueting Li ， Sifei Liu ， Shalini De Mello ， KihwanKim，Xi- aolong Wang，Ming-Hsuan Yang，and JanKautz.在线适应一致的网格重建在野外。在NeurIPS，2020年。一、二[28] 凤琉和刘小明。拓扑变化密集三维形状对应的隐函数学习。在NeurIPS，2020年。二、六[29] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。 在ICCV，2015年。3[30] LarsMescheder，MichaelOechsle，MichaelNiemeyer ， Se-bastianNowozin ， andAndreasGeiger.Occupancy networks：学习函数空间中的3D重建。在CVPR，2019年。1[31] Ben Mildenhall，Pratul P Srinivasan，Matthew Tancik，Jonathan T Barron ， Ravi Ramamoorthi ， and Ren Ng.Nerf：将场景表示为用于视图合成的神经辐射场。在ECCV，2020年。一、二[32] MichaelOechsle、LarsMescheder、MichaelNiemeyer、Thilo Strauss和Andreas Geiger。纹理场：学习函数空间中的纹理表示。在ICCV，2019年。一、二、七[33] Pan Xingang，Bo Dai，Ziwei Liu，Chen Change Loy，and Ping Luo. 2d gans知道3d形状吗？从2D图像GAN进行无监督的3D形状重建。ICLR，2021年。2[34] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。DeepSDF：学习用于形状表示的连续符号距离函数。在CVPR，2019年。11475[35] Dario Pavllo ， Graham Spinks ， Thomas Hofmann ，Marie- Francine Moens，and Aurelien Lucchi.纹理三维网格的卷积生成。神经IPS，2020年。一、二[36] Amit Raj ， Cusuh Ham ， Connelly Barnes ， VladimirKim，Jingwan Lu和James Hays。学习在3d网格上生成纹理。在CVPR研讨会，2019年。1[37] Katja Schwarz ， Yiyi Liao ， Michael Niemeyer ， andAndreas Geiger. Graf：用于3D感知图像合成的生成辐射场在NeurIPS，2020年。1[38] 艾拉·谢弗埃米尔·普劳恩肯尼斯·罗斯网格参数化方法及其应用。Foundations and Trends® in Computer Graphicsand Vision，2（2）：105-171，2007。2[39] Tianchang Shen