8361用于无模板形状对应的陈荣涵1，2，3杨聪1，2 *董家华1，2，31中国科学院沈阳自动化研究所机器人国家重点实验室†2中国科学3中国科学网址：chenronghan@sia.cn，congyang81@gmail.com，网址：www.example.com，dongjiahua1995@gmail.com摘要三维变形学习中的形状对应问题近年来引起了学术界的广泛关注。然而，当前基于深度学习的方法需要监督密集注释以学习每点变换，这严重地过度参数化变形过程。此外，它们无法通过全局特征嵌入来捕获原始形状的局部几何细节。为了解决这些挑战，我们开 发 了 一 种 新 的 无 监 督 的 分 布 式 信 息 嵌 入 网 络（即，，UD2E-Net），其学习从密集局部特征预测非刚性形状之间的变形。由于它是不平凡的匹配变形变化的局部特征的变形预测，我们开发了一个外在的内在的自动编码器，首先编码外在的几何特征从源到内在的坐标在一个共享的规范形状，解码器，然后合成相应的目标功能。此外，一个有界的最大平均差异损失的开发，以减轻合成和原始特征之间的分布发散。为了在没有密集监督的情况下学习自然变形，我们引入了一个粗糙的参数化变形图，针对该变形图，提出了一种新的跟踪和传播算法，我们的UD2E-Net在FaustInter挑战上比最先进的非监督方法高出24%，甚至在Faust Intra挑战上比监督方法高出13%。1. 介绍可变形3D形状的对齐是计算机视觉和图形学领域中普遍存在的挑战。*通讯作者是教授。杨聪。† 这 项 工 作 得 到 了 中 国 国 家 重 点 研 究 与 发 展 计 划（2019YFB1310300）和中国国家自然科学基金（61821005）的部分支持。外特征空间头共享标准形（内禀坐标空间）图1.说明我们的UD2 E-Net模型，实现了外部特征空间和内部坐标空间之间的双向映射，以实现密集变形嵌入。许多应用，包括非刚性重建、变形转移和纹理映射。传统方法[33，23]通过迭代优化对应构造和目标最小化来推断参数变形。然而，优化严重依赖于初始化，并且容易陷入局部最小值，特别是对于大的铰接变形。随着3D深度学习技术[28，29]的出现，利用大量数据的深度变形学习方法[13，14，39，43，21]已被应用于大变形预测。通常，这些技术直接回归所有输入3D点的密集平移或位置，这忽略了隐式变形规律并且严重地过度参数化变形，导致高频伪影。不幸的是，这些方法需要对密集对应的强监管（例如，通常每个人体形状超过5000个），这耗费巨大的劳动密集型努力。此外，大多数现有的最先进的方法[21，13，14，5，39，44，15]将目标形状编码成用于变形学习的全局特征，这忽略了低级几何细节并且无法推断细粒度的变形。8362∼mation为了利用局部特征进行变形预测，应该建立两侧之间的连接以实现特征通信，这对于可变形形状是具有挑战性的对应问题。为了解决这些挑战，提出了一种新的无监督分布式信息嵌入式网络（即，，UD2 E-Net）被设计为预测任意源和目标形状对之间的变形。通过ED提供的局部刚性正则化，UD2E-Net可以学习更自然的变形空间，我们希望这能够缓解深度学习模型对丰富注释数据的强烈依赖。此外，我们的网络采用密集的局部特征嵌入和融合，以推断通过ED构造的变形图内的每个节点的变形参数。具体地，利用经由连体网格编码器提取的细粒度几何特征，开发外部-内部自动编码器（EI-AE）以首先将源特征编码成共享规范形状的内部坐标。利用坐标，经由解码器合成对应的目标特征。为了最小化合成的和原始的目标特征之间的分布差距，我们设计了一个有界的最大平均差异损失，这进一步提供了规范的形状构造的自我监督的指导。为了消除由输入形状和其变形图之间的错误相邻关系引起的伪影，通过欧氏测度，开发了一种跟踪和传播算法，通过利用预先构建的网格层次结构来提高效率和广泛实验表明，UD2 E-Net在数据量减少的情况下表现出稳定的性能。在Faust基准[1]上，所提出的UD2 E-Net在Inter挑战上比最先进的无监督方法表现出24%37%，并且在Intra挑战上比监督方法表现出13%的改进此外，实验还证明了我们的UD2 E-Net在几个具有挑战性的应用中的潜力，例如。、形状检索和人体姿态转移。总之，我们工作的主要贡献是：提出了一种新的无监督稠密变形嵌入网络（DenseDeformationEmbeddingNetwork，简称DDE）。，UD2 E-Net）被开发用于学习任意形状对之间的大的铰接变形，而无需监督地面实况对应。我们设计了一个Extrinsic-Intrinsic自动编码器，将源形状的外部几何特征编码为共享的规范形状，该规范形状用于对相应的合成目标特征进行解码。同时，引入有界最大平均差异损失来减小合成目标特征与原始目标特征之间的分布差异。提出了一种跟踪和传播算法，避免了由于节点到顶点不正确而带来的伪影在嵌入式变形中的指定，这提高了变形过程的质量和效率2. 相关工作非刚性形状匹配。通常，用于形状对应的方法可以分为内在方法和外在方法。内在方法依赖于形状的内在属性，例如谱[34，4]或基于学习的[37]描述符或测地距离的保留[24]以直接获得对应关系。然而，大多数内在方法在扰动下，如拓扑变化和不完整性，是不够鲁棒的。其他外在方法通过显式变形一个形状以对齐另一个形状来实现对应关系[22，23]，其中手工制作的变形模型[33，32]被应用于正则化。然而，它们容易陷入局部极小值。用于学习的变形表示。变形3D模型的一种直接且最常用的方法是为每个点分配一个矢量，表示平移或位置[14，13，39，5]。这种变形被赋予高自由度，其将预测参数的数量与输入模型的分辨率对于低维变形表示，在[18]中利用自由形式变形[31]通过操纵结构化网格的几个预定义顶点来变形网格。LBS autoencoder [21]使用预定义的LBS模型对人体和手进行变形，无法适应一般物体。[44]利用基于笼的变形技术[19]进行细节保留变形，并且无法实现完美对齐。DEMEA [35]提出了一种基于ED [33]的嵌入式变形层，以学习网格表示。显然，ED受到全连接层的极大限制，已知全连接层是置换变体，并且不能处理无序的点云和网格。深变形嵌入现有方法通常将目标形状嵌入到全局特征中，然后依赖于与其连接的向量用于位置线索以表达不同的变形信息[14，13，5，44，39，16]。然而，它们不能提供精细的几何细节。其他方法从局部特征推断变形。Pixel2Mesh [38，42]分配2D图像的局部特征通过3D-2D投影到椭球体模板的顶点。Flownet3d [25]混合了基于欧几里得邻居的两个点云的特征，这在大的关节变形下是不可靠的与它们不同的是，我们的模型可以通过EI-AE构建的规范形状来学习稳定的特征对。3. 我们提出的模型3.1. 初步嵌入变形我们基于嵌入变形（ED）算法[33]对非刚性变形进行建模。变形具有N个顶点的网格M=（V，E）···8363（11））IC我i=1i=1我ΣNELi=1GJ我1i=1Ks{}E∈N公司简介- ---图2.UD2 E-Net的总体架构 在通过连体网格编码器Eg和全局特征提取局部特征X s、X t之后hs，ht通过类PointNet网络Ep，EI-AE中的固有编码器将Xs编码到共享规范形状中的坐标中，其与ht级联并进一步由外部解码器-1解码以获得对应的局部特征Yt。应用有界最大平均差异来消除Xt和Yt之间的域间隙。然后，变形解码器D_d解码将Yt和Xs串联成Gs中的变形参数以输出Ms的变形预测。V= viN和边E、ED构造粗嵌入变形图以操纵M。是低分辨率M，并且由节点集=giK和边集组成。每个节点giR3用变换Ti=（Ri，ti）进行参数化以控制局部变形，其中Ri是旋转矩阵，ti∈ R3是平移向量。在局部变形T={（Ri，ti）}K的情况下，M可以通过下式变形：3.2. 外-内自编码器如图2所示，我们利用连体网格编码器Eg将源形状Ms和目标形状Mt编码为变形图中每个节点的密集几何嵌入。由于输入网格和变形图之间的分辨率不兼容，我们利用图池层将Ms和Mt逐渐下采样为变形图Gs和Gt，从而形成网格层次。v′=Σwi，j（Ri（vj−g）+g+ti）， ⑴真恶心。 连体网格编码器的输出是两组c-维特征Xs= [xs，· · ·，xs]∈RKs×c和gi∈A（vj）Xt=[xt，···，xt]∈RKt×c，如图2所示，其中1每个特征xsKt∈Rc（i= 1，· · ·，Ks）对应于a哪里上的顶点的位置和是德-在G的节点集合Ns中的节点gs，对于xt也是一样。然后我们vjMv′ji j形成;形成 A（v）是控制defor的节点的集合。利用类似PointNet的[28]编码器Ep来聚合Xs和j jXt转化为d维全局特征向量hs，ht∈Rd，i，j是顶点vj的节点到顶点的权重，并且wi，j是由vj和gi之间的距离确定的节点到顶点的权重。最后，利用尽可能刚性的损失来进一步平衡变形和平滑度：分别通常，大多数以前的方法[13，5，39]采用全局特征进行变形推理，这可能会丢失局部几何信息，从而降低变形预测的性能为了解决这个问题，我们利用LARAP=我j：（Σi，j）∈E（Ri（gj−gi）+gi+ti）−（gj+tj）（二）来自源和目标形状（Xs和Xt）的局部特征，以嵌入s中的节点的变形信息。然而，匹配这些变形变体lo是不平凡其中gi、gj是与中的边连接的相邻节点. ARAP项表示相邻节点的局部变形应彼此一致。给定源网格M s和目标网格M t，如图2所示，我们的无监督密集变形嵌入网络（UD2 E-Net）的目标是通过预测变形图的局部变换T=（Ri，ti）K来输出变形的M s’以与M t对齐以进行匹配。为了学习这些变换，我们提出了一种新的Extrinsic-Intrinsic自动编码器，以将从输入形状中提取的局部几何信息关联起来，并将它们融合到密集的变形嵌入中，具体介绍如下。cal特征。以前的方法利用投影[38]，或在欧几里得空间中找到最近的点[25]来直接匹配源和目标形状的特征。然而，由于输入形状之间的大的铰接变形，它们可能导致错误的对应。一个看似有希望的解决方案是学习嵌入有内在属性[40]的变形不变特征进行匹配，然而，这迫使它们放弃必要的外在几何信息进行变形预测。因 此 ， 我 们 提 出 了 一 种 新 的 外 在 - 内 在 的 Au-toencoder（EI-AE）学习的内在属性匹配和外在属性的变形预测。如图2、它构造了一个共享的规范XsYt输出Xs hs头内部编码器（RRR（t）（R2，t2...（RK，tK）S...✔Ms共享SXsK × c共享HKs ×（c +d）共享Ks × 2cSS1×d✔htKs× e标准形状具有跟踪传播的外部解码器最大密度尽量减少发散Ks ×（e +d）Yt不Mt不K × cXMY不不1HKs× cS× d外-内自编码器有界最大平均差异...我8364S我我GG⊕C···∈XXYXYX Y≥∈i=1CXYX我一2σ||-|| - -····XY我JJ j=1我我我我(a) 源网格Ms（b）目标网格Mt（ c）Knn结果(d)跟踪传播结果形状=[c1，、c、K]其中e是标准形的维数，ci是所有形状上对应顶点所共有的内禀坐标。给定源网格的局部特征xs和全局特征hs，EI-AE学习经由固有编码器I用其固有坐标ci来参数化Gs中的每个节点gs：C=I（Xshs），（3）其中表示特征串联操作。由于s和t的粗糙度，Xs和Xt之间通常没有精确匹配。因此，我们利用内在坐标-域通过最小化跨这两个域的分布散度（即，，Eq.的最后一项（5））。已证明M（，）0和等式成立当且仅当=[12]。然而，在来自和的有限数量的样本的情况下，将MMD优化为0可能破坏Xt和Yt中的变形信息。因此，受铰链损失的启发，我们引入有界最大平均差异损失，其中界β = 0。在所有实验中：LFeat= max（0，M（Xt，Yt）− β）。（六）3.4.跟踪和传播在C中指定以合成相应的外部目标在嵌入变形（ED）中，顶点vs上特征Yt= [yt，· · ·，yt]∈RKs×c源网格我是由它的1千秒−1Msk个最近节点经由外部解码器I的目标形状h t的特征：A（vs）={gs}k在它的变形图Gs中。不同Yt= I−1（C ht）。（四）注意，通过这种方式，EI-AE可以提供最大的灵活性从具有固定模板的先前方法[35]，我们的方法寻求从具有不同拓扑的源网格变形。因此，每个顶点vs的控制节点A（vs）需要因为它可以关联来自两个变形图Gs的特征，为每个源网格重新定义先前方法通过搜索vs的k个最近邻（knn）找到A（vs）Gt具有不同数目的节点。由于合成的i iYt中的特征yt和Xs中的xs预期是对应的。基于测地线或欧几里德距离。 然而，在这方面，测地线距离太重而无法计算，并且Eu-响应，EI-AE的最终输出是Xs和Yt的级联，即，[Xs，Yt]RKs×2c，然后将其发送到变形解码器中以预测Gs的变形参数T={（Ri，ti）}Ks。3.3.有界最大平均差异虽然共享的规范形状解决了相关外在特征的问题，但EI-AE难以在没有任何自我监督的情况下弄清楚如何形成这样的规范形状，这将导致严重的过拟合。其原因是输入要素Xt之间的域间隙并且合成特征Yt、 其中和分别是输入和合成特征的域。受域自适应技术[26，9，8，7]的启发，我们建议通过最小化最大平均差异来弥合X和YClidean距离可能发现错误的相邻节点。例如，如图2所示。3、在M s中，右臂离肋骨太近。根据欧氏距离将手臂中的控制节点错误地分配给肋骨中的顶点，从而使肋骨随着手臂的抬起而抬起。为此，我们提出了一个跟踪和传播算法来找到控制节点（v s），这是非常有效的，没有任何knn搜索，但也可以提高邻居的准确性。裂缝（MMD）[12]损失：M（Xt，Yt）=Exi，xj∈X[κ（xi，xj）]+Eyi，yj∈Y[κ（yi，yj）]-2Exi∈X，yj∈Y[κ（xi，yj）]，（五）其中我们省略上标t，并且κ是径向基函数（RBF）核，其中κ σ（x，y）= exp（12Xy2）。我们按照以前的方法[20]应用一条线-具有五个尺度的籽粒的穗组合κ（x，y）=Σ5 κ σ（x，y），其中σ i∈ {1，√2，2，2√2，4}。这种损失的动机是鼓励功能图3.比较在欧氏空间中使用knn和我们的跟踪和传播节点到顶点分配。我们的主要思想是首先通过在网格编码器中预先构建的网格层次结构进行追溯，然后在变形图上传播以定义更准确的邻居。从输入网格M 1开始并以最粗变形图M L结束的网格层次（M1，M2，，M L）由一系列池化（T1，T2，···，TL−1）生成。 如图4（a）中所示，池化操作Tl：Vl-Vl+1映射邻近的一个小分区。将网格Ml的顶点O={vl}Vl，vl∈R3原始特征域内的分布和合成将特征域的大小调整为更紧凑（即，，Eq.（5）同时，驱动合成器。我在Ml+1中的一个顶点vl+1，通过：我∈ P（vs）我8365vl+1=Σ我我wlvl，（7）调整要素域Y的大小以与原始要素对齐ji ivl∈O8366vL1v21v22我我我L L LL我GLLLLLL→ →∈我我跟踪操作T−1为T−1（vl+1）=O，其恢复J我L−1我对齐CYCChi ijJ其中权重w l≥ 0且Σ w l= 1。我们进一步定义aLLJMt→Ms，这可能是很大的计算成本。虽然我们的暹罗对网格编码器只转发从vl+1得到O中的顶点。然后，Ml中的节点gs可以逐层追溯到Ml（即，，C i= T1−1◦ T2−1◦... ◦因为它们共享相同的参数。在那里-因此，物镜LAlign为：T-1（gs）），以形成树，如图4（b）所示，其中L= L+ L。（九）Ci是树的叶集，包含了所有原始的M1中的顶点合并到gs中。如图-为了规范变形，受[13]的启发，我们在-步骤4（c），我Ci可以被认为是相邻的簇。求出边长项L边缘惩罚边长顶点根据等式(7)，因为gs是由Ci中的顶点的一系列插值导出的，所以gs应该位于Ci的中心附近。例如，如果所有wi都相等，则gs是Ci的中心。这样，我们把gs看作第一个控制节点变化和拉普拉斯项Lap以保留局部几何细节。 利用等式中的尽可能刚性的项LARAP，（2）对于表面平滑度，LSmooth被公式化为：对于顶点我Ci，并定义其余的控制节点平滑=λ边缘边缘+λ重叠Lap+λARAP ARAP，（十）对于Ci中的顶点作为变形中gs的邻居图Gs（即，A（v s）={gs} ∪ {gs|（i，j）∈ Es}）。T1T2M1M2MLs其中，平衡权重λEdge、λLap、λARAP被设置为0的情况。005。4. 实验4.1. 数据集为了验证我们的模型在两种形状v1v1v1v1v1对应和形状重建任务，我们评估-1234（a）通过网格层次结构追溯（b）形成的树（c）传播图4. 3级网格层次结构上建议的跟踪和传播跟踪操作可 以容易地实现为具有 计算复杂度O（N）的查找操作，其中N是M1中的顶点的数目。如图3（d）所示，利用我们提出的跟踪和传播算法，变形网格更平滑而没有任何伪影。3.5. 制剂我们训练我们提出的UD2 E-Net，而不需要对地面真实对应进行任何监督。形式上，配方目标由三个主要术语组成：L=L对齐+L平滑+λfL特征，（8）其中Align驱动源形状与目标形状对齐，Smooth规则化网络以基于平滑度和局部刚性学习合理的变形 第三项被设计用于EI-AE 以对齐特征空间。对于所有实验，平衡权重λ f设定为0.008。对于Align，我们最小化变形源M s’和目标网格M t的顶点集V s’，V t之间的对称倒角距离Ch。然而，对于关节型人体的大变形，Ch可能提供不正确的对应并且导致不良的局部最小化。图像受[15]的启发，我们定义了一个周期一致性损失Cyc来加强Ms和M t之间的周期一致性对应关系，这表明变形M sM tM s的周期应该将点p V s映射回自身。注意，为了计算这个损失，[15]向前Ms和Mt两次，对于变形Ms→Mt和在几个具有挑战性的数据集上验证了所提出的UD2 E-Net，即水密网格（DFAUST [2]，SURREAL [36]，CoMA [30]）和FAUST [1]的真实扫描。FAUST[1]由100个用于训练的具有地面真实对应的水密网格和200个用于测试的网格组成。测试数据是具有噪声和孔的真实扫描。DFAUST[2]由网格序列组成总共有41220个水密网格。我们遵循[35]中的列车测试分割进行公平比较。 [36]真实的 基于SMPL [27]模型的合成数据集。我们遵循[13]生成230k个网格，包括来自[36]的200k个人体姿势和30k个可能不真实的弯曲姿势。我们还从[36]中抽取了23k个样本，其中20k个样本和3k个弯曲形状，以形成一个较小的训练集。测试集包含从[36]中采样的200个网格。CoMA[30]包含17794张人脸的水密网格，涵盖12种不同表情的12个受试者。训练-测试分割也如[35]中所定义。对于所有人体数据集，网格共享具有6890个顶点的相同拓扑。我们使用二次误差度量[10]将这些网格抽取为2757个顶点进行训练。在测试时，该网络也将成对的抽取网格作为输入，但通过将预测的变形参数直接应用于高分辨率源网格来输出高分辨率网格通过这样做，我们试图强调UD2 E-Net能够将变形参数的数量与网格分辨率解耦。此外，这也大大加快了训练过程.4.2. 实现细节Siamese Mesh编码器。我们的连体网格编码器由图卷积层和图池层CiGiT1T2Gs我Ci8367我∈不超过∼∼定义在网格层次结构上，该网格层次结构是用Gr-aclus [6]算法构造的。我们应用三个下采样层来探索四个网格级别。每个网格级别的顶点数大约是前一级别的 一 半 。 在 每 个 网 格 级 别 中 ， 我 们 应 用 两 个EdgeConv[41]，并使用残差连接进行特征提取。变形解码器。 变形解码器D_d的架构遵循网格编码器，但是仅具有一个网格级别以进一步建立相邻节点g_s之间的连接。它鼓励预测的变换T1对于平滑度是非常相似的我们使用两个多层感知器，结束与线性层回归旋转Ri和平移TiR3，分别。对于旋转，我们采用6D过参数化表示[45]，由旋转矩阵的前两行给出培训战略。我们的UD2 E-Net从头开始进行端到端训练。我们通过在Sec. 3.5并且利用具有0.001的固定学习率的Adam优化器。当周期一致性损失停止时为了在几个时期后减少，我们通过以下方式训练UD2E-NetLAlign=LCh，用于剩余的时期。 我们特别固定模板作为源网格Ms用于测试。与在训练和测试中应用相同模板形状的[13，5]不同，UD2 E-Net被训练为从随机源形状重建。 因此，这种比较并不完全公平。然而，在SURREAL数据集（230 k）上，我们的UD2E-Net 仍 然 优 于 所 有 监 督 方 法 3D-CODED [13] 和Elementary [5]。在训练数据不足（SURREAL 23 k）的情况下，3D-CODED [13]和Elementary [5]的性能显著下降至0。36厘米。相比之下，UD2 E-Net和UD2 E-Net（GE）都没有经历显著的准确性下降（0. Ilcm），并且它们优于所有监督方法，这证明了ED减轻对数据量的强烈依赖的对于形状对应任务，我们的UD2 E-Net比具有固定模板的方法[13，5]表现更好（0. 250 72厘米为230k和1。191 32厘米为23k），这显示了我们的无模板框架在形状对应任务上的天然优势在DFAUST数据集上，人体姿势和形状的变化相对有限，这导致平移变形方法[13，5]的性能较差。第一次在SURREAL数据集（230 k）上训练UD2 E-Net10C≥6。46cm且R≥ 4。77厘米，因为它们不能形成德格特epoch，随后是20个epoch，没有L。SUR-2CYCREAL数据集（23 k），CoMA和DFAUST，UD2 E-Net是潜在变形空间相反，与ED、UD E-网具有2.41cm和2.17cm的高精度C用LCYC对于20个时期，接着是180个时期和DeRGT 在SUR-的对 于 FAUST 扫 描 的 评 估 ， 我 们 遵 循 [13 ， 5] 在SURREAL数据集（230 k）上训练UD2 E-Net，而不对FAUST训练集进行微调。4.3. 基线和评价标准基线。 为了证明由EI-AE实现的细粒度融合优于共同的全局特征的优点，我们构建了强基线全局嵌入（GE），其直接将源局部特征Xs与目标全局特征ht连接起来作为变形嵌入。详细架构见补充说明。评价标准。我们评估我们的方法的形状重建和形状对应的任务。重建误差通过计算Cham fer距离（RCh）或地面实况点对之间的平均欧几里德距离（RGt）来测量输入目标形状与重建形状之间的距离。对应误差是变形点或变形点在目标上的投影与目标上的真实对应之间的对于基于模板的方法，按照[13]建立对应关系。4.4. 比较结果水密网格实验 如表1所示，我们首先在合成SURREAL数据集上将我们的方法与最先进的方法进行比较。比较方法应用基于模板的[13，5，35]或自动编码器框架[3，30]。对于形状重建，我们还使用REAL，UD2 E-Net实现1. 84cm的重建和优于所有竞争的方法，甚至自动编码器N. [3]（1. 99cm）。我们的方法也适合于更精细的变形的脸在CoMA数据集。如表3所示，申报的UD2 E-Net（0.78mm）也优于监督的DEMEA [35]（0.81mm）。此外，我们还在图5中示出了与3D编码[13]和元素[5]的比较方法不能用全局特征捕捉局部几何细节，从而导致局部失真，例如在存在丰富几何细节的手、手臂，特别真实扫描的实验。 然后，我们在更具挑战性的扫描数据集上测试我们的UD2E- Net，其中丢失的部分（例如，脚、手等）可能由于自闭塞而存在。这些网格大约有170000个顶点。而不是直接将它们发送到网络中，我们遵循预处理策略进行训练，首先将扫描的网格降采样到2757个顶点。由于测试网格可能具有由自接触引起的拓扑变化，UD2 E-Net可能无法使具有拓扑噪声的零件变形。因此，给定一对测试网格，我们还利用水密网格作为模板来构建对应关系，如[13，5]中所示。虽然采用了模板，但我们的方法仍然自然优于基于模板的方法，因为我们可以自由地选择更好的模板。在实践中，我们选择每个测试人的零姿势作为模板。类似于[13，5]，我们优化目标的全局特征以获得最终重建。一些比较8368∼∼C∼源地面实况基本三维编码我们表1.合成SURREAL数据集的性能比较[36]。‘230k’ and ‘23k’denote the amount of training方法CDe（cm）RGt（cm）N. 3DMM [3]-1.99CoMA [30]-8.4DEMEA [35]-2.23原始3D编码[13]6.464.81小学[5]6.514.77Ours-GE3.032.57我们2.412.173D编码[13]4.913.55230k小学[5]Ours-GE4.582.243.361.95我们2.071.84表2.DFAUST数据集上的性能比较DEMEAN. 3DMM我们RGt（mm）0.810.710.78表3.CoMA数据集上的性能比较[30]。结果示于表4中。在“Inter”挑战中在“Intra”挑战中消融研究。 如表1所示，为了证明每个拟议组件的有效性，我们将最终的UD2 E-Net与几个变体进行了比较，包括：（1）The基线 （Ours-GE ）， 2）无 MMD 的UD2E-Net （Ours-GE）w/oMMD）、3）具有knn而不是跟踪和传播的UD2E-Net（Ours-w/oTP）、以及4）在EI-AE中应用3D规范形状的UD2E-Net 3D（Ours-3D）。没有图5.DFAUST [2]和SUREAL 23k与3D编码[13]和Elementary[5]的定性比较对于每种方法，左侧是变形的源，右侧是其误差图。方法中间截留内部FMNet [24]4.832.44辅助核算3D编码[13]小学[5]2.8782.581.9851.742不好3D编码[13]4.88-[21]第二十一话4.082.161不好Halimi等人[17个]4.8832.51Ginzburg等人[第十一届]4.0682.12我们3.0861.512表4. Faust数据集上的性能比较。怎么了还有“不好”指示该方法是有监督的还是无监督的。所提出的EI-AE，性能下降13%的形状对应，这表明了不可缺少的作用，细粒度的特征融合的变形嵌入。此外，所采用的有界MMD是至关重要的，以对齐的EI-AE生成的合成目标特征和原始特征之间的分布没有有界MMD，性能下降23%~17%.没有准确的控制节点所提出的跟踪和传播算法，性能下降33%-51%的形状对应。使用3D规范形状，UD2 E-Net的性能略差于使用10D形状，这表明UD2 E-Net对形状尺寸不敏感。4.5. 外-内自编码器我们研究了EI-AE对致密变形嵌入的影响，通过探索内禀坐标在共享正则形状内的分布以及不同物体之间共享坐标的影响。我们首先在图6中可视化3D坐标的分布，这表明学习的规范形状呈现了形状5cm1cm3cm0cm超现实23kDFAUST数据方法RGt RChC DeC压力3D编码[13]1.80 1.032.632.30小学[5]1.67 0.892.191.87不好3D编码[13]9.43 1.76九点半9.27230kOurs-GEOurs-w/oTP1.963.251.00二点二三1.152.851.883.00我们的-不含MMD2.11 1.062.472.12我们的-3D1.71 0.862.021.96我们1.67 0.87一点九一1.623D编码[13]2.10 1.183.363.01小学[5]2.03 1.153.272.91不好3D编码[13]9.32 1.86九点五九9.4323kOurs-GEOurs-w/oTP2.222.181.072.611.04三点零八2.282.808369C- -指身体的骨架，其四肢和头部与原始人体一致。虽然输入机构是高度不同的，派生的规范形状几乎是在这两个形状之间，我们通过基于坐标ci找到最近邻来建立对应。如图7所示，所提出的EI-AE能够将不同主体上的对应顶点映射到一致的坐标中，尽管没有任何对应关系的监督。以上结果证明了我们的假设，EI-AE从几何信息中分离出固有位置，这使得合成的Yt能够专注于捕获几何信息，从而提高变形质量。此外，由于规范形状意味着对应关系，因此它可以通过使网络能够学习符合这些对应关系的变形空间来帮助无监督变形学习。查询检索查询检索查询检索查询检索图8.DFAUST数据集上形状检索的结果，其中查询形状在左侧，检索的形状在右侧。DFAUST超现实（23K）我们的（GE）我们我们的（GE）我们固定1.951.842.221.78检索1.871.7521.671.12∆-4.1%-4.8%-24.8%-37.1%表5.模板检索带来的性能提升输入形状共享规范形状输入形状共享规范形状图6. EI-AE中学习的规范形状的可视化。相同的颜色表示对应。图7.基于坐标ci的点匹配的结果。4.6. 应用本小节验证了我们的UD2 E-Net可以成功地扩展到几个应用中，例如形状检索和人体姿态转移。包括形状插值在内的更多结果包含在补充中。模板检索。对于形状重建问题，选择更相似的模板可以明显提高性能。给定测试集中的目标形状，我们进一步尝试从训练集中检索源形状，使得它们的全局嵌入之间的余弦距离最小化。如表5所示，其中如图8所示，检索到的形状具有与查询形状相似的姿势。人体姿势转换。学习的潜在空间还允许转移人体的姿势。给定人体A在两个姿态A0、A1下的网格，我们将其嵌入的全局特征表示为h0、h1。然后再给另一个图9.变形传递结果。人体B0与A0具有相同的姿势，其嵌入表示为h′0，我们寻找执行与A1相同姿势的目标形状B1。 变形通过计算B1的嵌入来传递，即h′1 = h1h0+ h′0。然后B1可以通过解码h′1来导出。我们在更具挑战性的情况下评估我们的模型的有效性通过转移内插姿势。如图9中所示的定性结果，在SURREAL数据集上训练的模型可以用于转移FAUST数据集中的姿态。5. 结论我们已经提出了UD2 E-Net，这是一个端到端的网络，允许以无监督的方式从密集的局部特征中学习任意形状对之间的变形。通过有界MMD引导的外-内自编码器，网络可以通过形成一个共享的正则形状，同时探索用于细粒度变形推理的外属性和用于匹配的内属性.此外，跟踪和传播算法可以提高变形图的效率和质量。UD2 E-Net比无监督方法有显着改进，甚至优于有监督方法。我们希望我们的工作能启发神经变形领域，并能扩展到更具挑战性的应用，例如，非刚性重建和跟踪。目标源8370引用[1] Federica Bogo ， Javier Romero ， Matthew Loper ， andMichael J.黑色. FAUST：3D网格配准的数据集和评估。IEEE Conf.在计算机视觉和模式识别（CVPR）上，Piscataway，NJ，USA，2014年6月。美国电气与电子工程师协会。[2] Federica Bogo，Javier Romero，Gerard Pons-Moll，andMichael J.黑色. 动态浮士德：登记人体运动。 在IEEE会议 计算机视觉和模式识别（CVPR），2017年7月。[3] GiorgosBouritsas ， SergiyBokhnyak ， StylianosPloumpis，Michael Bronstein，and Stefanos Zafeiriou.神经3D可变形模型：用于3d形状表示学习和生成的螺旋卷积网络。在IEEE/CVF计算机视觉国际会议论文集，第7213-7222页[4] Michael M Bronstein和Iasonas Kokkinos。用于非刚性形状识别的尺度不变热核特征。在2010年IEEE计算机协会计算机视觉和模式识别会议上，第1704-1711页。IEEE，2010。[5] Theo Deprelle 、 Thibault Groueix 、 Matthew Fisher 、Vladimir Kim、Bryan Russell和Mathieu Aubry。学习三维形状生成和匹配的基本结构。神经信息处理系统进展，第7435-7445页，2019年[6] Inderjit S Dhillon，Yuqiang Guan，and Brian Kulis.无特征向量加权图割的多级方法。IEEE Transactions onPattern Analysis and Machine Intelligence，29（11）：1944[7] 董家华、杨聪、孙乾、侯东东。语义可转移的弱监督内窥 镜 病 变 分 割 。 在 IEEE/CVF国 际 计 算 机 视 觉 会 议（ICCV）的会议记录中，第10711-10720页[8] 董家华，杨聪，孙甘，刘玉阳，徐晓伟. Cscl：无监督领 域 自 适 应 的 关 键 语 义 一 致 性 学 习 。 在 AndreaVedaldi ， Horst Bischof ， Thomas Brox 和 Jan-MichaelFrahm，编辑，欧洲计算机视觉会议[9] Jiahua Dong，Yang Cong，Gan Sun，Bineng Zhong，and Xiaowei Xu.可以转移的内容：用于内窥镜病变分割的无监督域自适应。在IEEE/CVF计算机视觉和模式识别会议（CVPR），第4022-4031页[10] 迈克尔·加兰和保罗·S·赫克伯特。使用二次误差度量的曲 面 在 Proceedings of the 24th annual conference onComputer graphics and interactive techniques，pages 209[11] Dvir Ginzburg和Dan Raviv。循环函数映射：非等距可变形形状之间的自监督对应。在欧洲计算机视觉会议上，第36-52页。Springer，2020年。[12] ArthurGretton，Karsten M Borgwardt，Malte J Rasch，Bern-hardSchoülk opf，andAl e xanderSmola. AKernelTWO-样本test. The Journal of Machine Learning Research ， 13（1）：723[13] Thibault Groueix、Matthew Fisher、Vladimir G Kim、Bryan C Russell和Mathieu Aubry。3d编码：通过深度变形的3d对应。在欧洲计算机视觉会议（ECCV）的会议记录中，第230-246页[14] Thibault Groueix，Matthew Fisher，Vladimir G Kim，BryanCRussell，andMathieuAubry. 一个学习3D表面生成的简单在IEEE计算机视觉和模式识别会议论文集，第216-224页[15] Thibault Groueix、Matthew Fisher、Vladimir G Kim、Bryan C Russell和Mathieu Aubry。用于形状匹配的无监督循环一致变形。计算机图形论坛，第38卷，第123-133页。Wiley在线图书馆，2019年。[16] Oshri Halimi ， Ido Imanuel ， Or Litany ， GiovanniTrappolini ， EmanueleRodola` ， LeonidasGui
我的内容管理
展开
