无监督学习的3D形状密集对应

1密集形状对应Oshri HalimiTechnion，以色列Oshri. gmail.comFacebook AIResearchorlitany@fb.comEmanuele Rodola'Sapienza罗马rodola@di.uniroma1.itAlex BronsteinTechnion，以色列bron@cs.technion.ac.ilRon KimmelTechnion，以色列ron@cs.technion.ac.il无监督FM（SHOT）SGMDS参考(this纸张）监督[28]美国（USA）[36]+PMFSGMDS [4]+ PMF图1：使用建议的无监督损失获得的铰接对象之间的密集对应关系，优化 一个（未标记的）例子。我们的方法与最先进的监督网络进行了比较，该网络对人体形状进行了预训练，并与两种公理方法进行了比较，对公理结果采用了后处理算法[49]。更多详情请参见第5.1节。对应性通过从最左边的参考形状映射的颜色来可视化。摘要我们介绍了第一个完全无监督的对应学习方法，可变形的3D形状。我们的模型的关键是理解自然变形，例如姿势的变化，近似地保留了表面的度量结构，从而产生了一个自然的标准来驱动学习过程以实现失真最小化的预测。在此基础上，我们克服了对注释数据的需要，并将其替换为纯几何判据。所得到的学习模型是类不可知的，并且能够利用任何类型的可变形几何数据用于训练阶段。与现有的监督approaches，专门在训练时看到的类，我们表现出更强的泛化能力，以及applica- bility到各种具有挑战性的设置。我们展示了我们的方法在广泛的选择对应的基准，其中所提出的方法优于其他方法的准确性，泛化和效率。1. 介绍在非刚性形状之间找到精确的密集对应的问题是几何规划中的基本问题。切辛它是诸如变形建模、交叉形状纹理映射、姿势和动画传输等应用中的关键组件。密集可变形形状对应算法可以大致分为两类。第一种可以被称为公理化的或基于模型的，其中断言了特定的几何假设并通过一些数值方案来追求。建模假设试图描述一类变形对通常称为描述符的某些几何量的作用。这样的几何量通常对形状上的点附近的局部几何信息（逐点描述符）进行编码，例如法向取向[47]、曲率[37]和热[45]或波[6]传播特性。另一种类型的几何量是点对之间的全局关系（成对描述符），包括测地线[21，14，4]，扩散[17，12]或通勤时间[50]距离。给定一对形状，寻求它们之间的密集映射以最小化这些描述符之间的差异。虽然逐点差异的最小化可以用公式表示为线性分配问题（QAP），并且可以有效地解决合理的尺度，但使用逐对描述符会导致二次分配问题（QAP），437043711在任何实际尺度下都是不可解的。在文献中已经开发了许多近似和解析来减轻QAP的计算需求。第二类对应算法是数据驱动的，并利用现代高效的机器学习工具。这些方法不是公理化地对感兴趣的形状的变形类别和几何性质进行建模，而是从数据本身推断这样的性质在这些方法中，有热核签名的可学习概括[31]，以及将对应性解释为标记问题的模型[41]。其他最近的方法将CNN推广到非欧几里德结构，以学习改进的描述符[35，10]。在[23]中介绍了一种基于零形状的非本征变形的最新方法。这些方法的一个共同命名者是监督训练制度–这种监督设置的一个主要缺点是，在3D形状对应的情况下，地面实况数据是稀缺的，获得成本高。例如 ， 尽 管 仅限 于 单 一 形 状 类 别（ 人 体 ） ， 但 MPIFAUST扫描和标记系统[8]需要大量的人工劳动和相当大的财务成本。在实践中，标记的模型预计只是现有几何数据的一小部分，这使得任何监督学习算法的可扩展性受到质疑。1.1. 贡献我们提出了一个无监督的学习计划密集的3D变形形状对应的基础上一个纯粹的几何标准。建议的方法通过学习在基于模型的世界和数据驱动的世界之间架起桥梁，相对大量的标记数据来推导出一般化模型，利用无监督网络，我们可以简单地对单对形状进行优化，该单对形状本身包含两个训练样本，在对应的每个方向上一个。我们的实验只需要几次迭代，只需几分钟即可运行。因此，我们获得了形状之间的准确匹配，见图1。对于一个训练好的网络，推理阶段需要不到一秒的时间。我们相信，这种策略有其自身的优点，作为现有的计算昂贵的方法，是基于成对的描述符的替代。该 框 架 可 以 被 解 释 为 先 前 提 出 的 广 义 多 维 缩 放（GMDS）[4，14]和FMNet网络架构[28]之间的融合。在这里，我们使用成对测地距离失真的离散化，如[4]中所建议的和[34]中所证明的。2. 背景2.1. 最小失真对应我们把形状建模为黎曼2-流形X，它具有由标准体积形式dx导出的距离函数dx：X × X→R.等距映射是一个映射π：X→ Y，对于任意对x1，x2∈ X，满足：dX（x1，x2）= dY（π（x1），π（x2））。（一）对应搜索方法优化映射π满足距离保持准则（1）。在实际应用中，只期望等距的近似实现;因此，人们有兴趣找到一个失真最小化的地图的形式∫∫π=arg min（dX（x1，x2）−dY（π（x1），π（x2）2daxdax使逐点描述符产生对应最小化成对测地线距离失真[21，14]。π：X→Yx1，x2∈X（二）无监督损失与谱广义多维标度[4]模型密切相关。通过函数映射框架[36]解决对应关系，完全避免了成对方法的计算负担。逐点描述符是在代理任务上学习的，仅近似地表征真实数据，其偏离断言的等距变形模型。尽管如此，该方法显示出出色的泛化能力超过了监督同行，而从来没有看到地面真实对应的例子。据我们所知，这是第一个应用于几何形状对应问题的无监督方法所提出的框架的一个主要优点是，当数据本身稀缺时，在极端情况下，我们可能只有一对我们想要匹配的形状，并且我们没有包含类似形状的训练数据集。虽然监督方案依赖于在离散设置中，我们假设流形X，Y是表示为每个在n个顶点处采样的三角形网格。最小失真对应采用二次分配问题（QAP）的形式，其中在n×n置换矩阵的空间上寻求最小值。几项研究试图通过子采样[46，39]、分层匹配[14，51，38，20]或凸松弛[3，16]来降低该QAP的复杂性，以获得近似解为代价无论解决起来多么复杂，最小失真准则（2）都是公理化的，并且不需要任何注释的对应关系，使其成为无监督学习损失的自然候选者。2.2. 描述符学习使（2）的优化更有效的常见方式是通过限制可行集以仅包括具有相似描述符的点之间的潜在匹配。通过这样做，人们将关键的困难从优化一个高度24372非线性目标设计变形不变的局部点描述符。在过去几年中，这一直是形状分析中的一个积极研究目标，示例包括GPS [42]，热和波核签名[45，6]以及最近的测地距离描述符[44]。在3D视觉中，已经提出了几种旋转不变的几何描述符[47，25]。尽管他们缺乏对等距变形的抵抗力，也称为软映射，将为每个点x∈ X分配一个集中在y=π（x）周围的函数，并具有一定的扩展。为了求解矩阵C，从两个表面上的已知对应函数的知识导出线性约束。对应的函数是在映射T下保持其值的函数。给定一对对应的函数f：X →R和g：Y → R描述符一直主张在变形设置[40]其中系数f={fφi，fφ}i和gφ={j，g}jin这是由于它们的位置和对边界效应的弹性。手工制作的描述符有一个固有的缺点，就是需要手工调优.因此，已经提出了学习技术早期的例子包括基于决策森林和度量学习的方法[31，41，19];最近，几篇论文提出了深度学习模型对非欧几里德域的适应在[33，10，35]中，基于补丁算子的概念引入了可学习的局部滤波器。在[28]中，采用了任务驱动的方法，其中网络以监督的方式学习擅长手头任务正如我们将在续集中展示的那样，我们的方法用SGMDS模型[4]中优化的惩罚替换了后一个模型的惩罚，完全消除了监督的需要。2.3. 功能图函数映射的概念在[36]中引入，作为在表面之间传递函数的工具，而无需直接操作点对点对应关系。设F（X），F（Y）分别是定义在X和Y上的实值函数空间。 那么，给定一个双射π：X → Y，函数映射T：F（X）→ F（Y）是一个线性映射，作用为：T（f）= f <$π−1。（三）函数映射T允许分别关于X和Y上的正交基{φi}i≥1，{φi}j≥1的矩阵表示，其中系数C=（cij）由下式计算：Σ基{φi}和{φj}，对应对C施加以下线性约束g=Cf.（六）每对这样的对应函数被转换成线性约束。假设存在一个算子接收一个形状X并在其上产生一组描述符函数，我们进一步假设给定另一个形状Y，该算子将产生一组与X和Y之间的潜在对应相关的对应函数。换句话说，在所述一对形状上应用上述运算符产生一组对应函数对（fi，gi），每对包括定义在X上的fi和定义在Y上的gi。 我们将相应的系数ffi和gfi堆叠到矩阵Ffi和Gfi的列中。然后，函数映射矩阵C由（最小二乘或以其他方式正则化的）解给出对系统的G=CF（七）因此，对点对点对应关系的特定知识的要求被关于函数对应关系的知识的宽松要求所取代。2.4. 深层函数映射上述设置中的一个重要警告是，除非形状X和Y通过狭窄的一类变形相关，否则很难构造产生足够数量的稳定和可重复描述符的算子。然而，这样的算子可以从示例中学习。深度功能地图网络（FMNet）的目标是-T（f）=φ i，f（四）`联系我们IJCJI[28]在《易经》中，有一种说法是：在上述方程组中，将导致精确的对应。 在训练时，FMNet在-虽然函数映射形式主义对所选择的基没有进一步的要求，但典型的选择是Laplace-Beltrami特征基，其中可以在[2]中找到这种选择的最优性的理由将这些级数截断为k个系数，得到函数对应T的带限近似。特别是，地图ΣP：x<$→cji φi（x）<$j，（5）i、j放置描述符函数（例如，SHOT描述符），并通过最小化定义在从函数映射矩阵导出的软对应上的几何损失来改进它们。可微函数映射层（FM）利用每次迭代中的当前描述符函数求解方程（7在[28]中描述的网络架构由7个具有指数线性单元（ELU）的全连接残差层残差网络的输出是一个密集的向量值描述符。给定4373纪纪pY¨FXY图2：深度功能映射网络架构[28]两个形状X和Y，使用相同的网络在每个形状上计算描述符，并将其投影到相应的截断LBO基上。将得到的系数作为功能映射（FM）层的输入，FM层根据（7）计算功能映射矩阵C ∈ Rk × k。随后的对应层（Corr ）从功能映射矩阵C产生软对应矩阵P∈RnY×nXP =|TA|你好（八）其中，我们将离散形状上的顶点数表示为nX和nY，对角矩阵A将内积与X的离散面积元素归一化。 绝对值和L2列归一化（用·表示）确保p2的值可以解释为形状Y上的顶点j与X上的顶点i相对应的概率。 我们用Q=P<$P表示P的元素平方，其中P代表阿达玛乘积。将Q的第i列qi视为与X上的点i相对应的Y上的点上的分布，我们可以形状.批次损失是所有批次的 总 损 失（X，Y）在minibatch中的对。 训练FMNet遵循通常用于描述符或度量学习的标准Siamese设置，其中具有共享参数的网络的两个副本产生X和Y上的描述符。从这个角度来看，功能图和软对应层是暹罗损失的一部分，而不是网络本身。3. 无监督深度函数映射FMNet在标准可变形形状对应基准上实现了最先进的性能，如[28]所示。然而，人们可以争辩说，监督训练制度在所需的手动注释数据量方面是禁止的。本文的主要贡献是用不需要注释的标准几何量的逐点对应代替监督，如[4]中所述。如前所述，人体姿势衔接可以被建模为近似等距，即，潜在的对应引入很少的度量失真。如果两个顶点在源形状上处于某个测地线距离，则在通过正确的对应映射之后，目标域上的对应点之间的距离被保持。设P是FMNet的软对应层的输出;如前所述，它的平方元素qji=p2被解释为Y上的概率分布。在这些项中，矩阵QTDYQ的第j个元素Σ评估与地面真实值的预期偏差，响应ππ（i）.这用二阶矩表示（QTDYQ）ji=m，n2 2美诺 dY（m，n） （11）Ej<$qd2（j，π（i））=Σ qjid2（j，π π∈（ i））.（九）表示图像之间在Y在软对应P下，iY Yj∈Y这允许定义以下无监督损失其中dY（j，π（i））是Y上的测地距离，∗X（X，Y）=1-D- QTD¨2Q？（十二）顶点j和地面真值匹配顶点的π（i）我在X。像往常一样，这个时刻包括方差和uns|2-Y|2 ¨ XY¨F偏置项;虽然前者是带限近似的结果（由于基的截断），但后者可以控制。对X上所有点的上述矩求平均会导致以下监督损失批量损失是minibatch中所有对的重复次数（X，Y）之和。 这种损失测量了L2测地距离失真，可以解释为软对应，[4]见《易经》，《易经》，《易经》。请注意，X，Y=1|X|ΣΣi∈Xj∈Yqji d2（ j，π（i））与直接求解QAP相比，我们建议使用递归神经网络来训练FM- Net，它可以促进网络生成描述符，从而使生成的软对应最小化。1=|X| 中国（DY（10）减少预期的成对距离失真。联合国监督损失模型，从而共享一个共同的理论框架与频谱广义多维其中，DY表示在预处理阶段针对每个形状评估的成对测地线距离矩阵，并且DY是在预处理阶段针对每个形状评估的成对测地线距离矩阵之间相关的地面真值置换。（SGMDS）模型。注意，对于无监督损失，整个优化可以在频谱域中执行，如SGMDS模型所建议的Φ枪· ··，FFΘGC PFM CorrFG枪· ··，ΨRes 1Res 1Res 2Res 2Res KRes Kp4374YY[4]的文件。在这种情况下，在FMnet架构中的Corr模块在图中呈现。2本可以避免的我们计划在未来探索这种架构。从无监督的角度来看，世界上所有的形状都可以构成一个训练集。由于该网络是地面实况独立的，并且对任何类别的形状都是通用的在监督机制中应用的严格训练-测试分离可以在无监督机制中遵循，这取决于设置;如果训练集具有足够的代表性来概括测试集，则网络可以在训练集上学习并在测试集上推断，从而减少每个形状的处理时间。另一方面，对于非代表性的训练集，网络也可以通过处理测试形状来改进学习模型。事实上，学习甚至可以在推理时执行，如5.1所示。例如，对于FAUST扫描[7]，作者提供了一个具有地面真实标记的训练集和一个不相交的未标记测试集。当无监督模式可以访问相同的数据时，与有监督模式相反，它可以利用未标记的测试形状来提高预测精度。4. 执行我 们在TensorFlow [1]中 实现 了我 们的 网络 ，在GeForce GTX 1080 Ti GPU上运行。数据预处理和对应细化在Matlab中完成。我们在补充材料中提供了代码的链接。4.1. 前处理为了使多个形状的小批量能够适应分类，通过边收缩将训练集中的每个形状重新网格化到n×5K和7K顶点之间[22]。对于每个重新网格化的形状k，计算了70−150个LBO本征函数以及352维SHOT de，映射矩阵C，随后是软对应层，其根据等式（7）产生随机对应矩阵P。（八）、最后，根据等式计算无监督损失。（十二）、 虽然在FMNet中，损失是在顶点的随机子采样上计算的，但我们发现这种策略在LBO基础上引入了描述符系数的不准确性;当使用子采样时，网络评估投影系数的估计值，这对于具有高频内容的描述符来说很快变得不准确。为了避免这种情况，在我们的实现中，我们以全分辨率执行投影，同时将小批量的大小减小到每个小批量4-在我们所有的实验中，我们使用了不超过几千（3 K-4.3.后处理逐点地图恢复。遵循FM-Net协议，我们应用乘积流形滤波器（PMF）[49]，以在完整的合成形状设置中改进网络的原始预测。我们找到了测地线-当存在拓扑 噪 声 时 ， 真 正 的 扫 描 此 外 ， PMF 不 太 适 合 于MEMS。PMF算法以噪声匹配作为输入，并产生（保证）双射和更平滑的对应作为输出，具有更高的精度。PMF的应用归结为解决一系列线性分配问题argmax tt，KXt−1KF，其中t在置换空间上变化，KX，K是作为扩散算子的核矩阵。我们参考[49]，续费升级由于我们对重新网格化的形状进行操作，因此我们最终应用一个放大步骤来将对应关系恢复到原始分辨率。同样，我们遵循FMNet [28]中描述的过程，即我们解决以下形式scriptor [43]，使用10个bin和大致选择为最大成对测地线距离的5%的SHOT半径。测地距离矩阵D使用快速C至最高=argminCFupC-G 向上二、一、（十三）方法[27]。这些量构成输入到网络。4.2. 网络架构和损耗为了更直接和公平的比较，我们采用了与图1中所示的FMNet相同的网络架构二、每对形状的输入是它们的n×k截断LBO基Φ和Φ，n×n成对距离矩阵DX和DY，以及n×352SHOT描述符字段。这些被馈送到7层残差网络[24]，分别在X和Y上输出352维密集描述符字段F和G，这可以被认为是SHOT的非线性然后将计算出的描述符输入到功能映射层，其中，Fup，Gup包含LBO系数（全部分辨率基础）的三角函数支持在相应的-从低分辨率地图C中提取的点2.2.1范数（定义为列的2.2.2范数之和）允许降低潜在失配的权重。5. 实验5.1. 学习匹配一对在深入研究大型数据集上的训练之前，我们从测试形状匹配问题的一个极端开始我们的实验部分：单输入对。显然，这是经典的、非基于学习的方法的原生环境。虽然基于学习的方法赋予了我们4375对于大型列车组，有更好的解决方案，它们不具备处理完全新颖的例子的能力。我们demonstrate的无监督网络可以作为一个ad-hoc求解器的一个单一的对，产生良好的效果，而初始化随机权重。图1显示了我们对艺术家制作的一对形状的未处理请注意，没有提供地面实况标记，因此基于监督学习的方法无法在输入对上进行微调。相反，我们比较了FMNet的未经处理的预测，FMNet是在FAUST的人类形状上进行预训练的。此外，我们比较了两种公理化方法[4，36]，使用相同数量的LBO特征函数（150）并对公理化结果应用4.3中描述的后虽然我们的方法表现出优越的性能，公理化方法的运行时间超过一个小时。相反，优化我们的网络大约需要15分钟。此外，如果我们被赋予一个相同形状的额外变形来求解，任何公理化方法都必须从头开始解决这个问题。显然，由于我们的方法已经学会了将成对优化问题转换为描述符匹配问题，因此推理大约需要一秒钟！快速推理实验见补充资料。5.2. 浮士德合成在这个实验中，我们在相同的设置下比较了我们的无监督方法和它的监督方法。 我们表明，（a）优化的无监督损失的结果在监督损失的相关减少;（b）无监督的方法达到了相同的准确性，监督之一。 为了训练我们的网络，我们使用了Faust合成的人体形状[7]，并遵循与[28]相同的数据集分割，其中8个受试者的前80个形状用于训练，另外2个子对象的20个形状的不相交集合用于测试。 每个训练小批包含4个形状对，其全分辨率为6890个顶点。我们使用与[ 28 ]相同的参数，即k=120特征函数和ADAM优化器，学习率为α=10−3，β1=0。9，β2=0。999，且π=10−8。我们使用了3K训练小批量。请注意，如[28]所示，由于我们在形状对上训练，因此有效的训练集大小为6400。损失函数分析。图3显示了训练过程中的无监督损失（顶部），以及监督损失（底部）。重要的是，无监督网络无法访问地面实况通信。从图中可以观察到，虽然优化目标是无监督损失，但监督损失也减少了。这很好地表明，当我们的（准）等距变形的基本假设成立时，可以用一个公理驱动的损失项完全取代昂贵的监督。图3：在无监督训练过程中测量的无监督损失（左轴）和监督损失（右轴），以对数标度表示。图4：无监督和有监督的网络结果，在合成的Faust受试者内测试对上进行评估。图5：合成浮士德纹理转移。四个右侧模型显示了来自参考模型的预测匹配。性能比较。为了将我们的结果与监督网络进行比较，我们遵循相同的训练方案，这次使用监督损失。我们使用这20个测试形状来构建总共400对的测试数据集;其中200个是受试者内对，并且其他200个是受试者间对（注意，匹配是从源到目标的方向性的，因此该集合不是冗余的）。受试者内对通过等距线很好地建模，而受试者间对表现出等距线的偏差。图4比较了200个受试者内测试对的结果，5可视化了受试者内以及受试者间测试对之间的计算对应关系。补充材料中提供了更多的可视化。43765.3. 实时扫描传统上，基于公理的方法仅在计算机图形学领域被证明是有用的。我们引入学习描述符的目标之一是证明我们的方法对真实扫描数据的适用性。 为此，我们使用FAUST真实扫描基准。这些是非常高分辨率的非防水网格，其中许多包含孔和拓扑噪波。我们在基准测试中使用了整个扫描数据。扫描被下采样到7K顶点的分辨率。对于每次扫描，计算距离矩阵，以及352维SHOT描述符和k=70LBO特征函数。每个训练小批包含4对形状。我们训练了我们的网络10K次迭代。原始的网络预测只是被放大了，但没有用PMF进行细化，如4.3节所解释的. 定量结果进行了评估-通过在线评估系统。平均和最差情况得分为2。51厘米和24。35 cm，分别，在内部挑战中，我们的网络与不使用额外数据的最新方法（即FMNet（2. 44，26。16），and Chen et al.[16]（4. 86岁二十六岁57）。我们的表现略低于最近的3D编码方法[23]（1。98，5。18）它使用额外的augmen-在训练中有超过200K的形状。同样的方法，当不使用额外的数据时，系数为0.9。为了完成，我们还在相同的设置中训练了网络，只使用训练集。 我们注意到性能上的一个小变化：[平均误差：轻微恶化至2.82 cm，而不是2.51 cm;最大误差：略微改善至20.64 cm，而不是24.35 cm]，保持与FM-Net相同的结果。5.4. 泛化无监督损失使我们能够在没有给定密集对应的情况下对数据集进行训练，甚至可以对单个对进行优化这两种方法都在以前的实验中进行了演示然而，在这一小节中，我们想提出一个不同的问题：我们的网络通过对源数据集的训练学到了什么，以及这些知识在多大程度上可以转移到目标数据集。训练域之间的可移植性是一个长期存在的研究领域，最近重新获得了很多兴趣，但它在这项工作的范围内，我们专注于将合成或扫描的浮士德形状转换为（a）来自Dynamic-FAUST的人类形状，（b）来自SCAPE的人类形状，以及（c）来自TOSCA的动物形状。我们展示了使用Faust合成或扫描数据训练的网络的预测，在（a，b，c）上进行评估，而不使用来自这些数据集的训练样本。动态FAUST是最近的一个非常大的人体形状集合[8]，包括各种活动序列而这些形状以与我们的合成FAUST的训练集相同的方式被三角化，它们在姿态和外观上显著不同图8显示了对该集合的出色概括，表明80个合成FAUST形状的小集合足以捕获姿势和形状可变性。更多的可视化见补充材料。[5]人的形体也只有人的形体。然而，我们根据前面结果背后的相同推理，网络可能已经学会了对合成连接进行特殊化。为了避免这一点，我们测试了在扫描上训练的网络，这些扫描展示了不同的网格。事实上，图7显示了良好的概括性。TOSCA数据集[15]包括各种动物形状。令人印象深刻的是，在人类扫描上训练的网络表现出非常好的性能，在训练时没有看到任何动物在图9中，我们比较了几个公理模型和一个在每个动物类别上单独训练的监督网络[41]，并显示了预处理前的可比结果和接近完美的结果。5.5. 部分对应关系部分形状对应是一个众所周知的难题，旨在解决它的技术通常需要特别注意[29，40，30]。也就是说，在这个实验中，我们测试了我们的方法在极端条件下的性能，也就是说，没有对我们的网络进行任何修改。为此，我们使用了来自[ 18 ]的具有挑战性的我们在一个由10个部分形状组成的小集合上训练了网络，并对26个测试形状的结果进行了评估。网络结果如图所示。六、我们发现，失配通常发生在局部形状的边界附近。原因可能是这些区域中SHOT描述符的失真。6. 讨论和结论本文的主要信息是，一个适当设计的无监督代理任务可以取代大规模的标记。虽然我们提倡用纯无监督的方法代替监督的方法，但这两者也可以结合在半监督学习方案中。虽然我们证明了最小化测地距离畸变在各种基准上实现了良好的泛化，但局部尺度变化和拓扑变化可能会挑战经典模型，需要适当的适应。在未来的研究中，我们打算研究基于更一般的尺度不变和保角不变的成对几何量，以及拓扑性质，例如，保存的训练任务。通过利用成对扩散距离，参见例如，[12 ]第10段。建议的网络在部分对应任务上表现出惊人的高性能，即使功能地图层不是4377我们[第28话]OSD [32]GCNN [33]LSCNN [9]ADD3 [11]mADD 3 [11]100[40]第40话：我的世界80604020000.020.04零点零六0.08 0.1测地误差图6：SHREC'16基准[ 18 ]（狗类）的变形形状部分匹配比较我们证明了与部分功能图[40]一致的结果，这是该问题的最新技术水平。右侧显示的部分形状与参考匹配;对应的点具有相似的颜色。100花葶100托斯卡8080参考60402000 0.02 0.04 0.06 0.08 0.1测地误差图7：SCAPE上的泛化。为了公平比较，我们展示了没有PMF细化的网络预测。图9：TOSCA上的泛化我们展示了PMF细化之前（虚线）和之后（实线）的渲染的可视化是在细化之前。具有增强属性的领域，如对对称性的敏感性增加，对变形和非刚性变形的鲁棒性增加本文首次尝试创建一个完全无监督的学习框架来解决非刚性形状对应的基本问题我们相信，公理模型和深度学习的融合是一个有前途的方向，可以适应未来3D数据的预期增长。图8：Dynamic FAUST上的泛化实验。我们使用PMF细化来呈现网络预测。明确设计用于处理部分数据。基于最近引入的部分函数映射形式主义[40，29]及其与先前显式努力[13]的关系，将其扩展到部分设置最后，我们想探索其他描述符确认我们非常感谢Matteo Sala提供图中出现的模型。1.一、RonKimmel 和 Oshri Halimi 得 到 了 以 色 列 科 学 部 的 资 助 。 3-14719，技术藤原博网络安全研究中心和以色列网络局。Alex Bronstein得到了ERC资助号335491（RAPID）的支持Emanuele Rodola` 得 到 了 ERC 赠 款 的 支 持 。 802554（SPECGEO），以及Sapienza大学计算机科学系授予的MIUR我们部分FM [40]我们我们的+PMF我们RF [41]PMF [48]BIM [26]SGMDS [4]FM [36]动态FAUST参考10080604020000.020.040.060.080.1测地误差604020000.02 0.040.06 0.080.1测地误差%对应性%对应性%对应性%对应性4378引用[1] M. Abadi、A.Agarwal，P.Barham，E.Brevdo，Z.陈先生，C. 西特罗湾S. Corrado，A.Davis，J.Dean，M.Devin，S.盖-马瓦特岛。Goodfellow，A.Harp，G.Irving，M.Isard，Y.贾，R. 约瑟夫·奥维茨湖Kaiser，M.Kudlur，J.L evenber g，D.妈妈，R. Monga、S.穆尔，D.默里角奥拉山舒斯特J. Shlens，B.施泰纳岛Sutskever，K. Talwar，P. Tucker，V. Vanhouc k e，V. Vasud ev an，F. Viegas，O. Vi nyals，P. 等等，M。Wattenberg，M.Wicke，Y.Yu和X.郑张量-流量：异构系统上的大规模机器学习，2015年。软件可从tensorflow.org获得。5[2] Y. Aflalo，H. Brezis，和R.基梅尔关于谱域中形状和数据表示的最优性。SIAM Journal on Imaging Sciences，8（2）：1141-1160，2015。3[3] Y. Aflalo，A. Bronstein和R.基梅尔关于图同构的凸松弛。Proceedings of the National Academy of Sciences，112（10）：2942-2947，2015. 2[4] Y. Aflalo，A. Dubrovnik和R.基梅尔谱广义多维标度。IJCV，118（3）：380-392，2016。一二三四五六八[5] D. Anguelov ， P. 斯 里 尼 瓦 桑 D.Koller ， S.Thrun ，J.Rodgers和J.戴维斯SCAPE：形状完成和动画的人。TOG，24（3）：408-416，2005. 7[6] M. 奥布里，美国Schlickewei和D.克莱姆斯 wave内核签名 ： 形 状 分 析 的 量 子 力 学 方 法 。 在 Proc. ICCVWorkshops，第1626-1633页，2011中。第1、3条[7] F. Bogo ， J. Romero ， M. Loper 和 M. J. 布 莱 克 。FAUST：3D网格配准的数据集和评估 在procCVPR，2014年。 五、六[8] F. Bogo，J. Romero，G. Pons-Moll和M. J.布莱克。动态浮士德：记录运动中的人体 在IEEE会议 计算机视觉与模式识别（CVPR）2017年7月。 二、七[9] D. Boscaini，J.Masci，S.Melzi，M.M. 布朗斯坦大学Castel-lani，和P.范德海恩斯使用局部谱卷积网络学习可变形形状的类特定描述符。Computer Graphics Forum，34（5）：13-23，2015. 8[10] D. Boscaini，J. Masci、E. Rodo la`和M. 布朗斯坦用各向异性卷积神经网络学习形状对应。神经信息处理系统的进展，第3189-3197页，2016年。二、三[11] D. Boscaini，J. Masci、E. Rodo la`，M. M. 布朗斯坦，还有D.克莱姆斯各向异性扩散描述符。在计算机图形论坛，第35卷，第431-441页。Wiley Online Library，2016. 8[12] A. M. 布朗斯坦M. 布朗斯坦M. M. R. Kimmel，以及G.萨皮罗一个Gromov-Hausdorff框架与扩散几何拓扑鲁棒非刚性形状匹配。International Journal of ComputerVision，89（2-3）：2661、7[13] A. M.布朗斯坦M. M. Bronstein，A. M. Bruckstein和R. 基梅尔物体的部分相似性，或者如何将半人马与马进行比较。International Journal of Computer Vision，84（2）：163-183，2009。8[14] A. M. 布朗斯坦M.M. Bronstein和R.基梅尔广义多维标度：等距不变的部分表面匹配的框架。PNAS，103（5）：1168- 1172，2006. 一、二[15] A. M.布朗斯坦M. M. Bronstein和R.基梅尔非刚性形状的数值几何。Springer Science Business Media，2008. 7[16] Q. Chen和V. Koltun.基于凸优化的鲁棒非刚性配准。在IEEE国际计算机视觉会议集，第2039二、七[17] R. R. Coifman，S.Lafon，A.B. 李，M。马焦尼湾纳德勒F. Warner和S. W. Zucker几何扩散作为调和分析和数据结构定义的工具：扩散映射。PNAS，102（21）：7426-7431，2005. 1[18] L. Cosmo ， E.Rodo la` ， M. M.Bronste i n ， etal.SHREC在Proc. 3DOR，2016中。七、八[19] L. Cosmo，E. 罗多尔，J。Masci，A. Torsello和M. M. 布朗斯坦。在杂乱中匹配可变形物体。在proc 3DV，2016. 3[20] A. Dubrovnik和R.基梅尔通过拉普拉斯-贝尔特拉米算子的本征组成 Proc. 3DPVT，2（3），2010. 2[21] A. Elad 和R. 基梅尔 曲面的弯 曲不变特征 PAMI，25（10）：1285-1295，2003. 一、二[22] M. Garland和P. S.赫克伯特使用二次误差度量进行曲面简化。第24届计算机图形和交互技术年会集，第209-216页。ACM出版社/Addison-Wesley出版公司1997. 5[23] T. Groueix，M.Fisher，V.G. 金湾，澳-地Russell和M.奥布莉3d编码：通过深度变形的3d对应。在ECCV，2018。二、七[24] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 770-778，2016中。5[25] A. E. Johnson和M.赫伯特在杂乱的3d场景中使用自旋图像进行有效的物体识 别IEEE Transactions on PatternAnalysis Machine Intelligence，（5）：433-449，1999. 3[26] V. G.金，Y。Lipman和T. A.放克豪瑟混合内禀映射。Trans. Graphics，30（4），2011. 8[27] R. Kimmel和J. A.塞西安计算流形上的测地线路径。美国国家科学院院刊，95（15）：8431-8435，1998。5[28] O. Lita ny，T. Remez，E. Rodol a`，A. M. Bron s tein和M. M. 布朗斯坦深层功能图：密集形状对应的结构化预测。在Proc. ICCV，第2卷，第8页，2017年。一二三四五六八[29] O. Lita ny、E. Rodo la`、A. M. Bronstein和M. M. 布朗斯坦全谱部分形状匹配。Computer Graphics Forum，36（2）：247-258，2017. 七、八[30] O. Lita ny、E. Rodol a`，A. M. 布朗斯坦M. M. Bronstein和D.克莱姆斯非刚性拼图。在计算机图形论坛，第35卷，第135-143页。Wiley Online Library，2016. 74379[31] R. Litman和A. M.布朗斯坦学习谱描述器的变形形状对应 。 IEEE transactions on pattern analysis and machineintelligence，36（1）：171-180，2014。二、三[32] R. Litman和A. M.布朗斯坦学习可变形形状对应的谱描述符 IEEE Trans. Pat-tern Anal.马赫内特尔，36（1）：171-180，Jan. 2014. 8[33] J. Masci，D. Boscaini，M. Bronstein和P.范德海恩斯黎曼流形上的测地线卷积神经网络在IEEE计算机视觉研讨会国际会议论文集，第37-45页，2015年。三、八[34] F. Me`moli和G. 萨皮罗点云数据等距不变量识别的理论与计算计算数学基础，5：313- 346，2005。2[35] F. 蒙蒂D.Boscaini，J.Masci、E.罗多尔，J。Sv oboda，以及M. M.布朗斯坦使用混合模型cnns对图和流形进行几何深度学习。在计算机视