自接触的运动重定向方法保持物品之间的分离

9720蒙皮运动Ruben Villegas1杜伊古·锡兰1阿隆·赫茨曼1杨基美1齐藤俊11奥多比研究源运动SAN我们的源视频Rempe等人，2020我们图1. 我们的接触感知运动重定向方法减少了相互渗透，并在统一的框架中保留了具有不同几何形状的角色的自接触，而现有的方法，如骨架感知网络（SAN）[2]，没有（左）。此外，我们的方法推广到看不见的运动估计从视频;在质量上改进了最近的人体运动估计方法中的明显的相互渗透。摘要本文介绍了一种运动重定向方法，保持自接触，防止相互渗透。自接触，诸如当手彼此接触或接触躯干或头部时，是人体语言和动态的重要属性，然而现有方法不对这些接触进行建模或保存。同样地，相互渗透，例如手进入躯干，是运动估计方法的典型伪像。我们的方法的输入是一个人的运动序列和目标骨架和字符几何。该方法识别输入运动中的自接触和接地接触，并优化运动以应用于输出骨架，同时保留这些接触并减少相互渗透。我们引入了一种新的几何条件递归网络的编码器空间优化策略，实现了高效的重定向，同时满足接触约束。在实验中，我们的结果定量优于以前的方法，我们进行了用户研究，我们的重定向运动被评为更高的质量比最近的作品。我们还展示了我们的方法推广到从人类视频中估计的运动，我们比以前的作品产生明显的相互渗透。1. 介绍自我接触，即一个人身体的一部分自我接触通常表示不同的行为或情绪状态。例如，人们可能会把头放在手上，如果他们担心或想-而某些舞蹈动作需要一个人相反，不可信的自我接触，如手穿过对方，破坏了运动的物理可解释性。因此，处理自我接触是至关重要的重建，解释和合成人体运动。请注意，合成蒙皮角色的接触本文介绍了一种运动重定向算法，保留了自接触和地面接触，同时也减少了穿插。我们的重定位算法需要输入的人体运动和目标人物，并产生一个合理的动画，体现了目标人物如何我们的方法首先识别输入运动中的自接触和脚接触我们使用的能量函数，保留这些接触的输出运动，同时减少在输出的相互渗透。我们从角色我们的方法gener- alizes到任何网格的几何形状和拓扑结构，无论在网格中的顶点数。由于难以直接优化一个完整的运动序列，我们建立在以前的工作，并训练一个回流神经网络（RNN）执行重定向。我们发现，一个RNN不完全满足接触约束，鉴于其有效的推理。因此，我们提出了编码器空间优化，其中我们通过迭代优化RNN编码器的隐藏单元来改进RNN的预测。该过程允许我们的方法通过利用9721RNN由于手经常参与有意义的自我接触（例如，从手到头、手到手、手到臀部的接触），我们将分析集中在手与角色几何体的其余部分之间的接触上。请注意，我们使用几何体意味着输出样式将取决于字符网格：体型较大的角色在移动时会受到更多限制，这在我们的结果中有所反映。我们评估我们的方法对各种复杂的运动序列，以及广泛的字符几何形状从瘦到笨重。我们表明，我们的方法提供了一个很好的平衡之间保留输入运动属性，同时保留自接触和减少难以置信的相互渗透。在我们的定性和定量实验中，我们优于最先进的基于学习的运动重定向方法。此外，我们定性地表明，我们的方法推广到真实的场景，通过重定向运动提取的人的视频。我们的方法改进的方法，只考虑骨架时，估计的运动。2. 相关工作大多数早期的运动重定向方法在角色的骨架上执行约束优化问题。Gleicher [10]优化了由运动约束引导的输出运动序列。几位作者在优化[23，27，5]中包括物理合理性约束，包括地面接触约束。另一种方法是首先解决每个运动帧的逆运动学（IK）问题，然后对结果应用时空平滑[19，8，30，6，11]。上述方法要么使用昂贵的优化算法，要么使用次优的时空平滑。最近，深度学习方法可以解决这两个问题。Villegas等人[31]训练具有前向运动学层的递归神经网络，用于无监督运动重定向。Lim等人。[20]训练一个前馈运动重定向网络，该网络将局部姿势和整体角色运动进行混合。Aberman等人[3]提出了一种用于2D运动重定向的监督方法，该方法学习运动、骨架和相机视角的分解表示。Aberman等人[2]提出了骨架感知网络（SAN），它学习在具有不同数量关节的骨架之间重新定位。然而，这种方法需要重新训练的骨架拓扑结构的每一个新的集合，他们的方法不考虑字符几何。此外，这些基于网络的重定向方法不能精确地满足约束，这是我们通过编码器空间优化解决的限制。只有少数较老的作品考虑了自我接触的retargeting。Lyard和Magnenat-Thalmann [22]使用启发式顺序优化策略。Ho和Shum [15]采用时空优化策略调整机器人运动，以防止自碰撞。最近，Basset等人 [1，7]提出了一种带有吸引和排斥项的约束优化算法，以保持接触和避免穿插。然而，这些工作需要输入和目标网格之间的精确顶点对应关系，在整个序列上进行昂贵的约束优化，以及作为后处理的平滑。Liu等人 [21]需要输入/目标网格校准，并通过求解线性系统来求解骨骼、表面平滑度和体积约束。我们的方法是一般的任何源/目标网格，重新定位运动逐帧，所有的网格和骨架形状的约束被隐式处理。在其他动画相关任务中，已经考虑了3D角色几何形状以提高运动可扩展性。Tzionas等人[29]结合了手部运动捕捉和Hasson等人的碰撞检测。[13]使用网格级接触损失来联合3D重建手和操纵对象。在估计和合成与3D场景几何结构[12，33]以及与其他字符[14]相互作用的合理人类时，对角色与周围物体的相互渗透和碰撞在角色姿势中处理[17]。然而，在保持运动的自然性的同时将这些姿势方法扩展到重定向是不平凡的。我们的方法，而不是推断字符特定的几何约束（接触）直接从网格，并保持他们在重定目标。在与我们自己的工作同时，史密斯等人。[26]证明了自接触处理对于详细的手部跟踪的重要性最近的工作已经调查了使用最优化的监督时，地面真相是不可用的。科洛-图罗斯等[18]提出了一种用于3D人体姿势和形状估计的学习方案，其执行迭代的3D人体模型拟合，这在学习期间提供弱监督。我们提出的几何感知RNN以弱监督的方式进行训练，使用保留自接触和地面接触的能量函数。此外，我们的编码器空 间 优 化 策 略 使 用 我 们 的 能 量 函 数 提 供 的 弱 超 -pervision，以精确地sat- isfy在测试时的约束。3. 接触感知运动重定向本节介绍我们的运动重定向方法;图2总结了主要步骤。我们的方法的输入是表示为骨架运动mA和蒙皮运动vA的 源 运 动，以及由参考姿势中的骨架SB和蒙皮几何形状vB表示的目标特征（例如， T-姿势）。然后，我们的目标是输出骨架运动m B以及对应的 蒙 皮 运动v∈B，其提供源运动的“内容”，包括自接触和地面接触，同时也不引入互穿。源运动中的自接触和地接触通过接触检测步骤自动估计，即，9722重定向运动接触感知运动重定向蒙皮运动检测到的网格接触网格接触检测V{}2F {}i，rRKK脚接触检测目标网格骨骼运动检测到脚接触图2. 方法概述。我们的方法首先检测输入运动几何形状和脚接触地板的手接触。检测到的接触，然后传递到我们的接触感知运动重定位，重定位到目标字符的源运动，同时保留检测到的接触。在第3.4节中描述。接下来，我们将描述我们的能量函数，几何条件RNN和我们的编码器空间优化策略，以满足硬约束。3.1. 能量函数鉴于源运动，骨架，和推断的接触，我们制定了一个能量函数的输出运动，其中包括新的条款，以保持输入接触，并减少相互渗透的引入与先前的工作一样，我们还包括保留源运动的项，其以骨架运动表示，即，关节旋转、全局轨迹、末端效应器速度和脚其中Ej2j是我们的自接触项，Eint是我们的穿插减少项，并且Efoot是脚接触项。自我接触保护。该步骤将在接触检测步骤（第3.4节）期间识别的特定时间帧的输出运动上的一组顶点接触约束作为输入。具体地，输入是一组其中元组（i，j）指示输出网格S的顶点Vi和Vi应当接触。这被测量为这样的顶点对之间的平均距离联系人. 我们将全能量函数定义为：1Ej2j=vi-vj（3）E_full（t）=E_geo（t）+E_skel（t），（1）其中Egeo是基于几何的运动建模项，其关注顶点接触和相互渗透，并且Eskel是基于骨架的运动建模项。该能量以在线重定向方式针对每个帧t被定义和优化。为了简单起见，我们在论文的其余部分省略了输入t3.1.1几何级建模术语在几何体级别上建模运动需要两个部分-|（i，j）∈V|(i,j)∈V互穿减少。我们减少了补片穿透，惩罚类似于Tzionas等人。[29]第10段。具体地，在每个时间步，我们使用包围体层次结构[ 28 ]检测碰撞三角形=（r，i）的集合。我们进一步定义了一个局部的三维距离场为每个三角形的形式的圆锥。 对于一对碰撞三角形fr和fi，一个三角形在另一个三角形的局部3D距离场内的位置确定穿透项。因此，我们定义Eint如下：并行目标协同工作：建模网格接触并减少相互渗透。如果我们单独对网格接触进行建模，则在引入大的Eint=（rΣ，i）∈FvΣj∈frwr，i−ψi（vj）nj2+穿透（例如，左手穿过躯干去触摸右臂）。在另一个极端，如果我们完全避免相互渗透，有意义的接触很可能会失去作为w（四）这些可能导致轻微的相互渗透。因此，我们的几何建模能量由下式定义：Egeo=λEj2j+βEint+γEfoot，（2）vk∈fi9723其中vj是三角形之一中的顶点，nj是对应的每顶点法线，并且ψ i和ψ r是三角形i和r的距离场。距离场为9724JJB2Σ。2eeChB JHAJ对于相互穿透的三角形为正，否则为零参见Tzionas etal.[29]更多细节。权重因子w，r，i=w，i，r确定如下：低点我们在最初的测试中观察到设置均匀目标角色遵循与源角色相似的全局轨迹。我们的弱监督能量定义为：Eweak=ρΣθB−θA2+oB−oA→B2，（8）J J重量造成不自然的运动，因为轻微的inter-j在腋下或胯部等关节附近的渗透这样的互穿并不令人反感，而pen-其中θA是源运动中关节j的旋转，θB字符的不同部分之间的距离是。因此，我们基于测地线距离设置权重，对于曲面上靠得很近的三角形，权重很J J是关节j在重定向运动中的旋转，oB是重定向根速度，ρ是该项的权重。源运动w=η−1minD（v，v）（5）源字符和目标字符的腿部之间的比率r，iJKv∈f，v ∈f产生oA→B。JRK我其中D（vj，vk）是从顶点xvj到顶点vk的测地距离η= maxa，bD（va，vb）。足部接触保护。该步骤将在源运动中检测到的脚与地面的接触作为输入，如第3.4节所述。能量项通过最小化应该接触的顶点的速度和高度来保持这些接触我们进一步定义我们的第二项，其对末端执行器的运动建模如下：E=Σ1gB−1gA2，（9）j∈ee其中，gstecA和gs t e c B 分别是全局坐标中的源和输出角色关节j的速度，并且ee是手和脚末端执行器的关节索引的集合。Eee最小化末端效应器的全局速度之间的差异，由相应的特征缩放。E英尺=1hBj∈CgyΣ、（6）称为高度hA和hB。3.2. 几何条件下的RNN其中，gB指示全局关节位置，并且是 一组联合索引（即，脚跟和脚趾）在当前时间步t与地面接触。括号内的第一项使脚关节速度最小化，第二项使脚关节位置的y坐标最小化，以在检测到的接触期间处于地平面。实际上，脚跟离地面的高度取决于角色的构建方式。在一些角色中，脚跟可以在脚踝高度处T姿势骨架，并将其添加到脚跟坐标，以便地面高度为零对应于接触。3.1.2骨骼级运动传递项为了保持输入运动的风格，我们采用了一个能量项，类似于以前的作品在骨架水平的运动模型。具体地，我们专注于保留表示为关节旋转的局部运动、表示为根轨迹的全局运动和末端效应器的全局运动（即，手和脚）。因此，我们的运动能量函数被定义为：Eskel=Eweak+ωEee，（7）其中，Eweak对局部和全局运动进行建模，并且Eee对末端执行器位置进行建模。我们的第一项鼓励重定向的关节旋转以弱监督的方式保持接近源运动，同时还鼓励GΣBJ9725直接优化输出运动是非常昂贵和不切实际的，这促使了基于RNN的方法的发展[9]。直接优化对于我们的情况尤其不切实际，因为全身网格上的几何碰撞检测是内存密集型的。相反，我们训练一个递归神经网络（RNN），通过最小化上一节定义的能量函数，将源运动重新定位到目标角色。如图3所示，RNN由编码器和解码器组成，编码器将源骨架运动m A编码为RNN状态henc，解码器输出隐藏状态中的运动特征，用于预测目标骨架运动mB 和蒙皮运动vB 。为了解码隐藏的运动特征，解码器将当前帧中的编码源运动特征、当前帧中的目标角色的局部运动（pB）和根速度（oB）以及参考姿势中的目标角色的几何编码（即，T姿势）。我们利用PointNet [24]架构来获得目标角色的几何编码，给定其在参考姿势中的几何和蒙皮权重。这使得我们的架构是不变的拓扑学的目标字符网格。给定隐藏的运动特征，我们利用线性层来解码局部关节旋转和根速度。正向运动学（FK）层将局部关节旋转（θB）转换为局部关节位置，并通过添加根速度获得全局9726o←o−α≤≤%不RNN编码n（不Bt#$PointNetRNNdec������B������BBt#$（不B不B不������BSKFK%B不B不+CIBB不图3. 几何条件RNN。详情见正文骨 架 关 节 坐 标 ， gB 。 我 们 还 结 合 了 一 个 蒙 皮 层（SK），该层基于骨架运动使目标角色几何形状变形，并输出局部蒙皮运动v∈B。我们建议读者参考补充材料，了解网络架构的详细信息。3.3. 编码器空间优化虽然RNN产生良好的输出运动，但它们不能充分满足接触和穿透约束。因此，在测试时，我们将RNN输出作为能量函数的初始解，并继续优化它。由于直接优化姿态表示仍然是不切实际的，我们提出了编码器空间优化，其中通过更新隐藏的编码h_enc和根速度o来更新运动。这允许我们逐帧更新运动，同时还利用网络学习的平滑，低维，解耦的嵌入具体地，对于输出运动的每个时间步长t，我们如下对编码器隐藏单元和根速度执行N=30个由于这些参数在能量中是紧密耦合的，因此逐帧并不能改善运动。3.4. 输入接触检测我们现在描述如何估计源运动中的自接触和地面接触。自我接触。我们的自我接触检测过程有两个步骤。首先，我们在源运动中识别角色的任何一只手与任何其他身体部位（包括另一只手）相交的实例。然后，我们将这些交叉点转换为用于输出运动的接触约束。作为预处理，我们对每个关节的蒙皮权重超过0.5的顶点进行分组。例如，左手组是左腕关节蒙皮权重至少为0.5的顶点集。每个组还包括由其顶点形成的三角形。在给定的输入帧中，该算法使用组中三角形上的包围体层次结构（BVH）[28]检测一个手组和身体上的另一组之间是否存在交叉如果全局坐标中的每顶点速度的平均余弦相似度大于0，则确定两个组接触。9、如果他们之间的距离太近，tices小于0。2厘米的地方最短的字符在我们数据集为138 cm。对于每个检测到的接触，我们识别两个组之间的前3个最接近的顶点对。对所有交叉组对重复相同的过程由于输入和输出字符可能有非常不同的网格几何形状和拓扑结构，我们接下来需要转移，费尔接触约束的输出网格。设v A是输入形状中的接触顶点;我们首先必须在输出形状中识别其对应的顶点vB。在许多以前的作品中，我们使用网格对应的特征匹配。具体地说，我们定义了一个每顶点的特征向量，它结合了蒙皮权重和参考姿势中相应关节位置的偏移向量;我们发现单独的剥皮重量不足以对应。然后，对应的输出网格顶点VB是具有与输入顶点最相似的特征向量的输出顶点[32]。给定一对在输入上接触vA和vA的输入顶点，我们生成一个约束I jENCENCE满（t）B和B的对应顶点应该是一致的。ht，n+1←ht，n−αENC，（10）i jht，nE满（t）t−1，n+1t −1，n<$ot−1，n、（11）触摸目标网格。 特征向量的细节在补充材料。脚接触。我们发现简单的阈值类似于其中1 nN表示迭代次数。 注意，这些更新仅考虑取决于当前时间步长t的E（t）项。然后可以从更新的隐藏单元和根速度生成输出运动。尝试顺序更新姿态参数θ以前的工作，例如，[25]足以检测脚与地面的接触。脚由脚趾和脚跟关节定义，我们以不同的方式设置阈值。如果脚趾关节距地面的高度至多为3cm并且与先前的脚趾关节的9727时间步长最多为1cm，所有时间步长均为180cm。仅当跟部在180cm尺度下从先前时间步长的位移至多为lcm时，才确定跟部接触。 我们将脚跟与脚趾区别对待，因为一些运动是由穿着高跟鞋的受试者捕获的，这使得我们基于离地面高度的阈值不准确。我们执行附加步骤以通过滑动窗口方法来移除任何假阴性，如果5帧的窗口中超过一半的帧接触，则该滑动窗口方法填充接触4. 实验数据集、训练和测试。我们在Mixamo数据集[4]上评估了我们的方法，该数据集由具有不同体型和骨架几何形状的多个角色执行的相同运动序列组成。Mixamo数据集的一个缺点是它没有提供干净的地面事实：这些运动中的许多表现出我们旨在纠正的那种相互渗透和地面接触违规，并且没有完全干净的数据集可用。这些问题在培训期间可能不是问题，因为联系是由我们的损失条款强制执行的，而不是纯粹学习的。然而，对这些动议的评价是困难的;当输入遭受接触和穿透问题时，很难视觉地评估运动传递的质量。因此，对于我们所有的测试，我们使用“Y机器人”角色运动作为源运动，在训练过程中看不到“Y型机器人”的我们在[31]中使用的训练子集上进行训练，该训练子集包含由7个字符执行的不同运动序列，总共包含1646个运动。 类似于[31，20]，我们通过提取60帧长的剪辑来训练我们的方法，我们在训练中将其重定向到字符。与[31，20]相比，我们在可变长度的完整运动捕捉序列上评估了我们的方法和基线。更多培训和测试详情请参见预处理。我们通过分离成局部姿势和全局姿势来预处理类似于[31，20，16虽然局部姿态由相对于它们的父节点的关节旋转组成，但是全局姿态由根的速度（即，hip）。我们使用在[31，20]中建模的相同的22个关节子集详见补充资料。基线。我们比较了[31]和[20]中的无监督运动重定向方法，它们都在其网络架构中涉及正向运动学层。我们还与使用基于骨架池的编码器和解码器的以太网感知网络[2]（SAN）进行了比较网络通过对抗循环一致性方法学习骨架不变表示。注意，SAN是离线运动重定向方法（即，它需要在重定目标之前看到整个源运动序列），并且应用逆运动学（IK）作为后处理以在最终输出中保持脚接触。在SAN之后，我们还包括一个基线，在该基线中，我们获取网络输出并执行与[2]中相同的IK作为后处理步骤，而不是我们的编码器空间优化。评估指标。我们评估结果的基础上的几何和骨架。我们通过测量重定向运动与Mixamo数据集中提供的地面实况的接近程度来评估骨骼全局关节位置误差由字符高度归一化。在归一化顶点上使用等式4中的互穿罚分对互穿进行评分。我们评估- uate如何以及自我接触保存通过测量在每个接触中涉及的顶点之间的距离。我们使用连续分数而不是二进制损失，因为一些字符由于其几何形状而无法完美地到达接触点（例如，大的与瘦的字符），并且轻微的接触误差比大的接触误差更好。我们的脚接触度量是基于在重定向运动中检测到的脚接触对在源运动中检测到的接触的二进制分类我们使用二进制度量，因为与我们的顶点距离度量相反，没有任何东西阻止脚到达地面。最后，我们进行用户评估，其中我们示出了给定源运动的两个重定向结果，我们的结果与最佳执行基线方法的结果，并要求用户选择更合理的结果。4.1. 结果在本节中，我们介绍了定量和定性实验。请参阅我们的补充材料，了解我们方法中不同组件的消融。4.1.1比较在本节中，我们将我们的完整方法与最近提出的运动重定向方法进行比较。如表1所示，我们的方法不仅在自接触处理和相互渗透（我们的方法的重点）方面，而且在运动质量方面优于所有基线。我们的方法的一个显着的优点是编码器空间的优化，以强制约束。相比之下，没有基线方法明确地对接触进行建模。SAN方法[2]提出了一个基于反向运动学（IK）的附加后处理虽然它确实提高了脚接触的准确性和全球定位MSE，它牺牲了几何质量。为了进行公平的比较，我们执行9728方法几何评价运动评价相互渗透↓顶点接触MSE↓脚触地准确度↑全球定位MSE↓我们0.813.870.970.48Efull+ IK1.194.520.821.58[2]1.435.260.630.82SAN + IK [2]1.325.780.730.74PMnet [20]2.9423.110.703.67NKN [31]3.2014.860.718.15表1. 我们评估的重定向运动的几何和骨骼的水平。我们评估的量的自穿透，几何接触的距离，脚接触地板，和全球关节的位置在重定向运动。图4. 定性比较。我们示出了其中我们的方法能够在不需要接触建模的情况下减少相互渗透的示例（左侧），以及其中我们的方法能够在减少自渗透的同时对自接触建模的示例（右侧）。我们邀请读者观看补充视频，以获得更详细的视觉比较。专家用户我们的/ SAN +IK非专家用户我们的/ SAN +IK整体我们的/ SAN +IK0.86/0.140.74/0.260.80/0.20表2. 我们要求人类受试者将我们的重靶向结果与表1中的最佳表现基线的结果进行比较。总体而言，80%的用户更喜欢我们的结果。在没有编码器空间优化的情况下，我们的网络输出上的相同IK（Efull+ IK）。很明显，即使用IK提高了脚接触精度，我们的完整方法（Efull+ ESO）也比它好得多。我们邀请读者观看补充视频进行视觉比较。用户研究。我们进行了一项用户研究，以定性地评估我们的方法对SAN + IK的性能，最好的表现基线。对于每个问题，人类主体给出三个视频，即源运动，以及使用我们的方法或SAN重定向的两个运动+ IK.重定目标的结果被随机放置在源运动的任一侧并被匿名地标记。我们要求受试者选择看起来最接近源运动的重定向结果。向每个受试者展示20个问题，其中运动三元组从180个测试运动序列中随机抽样。我们对总共17个主题进行了用户研究，其中8个主题具有动画专业知识（动画艺术家或开发人员），9个没有，总共收集了340个比较。有关我们如何进行用户评估的更多详细信息，请参见补充材料。源运动骨架感知网络我们9729图5. 我们重新定位使用[25]的方法估计的两个运动剪辑，并合成避免原始输入中存在的相互渗透的运动。我们邀请读者观看补充视频进行比较。图6. 我们将[ 25 ]估计的运动重新定位为具有显著体型差异的字符。我们邀请读者观看补充视频以获得更多结果。租金神经网络（RNN），最大限度地减少这种能量函数，以重新定位源和目标角色之间的运动我们进一步提出了一个编码器空间优化策略，以完善的隐藏编码我们的结果总结在表2中。 我们发现总的来说，80%的用户更喜欢我们的重定向运动超过基线。此外，86%的专家受试者更喜欢我们的结果，证明了我们的方法的优越性能。我们还提供了我们的方法与图4中的基线的定性比较，其中我们突出了与基线相比我们的方法的穿透减少和自接触能力4.2. 从人体视频在本节中，我们将测试我们的方法，用于从人类视频中重新定位我们从[25]中获得人类姿势估计，并将其馈送到我们的方法中，以重新定位考虑角色网格的运动。在图5中，我们示出了我们的方法（底行）如何能够避免由[25]估计的运动中存在的这是因为他们的方法在处理角色骨架时完全忽略了角色网格。此外，我们测试我们的方法重新定位人体运动到字符具有显着的身体形状差异。在图6中，我们示出了使用我们的方法重定向的运动如何在目标角色体型约束内移动时紧密地跟随输入视频请参阅我们的补充材料的视频结果。5. 结论我们提出了一种运动重定向方法，检测和保存自我和地面接触，同时也减少了互穿透。在我们的方法的核心是一个能源配方，执行这样的几何约束，同时也保持输入运动质量。我们训练一个复发者-RNN满足接触约束。虽然我们的方法优于最近提出的retargeting解决方案的定量和定性，仍然存在一些限制，我们希望在未来的工作中解决。我们的公式中的不同能量项量化了良好重定向输出的各种质量。然而，偶尔不同的术语可能是冲突的，例如，重定向可能牺牲保持输入运动以便减少相互穿透。这可能导致输入的特征运动风格的丢失。深入分析影响运动感知的因素以及如何将其纳入retargeting方法是一个有趣的未来研究方向。在我们目前的实现中，我们使用一种启发式的方法来检测输入运动中的自接触。提供注释数据，这样的接触可以自动学习。积极地实施互穿项可能导致僵硬的重定向运动。我们利用测地权重来软处罚交叉点的地区，如腋下。为用户提供绘制允许轻微穿透的区域的能力是另一个未来方向。最后，即使我们的接触感知公式是通用的，我们的网络不能处理任意数量的关节。这是我们计划追求的另一个未来方向。确认我们要感谢Minhyuk Sung在项目初始阶段我们还要感谢Stefano Corazza以及Adobe Aero和Adobe Research的每一位员工，感谢他们提供的有益反馈。最后但并非最不重要的是，我们要感谢我们的用户研究的参与者。Rempe等人，2020我们9730引用[1] 保持接触的形状转移：将运动从一个形状重定目标到另一个形状。计算机图形，2020年。2[2] Kfir Aberman ， Peizhuo Li ， Dani Lischinski ， OlgaSorkine-Hornung，Daniel Cohen-Or，and Baoquan Chen.用于深度运动重定向的骨架感知网络。SIGGRAPH，2020. 一、二、六、七[3] Kfir Aberman ，Rundi Wu ， Dani Lischinski ，BaoquanChen，and Daniel Cohen-Or.在2D中学习与角色无关的运动以进行运动重定向。在SIGGRAPH，2019年。2[4] Adobe Mixamo。https://www.mixamo.com网站。访问日期：2019-11-06。6[5] Mazen Al Borno、Ludovic Righetti、Michael J Black、Scott L Delp、Eugene Fiume和Javier Romero。鲁棒的基于物理的运动重定向与现实的身体形状。在计算机图形论坛，第37卷，第81-92页中威利在线图书馆，2018年。2[6] Andreas Aristidou和Joan Lasenby。Fabrik：一个快速，迭代求解逆运动学问题。Graphical Models，2011. 2[7] Jean Basset ， Stefanie Wuhrer ， Edmond Boyer ， andFranck Multon.用于无操纵运动重定向的接触保持形状转移。在运动，互动和游戏，MIG计算机协会2[8] Kwang-Jin Choi和Hyeong-Seok Ko。在线运动重新定位。在诉讼中。第七届太平洋计算机图形与应用会议，第32-42页。IEEE，1999年。2[9] 卡特琳娜·弗拉基亚达基，谢尔盖·莱文，潘纳·费尔森，和吉坦德拉·马利克.用于人体动力学的循环网络模型。在ICCV，第4346-4354页，2015中。4[10] 迈克尔·格雷彻。将运动重新定位到新角色。第25届计算机图形和交互技术年会论文集，第33-42页。ACM，1998年。2[11] PawanHarish ， MentarMahmudi ， BenoîtLeCallennec，and Ronan Boulic.多线程架构的并行逆运动学。TOG，2016. 2[12] MohamedHassan ， VasileiosChoutas ， DimitriosTzionas，and Michael J.黑色.利用3D场景约束解决3D人体姿势模糊。在ICCV，2019年10月。2[13] YanaHass on ， Gu¨lVarol ， DimitrisTzionas ， IgorKalevatykh ， Michael J.Black ， Ivan Laptev ， and CordeliaSchmid.学习手和操纵对象的关节重建在CVPR，2019年。2[14] 埃德蒙·SL. Ho，Taku Komura，and Chiew-Lan Tai.保持空间关系的角色运动自适应。TOG，29（4），2010年7月。2[15] 埃德蒙·S L.何和Hubert Shum。 约束环境中仿人机器人的运动自适应。InICRA，2013. 2[16] 丹尼尔·霍尔登斋藤纯和高村拓一个用于角色运动合成和编辑的深度学习框架。SIGGRAPH，2016. 6[17] Jongmin Kim 、 Yeongho Seol 、 Hoemin Kim 和 TaesooKwon。交互式角色造型，具有高效的碰撞处理功能。计算机动画和虚拟世界，31（3）：e1923，2020。2[18] 放大图片作者：Michael J.布莱克和科斯塔斯·丹尼利迪斯学习通过循环中的模型拟合重建3d人体姿势和形状。在ICCV，2019年。2[19] Jehee Lee和Sung Yong Shin。 类人图形交互式运动编辑的层次化方法。第26届计算机图形和交互技术年会论文集，第39-48页。ACM出版社/Addison-Wesley出版公司1999. 2[20] Jongin Lim ， Hyung Jin Chang ， and Jin Young Choi.PMnet：学习非监督运动重定向的解纠缠姿势和运动。在BMVC，2019。二六七[21] Zhiguang Liu，Antonio Mucherino，Ludovic Hoyet，andFranck Multon.通过保留空间关系的基于表面的运动重定向。在第11届年度国际会议上运动，交互和游戏，MIG'18，纽约，纽约，美国，2018年。计算机协会。2[22] Etienne Lyard和Nadia Magnenat-Thalmann。基于角色形状 的 运 动 自 适 应 。 Computer Animation and VirtualWorlds，19（3-4）：189-198，2008. 2[23] Zoran Popovic和Andrew Witkin基于物理的运动变换。在Proceedings of the 26th Annual Conference on ComputerGraphics and Interactive Techniques ， SIGGRAPH ，pages 11出版社：ACM Press/Addison-Wesley PublishingCo. 2[24] Charles R.Qi ， Hao Su ， Kaichun Mo ， and LeonidasJ.Guibas Pointnet：对点集进行深度学习，用于3D分类和分割。在CVPR，2017年。4[25] Davis Rempe，Leonidas J Guibas，Aaron Hertzmann，Bryan Russell，Ruben Villegas，and Jimei Yang.单目视频中的接触和人体动态在ECCV中，第71Springer，2020年。五、八[26] Breannan Smith ， Chenglei Wu ， He Wen ， PatrickPeluse ， Yaser Sheikh ， Jessica Hodgins ， and TakaakiShiratori.用弹性约束密集的手表面跟踪。SIG-GRAPH Asia，2020.出现。2[27] Seyoon Tak和Hyeong-Seok Ko。基于物理的运动重定向过滤器。TOG，24（1）：98-117，2005. 2[28] M. Teschner，S.基默勒湾Heidelberger，G. ZachmannL. Raghupathi、A. Fuhrmann，M. P. Cani，F. Faure，N.Magnenat-Thalmann，W. Strasser，和P.沃利诺可变形物体的碰撞检测。在欧洲图形，2004年。三、五[29] Dimitrios Tzionas 、Luca Ballan 、 Abhilash Srikantha 、Pablo Aponte、Marc Pollefeys和Juergen Gall。使用区别性突出点和物理模拟捕获动作中的手。IJCV，118（2）：172-193，2016年6月。二、三、四[30] LuisUnzueta，ManuelPeinado，RonanBoulic，andA'ngelSuescun.具有顺序反向运动学的全身性能动画。Graphical Models，2008. 2[31] Ruben Villegas ， Jimei Yang ， Duygu Ceylan ， andHonglak Lee.用于无监督运动重定向的神经运动学网络。在CVPR，2018年6月。二六七9731[32] Lingyu Wei ， Qixing Huang ， Duygu Ceylan ， EtienneVouga，and Hao Li.使用卷积网络的密集人体对应。在CVPR，2016年。5[33] 张燕，穆罕默德·哈桑，海科·诺伊曼，迈克尔·J.黑色，和思玉唐。在没有人的场景中生成3d人。在CVPR，2020年6月。2