没有合适的资源?快使用搜索试试~ 我知道了~
45°80°63°90°https://jitengmu.github.io/A-SDF/.1130010A-SDF:学习解耦有符号距离函数0用于关节形状表示0Jiteng Mu 1,Weichao Qiu 2,Adam Kortylewski 2,Alan Yuille 2,0Nuno Vasconcelos 1,Xiaolong Wang 101 UC圣地亚哥,2 约翰霍普金斯大学0输入形状空间0关节角度0笔记本电脑0眼镜0订书机0(87°)(45°)(78°)(9°)0(45°,15°)(5°,45°)(45°,45°)(5°,5°)0(15°)(-9°)(-39°)(-60°)MLP0在未见过的关节角度生成的形状0图1:我们使用单独的编码来表示关节物体的形状和关节。在推理过程中,给定一个未见过的实例,我们的模型首先通过反向传播推断出形状和关节编码。通过推断出的形状编码,我们可以通过仅改变关节编码来生成未见角度的形状。0摘要0最近的工作在使用im-方面取得了重大进展0显式函数作为连续表示用于三维刚体物体形状重建。然而,对于建模一般的关节物体,付出的努力要少得多。与刚体物体相比,关节物体具有更高的自由度,这使得很难推广到未见过的形状。为了处理形状变化较大的情况,我们引入了关节有符号距离函数(A-SDF)来表示具有解耦潜在空间的关节形状,其中我们有单独的编码来编码形状和关节。通过这种解耦的连续表示,我们证明我们可以控制关节输入并以未见过的关节角度动画化未见过的实例。此外,我们提出了一个测试时自适应推理算法来在推理过程中调整我们的模型。我们证明我们的模型对于分布外和未见过的数据,例如部分点云和真实世界的深度图像,具有很好的泛化能力。项目页面和代码:01. 引言0建模关节物体在0多个领域,包括虚拟和增强现实、物体功能理解和机器人操作。为了0理解关节物体,最近的研究提出了训练深度网络来估计已知类别中物体实例的每个部分的姿态和关节角参数[40,82]。然而,如果我们想与关节物体交互(例如打开笔记本电脑),仅估计其静态状态是不够的。例如,自主代理需要预测在交互后关节物体的形状将如何,以规划其动作。0在本文中,我们介绍了关节有符号距离0函数(A-SDF)是一种可微分的类别级关节物体表示,可以在不同的关节角度下重建和预测物体的三维形状。可微分模型在需要通过模型进行反向传播来调整输入的应用中非常有用,例如图形渲染和基于模型的机器人控制。0我们基于深度构建了我们的关节物体模型0隐式有符号距离函数[58]。虽然隐式函数最近在建模具有细节的静态物体形状方面得到了广泛应用[64, 65,72],但对于建模一般的关节物体,付出的努力要少得多。我们观察到,具有单个形状编码输入的模型,例如DeepSDF[58],无法可靠地编码关节变化。对于模型来说,甚至更难推广到具有未见过关节角度的未见实例。02130020为了推广我们的模型到分布之外和未见数据,例如部分点云和真实世界深度图像,我们进一步提出了一种测试时适应(TTA)方法,在推理过程中调整我们的模型。需要注意的是,我们独特的模型架构具有独立的形状嵌入和关节网络,这为我们提供了这样的机会:形状嵌入网络的分离确保了当形状嵌入网络被调整时,解耦性得以保持。我们通过更新形状嵌入网络的参数来将形状嵌入网络适应当前的测试实例,同时固定关节网络的参数。这个过程允许A-SDF重建和生成与输入对齐的更好形状。0对于已知关节角度,我们首先通过反向传播推断出形状代码和关节角度代码。给定推断出的形状代码,我们可以简单地调整关节角度代码以生成不同关节角度的实例。我们在图1中可视化了一些物体的生成过程和结果。请注意,由于我们在生成过程中固定了推断出的形状代码,部件的几何形状保持不变。0为了将我们的模型推广到分布之外和未见数据,例如部分点云和真实世界深度图像,我们进一步提出了一种测试时适应(TTA)方法,在推理过程中调整我们的模型。需要注意的是,我们独特的模型架构具有独立的形状嵌入和关节网络,这为我们提供了这样的机会:形状嵌入网络的分离确保了当形状嵌入网络被调整时,解耦性得以保持。我们通过更新形状嵌入网络的参数来将形状嵌入网络适应当前的测试实例,同时固定关节网络的参数。这个过程允许A-SDF重建和生成与输入对齐的更好形状。0我们的工作是首次解决隐式表示环境下的通用关节物体合成问题。我们总结了本文的贡献如下。首先,我们提出了关节有符号距离函数(A-SDF)和一种测试时适应的推理算法,用于对日常关节物体进行建模。其次,解耦的连续表示使我们能够控制关节角度代码并生成相应的形状作为输出,适用于具有未知关节角度的未见实例。第三,所提出的表示方法可以在隐式函数中进行形状重建和生成。0据我们所知,我们的工作是首次解决隐式表示环境下的通用关节物体合成问题。我们总结了本文的贡献如下。首先,我们提出了关节有符号距离函数(A-SDF)和一种测试时适应的推理算法,用于对日常关节物体进行建模。其次,解耦的连续表示使我们能够控制关节角度代码并生成相应的形状作为输出,适用于具有未知关节角度的未见实例。第三,所提出的表示方法可以在隐式函数中进行形状重建和生成。02. 相关工作0研究[80, 19, 9, 11, 41, 63, 17, 78, 77, 89, 13, 1, 15]表明,在插值、外推和形状合成方面取得了显著的改进。0专注于研究高效准确的三维物体表示。最近的进展表明,将三维物体表示为连续且可微的隐式函数[18, 58, 46, 10, 35,26, 84, 72, 54, 64, 48, 71,76]可以以节省内存的方式模拟各种拓扑结构。基本思想是利用神经网络将形状参数化为三维的决策边界。大部分这些工作仅限于对静态物体和场景的建模[18, 26, 84, 72, 54, 64,48, 71,76]。与以往的工作不同,我们的方法通过学习一个解耦的隐式表示来对类别级别的关节物体进行建模,并在真实深度图像上对我们的模型进行测试。下面将深入讨论与可变形形状的隐式神经网络的比较。0关节化人类。一种方法利用参数-0度量网格模型[43, 38, 92, 5]来估计面部[74, 62,66]、手部[16]、人体[60, 4, 86, 34, 28, 56, 85,79]和动物[91, 29, 36,90]的形状和关节化,通过直接推断形状和关节化参数。然而,这种参数化模型需要专家投入大量的工作才能构建,并且很难推广到大规模的物体类别。为了解决这些挑战,另一种方法[57, 53, 75, 12, 8,55]采用神经网络从数据中学习形状。例如,Niemeyer等人[53]在时空空间中学习了一个隐式矢量场和变形形状。然而,该设计不允许单独控制每个部分。最近,Hoang等人[75]使用补丁定义形状,可以通过操纵每个补丁的外部参数来变形形状。然而,学习到的补丁与部分不对应,该方法在大变形时失败。Deng等人[12]通过单独的隐式函数对每个人体部位进行建模。然而,该方法仅限于实例级别,并且需要用于学习过程的蒙皮权重。相比之下,我们的方法是针对一般关节化物体的类别级别,并且我们不假设部分标签。因此,这些先前的方法与我们的方法不直接可比。此外,我们使用关节角度来建模关节化物体的姿态,这使得我们能够单独控制每个关节。0关节化的一般物体。尽管重建-0关节化的人类在社区中引起了很多关注,而对日常关节化物体的3D形状建模在数据和方法方面都是一个未被充分开发的领域。与对人类建模不同,其中注入了大量的人类先验知识,对关节化的日常物体进行建模则面临额外的挑战,因为它不假设任何先验的部件几何和标签、关节化状态、关节类型、关节轴和关节位置。最近的一种研究范式[20, 31, 44, 14,47,82]侧重于估计关节化物体的6D姿态。例如,Desingh等人[14]提出了一种实例级的分解方法来估计具有关节约束的关节化物体的姿态。然而,6D姿态信息可能不足以-3. Method3130030对于需要详细形状信息的任务,如机器人操纵[32, 83, 50,49],隐式函数是合适的。在这项工作中,我们展示了隐式函数适用于日常关节化物体建模。我们证明了一旦学习到隐式函数,可以通过操纵关节化代码来生成未见过的关节化形状。0分离表示。分离表示-0变化的复杂性进行建模,其中各个因素控制不同类型的变化。以前的工作[37, 22, 7, 24, 33, 30, 23, 52, 67, 6, 88, 87,68, 61, 42, 2,59]表明,分离表示对于学习有意义的2D图像合成的潜在空间至关重要。例如,Zhou等人[87]提出了一种自动编码器架构来分离人体姿势和形状。与以前的工作不同,我们专注于用可解释的姿势代码对3D中的一般关节化物体进行建模。0在测试实例上的适应性。在测试中学习-0最近,这种方法已经被应用于多个应用中将训练好的模型适应于分布外的情况,包括图像识别[25, 51,73]、超分辨率和合成[70, 69, 3]以及网格重建和生成[39,27]。例如,Li等人[39]利用自我监督的测试时间训练来实现单个视频中一致的网格重建。受到以前的工作的启发,我们开发了一种基于隐式函数的测试时间适应推理算法,用于更好地重建和生成形状,其中我们基于分离表示的模型架构是实现测试时间适应的关键。0我们提出了关节有符号距离函数(A-03. 方法0SDF)是一种可微的类别级关节对象表示,用于重建和预测不同关节下的对象3D形状。我们的模型将采样的3D点位置、形状编码和关节编码作为输入,并输出测量点到最近表面点的距离的SDF值(有符号距离)。关键洞察是同一实例的所有形状编码应该是相同的,与其关节无关。我们认为,即使同一实例的不同关节的形状看起来非常不同,一个好的表示应该在低维空间中捕捉到这种变异性,因为部分几何保持不变。我们的方法概述如图2所示。由于不同类别在关节方面差异很大,我们为每个类别训练单独的网络。0我们的模型与DeepSDF具有相似的模型大小。此外,与前馈设计[46,64]相比,基于优化的形状建模与测试时自适应自然兼容,以解决第3.3节中描述的分布外数据。0接下来,我们将描述如何学习一个模型。0鼓励形状和关节的解耦。我们还引入了一种测试时自适应推理技术,可以以高质量生成未见过的形状和关节。03.1. 表述0考虑一个包含 N 个实例模型的训练集,用于一个目标类别。0对象类别的每个实例都被关节化为 M个姿势,从而形成类别的 N � M 形状的训练集。设 X n,m表示从实例 n 关节化的形状,其中 n 2 { 1 , . . . , N } , m 2{ 1 , . . . , M } 。0每个形状 X n,m 都分配一个形状编码 φ n 20其中 C 表示潜在维度,关节编码 m 2 R D ,其中 D表示自由度的数量。形状编码 φ n 在相同对象实例 n的不同关节中共享。在训练过程中,我们为每个实例维护和更新一个形状编码。我们使用关节角度来表示关节编码。例如,一个具有2个自由度的对象(例如眼镜)的关节编码(两个关节都关节到45度)为 m =(45度,45度)。关节角度定义为相对于对象的规范姿势的相对角度。0设 x 2 R 3 是从形状中采样的点。为了简化表示,0为了简化表示,我们省略下标,并将 φ和表示为形状和关节编码。如图2所示,关节有符号距离函数 f � 最终通过自动解码器架构定义,该架构由形状嵌入网络f s 和关节网络 f a 组成。0f � ( x , φ , ) = f a [ f s ( x, φ ) , x, ] = s, (1)0其中 s 2 R是一个标量SDF值(到3D表面的有符号距离)。SDF值的符号表示点是在(负值)还是在(正值)封闭表面的内部。3D形状通过零级集 f � ( ∙ ) = 0 隐式表示。03.2. 训练0在训练过程中,给定真实的关节编码0通过采样点及其对应的SDF值,训练模型以优化形状编码 φ和模型参数 � 。0训练过程如图2所示。首先,将形状代码与采样点x连接起来,形成C +0首先将形状代码与采样点x连接起来,形成C +3维的向量,并分别输入到形状嵌入网络中。然后,将产生的嵌入输入到关节化有符号距离函数f�中,以回归SDF值(有符号距离)并预测部分标签(可选)。请注意,同一个实例无论其关节状态如何,都与一个形状代码相关联,如棕色订书机所示。在推理过程中,使用反向传播来联合推断未见实例的形状代码和关节编码。通过推断得到的形状代码,模型可以忠实地在未见的关节状态下生成新的形状。,(3).(4)4130040推断的形状代码0形状0嵌入0推断的形状代码0采样点0SDF值0部分标签(可选)0形状嵌入网络 关节网络0输入 输出090° 0° 45°0关节嵌入0形状代码0训练0推理生成0未见的关节角度020°0生成的形状0部分标签(可选)0推断的关节角度075°0测试实例0Fc层0部分标签(可选)0关节编码0图2:所提出方法的概述。在训练时,关节编码和随机采样的形状代码首先分别与采样点连接起来。然后,产生的嵌入被输入到关节化有符号距离函数f�中,以回归SDF值(有符号距离)并预测部分标签(可选)。请注意,同一个实例无论其关节状态如何,都与一个形状代码相关联,如棕色订书机所示。在推理过程中,使用反向传播来联合推断未见实例的形状代码和关节编码。通过推断得到的形状代码,模型可以忠实地在未见的关节状态下生成新的形状。0首先将形状代码与采样点x连接起来,形成一个D +3维的向量。0然后,关节网络接收连接后的0形状嵌入和关节编码用于预测输入3D点的SDF值。值得注意的是,在关节网络的开始处,使用全连接层将关节编码嵌入到C +3维空间中。除了SDF值,还可以选择提供部分监督进行训练,使用不同的标签索引不同的物体部分。每个类别的物体部分数量是固定的。当部分监督可用时,线性分类器被添加到关节网络的最后一个隐藏层,同时输出部分标签。0训练损失函数定义如下。设0K是每个形状采样点的数量。函数f�使用每点L1损失函数进行训练,以回归SDF值。0Ls(X, φ, ) = 10K0K X0k =10��� ��� f � ( x k , φ, ) - sk0��� ��� 1 , (0其中xk ∈ X是实例X的一个点,sk是对应的真实SDF值,k∈ {1, ..., K}。0当物体部分标签可用时,我们包括一个0作为补充的辅助部分分类损失,0L p ( X , φ , ) = 10K0K X0k =10h CE0�0f � ( x k , φ , ) , pk0�i0其中CE表示交叉熵损失,pk是包含xk的部分的真实标签。直观上,部分分类任务帮助网络消除物体部分的歧义。0完整的损失L(x, φ, )定义为0L ( X , φ , ) = L s ( X , φ ,)0+ λ p L p ( X , φ , ) + λ φ || φ || 20根据[58],我们包括一个零均值多元高斯先验,以便学习连续的形状流形。引入部分系数λp和形状代码系0每个形状潜在代码φ在训练开始时都被初始化为高斯分布。然后通过训练步骤优化每个形状代码,并在同一实例的所有关节中共享。关节代码是从真实值中给出的常数。目标是0在训练时,形状代码是随机初始化的。0arg min✓,�nswhere ˆ� and ˆ are obtained as described in the basic infer-ence. Note that our proposed model architecture is the keyfor TTA. The separation of shape embedding network andarticulation network ensures the disentanglement is main-tained when the shape embedding network is finetuned. Af-ter adaptation, the generation ability (Secion 3.4) is stillwell preserved. Moreover, in practice, one can easily re-vert to the non-updated model before adapting to individualinstance.5130050优化所有N � M个训练形状的损失函数,定义如下,0n =10NX0m =10MX0L ( X n,m , φ n , m ),(5)0基本推理。在推理阶段,如图2所示,通过求解以下优化来联合推断代码,03.3. 推理0ˆ φ , ˆ = arg min0在图2的推理部分中,给定一个实例X,目标是恢复相应的形状代码φ和关节代码。这可以通过反向传播来实现。两个代码都是随机初始化的,关节网络参数被固定,通过求解以下目标的优化来联合推断代码,0L ( X , φ , ),(6)0φ ,0为了克服这个挑战,我们首先使用方程6来0然而,直接应用方程6是困难的,因为形状和关节空间都是非凸的。基于梯度的优化可能会收敛到局部最小值,产生不准确的估计。0测试时间适应性推理。尽管固定了0我们观察到关节代码通常会收敛到一个良好的估计值,但是推断出的形状代码往往会导致嘈杂的输出。因此,保留估计的关节代码ˆ,丢弃形状代码。在第二步中,重新初始化形状代码,将关节代码固定为ˆ ,并且仅对形状代码ˆ φ 进行优化求解。0ˆ f s = arg min0如果测试分布与训练分布很好地对齐,解码器f�的参数化是有意义的,但是对于超出分布的观测来说可能是有问题的。为了更好地推广到超出分布的数据,进一步引入了形状嵌入网络f s的测试时间适应性(TTA)。它建立在基本推理过程的基础上,使用估计的形状代码ˆ φ 和关节代码ˆ。我们固定估计的代码,并使用以下目标对形状嵌入网络f s进行微调,0L ( X , ˆ φ , ˆ ),(7)0为此,提出了全面的测试时间适应性。0推理算法总结如算法1所示。由于反向传播非常高效,迭代优化只会引入可忽略的额外计算。0算法1:测试时适应推断算法 输入:目标形状 X。输出:形状代码 ˆ φ ;关节代码 ˆ ,更新的形状嵌入网络ˆ f s 。01:初始化 φ � N (0 , σ ) ,02:ˆ φ , ˆ = arg min φ , L ( X , φ , ) 3:。关节估计04:重新初始化 ˆ φ � N (0 ,05:ˆ φ = arg min φ L ( X , φ , ˆ ) 。形状代码估计06:ˆ f s = arg min f s L ( X , ˆ φ , ˆ ) 。测试时适应03.4.关节形状合成0连续表示的一个主要优势是,一旦推断出一个形状代码,通过简单地改变关节代码,它可以应用于合成具有未见实例和未见关节角度的形状。这在图2的生成部分中展示出来。在这个阶段,推断阶段获得的形状代码和微调的形状嵌入网络f s以及新的形状通过将新的关节角度输入到网络中生成。如果使用部分标签进行训练,模型还可以输出未见形状的部分标签,如图6所示。04.实验0我们进行了3D重建实验,并展示了我们的方法可以成功地插值、外推关节空间并合成新的形状。我们还定0我们的实验结果表明,所提出的方法可以成功地插值、外推关节空间并合成新的形状。我们还定量地展示了我们的方法对从合成和真实深度图像获得的部分点云具有良好的泛化能力。04.1.实验设置0对于所有实验,使用的网格模型来自于0补充材料中讨论了工作设计和训练的细节。为了评估生成形状的质量,主要评估指标是Chamfer-L1距离,它是准确度和完整度指标的平均值。根据DeepSDF [ 58]的方法,对每个形状采样30,000个点进行评估,并且论文中显示的Chamfer-L1距离乘以1,000。对于关节角度估计,我们按照[ 40]的方法评估每个关节的平均关节角度误差(以度为单位)。compact and represented with less parameters, quantitativeresults suggest that it achieves better performance. As visu-alized in Figure 3, our results show rich details compared tothe over-smoothed results produced DeepSDF. We conjec-ture that, by introducing the articulation code and the shapecode sharing, the proposed model can take advantage ofmultiple shapes articulated from the same instance to learnbetter shape priors. In addition, applying Test-Time Adap-tion helps the model fit the observation better. In Figure 3,we show that one single network is capable of learning pri-ors for fridges with different in-class articulation patterns(door types).6130060a)真实值0a)真实值 b)DeepSDF c)我们的方法0洗衣机 烤箱0冰箱0眼镜0冰箱0门0图3:测试实例的重建。所提出的方法编码了更好的细节,而DeepSDF则产生了过度平滑的表面。请注意,我们使用单个网络对两种不同类型的门类型的冰箱进行建模。0笔记本电脑 订书机 洗衣机 门 烤箱 眼镜 冰箱0DeepSDF [ 58 ] 0.35 3.73 4.29 0.61 5.33 1.63 0.800我们的方法(无TTA)0.15 3.39 2.60 0.21 3.72 1.25 0.900我们的方法0.13 2.55 2.13 0.17 1.83 1.16 0.690表1:重建的Chamfer-L1距离比较。提出的方法产生了更小的Chamfer-L1距离。0笔记本电脑 订书机 洗衣机 门 烤箱 眼镜 冰箱0DeepSDF [ 58 ] 2.77 8.69 8.04 7.79 11.13 3.33 1.740我们的方法(无TTA)0.26 3.75 5.72 0.51 4.10 2.63 0.990表2:插值的Chamfer-L1距离比较04.2.重建0我们的模型在保持数据的情况下进行3D重建0对于所有方法,首先使用反向传播推断出潜在代码,然后通过前向传播预测采样点的SDF值。定量评估显示,与DeepSDF相比,所提出的方法在所有类别上都产生了更好的结果,如表1所示。04.3. 插值和外推0在形状之间进行插值和外推的能力0对于良好的3D关节对象表示来说,重要的是。0c)我们的(无TTA)b)DeepSDF0a)输入0(39°)(51°)(39°)(51°)(0°)(90°)0(-33°)(-21°)(-33°)(-21°)(-72°)(18°)0图4:插值比较。每一行显示一个不同的对象。从左到右依次显示输入,DeepSDF和我们的(无TTA)的结果。0b)我们的(无TTA)0向右外推 向左外推0a)DeepSDF0(-84°)(-81°)(-78°)(-75°)(30°)(21°)0图5:外推比较。每一行对应于在两个方向上外推的相同实例。所提出的方法成功地生成了具有超出训练范围的关节角度的形状。0在本节中,给定相同实例的两个关节形状,我们要求模型输出介于两者之间或超出范围的形状。0如表2所示,我们定量地证明了0所提出的模型可以可靠地插值形状。在两种情况下,所提出的方法都大大优于DeepSDF。如图4所示,基线生成了不真实的变形形状,而所提出的方法产生了准确的形状估计。0在笔记本电脑上的外推设置中,提出的0方法也明显优于DeepSDF。我们计算了两种方法的Chamfer-L1距离。所提出的方法达到0.280,而DeepSDF只能达到3.396。如图5所示,所提出的方法能够在训练期间看不到的角度范围之外进行外推,而DeepSDF无法生成有效的形状。0洞察是,即使在给定的两种情况下0形状(相同实例)的关节差异很大,所提出的方法的推断形状代码在高维空间中仍然接近。这些形状之间的差异主要由关节代码捕获。因此,关节空间中的线性插值仍然会产生有效的形状。然而,基线方法学习了一个非结构化的形状空间,插值结果可能是高维空间中的一个随机点。7130070笔记本电脑 订书机 洗衣机 门 烤箱 眼镜 冰箱0DeepSDF [58](插值)2.77 8.69 8.04 7.79 11.13 3.33 1.740我们的(无TTA)0.39(1.39)3.77(3.30)2.86(7.10)0.73(1.09)3.77(7.08)2.48(2.58)0.97(3.47)0我们的0.32(1.59)3.25(3.53)3.01(8.44)0.53(0.95)2.58(6.79)2.42(2.84)0.86(4.19)0我们的(无TTA)+部分标签 0.32(1.45)3.08(3.66)2.16(2.66)0.38(1.04)5.19(3.20)2.03(2.12)0.85(3.69)0我们的+部分标签0.29(1.48)2.48(3.34)1.96(2.03)0.33(1.67)3.10(2.98)2.16(2.18)0.64(2.98)0表3:形状合成的Chamfer-L1距离比较。括号中是所提出方法的关节角度估计误差(∙)。0a)真实值 b)DeepSDF c)我们0d)我们+部分标签0图6:形状合成和部分预测。从左到右:真实值,DeepSDF插值,我们的生成,以及我们+部分标签的部分预测结果。0空间中没有对应任何有意义的形状。0对于所提出的方法,给定两个形状,两组关节角度可以同时估计。0首先使用第3.3节中所示的过程推断出编码,但只有关节编码被插值以生成新的形状。对于基线,目标形状编码简单地计算为两个获得的编码的线性组合。04.4. 形状合成和部分预测0我们学到的解耦表示的一个主要优点是其生成能力,如第3.4节所述。可以通过轻松控制关节输入来生成具0表示的另一个主要优点是其生成能力,如第3.4节所述。可以通过轻松控制关节输入来生成具有未见过关节角度的未见过实例的形状。0为了进行比较,我们使用DeepSDF Interpolation作为基准。0如第4.3节所述,我们使用DeepSDF插值结果作为基准进行比较。请注意,这不是一个公平的比较,因为我们的方法只需要一个形状,而基线需要两个形状。尽管依赖的信息较少,但所提出的方法仍然产生了更好的结果,如表3所示。我们证明了应用测试时适应可以进一步减小误差,表明测试时适应有助于推断出更好的形状同时保持解耦表示。如图6所示,注意一个单一的网络能够合成具有不同关节模式的冰箱。0所提出方法的另一个优点是0同时可以估计关节角度。我们定量地评估了关节角度预测误差(以度为单位),如表3中括号所示。结果表明,所提出的模型在推断阶段能够准确预测关节角度。0笔记本 门 洗衣机0重建 生成 重建 生成 重建 生成02视图0DeepSDF [58] 2.40 4.00 3.34 16.63 14.14 11.380我们的方法(无TTA)0.75 1.16 0.62 0.83 7.63 10.030我们的方法 0.61 1.07 0.61 0.78 5.31 9.3901视图0DeepSDF [58] 3.31 6.75 5.76 20.24 14.08 13.050我们的方法(无TTA)2.19 1.25 0.80 0.89 9.58 11.310我们的方法 2.25 1.55 0.86 1.38 6.29 9.520表4:部分点云的Chamfer-L1距离比较。1/2视图区分了部分点云是由一个还是两个深度图像生成的设置。0定量地评估了以度为单位的关节角度预测误差,如表3中括号所示。结果表明,所提出的模型在推断阶段能够准确预测关节角度。0我们还证明,如果提供了部分标签,可以进一步提高性能。0使用部分标签训练的模型表示为我们+部分标签。部分标签预测结果在图6中可视化。04.5. 部分点云测试0我们的任务是进行形状完成和生成。0从深度观测中的部分点云中推断出最匹配部分点云的形状编码,然后生成未见过的关节。我们在表4中定量地证明了所提出的方法在性能上显著优于基线。请注意,模型没有在部分点云上进行训练。0在这种情况下,没有提供3D网格。0根据DeepSDF[58],对每个深度观测点进行两个点的采样。我们通过将每个SDF值沿着计算出的表面法线方向,从观测深度点向外扰动�的距离,来近似SDF值为�和−�。在我们的实验中,�被设置为0如第4.4节所讨论的,我们采用插值方法0DeepSDF的形状生成作为基准进行形状生成的实验结果。我们在从单视图和多视图深度图像生成的点云上测试模型。随着视图数量的增加,我们观察到应用测试时间适应可以获得更大的性能提升。如图7所示,所提出的方法编码了更强的形状先验,并能够可靠地从部分点云输入中恢复形状。04.6. 在真实世界深度图像上的测试0我们定量展示了所提出的方法的泛化能力。0如表5所示,我们在真实世界深度图像上的表现更好。8130080输入部分 点云 我们的 DeepSDF 地面真实值 输入部分 点云 我们的 DeepSDF 地面真实值0图7:单视图设置下的部分点云完成。对于给定的以点云形式可视化的深度图像,我们展示了我们的方法与DeepSDF和地面真实值的形状完成的比较。0输入深度0在未见过的关节上生成 0-31° -45° 5° -31°0-1° -1° -41° -12° -12° -41°05° -45°0-1° -1°0-31° -31°0重建0对应的图像(非输入)0图8:在真实世界深度图像上的测试。从左到右:输入深度,DeepSDF重建,我们的重建和生成。请注意,我们的生成仅通过改变关节编码生成。形状编码是从不同关节位置的输入深度推断出的。RGB图像和关节角度仅用于可视化目的,不是模型的输入。0重建 生成0DeepSDF [58] 4.65 -0我们的(无测试时间适应)2.53 5.090我们的 0.76 3.220表5:真实世界深度图像的Chamfer-L1距离比较。这里的Chamfer-L1距离是从地面真实深度到重建形状的距离。DeepSDF无法生成新的形状。0RBO数据集[45]是一个包含358个RGB-D视频序列的集合,其中人类操作关节物体的刚性部分的地面真实姿态由运动捕捉系统进行注释。我们从数据集中的不同序列中获取笔记本电脑的深度图像,并通过在相应的RGB图像上应用MaskR-CNN[21]来裁剪深度图像中的笔记本电脑。我们根据第4.5节生成对应的点云,然后利用地面真实姿态将点云对齐到由Shape2motion数据集[81]定义的规范空间。0在表5中,我们展示了重建和生成的结果。0结果。请注意,这两个模型都没有在真实世界上进行训练。0深度图像。给定一个真实世界的深度图像,我们获取其对应的点云,将其输入到在合成数据上训练的模型中,以重建其3D形状,并将重建性能评估为从地面真实深度到重建形状的单向Chamfer-L1距离。接下来,我们取先前重建形状的形状编码,并改变关节编码以输出多个未见过的关节形状。我们采用真实0在这些新的关节位置上,我们对DeepSDF的形状生成进行了定量比较,并使用了所提出的方法。0在评估生成性能时,我们将对应的点云作为地面真实值。如图8所示,所提出的模型可可靠地合成未见过的关节形状,而DeepSDF无法生成形状。表5的结果表明,应用测试时间适应进一步降低了重建和生成的误差。05. 结论0我们提出了关节有符号距离函数(A-0SDF)来建模具有结构化潜在空间的关节对象.引入了一种测试时间自适应推理算法,可以同时推断形状和关节.我们在shape2motion数据集[81]的七个关节对象类别上进行了实验,并展示了改进的形状重建、插值和外推性能.此外,该方法允许控制关节编码以生成具有未见关节角度的未见实例的形状. 我们还超越了合成的0数据,并展示了所提出的方法可以可靠地从现实世界的深度图像中生成3D形状,该深度图像来自rbo数据集[45].0致谢. 本工作部分得到了来自0DARPA LwLL, iARPA (DIVA) D17PC00342, NSF IIS-1924937, NSF1730158 CI-New: 认知硬件和软件生态系统社区基础设施(CHASE-CI),NSF ACI-1541349 CC*DNI Paci�c Research Platform,以及Qualcomm、TuSimple和Picsart的赞助.[1] Panos Achlioptas, Olga Diamanti, Ioannis Mitliagkas, and[2] Ivan Anokhin, Pavel Solovev, Denis Korzhenkov, Alexey[3] David Bau, Hendrik Strobelt, William Peebles, Jonas Wulff,[4] Bharat Lal Bhatnagar, Garvita Tiwari, Christian Theobalt,[5] Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter[6] Caroline Chan, Shiry Ginosar, Tinghui Zhou, and Alexei A.[7] Xi Chen, Yan Duan, Rein Houthooft, John Schulman, Ilya[8] Xu Chen, Yufeng Zheng, Michael J. Black, Otmar Hilliges,2019. 2[11] Boyang Deng, Kyle Genova, Soroosh Yazdani, Sofien[12] Boyang Deng, John P. Lewis, Timothy Jeruzalski, Gerard2016. 32017. 3[31] Dov Katz and Oliver Brock. Manipulating articulated objectswith interactive perception. In ICRA, pages 272–277, 2008.29130090参考文献0Leonidas J. Guibas. 学习3D点云的表示和生成模型. 在ICLR,2018年. 20Kharlamov, Taras Khakhulin, Aleksei Silvestrov, SergeyNikolenko, Victor Lempitsky, and Gleb Sterkin. 高-0分辨率日间无标签翻译. 在0CVPR, 页码7488-7497, 2020年. 30Bolei Zhou, Jun-Yan Zhu, 和Antonio Torralba.具有生成图像先验的语义照片操作. ACM Trans. Graph.,38(4), 2019年. 30和Gerard Pons-Moll. 多服装网络: 从图像中学习为3D人物着装.在ICCV, 页码5419-5429, 2019年. 20Gehler, Javier Romero, 和Michael J Black. 保持它SMPL:从单张图像自动估计3D人体姿势和形状.在欧洲计算机视觉大会上, 页码561-578. Springer, 2016年. 20Ef
下载后可阅读完整内容,剩余1页未读,立即下载
![.pdf](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- BSC关键绩效财务与客户指标详解
- 绘制企业战略地图:从财务到客户价值的六步法
- BSC关键绩效指标详解:财务与运营效率评估
- 手持移动数据终端:常见问题与WIFI设置指南
- 平衡计分卡(BSC):绩效管理与战略实施工具
- ESP8266智能家居控制系统设计与实现
- ESP8266在智能家居中的应用——网络家电控制系统
- BSC:平衡计分卡在绩效管理与信息技术中的应用
- 手持移动数据终端:常见问题与解决办法
- BSC模板:四大领域关键绩效指标详解(财务、客户、运营与成长)
- BSC:从绩效考核到计算机网络的关键概念
- BSC模板:四大维度关键绩效指标详解与预算达成分析
- 平衡计分卡(BSC):绩效考核与战略实施工具
- K-means聚类算法详解及其优缺点
- 平衡计分卡(BSC):从绩效考核到战略实施
- BSC:平衡计分卡与计算机网络中的应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)