没有合适的资源?快使用搜索试试~ 我知道了~
15883用于可控三维人体合成的表面对准神经辐射场徐天汉*东京大学tianhan. mi.t.u-tokyo.ac.jpYasuhiro Fujita Eiichi松本优选网络公司{fujita,matsumoto}@preferred.jp摘要本文提出了一种从稀疏的多视点RGB视频中重建可控制的隐式三维人体模型的新方法。我们的方法定义了神经场景表示的网格表面点和有符号的距离从人体网格的表面。我们确定了一个不可分割性问题,当3D空间中的一个点被映射到网格上最近的表面点时,会出现这个问题,以学习表面对齐的神经场景表示。为了解决这个问题,我们提出了一个点投影到网格表面上使用重心插值与modi- fied顶点法线。在ZJU-MoCap和Human3.6M数据集上的实验表明,该方法在新视角和新姿态合成方面比现有方法具有更高的质量我们还证明,我们的方法容易支持控制的身体形状和衣服。项 目 页 面 : https : research.github.io/surface-aligned-nerf/.1. 介绍人体建模是一个长期的研究课题,其广泛的现实世界的应用。在诸如电影或游戏的视觉应用中,通常需要自由视点渲染,通常期望3D人体模型具有可控属性,诸如姿势、形状和衣服。由于手动设计高质量的3D人体模型通常是劳动密集型的,因此越来越多的研究[1在本文中,我们专注于从稀疏的多视角RGB视频的自由视点三维人体合成与上述可控属性。早期的方法[6,42]用骨架使预扫描的模板网格变形,用于对人体形状和/或纹理进行建模。已经提出了参数化3D人体模型[4,26,34随后的研究[1- 等*第一作者在Preferred Networks,Inc.实习时所做的工作基于参数模型的方法尽管具有良好的可控特性,但在表示穿着衣服的人时显示出局限性,特别是当实际形状与基本参数网格估计显著不同时。神经辐射场(NeRF)[28]是一种新的3D场景表示形式,由于其新颖的相机视图的照片级真实感渲染结果,最近已成为3D重建中的新基线方法。 NeRF代表使用神经网络将场景作为连续的体积表示来回归颜色和密度从给定视图方向的给定查询点。 已经提出了几种方法[24,30,35,36]来整合来自统计3D人体模型的知识及其NeRF姿势估计。它们的不同之处在于如何转换和表示查询点。基于变形的方法[24,35]使用变形场将查询点从观察空间转换到姿势无关的规范空间,然后在规范空间中构建NeRF。其他方法在人类姿势估计的帮助下将查询点转换为局部坐标系[30]或潜在代码表示[36]在本文中,我们提出了一种新的方法,通过将参数化3D身体模型(如SMPL [26])与NeRF相结合来实现动态人体重建。我们方法的基本思想是直接和简单的:我们建议在网格表面上构建NeRF。我们设计了一个算法来映射一个查询点到一个网格表面点的有符号的高度,它可以表示相对于网格的点的局部位置。利用表面点的位置和查询点的带符号高度信息作为输入,构造与网格表面对齐的NeRF;因此,它可以根据基本SMPL模型容易地变形或控制。我们的方法具有以下优点:首先,在设计的映射算法的帮助下,我们的方法不依赖于学习的变形场,节省了学习参数的数量。其次,使用我们的方法重建的模型可以直接控制SMPL参数,即姿势和身体形状。第三,由于表面对齐的属性,我们的方法显示了更好的泛化能力,一个新的人体姿势合成。15884∈概括而言,我们的贡献如下:• 我们提出了一种算法,可以注入映射到一个新的表面对齐表示,由一个投影表面点和一个签署的高度网格表面的空间点。• 我们提出了新的表面对齐的神经辐射场使用所提出的映射,这可以很容易地使用SMPL参数控制。与现有的方法相比,我们的方法在新的视图和新的姿势合成上表现出更好的泛化性能,同时支持对身体形状和衣服的改变等操作2. 相关工作人体建模早期研究提出了SCAPE [4]或SMPL [26]等参数网格模型来模拟人体形状。SMPL在给定骨架姿态和身体形状的情况下恢复人体网格,通常用作可控人体建模的基础。然而,参数化模型的一个问题是它只能模拟裸体人体。后续研究提出了一种基于SMPL的逐顶点变形,用于更好地建模服装人体细节[1由于隐式3D表示的强大表现力,最近的研究提出将其与SMPL相结合,以更好地捕捉人体的形状和外观[5,13]。在[44]中,形状,姿势和蒙皮权重用神经隐式函数表示,以模拟动态人体。在[8]中,使用姿势条件隐式占用函数来预测铰接人体的形状也有研究[29,39,40],解决了从一个单一的图像重建穿着动态人体的神经辐射场。最近,神经辐射场(NeRF)[28]已成为真实感新颖视图合成的常见构建块。一些研究对原始NeRF进行了改进,使其能够对动态场景进行建模[9,23,32,33,37,41]。这些方法的核心思想是引入一个变形场,将观测空间映射到一个正则空间,并在正则空间中建立一个NeRF。然而,优化变形场和NeRF是一个约束不足的问题,可能导致不可信的结果或伪影[32]。为了对动态人体建模,最近的研究[24,30,35,36]提出了使用SMPL [26]的人体姿势和蒙皮权重的先验知识来简化变形场的学习。Animatable NeRF [35]使用SMPL [26]的蒙皮权重来预测神经混合形状场。NeuralActor [24]预测来自已设定网格的纹理映射,并将其用作额外的信息来帮助预测变形场。然而,学习变形场会导致网络参数的显著增加,以及训练和推理的成本和难度。神经主体[36]使用锚定在SMPL顶点处的结构化潜在代码来编码姿态信息。然而,这种方法表现出一种新的姿态合成性能差,因为潜在代码的编码过程强烈依赖于训练姿态。NARF [30]使用人类骨骼将空间点转换为骨骼坐标,以学习局部定义的NeRF,这与我们的方法在概念上有一些相似之处然而,因为这样的骨骼坐标没有表面信息,所以它们不完全利用SMPL之前的人体,也不支持诸如体形控制的操纵。3. 方法我们的目标是重建一个3D人体模型,从稀疏的多视角视频,可以与一个完全可控的相机视图,人体姿势和身体形状的照片逼真地渲染。我们假设,对于每个视频帧,我们具有近似的人类姿势和形状信息(例如,SMPL [26]参数)和使用现成方法的前景掩模[10]。所提出的方法的概述如图所示。1.一、我们建议喂养一个NeRF(Sec. 3.1)与一个新的代表性(第3.1节)。3.2),包括一个表面点和有符号的高度,这是通过拟议的分散投影计算(第3.2节)。3.3)给出一个查 询 点 。 我 们 称 这 种 变 体 为 表 面 排 列 的 NeRF(Sec.3.5)。3.1. 神经辐射场再探神经辐射场(NeRF)[28]使用神经网络在连续体积表示中对场景进行建模。神经网络f从给定视点d计算给定空间位置x处的RGB颜色c和密度σ,其可以写为:f:(x,d)→(c,σ)(1)基于NeRF的方法通常使用位置信息XR3在一个固定的三维欧几里德空间(例如,世界坐标)。为了对动态人体进行建模,最近的研究提出了一些位置信息的变换或新表示作为NeRF的输入。具体而言,NARF [30]将空间点的位置信息转换为每个骨骼坐标,并将所有这些信息用作输入; NeuralBody [36]使用神经网络来计算表示相对于身体网格的位置信息的潜在代码,并将其用作输入。3.2. 表面对齐表示我们假设人体的运动可以分为以下三个组成部分,根据15885∈ XX∈∈X→ XMLPs骨架姿态内射映射(3.4节)表面对准NeRF(第3.5节)图1. 我们的方法概述。给定查询点xR3,我们使用建议的离散投影将其投影到点s上R3在网格表面上,以获得表面对齐的表示 . 的表示 和视向dθ被输入NeRF以计算查询点x的颜色c和密度σ。优势的顺序:1)跟随身体网格变形的表面对准的分量,2)依赖于姿态的分量(例如,由姿势改变引起的衣服变形),3)其余的时变分量(例如,从风中飘动)。我们提出了一种新的表示,称为表面对齐表示,用于表示相对于身体网格的查询点xR3的位置,从而描述了最主要的网格以下变形组件。具体而言,我们提出的表面对齐表示由两个组件组成:1)将x投影到网格表面上得到的表面点的位置信息。2)x和投影点s之间的有符号距离h,其表示x到网格表面的为了以姿势独立的方式表示s,我们将其映射到共享T姿势人体网格上的表面点。 具体 s,计算T-姿态网格曲面上与同一三角形面重心坐标相同的点,并利用其空间坐标sc=(xc,yc,zc)。所提出的表面对准表示可以写为:X=(sc,h)=(xc,yc,zc,h) ∈R4(2)我们将空间点x映射到表面对齐的表示X,并将其用作NeRF的输入。3.3. 离散投影我们提出了一种将空间点x投影到网格表面上以获得s的方法,称为分散投影,它由两个关键组成部分组成:重心插值投影和顶点法线对齐。我们先分别介绍它们,然后给出离散投影的具体步骤。请注意,在下面我们只考虑h >0的情况(网格外部的点),因为这个想法与点在内部时完全相同(在这种情况下,我们可以恢复法线方向)。我们假设每个顶点的法线都是从网格内部到外部的,也就是说,形式上,内积是(a)(b)第(1)款图2. 不同投影方法的比较。(a)以2D为例。我们将相同高度的点投影到曲面上(粗线)。左:最近点投影将所有红色点投影到顶点上,从而获得相同的表面对齐表示。右:提出的离散投影(这里相当于重心插值投影),其中所有的点都可以投影到不同的可区分的点上。(b)我们在空间中随机采样点并将它们投影到网格表面上。左:最近点投影,投影倾向于集中在顶点或边。右:建议分散投影,投影分布均匀。顶点法线与共享此顶点的所有三角形面的面法线为正。最近点投影。将空间点投影到曲面上的一种明显方法是我们称之为最近点投影,即计算曲面上最接近给定点的点。Animatable NeRF [35]和Neu- ral Actor [24]依赖于这种投影方式来学习变形场和/或利用纹理贴图。虽然使用最近点投影来获得s是直接的,但是我们注意到使用最近点投影的映射x如 图 2 左 侧 的 2D 图示。如图2(a)所示,弧上的红点(具有相同的高度h)都投影到蓝点上,在所得表示中无法区分。 在3D网格的情况下,如图所示。2(b)左,投影点集中在顶点或边缘。 The key issue is that NeRF would outputthe same color and density for points with different spatialposi- tions but the same surface-aligned representation ,failing to capture sufficient details.辅助T型网格离散投影(第3.3节)15886不XX--→ X原法线对齐法线对齐方向向内向外(a)(b)(c)(d)图3. 重心插值投影和顶点法线对齐的插图。(a)重心插值投影的插图(b)当某些顶点法线向内时发生的“反向”投影的示例。(c)顶点法线对齐的图示。(d)向内和向外的区域,从三角形的正上方观察。重心插值投影。针对最近点投影中的不确定性问题,提出了一种新的投影方法-重心插值投影。我们在图中说明了该方法。第3(a)段。对于网格表面上的空间点x和三角形T,我们取通过x并平行于T的平面。这个平面与三个顶点法线的交点形成一个平行三角形T′。然后,我们计算x在三角形T′中的重心坐标。最后,利用三角形T的重心坐标,通过重心插值得到网格曲面上的点s顶点法线对齐。当顶点法线都朝外时,重心插值投影如预期的那样工作,也就是说,直观地说,平行三角形T ′大于T,因此能够“覆盖”T,允许附近的点投影到T上(见图11)。3(a))。然而,当不是所有的顶点法线都朝外时,如图所示3(b),所产生的投影可能是为了解决这个问题,我们建议执行一个程序名为顶点法线对齐。首先,我们给出了内向和外向的正式定义。让我们考虑三角形顶点法线在平面上的正交投影如图在图3(c)和(d)中,我们将平面分为向内区域和向外 如果一个顶点法线的投影落在向内和向外的区域中,我们分别称该顶点法线向内和向外。 我们按如下方式对齐三角形的所有向内法线。首先,我们考虑v的正交投影点p。我们沿着两条边的方向e1和e2移动nv,直到p到达向外的区域,得到对齐的方向n′v。最后,我们将其长度归一化为1作为对齐的顶点法线。请注意,顶点法线对齐是为每个三角形单独执行的,因此即使是由不同三角形共享的同一顶点,也可能具有不同对齐的顶点法线。顶点法向对齐后,避免了重心插值投影的上述问题,得到了更合理、更有区别的投影点。离散投影的详细步骤。给出了结合重心插值投影和顶点法向对齐将空间点x投影到网格表面点s的详细步骤。1. 计算网格表面上最近的点。2. 找到一组所有三角形都包含三角形当三角形落在一个三角形内时,显然只有那个三角形包含然而,当它落在一个顶点或一条边上时,会有多个三角形包含三角形。3. 中的所有三角形应用顶点法线对齐T.4. 对于每个T∈ T,如果x不在其平行三角形T′内,则将其从T中移除。在T中至少有一个三角形,使得x在它的T′内。5. Apply barycentric interpolated projection for each T ∈T to obtain the projected surface point{s}.6. 选择距离s最近的点作为最终投影点。3.4. 到表面对齐表示的内射映射通过使用所提出的离散投影将x投影到表面点s上,如第2节所述3.2,我们可以计算x的表面对齐表示。我们强调,利用所提出的离散投影,映射x在 一定条件下是一个内射.因此,不同的空间点被映射到不同的表示,从而消除了不可解释性问题。证据可以在补充材料中找到。3.5. 表面排列的神经辐射场我们的目标是建立与网格表面对齐的神经辐射场,该辐射场可以随网格变形而变化。为此,我们将表面对齐表示(等式2)(2)将空间点x的一个或多个矢量作为输入输入到NeRF。此外,我们还考虑了世界的视角,15887X本地坐标这里,局部坐标是指在s处的已设定网格的表面上由法线方向、切线方向和双切线方向形成的坐标。我们将世界坐标和局部坐标中的视图方向分别 表示 为 d和 dl 我 们将 它 们连 接 在一 起 d=concat(d,dl)并输入到NeRF。这可以写为:FΘ:(X,dθ)→(c,σ)(3)其中,Θ表示模型参数。然而,表面对齐表示只能捕获严格遵循体网格变形的运动;当量(3)不能对一些微妙的姿势依赖变形(诸如宽松的衣服)建模。为了解决这个问题,我们还将我们的模型设定在骨架姿势参数p上,以学习姿势相关的变形。具体来说,我们使用编码器网络将姿态信息编码为潜在代码zp,并将其作为NeRF的额外输入:FΘ : ( X , dθ , zp ) → ( c , σ )(4)这是我们提出的表面取向NeRF。3.6. 培训我们使用体绘制[16,28]来合成具有NeRF的图像。根据之前的研究[28,35,36],我们最小化渲染图像和地面实况图像之间的每像素均方误差(MSE)。我们使用SMPL [26]作为我们模型的底层人体网格模型,并估计形状和姿势参数。为了减少不准确SMPL参数估计的影响,我们使用Adam优化器[21]同时优化SMPL的姿态参数其他培训详情请参见补充材料。4. 实验4.1. 数据集ZJU-MoCap [36]使用21个同步相机记录人体运动,并使用无标记运动捕捉来获得人体姿势。我们使用四个大致均匀间隔的摄像机进行训练,其余的摄像机用于测试新的视图合成。我们将运动序列帧分为我们遵循[36]进行数据预处理以及更多的训练和测试细节。Human3.6M [15]使用四个同步摄像机记录复杂的人体运动和基于标记的运动捕捉来获取人体姿势。我们使用三个摄像机作为训练视图,剩下的一个用于测试。类似地,我们将数据集划分为训练/未见过的姿势序列。关于详细设置,请参阅[35]。评估指标。在[28]之后,我们使用两个标准度量来评估图像合成的性能:峰值信噪比(PSNR)和结构相似性指数测度(SSIM)。4.2. 图像合成我们比较我们的方法与国家的最先进的方法的性能。对于ZJU-Mocap数据集,我们将其与Neural Body[36]进行比较,后者使用结构化的潜在代码来模拟人体 的 外 观 。 对 于 Human3.6M 数 据 集 , 我 们 与Animatable NeRF [35]进行了比较,后者学习神经混合权重字段并在规范空间内构建NeRF。此外,我们还与NARF [30]进行了比较,后者采用了类似的NeRF方法,其输入表示基于骨骼坐标。结果见表。1和Tab。二、训练姿势。对 于 ZJU-MoCap数据集,我们的方法优于[30],并且与[ 36 ]相比显示出略好的性能,尽管这些研究使用每帧优化来更好地建模训练姿势。对于Human3.6M数据集,我们的方法远远优于[30]和[35]。结果表明,我们的表面对准NeRF可以更容易地捕捉人体的形状和外观的训练姿势。定性结果见图。4.第一章从合成的图像中,我们看到,所提出的方法具有更好的面部细节相比,其他。看不见的姿势对于这两个数据集,我们的方法的性能几乎一致优于[36],[35]和[30]。 其优越的性能可以归因于其表面对齐的属性,因为它能够充分利用SMPL的能力来表达不可见姿势的人体网格变形定性结果见图。五、从合成的图像中,我们看到,所提出的方法保留了丰富的细节,如衣服的褶皱,即使是在训练过程中看不见的姿势,而其他方法不仅无法恢复细节,而且会产生明显的伪影。4.3. 消融研究我们使用ZJU-MoCap数据集的序列结果示于图6和Tab。3 .第三章。骨骼姿势调节的影响。我们训练一个模型,而不需要在 等 式 中 输 入 骨 架 姿 势 。 (4 ) , 其 给 出 较 低 的PSNR/SSIM结果和模糊的合成图像。如第3.2,虽然我们假设身体运动的主要部分是网格跟随变形,15888Ground Truth NARF Neural Body Ours Ground Truth NARF Animatable NeRF Ours图4. 训练姿态的新视图合成的定性结果。左:ZJU-MoCap数据集。右图:人类3.6M数据集。Ground Truth NARF Neural Body Ours Ground Truth NARF Animatable NeRF Ours图5. 未见过的姿态的新视图合成的定性结果。左:ZJU-MoCap数据集。右图:人类3.6M数据集。还可能存在不能被人体网格捕获的依赖姿态的变形。此外,虽然我们没有显式地对时变变形分量进行建模(例如在[35,36]中使用每帧嵌入),但神经网络可以通过从骨架姿势信息推断时间来隐式地对这些分量进行Impact of the dispersed projection. 我们使用最近点投影代替建议的离散投影进行训练。如图6、使用最近点投影导致伪影和细节丢失。如第3.3,离散投影解决了最近点投影引起的不可分辨性问题从最近点投影的图示(图。2),很容易想象,一个点离网格表面越远,它就越有可能通过最近点投影投影到顶点或边上基于这一观察,我们假设当估计的网格接近真实的3D形状时,不可分辨性可能不是那么成问题;然而,当存在远离网格表面的点时,例如厚衣服或手指,这可能显著地导致模型性能,这可以解释差异。15889训练姿势看不见的姿势PSNRSSIMPSNRSSIMNARF [30][36]第三十六话我们NARF [30][36]第三十六话我们NARF [30][36]第三十六话我们NARF [30][36]第三十六话我们Twirl29.3830.5631.320.9670.9710.97422.2023.9524.330.8720.9050.908太极24.2227.2427.250.9300.9620.96219.7019.5619.870.8590.8520.863摇摆127.5329.4429.290.9290.9460.94625.4325.7626.270.9120.9090.927摇摆227.5428.4428.760.9280.9400.94124.0323.8024.960.8840.8780.900Swing326.5627.5827.500.9250.9390.93823.8423.2524.240.9010.8930.908热身25.8927.6427.670.9310.9510.95424.1423.9125.340.9060.9090.928冲孔125.9828.6028.810.8950.9310.93125.2425.6827.300.8770.8810.905冲压224.7825.7926.080.9150.9280.92922.5821.6023.080.8850.8700.890踢26.4227.5927.770.9130.9260.92723.5323.9024.430.8720.8700.889指数.26.4828.1028.270.9260.9440.94523.4123.4924.420.8850.8850.902表1. ZJU-MoCap数据集[36]的PSNR和SSIM结果。越高越好。“NB” means Neural训练姿势看不见的姿势PSNRSSIMPSNRSSIMNARF [30]AN [35]我们NARF [30]AN [35]我们NARF [30]AN [35]我们NARF [30]AN [35]我们S121.4122.0523.710.8910.8880.91520.1921.3722.670.8640.8680.890S525.2423.2724.780.9140.8920.90923.9122.2923.270.8910.8750.881S621.4721.1323.220.8710.8540.88122.4722.5923.230.8830.8840.888S721.3622.5022.590.8990.8900.90520.6622.2222.510.8760.8780.898S822.0322.7524.550.9040.8980.92221.0921.7823.060.8870.8820.904S925.1124.7225.310.9060.9080.91323.6123.7223.840.8810.8860.889S1124.3524.5525.830.9020.9020.91723.9523.9124.190.8850.8890.891指数.23.0023.0024.280.8980.8900.90922.2722.5523.250.8810.8800.892表2. Human3.6M数据集[15]的PSNR和SSIM结果。越高越好。地面实况无姿态输入最近点投影全进近图6. 使用ZJU-MoCap数据集序列“w/o pose input”表示骨架姿势不用作NeRF的输入。“Nearest pointPSNRSSIM无姿态输入26.580.915最近点投影27.380.923全进近27.770.927表3. 使用ZJU-MoCap数据集序列“Kick”的消融研究结果(PSNR和SSIM)。越高越好。同样参照图六、图7.体型控制的定性结果。顶部:将PC1从−4更改为+4。底部:将PC2从− 4更改为+4。4.4. 体型控制由于NeRF与人体网格表面对齐,因此我们可以通过操纵人体网格表面来控制建模人体的体型。具体地说,SMPL具有通过主成分分析(PCA)获得的10个形状参数,并且通过控制它们,我们可以获得不同身体形状的网格。图7显示了在我们改变第一和第二主成分PC1和PC2之后的合成图像。15890图8. 换衣服的定性结果。由于我们的方法的表面对齐属性,我们可以针对不同的网格表面区域使用不同的训练NeRF。左边的小图像表示源外观,右边的大图像表示具有新颖外观组合的合成图像。4.5. 换衣服由于我们可以用其他纹理替换网格纹理的一部分,因此我们的方法也可以根据不同的表面积来替换NeRF,以实现类似“换衣服”的效果假设我们已经有几个表面对齐的NeRF模型在不同的主题上训练我们首先根据身体部位分割SMPL网格,使得每个三角形面属于一个类别(例如,头、上半身和下半身)。然后我们决定每个类别使用哪个主题我们使用主体1的上半身和主体2的下半身)。对于一个查询点x,我们将其投影到网格表面点s上,使用建议的离散投影,并找到s所属的类别。给定这个类别,我们使用相应主题的训练NeRF模型计算点x的颜色和密度。最后,我们可以绘制新的合成图像与多个主题的appearance组合。合成结果如图所示。8.5. 讨论5.1. 限制目前,我们的方法依赖于一个相对准确的网格估计。虽然我们可以通过在训练过程中优化SMPL参数来减轻不准确性,但一些无法通过SMPL准确表示的细节(如手部姿势)可能会导致伪影,因为点无法正确投影到网格表面上一个可能的解决方案是用更详细的参数化人体模型取代SMPL,例如SMPL-X [34]。所提出的仅使用一个表面点的表面对准表示可能具有潜在的问题,即在一些特定姿势中,诸如当手臂和身体非常接近时,在训练姿势中投影到身体以用于表示身体信息的一些点可能在新姿势设置中投影到手臂,这是由于该点不能正确地表示身体信息。引入更多信息将是有趣的,例如空间点与每个身体部位的相互关系类似于[30]以进一步改进。我们的离散投影假设一个水密网格,顶点法线都与相邻的面法线形成锐角,这在应用于更复杂的网格时可能会受到限制。设计一个更灵活的投影方法,而没有不可分辨性的问题,将扩大表面对齐表示的适用性。5.2. 今后工作我们的方法的核心思想是在估计的网格表面上构建NeRF。因此,我们的方法可以在现有的图像3D网格重建方法的帮助下推广到具有相应3D网格的对象,而不限于人体[7,17或视频[11,22,31,38,43]。此外,结合交互式3D网格变形方法[12,14,20],我们的方法可以实现NeRF的交互式操作。我们希望结合网格的可控性和NeRF的真实感绘制的想法可以用于更多的视觉应用在未来。6. 结论在本文中,我们提出了新的表面对齐的神经辐射场的可控三维人体合成。提出的离散投影方法将空间点转换为可区分的表面点和符号高度,这表明与提出的表面对齐NeRF具有很高的兼容性。我们的方法不仅在新的人体姿势场景中表现出更好的泛化性能,而且还支持显式控制,如身体形状变化和衣服变化。鸣谢:我们感谢Hiroharu Kato的有益讨论和评论。15891引用[1] ThiemoAlldieck , MarcusMagnor , BharatLalBhatnagar,Christian Theobalt,and Gerard Pons-Moll.学习从一个单一的rgb相机重新构建穿着衣服的人。在CVPR,2019年。一、二[2] Thiemo Alldieck , Marcus Magnor , Weipeng Xu ,Christian Theobalt,and Gerard Pons-Moll.基于视频的三维人体模型重建。在CVPR,2018年。一、二[3] ThiemoAlldieck , GerardPons-Moll , ChristianTheobalt,and Marcus Magnor. Tex2shape:从单个图像中获得详细的完整人体几何形状。在ICCV,2019年。一、二[4] Dragomir Anguelov 、 Praveen Srinivasan 、 DaphneKoller、Se- bastian Thrun、Jim Rodgers和James Davis。Scape:人物的形状完成和动画。ACM事务处理图表,2005年。一、二[5] Bharat Lal Bhatnagar,Cristian Sminchisescu,ChristianTheobalt,and Gerard Pons-Moll.结合内隐函数学习和参数模型进行三维人体重建。在ECCV,2020年。2[6] 放大图片作者:Joel Carranza,Christian Theobalt.马格诺和汉斯-彼得·赛德尔。人类演员的自由视点视频。ACM事务处理图表,2003年。1[7] Wenzheng Chen,Jun Gao,Huan Ling,Edward Smith,Jaakko Lehtinen,Alec Jacobson,and Sanja Fidler.学习使用基于插值的可区分渲染器预测3d对象。NeurIPS,2019。8[8] 作 者 : John P. 放 大 图 片 创 作 者 : John W. Hinton ,Mohammad Norouzi,and Andrea Tagliasacchi.美国宇航局神经关节形状近似。在ECCV,2020年。2[9] 杜一伦,张一男,于红星,Joshua B. Tenen-baum和Jiajun Wu。用于4d视图合成和视频处理的神经辐射流ICCV,2021。2[10] Ke Gong,Xiaodan Liang,Yicheng Li,Yimin Chen,Ming Yang,and Liang Lin.通过部件分组网络的实例级人工解析。在ECCV,2018。2[11] 菲利普·亨茨勒,杰里米·雷森斯坦,帕特里克·拉巴特,罗曼·沙波瓦洛夫,托拜厄斯·里切尔,安德烈·韦达尔迪和大卫·诺沃特尼.从野外视频中无监督学习3d对象类别。在CVPR,2021年。8[12] 景华和洪琴。通过绘制和操纵标量场实现自由变形ACMSymposium on Solid Modeling and Applications ,2003。8[13] Zheng Huang,Yuanlu Xu,Christoph Lassner,Hao Li,and Tony Tung. ARCH : Animatable Reconstruction ofClothed Humans在CVPR,2020年。2[14] 五十岚武夫、松冈聪、田中英彦。泰迪:三维自由设计的草图界面ACM SIGGRAPH,1999年。8[15] Catalin Ionescu , Dragos Papava , Vlad Olaru , andCristian Sminchisescu. Human3.6m:大规模数据集和预测方法,用于自然环境中的3D人体感知。IEEE传输模式分析马赫内特尔,2014年。五、七[16] James T. 卡吉亚渲染方程。SIGGRAPH计算Graph. ,1986年。515892[17] 放 大 图 片 作 者 : Angjoo Kanazawa , ShubhamTulsiani,Alexei A.埃弗罗斯和吉坦德拉·马利克从图像集合学习特定类别的网格在ECCV,2018。8[18] 加藤博治和原田达也。单视图三维重建的视图先验学习在CVPR,2019年。8[19] Hiroharu Kato、Yoshitaka Ushiku和Tatsuya Harada。神经三维网格渲染。在CVPR,2018年。8[20] Youngihn Kho 和 Michael Garland 。 绘 制 网 格 变 形 。ACM SIGGRAPH,2005年。8[21] Diederick P Kingma和Jimmy Ba。Adam:随机最佳化的方法。2015年,国际会议。5[22] Xueting Li , Sifei Liu , Shalini De Mello , KihwanKim,Xi- aolong Wang,Ming-Hsuan Yang,and JanKautz.在线适应一致的网格重建在野外。在NeurIPS,2020年。8[23] Zhengqi Li,Simon Niklaus,Noah Snavely,and OliverWang.神经场景流场用于动态场景的时空视图合成在CVPR,2021年。2[24] Lingjie Liu , Marc Habermann , Viktor Rudnev ,Kripasindhu Sarkar,Jiatao Gu,and Christian Theobalt.神经参与者:具有姿势控制的人类演员的神经自由视图 合 成 。 ACM 事 务 处 理 图 表 (ACM SIGGRAPHAsia),2021年。一、二、三[25] Shichen Liu,Tianye Li,Weikai Chen,and Hao Li.软光栅化器:一个基于图像的三维推理可区分的渲染器ICCV,2019。8[26] Matthew Loper、Naureen Mahmood、Javier Romero、Gerard Pons-Moll和Michael J.黑色. SMPL:一个多人皮肤线性模型。ACM Trans. Graphics(Proc.SIGGRAPH Asia),2015年。一、二、五[27] Qianli Ma , Jinlong Yang , Anurag Ranjan , SergiPujades,Gerard Pons-Moll,Siyu Tang,and Michael J.黑色.学着给3D人物穿上生成服装。在CVPR,2020年。一、二[28] 作者:Ben Mildenhall,放大图片作者:Jonathan T.Barron,Ravi Ramamoorthi和Ren Ng. Nerf:将场景表示为用于视图合成的神经辐射场。在ECCV,2020年。一、二、五[29] Ryota Natsume,Shunsuke Saito,Zeng Huang,WeikaiChen , ChongyangMa , HaoLi , andShigeoMorishima.SiCloPe:基于剪影的服装人。在长滩的CVPRCA,2019年。2[30] Atsuhiro Noguchi , Xiao Sun , Stephen Lin , andTatsuya Harada.神经连接辐射场。 ICCV,2021。一、二、五、七、八[31] David Novotny Diane Larlus和Andrea Vedaldi通过观察周围的物体来学习3d物体的类别InICCV,2017.8[32] 作者:Kunhong Park,Utkarsh Sinha,Jonathan T.放大图片创作者:John W.塞茨和里卡多·马丁-布鲁阿拉。神经:变形神经辐射场。ICCV,2021年。2[33] 放大图片作者:Peter Hedman,Jonathan T. Barron,Sofien Bouaziz , Dan B Goldman , Ricardo Martin-Brualla和Steven M.塞茨Hypernerf:拓扑变化神经辐射场的高维表示。 ACM Trans. Graph. (ACM SIGGRAPHAsia),2021年。215893[34] Georgios Pavlakos,Vasileios Choutas,Nima Ghorbani,TimoBolkart , Ahmed A.A.Osman , DimitriosTzionas,and Michael J.黑色.表现性身体捕捉:从单个图像获得3D手、脸和身体。在CVPR,2019年。1、8[35] 彭思达,董俊婷,王倩倩,张尚战,帅庆,周晓伟,包虎军 。用 于动 态人 体建 模的非 匹配 神经 辐射 场。ICCV,2021。一、二、三、五、六、七[36] Sida Peng , Yuanqing Zhang , Yinghao Xu , QianqianWang,Qing Shuai,Hujun Bao,and Xiaowei Zhou.神经体:隐式神经表示与结构化的潜在代码,用于动态人类的新视图合成。在CVPR,2021年。一、二、五、六、七[37] Albert Pumarola,Enric Corona,Gerard Pons-Moll,andF
下载后可阅读完整内容,剩余1页未读,立即下载
![application/octet-stream](https://img-home.csdnimg.cn/images/20210720083646.png)
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![.zip](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 图书馆管理系统数据库设计与功能详解
- ***物流有限公司仓储配送业务SOP详解
- 机械专业实习经验与学习收获
- 阎良区生活垃圾卫生填埋场施工与运营管理详解
- 濮阳市生活垃圾无害化处理工程施工组织设计详解
- MATLAB均匀平面波仿真课程设计指南
- 北京市地铁9号线技术规格与设备详情
- 西门子PLC在中央空调自动控制系统的应用
- PLC驱动的电梯控制系统发展历程与未来趋势
- 外墙维修工程政府采购项目施工方案概述
- 项目方案委员会会议全程指南与文件清单
- Dreamweaver实战:创建简单网页与站点管理
- 国内升学与就业政策及信息搜集指南
- 国资公司2020上半年创新发展与资产管理工作总结
- 项目管理:目标控制与各方角色分工详解
- 构建项目管理体系:提升组织绩效的关键
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)