JIFF：高质量单视图服装人体重建

2729JIFF：用于高质量单视图服装人体重建曹育康1陈冠英2韩凯1杨文琦1郭冠义.黄11香港大学2香港中文大学深圳未来网络智能研究院摘要本文研究了单视图三维人体重建问题。近年来，基于隐函数的人脸重建方法取得了令人瞩目的成果，但它们在重建过程中未能恢复出人脸的精细细节。这在很大程度上降低了3D网真等应用的用户体验本文从提高人脸重建质量的角度出发，提出了一种新的联合对齐 隐 式 人 脸 函 数 （ Jointly-aligned Implicit FaceFunction，JIFF），它结合了基于隐函数方法和基于模型方法的优点。我们采用一个三维变形的人脸模型作为我们的形状先验和计算空间对齐的三维功能，捕捉详细的面部几何信息。这种空间对准的3D特征与像素对准的2D特征相结合，以联合预测隐式面部函数，用于高质量面部重建。我们进一步扩展了我们的管道，并引入了一个由粗到细的架构来预测我们详细的人脸模型的高质量纹理已经在公共数据集上进行了广泛的评估，我们提出的JIFF已经证明了优于现有技术的性能（定量和定性）。1. 介绍在当前COVID-19疫情的社交距离措施下，视频会议已成为日常沟通的主要形式。随着3D硬件（如AR护目镜）的日益普及，3D远程呈现[42]将很快成为下一代通信标准。高质量的三维人体重建是该技术的核心，也是当前最热门的话题之一。传统的重建方法依赖于昂贵的捕获硬件和繁琐的校准过程来产生好看的模型[15]。这限制了他们的应用程序与专家用户的工作室设置，并大大阻碍了AR/VR应用程序的增长。非常期望开发易于使用的工具，其允许通过以下方式容易地创建高质量的3D人体模型：图1.由PIFu [55]和我们的JIFF重建JIFF重建的模型比PIFF重建的模型具有更好的几何细节和纹理特征.家庭用户使用商品RGB相机。随着深度学习技术的进步，最近的3D人体重建方法已经使用少至单个图像实现了令人印象深刻的结果[29，55，74]。这些方法可以大致分为基于模型的方法[3，4，6，7]和无模型方法[11，12，18，26，49，55]。基于模型的方法典型地适合参数化的人体模型（例如，SMPL [37]）生成一个裸体3D人体模型。他们很难恢复衣服和头发等高频细节另一方面，无模型方法通过预测离散体积空间的占用来解决这个问题。一种非常有代表性的无模型方法是PIFu [55]，其利用多层感知器（MLP）对隐式函数进行建模，以基于从图像中提取的像素对齐特征来预测查询点的占用值PIFU及其变体[34，56]在自由形式的全身人体重建方面取得了最先进的成果。然而，他们的重建往往缺乏精细的面部细节（见图1）。考虑到超高清渲染标准（即，4K UHD和8 K UHD），其面部重建质量远不能令人满意，并且在很大程度上降低了用户在AR/VR应用（如3D远程呈现）中的体验。为了实现具有精细人脸细节的高质量人体重建，我们提出了一种新的联合对齐隐式2730面函数（又名JIFF），它结合了基于隐函数的方法和基于模型的方法的优点。具体来说，我们采用3D可变形人脸模型（3DMM）[8]作为我们的形状先验，并计算空间对齐的3D特征以捕获详细的人脸几何形状和纹理信息。还有最近的方法[25，72]使用3D先验通过引入几何约束来正则化重建来增强隐函数例如，[25]和[72]分别利用粗糙的3D体积特征和SMPL身体模型来改善人体重建。据我们所知，JIFF是第一种专注于恢复形状和纹理的高质量人脸细节的方法。JIFF利用从3DMM中提取的空间对齐的3D特征以及从图像中提取的像素对齐的2D特征来联合预测隐式人脸函数，以实现高质量的人脸重建。总之，我们的方法首先将3DMM拟合到图像中的面部，并采用两个单独的编码器从所得的3D模型中计算3D形状和纹理特征给定一个三维查询点，我们得到它的空间对齐的三维特征三线性插值。这种空间对齐的3D特征与像素对齐的2D特征相结合，用于使用MLP来预测查询点的我们进一步扩展了我们的管道，并引入了一个由粗到细的架构来预测我们详细的人脸模型的高质量纹理。通过利用隐函数方法和基于模型的方法，我们的方法可以在形状和纹理上都快速地恢复精细的人脸细节（见图1）。我们的主要贡献如下：• 本文提出了一种新的用于高质量单视图三维人脸重建的隐式人脸函数JIFF，它将三维人脸先验信息与隐式函数表示相结合，实现了高质量的人脸形状重建。• 我们利用3DMM提供的每个顶点的颜色信息，并引入了一个由粗到细的高质量的人脸纹理预测架构。• 我们演示了JIFF如何自然地扩展到产生全身人体重建，只需将• 我们在公共基准上进行了广泛的实验，并证明JIFF的性能大大优于当前最先进的技术。2. 相关工作单视图人体重建从一幅图像重建三维人体是一个重要而又具有挑战性的问题，受到了广泛的关注。已开发出将SCAPE [23]、SMPL [9]、SMPL-X [46]和STAR[43]等参数人体模型拟合到单个图像的方法。人体补片恢复（HMR）[33]建议回归SMPL参数-从一个单一的图像。身体部位分割[41]、轮廓[47]和IUV图[64]等标签已被用于为训练SMPL预测模型提供中间监督。虽然自由形式变形[1，2，32，63]可以应用于模型以部分地解释复杂形状拓扑（例如，衣服和头发），这些方法通常难以重建高质量的穿着衣服的人体模型。无模型方法已经被提出来重建具有任意拓扑结构的三维人体。基于体素的方法使用具有不同中间监督（例如，多视图图像[22]、2D姿态[59、60、73]和3D姿态[28]）。然而，体积表示是内存密集型的，并且难以缩放到高分辨率。最近，内存高效的隐式函数表示[11，39，49，55，56，61]在3D重建中取得了出色的性能。DeepSDF [44]预测用于表面重建的带符号距离IF-Net [12]学习用于3D网格细化或完成的多尺度特征，后来扩展为纹理完成[13]。SiCloPe [39]通过预测3D姿势和2D剪影来重建视觉外壳。PIFu [55]引入了一个像素对齐的隐式函数，用于从单个图像进行人体重建已经提出了用于高分辨率重建[56]和实时渲染[34]的变体。PeeledHuman [30]提出将人体编码为一组剥离的深度和RGB贴图，以处理自遮挡问题。虽然这些方法成功地重建三维人体的几何和纹理从一个单一的图像，他们无法处理的问题，如自遮挡和详细的人脸重建。隐式函数表示的三维先验利用三维人体先验进行隐式模型重建。GeoPIFU [25]建议使用来自预测3D特征体积的几何对齐特征来提高重建质量。PaMIR [72]利用SMPL作为隐函数学习的3D先验。XNUMX和XNUMX++[26，27]从规范SMPL网格中提取3D空间对齐特征，以重建可动画化的人类模型。SHARP [31]提出了用于学习的剥离SMPLDeepMultiCap [71]使用SMPL来解决多人重建问题。虽然已经报道了改进的结果，但是上述方法仍然不能在其重建中恢复精细的面部细节高质量的人脸重建仍然是一个悬而未决的问题。人脸/头部重建基于参数模型的方法通常采用3D变形模型（3DMM）[8，19，20，24，36，57，76]用于人脸重 建 和 头 部 模 型 （ 例 如 ， [2019-05 - 15][2019 -05][2019-然而，这些方法所采用的模型往往限制了它们在 处理任 意形状 时的表 现力i3DMM [65]结合 了3DMM和隐式函数，2731∈BB·图2. PIFU不能在它的rexections中恢复精细的面部细节。具有详细几何形状的3DMM可以拟合到图像，但是将3DMM网格与从PIFu提取的网格合并是一项重要的任务预测具有精细细节的全头部网格。H3 D-Net [53]基于从数千次原始扫描中学习的3D头部模型优化了隐式功能表示。与这些方法不同的是，我们的目标是高质量的单视图完整的人体重建与精细的人脸细节。3. 初步在下面的小节中，我们将简要回顾为JIFF奠定基础的PIFU [55]和3DMM [8，19]3.1. 像素对齐隐函数最近，隐式函数[58]已被广泛用于3D重建[38]。表示XR3作为三维点，由MLP建模的深度隐式函数，将表面定义为函数的水平集，例如，f（X）=0. 五、在[ 55 ]中引入的像素对齐隐式函数f v被写为fv（B（π（I），π（X）），z（X））<$→[0，1]∈R，（1）其 中 ， z （ X ） 是 X 的 深 度 ， 并 且 （ π （ I ） ， π（X））是像素对齐的特征，其中π（I）表示通过卷积编码器从图像I中提取的特征图[40]，π（X）是X在I上的2D投影，并且（）是双线性插值运算。尽管它的简单性，PIFU 已经取得了令人印象深刻的结果，在全身人体recruitment-tion。然而，PIFU是无法恢复精细的面部细节在其重建（见图。2）。3.2. 3DMM作为3D人脸先验改进PIFu的一个自然想法是在学习隐函数表示时强制某种3D形状。已努力增强具有3D特征（如粗3D体积特征[25]和体素化SMPL网格特征[26，27，72]）的像素对齐隐式函数。在改善整体重建的结果已经报道，这些方法仍然不能恢复精细的人脸细节在他们的重建。这不是意料之外的，因为这些方法所采用的形状先验实际上并不集中在面部上。理想的3D人脸先验应该提供几何和纹理信息，并且可以从图像中鲁棒地估计。像3DMM [8]和DECA [21]这样的参数化面部/头部模型是潜在的良好候选者，因为它们提供3D网格和纹理信息以解决深度模糊性并改善纹理预测。它们可以用少量的参数来描述，这些参数可以使用现有的方法（例如，[19]）。在这项工作中，我们选择广泛使用的3DMM作为我们的3D人脸先验，因为它的简单性和有效性。注意，也可以采用其他参数面部模型，因为JIFF不依赖于特定的参数模型。3DMM将面部建模为主成分分析（PCA）基向量的线性组合3DMM的形状S和纹理T表示为：S=S<$+Bidα+Bexpβ，（2）T=T<$+Btexδ，其中S<$和T<$分别表示平均形状和纹理，Bid、Bexp和Btex分别是人脸识别、表情和纹理的PCA基，α、β和δ分别是身份、表情和纹理系数。在我们的实现中，我们使用从BFM [48]中提取的S'，T'，Bid和Btex，以及从Face-Warehouse [10]中构建的Bexp4. 联合对齐隐式面函数在本节中，我们介绍了我们的新的联合对齐隐式面函数（JIFF）。JIFF的设计目标是将3D人脸先验知识结合到学习隐函数中，以实现高质量的单视图服装人体重建。如前所述，我们选择3DMM作为我们的3D人脸先验，因为它简单，性和有效性。给定一个输入图像，我们可以使用[19]获得3DMM参数。然而，将结果3DMM网格与从PIFu提取的网格合并是一个重要的问题，因为它们不共享相同的几何和拓扑（参见图11）。2）。与简单地在三维空间中合并两个网格不同，我们提出在特征空间中融合信息，并使用从3DMM中提取的空间对齐的三维特征和从图像中提取的像素对齐的二维特征来联合估计隐式面函数（因此称为联合对齐隐式面函数）。给定拟合到输入图像的3DMM网格S，我们采用编码器从网格生成特征体积φ（S）（参见第2节）。4.2详情）。JIFF可以用公式表示2732∈∈∈ ∈ ∈∈××图3.概述了我们提出的联合对齐隐式面函数（JIFF）的网络架构。JIFF以单个图像作为输入，重建具有精细面部细节的高质量3D人体模型。它无缝地将3D人脸先验信息结合到隐函数表示中，用于形状和纹理重建。通过附加两个MLP头，一个在顶部分支中的像素对齐特征之后（与黄色的MLP平行），另一个在底部分支中的多尺度像素对齐特征之后（与黄色的MLP平行），JIFF可以自然地扩展以产生全身重建。虚线路径对于面部区域是唯一的其余的都用于全身重建。作为fg（τ（φ（S），X），B（π（I），π（X）），z（X））<$→[0，1] ∈R，其中τ（φ（S），X）是通过三线性插值τ获得的查询点X的空间对齐的3D特征。JIFF融合了像素对齐的二维特征和空间对齐的三维特征，兼具隐函数方法和模型方法的优点，能够在重建过程中恢复人脸的精细细节。在下面的小节中，我们将详细介绍JIFF学习框架中的每个组件我们还将描述如何通过简单地将“PIFF”头（作为MLP实现）附加到其卷积来自然地扩展JIFF以进行全身重建图像编码器4.1. 3DMM预测和对准给定输入图像，我们首先检测人脸区域[68]并采用最先进的3DMM回归方法[19]来预测3DMM参数（α，β，δ，γ，p）R257，其中αR80，βR64，δR80、γR27和pR6分别表示人脸身份、表情、纹理、光照和姿态。然后，我们可以使用等式获得3DMM网格和纹理（2）应用位姿参数将网格变换到摄像机坐标系中。接下来，我们缩放3DMM网格，匹配输入图像1中的面部的原始尺寸，并且进一步将网格与反向投影的面部界标对准。在训练时，我们执行迭代最近点（ICP）[5]算法来将3DMM网格与地面真实网格对齐这一步骤对于计算用于训练和测试的可靠空间对齐3D特征非常重要。校准过程（培训和测试）的详细信息可参见补充材料。4.2. 基于点的三维人脸特征编码为了从3DMM网格中提取有表现力的特征，我们需要有一个合适的特征编码器。受[49]的启发，它从点云预测占用率，我们采用PointNet++ [52]为3DMM网格中的每个顶点提取分层3D点特征。然后，使用平均池化将这些3D点特征投影到3D特征体积中。该特征体积由3D U-Net [14]进一步处理，以聚合局部和全局信息。在我们的实现中，我们的3D特征体积的空间维度设置为64 64 64，3D U-Net提取的特征的维度为128。我们建议在我们的框架中使用两个独立的编码器，而不是使用由PointNet++和3D U-Net组成的单个特征编码器：一个专注于通过将普通3DMM网格作为输入进行形状预测，另一个专注于纹理预测1缩放和裁剪的面部图像用于3DMM回归。（三）2733B∈∈B××××N·∈通过将纹理化的3DMM网格作为输入（参见图3）。由几何和纹理编码器提取的3D特征分别表示为φg（S）和φt（S）。在没有任何颜色信息的情况下，φg（S）被迫学习仅依赖于几何的特征，而额外的颜色信息有助于学习φt（S）中更好的纹理。4.3. 占用预测参考方程式JIFF采用空间对齐的3D几何特征τ（φg（S），X）和像素对齐的2D特征（φg（I），π（X））来预测查询点X的占用值。在[55]之后，我们采用堆栈沙漏编码器[40]进行图像特征提取。图像编码器BLOG以图像IR512×512×3作为输入，背景被分 割 掩 模 掩 盖 ， 并 产 生 特 征 图 BLOG （ I ）R128×128×256。 然后，通过在Rg（I）上的双线性插值获得X的像素对齐的2D特征。类似地，X的空间对齐的3D几何特征通过φg（S）上的三线性插值获得。受Geo-PIFU [25]的启发，我们首先应用两个单独的MLP来独立地变换这些特征，而不是直接关联像素对齐的2D特征和空间对齐的然后，将变换后的特征连接起来，并输入到MLP中进行概率预测（见图3）。我们通过最小化查询点的预测值和地面实况占用值之间的均方误差来训练我们的形状预测网络如果X在曲面内部，则地面实况占用值为1，否则为0。4.4. 人脸纹理预测JIFF除了能恢复人脸的几何细节外，还能提高人脸的纹理预测能力.与形状预测类似，用于面部纹理预测的深层隐式函数可以用公式表示为ft（τ（φt（S），X），B（φt（I），π（X）），z（X））∈R3，（4）其中，τ（φt（S），X）是空间对齐的3D纹理特征，并且（φt（I），π（X））是像素对齐的2D特征。由纹理特征编码器Φt（S）提取的空间对齐的3D纹理特征嵌入来自纹理化3DMM的空间感知纹理信息，这对于面部纹理预测特别有帮助。请注意，现有的方法（例如，PAMIR [72]）采用参数模型来改善人体重建，由于其参数模型中缺少纹理信息，因此考虑了这种空间感知纹理信息。从粗到细的纹理预测由于从纹理化的3DMM网格中提取的空间对齐的3D特征，JIFF可以产生比PIFF更好的面部纹理。为了进一步提高预测纹理的质量，受H3 D-Net [53]的启发，我们引入了一种由粗到细的架构。结构的纹理预测，利用像素对齐的功能，提取一个更高的分辨率图像（见图3）。我们提出的架构是由一个粗分支和一个细分支。粗分支与Tex-PIFu [55]相同，其将来自形状预测网络的像素对齐特征和来自纹理预测网络的像素对齐特征的级联作为MLP的输入以预测粗纹理。精细分支将尺寸为1024 × 1024 × 3的上采样图像作为图像编码器的输入，以产生尺寸为512 × 512× 256的特征图（粗分支中特征图的宽度和高度的4倍）.从该精细特征图计算的像素对齐特征与来自粗分支中的MLP的倒数第二层（在图3中表示为图1）的输出连接，以形成多尺度像素对齐特征。类似于形状预测网络，该多尺度像素对齐特征和空间对齐纹理特征在它们被连接并馈送到最终MLP以进行精细纹理预测之前由两个单独的MLP独立地变换。我们首先训练粗分支，然后训练细分支冻结粗分支参数的分支L1损失用于训练粗分支和细在训练时，我们随机扰动X，偏移量为（0，d）沿其单位曲面法线N，即 X′ = X+<$N，用于点采样[55]。该策略允许在其确切位置周围的3D空间中定义表面点的颜色，这可以稳定训练过程。4.5. 全身重建到目前为止，我们的讨论主要集中在面子的重建上.JIFF 实 际 上 可 以 通 过 简 单 地 将 “PIFu” 头 （ 实 现 为MLP）附加到其形状预测网络中的卷积图像编码器来自然地扩展用于全身重建给定一个查询点X，如果它被投影到输入图像中的人脸区域，则我们应用JIFF来预测其占用值，否则我们使用“PIFF”头部来预测其占用值。采用其他PIFu变体来改进重建也是微不足道的。类似地，为了预测非面部查询点的纹理虽然没有空间对齐的3D特征，我们的粗到细的设计也可以显着提高非人脸区域的纹理预测。5. 实验在本节中，我们将在公共数据集上评估我们提出的JIFF，并将其与其他最先进的方法进行比较。实现细节我们应用堆栈沙漏IM-年龄编码器[40]，以提取用于形状预处理的图像特征。措辞按照Penget al.[49]第四十九话2734× ××表1.头面部和全身重建的定量比较结果以cm为单位测量（越低越好）。头部/面部区域唯体区图曼2.0缓冲器图曼2.0 BUFF方法面L2距离↓头部P2S↓头部倒角↓面L2距离↓头部P2S↓头部倒角↓P2S ↓倒角↓P2S↓倒角↓PIFU [55]0.4270.7610.7560.4620.8630.8971.7471.7681.8831.971PIFuHD [56]0.6500.8550.9070.7110.9751.0481.4591.5261.6901.774[第72话]0.4030.6930.7140.4470.8050.8191.6071.6171.7511.804我们0.1410.2910.3080.1900.3890.4121.6851.7061.8111.893点要素编码器由PointNet++和3D-UNet组成，它们生成大小为646464128. 我们采用MTCNN [68]从输入图像中检测和裁剪人脸区域，并采用Deng等人提出的模型。[19]使用ResNet50骨干进行3DMM参数预测。我们实现了CycleGAN生成器[75]的ResNet模块作为纹理预测的图像特征编码器。我们首先训练形状预测网络9个epoch，学习率为0。0001，之后被冻结。然后，我们按顺序训练纹理预测网络的粗分支和细分支，每个分支训练6个时期，学习率为0的情况。001。请注意，我们冻结粗分支，而训练的罚款分支。批量大小设置为3以训练两个分支。我们使用RMSprop [54]优化器训练我们的网络。在训练过程中，我们在3D空间中采样5，700个点作为每个输入图像的查询点，其中5，000个点在全身区域采样，700个点在面部区域均匀采样。为了对身体区域中的5000个查询点进行采样，我们遵循Saito等人的方法。[55]均匀采样网格表面上的15/16点，然后沿表面法线方向进行高斯扰动，并均匀采样网格边界框内剩余的1/16点该策略有助于消除重建中的孤立离群点。我们使用Py-Torch [45]实现了我们的方法，并在三个NVIDIA 2080Ti GPU上进行了实验我们的代码将被公开。数据集许多最近的方法使用RenderPeople2和AXYZ数据集3来训练他们的模型。 然而，这两个数据集是商业数据，不能公开使用。相反，我们使用公共的THUman2.0数据集[66]作为我们的主要测试平台，其中包含由密集的DSLR设备捕获的不同衣服和姿势的高质量人体扫描为每个对象提供3D网格和相应的纹理图。我们将数据随机分为465名受试者进行训练，61名受试者进行测试。对于每个主题，我们遵循Saitoet al.[55]通过围绕网格旋转照相机并改变照明来呈现360°的由于我们的主要重点是在重建中改善人脸的细节，我们忽略了图像中没有人脸可以检测到。此外，我们使用BUFF数据集[67]，2https://renderpeople.com3https://secure.axyz-design.com其中包含5个主题，作为额外的测试数据集来评估我们的方法。此外，我们在RenderPeople的2个免费模型上评估JIFF5.1. 与最新技术水平的我们将我们的方法与最新的最先进的方法进行比较 ， 包 括 PIFu [55] ， PIFuHD [56] ， PaMIR [72] ，PIFuHD [27]和PIFuHD ++ [26]。为了进行公平的比较，我们在THUman2.0上重新训练PIFu，PIFuHD和PaMIR，因为它们最初是在非公开的商业数据或不同版本的THUman数据上训练的。由于和++的代码未公开，其作者根据我们的要求帮助提供对我们数据的评估结果。定量比较我们对THUman2.0数据集和BUFF数据集的测试分割进行了定量评估[67]。由于我们的主要重点是恢复面部的细节，我们首先比较我们的方法与其他人的头部区域。结果示于表1中。我们通过将2D图像点反向投影到3D面部表面来测量头部区域中的点到表面距离（P2S）和倒角平均距离以及面部区域中的L2面部平均距离[53可以观察到，我们的方法在两个数据集上的表现都明显优于其他所有方法，这证实了我们的方法能够恢复精细的人脸细节。我们通过应用现成的人类解析方法来定位头部区域[70]。值得注意的是，在比较的方法中，PIFuHD对于头部/面部区域的表现最差。我们在表1中进一步显示了仅身体重建结果，并报告了P2S和倒角距离。我们可以观察到，我们的JIFF稍微提高了PIFF的身体部位质量，尽管没有像3DMM那样的额外信息用于训练身体。我们认为这种改进源于JIFF在面部和身体上联合训练的事实共享的网络主干由头部和身体分支的梯度更新，并且改进的头部分支也以积极的方式影响身体分支，从而为头部和身体重建提供更强的主干。定性比较我们将我们的方法与图4中的最新技术定性比较面部形状和纹理（相应的全身反射可以在补充材料中找到）。我们的方法可以忠实地恢复精细的面部细节方面，2735⊕图4.与其他最先进技术的定性比较。在这里，我们专注于比较面几何和纹理。全身重建结果见补充资料。图5.基于P2S距离的人脸区域误差映射。我们所提出的方法取得了更好的结果相比，其他国家的最先进的。图6.两个RenderPeople主体的重建结果。JIFF能够重建其他人难以重建的面部细节。形状和质地。我们成功地重建了鼻子，嘴巴和眼睛的几何形状。我们重建的整体形状也最接近地面实况。其他表2.我们的2D-3D特征融合的有效性。（表示串联运算符。）面L2距离↓头部P2S ↓头部倒角↓（d）MLP（2D）MLP（3这些方法在这些方面都存在问题。我们在图5中显示了误差图，这表明我们的方法在面部区域的大部分区域中我们还在图6中的RenderPeople的两个自由模型上评估了我们的方法。同样，我们的方法能够恢复精细的面部细节，这与地面真相是一致的。5.2. 消融研究2D-3D特征融合我们通过比较以下变化来验证在我们的框架中像素对准的2D特征与空间对准的3D特征的融合的有效性：（a）单独使用像素对准的2D特征;（b）单独使用空间对准的3D特征;（c）简单地连接2D和3D特征;以及（d）在连接之前通过附加的MLP应用变换（即，JIFF的实施）。在级联之前应用附加MLP的直观是学习用于两种不同类型的特征的适当嵌入空间结果见表2。可以观察到JIFF显著优于其他变体。双3D特征编码器在我们的框架中，我们引入了两个独立的3D特征编码器，分别专注于改善形状和纹理细节他们分享(a)仅2D0.4270.7610.756(b)仅3D0.2790.4850.492（c）2D和3D0.171 0.310 0.332（D）0.141 0.291 0.3082736图7.不同3D特征编码器设计的重建结果。从左到右：（a）单编码器与平原3DMM。(b)带纹理3DMM的单个编码器。(c)双编码器与平原3DMM和纹理3DMM。图8.不同结构纹理预测的烧蚀研究从左到右：（a）仅粗分辨率（原始PIFU）;（b）仅精细分辨率;（c）精细分辨率w/3D面部先验;(d)由粗到细的w/ 3D面部先验（我们的）。相同的体系结构，但采用不同的3DMM网格作为输入，即普通3DMM网格和纹理3DMM网格。为了验证我们的设计的有效性，我们比较了以下变体：（a）将普通3DMM网格作为输入的单个3D特征编码器;（b）将纹理化3DMM网格作为输入的单个3D特征编码器;以及（c）分别将普通和纹理化3DMM网格作为输入的双3D特征编码器（即，JIFF的实现）。我们在表3中报告了SSIM [62]、LPIPS [69]和L1错误。SSIM和LPIPS通过将重建的3D模型重新投影到图像上来测量，并比较人脸区域的性能我们再次采用与[70]中相同的方法来解析3D反射并获得头部区域，然后计算归一化的L1顶点颜色误差。图7显示了三种变体的一些定性结果。可以观察到，我们的双编码器设计实现了形状和纹理重建的最佳性能前两表3.双3D特征编码器的有效性面对SSIM ↑面部LPIPS ↓头部L1错误↓(a)单编码器+普通3DMM0.7563 0.11430.1137(b)单编码器+纹理3DMM0.7589 0.11220.1090(c)双编码器+普通/纹理3DMM0.7649 0.11070.1051表4.我们的粗到细架构对纹理预测的有效性面对SSIM ↑面部LPIPS ↓头部L1错误↓(a)粗0.71260.12810.1346(b)罚款0.72640.12540.1285(c)精细w/3D0.75800.11260.1097(d)由粗到细，带3D0.76490.11070.1051变体将导致模糊的面部纹理或较差的背面纹理。此外，我们的双编码器成功地帮助改善了头部背面的纹理。在表4和图8中，我们将我们的框架中用于纹理预测的粗到细架构与以下变体进行比较：（a）仅粗分辨率;（b）仅细分辨率;（c）与3D面部先验联合的细分辨率从定性和定量的结果来看，精细分辨率和三维人脸先验确实可以分别获得高分辨率纹理和人脸纹理细节。此外，可以观察到，我们的粗到细的架构可以显着提高其单一分辨率对应的纹理预测。6. 结论我们提出了一种新的联合对齐隐式人脸函数JIFF，用于高质量的单视图3D人体重建，通过将3D人脸先验，以3DMM的形式，到隐式表示。我们进一步介绍了一种由粗到细的高质量人脸纹理重建体系结构通过简单地附加两个MLP，一个用于形状，另一个用于纹理，到JIFF，我们成功地将其扩展到产生全身人体重建。我们根据公共基准对JIFF进行了全面评估，为面部细节重建建立了新的最先进技术。由于JIFF算法简单有效，我们相信它可以很容易地与其他人脸重建方法相结合，以提高人脸重建的质量。虽然JIFF实现了比现有方法更好的性能，但仍然不能准确地重建眼睑等细微的面部细节。因此，未来的一个研究方向是提高细微细节的质量，以及将该想法扩展到身体的其他部位，例如，手和脚。鸣谢本研究得到香港研究资助局GRF基金（项目编号：17203119）、国家重点研发计划（项目编号：2018 YFB 1800800）和河套深港科技合作区基础研究项目（项目编号：HZQB-KCZYZ- 2021067）的部分支持。我们感谢Yuanlu Xu为我们提供的和++结果。2737引用[1] ThiemoAlldieck ， MarcusMagnor ， BharatLalBhatnagar，Christian Theobalt，and Gerard Pons-Moll.学习从一个单一的rgb相机重新构建穿着衣服的人。在IEEE计算机视觉和模式识别会议上，第1175-1186页，2019年。2[2] Thiemo Alldieck ， Marcus Magnor ， Weipeng Xu ，ChristianTheobalt，and Gerard Pons-Moll.基于视频的三维人物模型重建。在IEEE计算机视觉和模式识别上，2018。2[3] ThiemoAlldieck ， GerardPons-Moll ， ChristianTheobalt，和马库斯·马格纳Tex2shape：从单个图像中获得详细的完整人体几何形状。在2019年IEEE计算机视觉国际会议上。1[4] DragomirAnguelov ， PraveenSrinivasan ， DaphneKoller，Se-巴斯蒂安·特伦吉姆·罗杰斯和詹姆斯·戴维斯景观：人的形体完成与动画。ACM SIGGRAPH，2005年。1[5] K Somani Arun，Thomas S Huang和Steven D Blostein。两个三维点集的最小二乘拟合。IEEE Transactions onPattern Analysis and Machine Intelligence ， 第 698-700页，1987年。4[6] 亚历山德鲁岛Balan，Leonid Sigal，Michael J. Black，James E. Davis和Horst W. Haussecker从图像中获得详细的人体形状和姿势。在IEEE计算机视觉和模式识别会议上，第1-8页，2007年。1[7] BharatLalBhatnagar ， GarvitaTiwari ， ChristianTheobalt，和杰拉德·庞斯-莫尔多服装网：学习从图像中打扮3d人IEEE国际计算机视觉会议。IEEE，2019年10月。1[8] Volker Blanz和Thomas Vetter。的可变形模型3D面的合成。第26届计算机图形与交互技术年会，187-194页，1999年。二、三[9] Federica Bogo，Angjoo Kanazawa，Christoph Lassner，PeterGehler ， Javier Romero ， and Michael J. 黑 色 . 保 持SMPL：从单个图像自动估计3D人体姿势和形状。在欧洲计算机视觉会议上，计算机科学讲义。SpringerInternational Publishing，Oct. 2016. 2[10] 曹晨、翁彦林、周顺、童一英、坤舟Facewarehouse：一个用于视觉计算的3D面部表情数据库。IEEE Transactions on Visualization and ComputerGraphics，20（3）：413-425，2013. 3[11] 陈志勤和张浩。学习隐式字段生成式形状建模IEEE计算机视觉和模式识别会议，2019年。一、二[12] Julian Chibane，Thiemo Alldieck，Gerard Pons-Moll.特征空间中的隐式函数用于三维形状重构和补全。在IEEE计算机视觉和模式识别会议上。IEEE，2020年6月。一、二[13] 朱利安·奇巴内和杰拉德·庞斯-莫尔。 隐式特征网-用于从部分3D数据完成纹理。在欧洲计算机视觉会议上，第717Springer，2020年。2[14] O¨zgu¨ nC¨ic¨ek ， AhmedAbdulkadir ， SoerenSLienkamp ，Thomas Brox，and Olaf Ronneberger.3d u-net：从稀疏注释学习密集体积分割。在医学影像计算和计算机辅助干预国际会议，第424-432页。施普林格，2016年。4[15] Alvaro Collet，Ming Chuang，Pat Sweeney，Don Gillett，Den放大图片创作者：David J.柯克和史蒂夫·沙利文高质量的可流式传输的自由视点视频。ACM Transactions onGraphics，34：1- 13，2015。1[16] Hang Dai ， Nick Pears ， William Smith ， and ChristianDun-可以的. 颅面形状和纹理变化的三维可变形模型在IEEE计算机视觉国际会议上，第3104-3112页，2017年。2[17] 作者：Nick E.皮尔斯、威廉·史密斯和克里斯蒂安·邓可以的.颅面形状和纹理的统计建模。国际计算机视觉杂志，128：547- 571，2019。2[18] Boyang Deng，John P Lewis，Timothy Jeruzalski，GerardPons-Moll，Geoffrey Hinton，Mohammad Norouzi，andAn- drea Tagliasacchi. Nasa神经关节形状近似。欧洲计算机视觉会议，第612-628页。Springer，2020年。1[19] 邓宇，杨娇龙，徐思成，陈东，云德贾和辛桐。基于弱监督学习的精确3D人脸重建：从单张图像到图像集。在IEEE计算机视觉和模式识别会议上，2019年。二三四六[20] Bernhard Egger ， William AP Smith ， Ayush Tewari ，StefanieWuhrer ， Michael Zollhoefer ， Thabo Beeler ， FlorianBernard ， Timo Bolkart ， Adam Kortylewski ， SamiRomdhani ， et al. 3d morphable face models-past ，present，and future.ACM Transactions on Graphics，39（5）：1-38，2020。2[21] 姚风： 冯海文： 迈克尔·J·布莱克 和蒂莫博尔卡特从野外图像中学习可动画化的详细3D人脸模型。2021. 二、三[22] 安德鲁·吉尔伯特， 马可·沃利诺 John Collomosse，以及艾德里安·希尔顿从最小摄像机视点捕获体积性能。在欧洲计算机视觉会议上，第566-581页，2018年。2[23] Peng Guan，Alexander Weiss，Alexandru O Balan， 和迈克尔·J·布莱克 从人体模型估计人体形状和姿态一个 单 一 的 形 象 。 IEEEInternational Conference onComputer Vision，第1381-1388页。IEEE，2009年。2[24] 郭建柱，朱翔宇，杨洋，杨凡，雷震，斯坦·Z·李面向快速、准确、稳定的3D密集人脸对齐。在2020年欧洲计算机视觉会议上。2[25] Tong He ， John Collomosse ， Hailin Jin ， and StefanoSoatto.Geo-pifu：用于单视图人体重建的几何和像素对齐隐式函数。在神经信息处理系统会议上，2020。二三五[26] Tong He，Yuanlu Xu，Shunsuke Saito，Stefano Soatto，and托尼·董。Arch++：重新审视了动画准备好