少量示例视图预测人体头部的体积化身

11733像素对齐的体积化身Amit Raj1Michael Zoll höfer2托马斯·西蒙2Jason Saragih2Shunsuke Saito2James Hays1Stephen Lombardi21佐治亚理工学院2Facebook Reality Labs研究图1：我们提出了一种新的方法，用于从少量的示例视图中预测人体头部的体积化身。我们的模型能够为看不见的身份进行视图合成，并能够生成忠实的面部表情。摘要真实感人头的获取与绘制是虚拟临场感领域中一个极具挑战性的研究课题。目前，最高的质量是通过在多视图数据上以个人特定方式训练的体积方法来实现的。与更简单的基于网格的模型相比，这些模型更好地表示精细结构，例如头发。体积模型通常采用全局代码来表示面部表情，使得它们可以由一小组动画参数驱动。虽然这样的架构实现了令人印象深刻的渲染质量，他们不能很容易地扩展到多身份设置。在本文中，我们设计了一种新的方法来预测体积化身的人的头部只给出了少量的输入。我们通过一种新颖的参数化方法实现了跨身份的泛化，该参数化方法将神经辐射场与直接来自输入的局部像素对齐特征相结合，从而避免了对非常深或复杂网络的需求。我们的方法仅基于光度重新渲染损失以端到端的方式进行我们证明了我们的方法在质量方面优于现有的最先进的技术，并且能够在多身份设置中生成忠实的面部表情。1. 介绍真实感人头的获取和绘制是一个极具挑战性的研究课题，对虚拟临场感应用具有重要意义。人类头部由于其复杂的几何形状和外观属性而具有建模和渲染的挑战性：皮肤的次表面散射，精细尺度的表面细节，薄结构的头发，以及人类眼睛和牙齿都是镜面反射和半透明的。大多数现有的方法需要复杂且昂贵的多视图捕获装置（具有多达数百个摄像机）来重建甚至是人类头部的个人特定模型。目前，最高质量的方法是采用体积模型而不是纹理网格的方法，因为它们可以更好地学习表示面部上的精细结构，如头发，这对于实现照片逼真的外观至关重要。这些体积模型[13]通常采用全局代码来表示面部表情或仅适用于静态场景[16，9]。虽然这样的架构实现了令人印象深刻的渲染质量，但它们不能容易地适应多身份设置。用于控制表达的全局代码不足以对受试者之间的身份差异进行建模。最近，在使用隐式模型来表示场景和对象方面取得了重大进展。这些模型的优势11734场景被表示为连续空间中的参数函数，这允许几何和纹理的细粒度推断[22]。但是这些方法不能对依赖于视图的效果进行建模，并且用纹理化表面来表示例如头发是具有挑战性的Sitzmann等人的方法。[27]可以概括对象，但只能在低分辨率下，并且只能处理纯朗伯曲面，这对于人类头部是不够的。尽管这种场景表示方法最近取得了成功并具有优势特别地，上述方法中的大多数训练网络仅对单个场景或对象进行可以生成多个对象的方法通常在预测的纹理和几何形状的质量和分辨率方面受到限制我们提出了像素对齐的体积化身（PVA），一个新的框架，从只有几个输入图像的人的头部的体积3D化身的估计。 我们的方法是能够推广到看不见的身份在测试时。诸如场景表示网络（SRN）[25]的方法，其从全局图像编码（即，每个图像单个潜在码向量），难以推广到局部变化（例如，面部表情），并且即使当高频细节在输入图像中可见时也不能恢复高频细节。这是因为全局潜在代码总结了图像中的信息，并且必须丢弃一些信息以生成数据的压缩编码为了提高跨身份的泛化能力，我们通过从输入图像中提取的局部像素对齐特征来参数化体积模型我们表明，我们的模型可以合成新的意见，看不见的身份和表情，同时保留高频率的细节，在渲染的化身。概括起来，我们的贡献是：• 我们介绍了一种新的像素对齐的辐射场，预测隐含的形状和外观，从一组稀疏的构成的图像。• 我们的模型在测试时推广到看不见的身份和• 我们展示了最新的视图合成的最先进的性能相比，最近的方法。2. 相关工作从图像生成化身在计算机视觉和图形学中有着悠久的历史。传统方法采用基于网格的表示和物理启发的模型来描述面部如何变形并与光线交互，而更现代的方法则采用深度学习来克服经典技术的一些我们在下面讨论几类方法，并将它们与我们的方法进行比较。基于网格的方法主动外观模型（AAM）是第一个能够模拟面部表情的面部模型之一，尽管它最初被用作人脸的统计联合形状和外观模型[4]，后来扩展到3D面部[2]。Deep Ap-pertoplast Models [12，17]使用深度网络创建一个3D变形模型，然而，基于网格的方法在绘制头发等稀疏结构时遇到困难，而头发是真实感人脸绘制的基于网格的方法已经以多种方式进行了扩展，以提高质量和表现力，尽管它们通常具有类似的缺点。值得注意的是，基于网格的模型需要固定的此外，基于网格的方法具有硬三角形边界，这对于软特征来说可能看起来不愉快。最后，优化网格以匹配任意形状的外观仍然是一个困难的问题。可微分光栅化器[3，11，8，6]的努力在没有3D监督的情况下从单视图和多视图图像生成网格方面显示出令人印象深刻的结果，但生成的网格通常在拓扑方面受到限制，并且无法捕获高频细节。此外，它们在可以表示的纹理相比之下，我们的方法能够捕获任意拓扑（如表情和发型中所见），并更好地捕获高频纹理细节，因为它能够更有效地使用像素级信息。基于图像的方法最近，在高质量可控人脸合成方面取得了很大进展[7，30，1]。然而，这些基于图像的方法主要用于正面人脸，并且难以明确地控制合成图像的视点和表情。如果不给网络一个3D空间的概念，那么这些方法在没有大量训练图像的情况下很难推广。StyleRig [28]支持StyleGAN生成图像的参数化控制。然而，结果是不多视图一致的，该方法不适用于真实图像。基于体素的方法[33，19，26]等方法学习特征的中间3D体素网格和3D-2D投影操作以合成图像。可转换的瓶颈网络[21]提出了一种学习3D特征瓶颈的方法然而，这些基于体素的方法的主要问题是，由于内存限制，它们无法我们通过学习多层感知器（MLP）来避免容量问题，该多层感知器直接将3D位置和像素对齐的特征转换为颜色和占用。11735高x宽x 3高x宽x d图2：拟议方法概述给定目标视点和一组调节图像，我们的新方法采用从输入中提取的局部像素对齐特征来调节多身份神经辐射场。采用体绘制来从目标视点生成对象的图像。隐式方法[31]等作品在训练期间使用显式3D信息。PIFu/PIFuHD [22，23]使用在点的深度处评估的隐式函数对人体进行建模。 它能够高质量地绘制人体。一个关键的见解是使用像素对齐的功能来保留高频细节。我们利用这种洞察力，但我们的方法不需要3D监督。场景表示网络（SRN）[27]使用学习的SDF建模场景，不需要3D监督。 我们不假设通过SDF的定义良好的表面，而是可以更好地建模头发和薄结构的半透明表示。[18，5]的作者以无监督的方式从自然图像中学习几何的隐式表示，以允许新颖的视图合成。这些方法在可以实现的多视图consideration的程度上是有限的TextureFields [20]学习将纹理从示例图像转移到源网格，以允许新颖的视图合成。我们通过学习几何的隐式表示来避免在推理时对网格的需要。最近提出了许多神经渲染模型，可以更好地表示头发和衣服等薄结构。神经体积[13]和NeRF [16]是最近引入的两种方法，它们用透明体积对对象进行建模，并且已经显示出很好地对薄结构进行建模的能力。神经网络还可以模拟动态场景。NeRF-W [14]扩展了[16]涉及一种条件设置，以在具有相同基础几何结构的不同照明下对场景进行建模。然而，这些方法未能推广到新的身份。受NeRF和PIFu的启发，我们展示了一个框架，该框架通过依赖像素对齐的特征来处理多个身份。GRAF [24]通过解开全局形状和外观代码以无监督的方式学习条件辐射场，这限制了其对局部形状和纹理变形建模的能力其他工作集中在使用稀疏八叉树结构加速NeRF [10]。我们建议读者参考Tewari等人最近的STAR[29]对最近的神经渲染方法进行了深入的处理。3. 方法我们提出了一个像素对齐的体积化身（PVA）。从多视图图像集合中学习的面部隐式模型，参见图2。我们的模型可以从一个或多个示例图像中生成看不见的身份的新视图。该框架包括两个主要组成部分。第一种是浅层卷积编码器-解码器（Nfeat）网络，其将来自已知视点{Ki，[R]}的人的一个或多个图像（Vi）作为输入|t]i}并产生像素对准的特征图f（ i ）。 第二个组件是辐射场网络（N），它将3D位置和像素对齐特征转换为颜色和不透明度。到渲染辐射场，我们沿着塔中每个像素el的相机射线行进，得到vi e wj，由{Kj，[R|t]j}，累积由N在每个时间点产生的颜色和占用率，可学习权重世界到相机投影双线性插值位置编码特征聚合编码器光线投射编码器体绘制编码器光芒领域秒3.1秒第3.3秒第3.2位置特征像素对齐特征11736XXi=1XX点我们使用梯度下降基于多身份训练语料库训练我们的方法为此，我们最大限度地减少预测图像和相应的地面实况之间的L2在实践中，我们对一组n个s点t [tnear，tfar]进行均匀采样。 设X=r（t），用求积法则近似积分. 我们还定义Iα（p）为，3.1.像素对齐辐射场我们采用像素对齐的场景表示建模Iα（p）=卢塞恩si=1Yiαij=1（1−αj）（8）作为一个神经网络。 具体地说，从条件作用的角度来看，vi∈H×w ×3我们定义函数f（i）=Nfeat（vi）（1）{c，σ}=N（φ（X），fX）（2）其中φ（X）：φ3→φ6×l是X∈φ3的位置编码，如在[16]中，具有2×l不同的基函数，f（i）∈φh×w ×d是vi的特征图，d是特征通道的数量，h和w是图像高度和宽度，′且fX∈φd 是关联点X，如下一节所述。 为每个特征图f（i），我们通过使用该特定视点的相机内参数和外参数K、R、t沿射线投影3D点X来获得f（i）∈f（i）d其中α i=1 −exp（−δ i σ i），δ i是沿射线的第i +1个采样点和第i个采样点之间的距离。3.3. 多视图要素聚合我们的方法的一个关键组成部分是如何融合像素-对准来自多个图像的特征f（i），以帮助网络最好地使用该信息。3.3.1固定调节视图在具有已知相机视点和固定数量的条件视图的多视图设置中，我们可以通过简单的级联来聚合特征[13]。具体地，对于具有相应旋转的n个条件图像{vi}n，和由{Ri}n给出的平移矩阵和{i}n. 我们x i=（X; Ki[R|（i）、（3）（一）i=1i=1f（i）=F（f（i）;x）（4）获得n个特征{fXni=1 对于每个点X，如在等式中。3和Xi生成最终特征如下，其中，f是到相机像素坐标的透视投影函数，并且F（f，x）是f在(1) MfX=[fXf（2）.M f（n）]像素位置x。3.2.体绘制对于每个给定的训练图像vj，K和旋转和平移R，t，预测的颜色L哪里表示沿着深度维度的串联，sion。这保留了来自所有视点的特征信息，让MLP找出如何最好地组合和使用条件信息。j j j通过使用相机到世界投影矩阵将光线行进到场景中来获得相机焦平面中的给定视点的像素p∈R2和中心r0∈R3P−1=[R |t]−1K−1，光线方向给定3.3.2调节视图更有趣的用例是使模型agnos-通过，我我我P−1点击视点和调节视图的数量。在这种情况下，如上所述的简单级联是不够的，因为d=p-r 0.（五）P−1p−r0请注意，为了帮助网络将其能力集中在对场景内容进行建模上，所有摄像机外部参数都与通过传统头部配准找到的计算头部姿势相关。然后，我们沿着光线r（t）=r0+td（t∈[tnear，tfar]）累积辐射率和不透明度，如NeRF [15]中定义的不太远我们不知道先验条件视图的数量，导致在推理时间期间不同的特征维度。为了总结多视图设置的特征，我们需要置换不变函数G：Rn×d→Rd，使得对于任何置换，G（[f（1），f（2），.， f（n）]）=G（[f∈（1），f∈（2），.， f （n）]）。}11737用于特征聚集的简单置换不变函数是采样特征的平均值（如所采用的其中，Irgb（p）=不要靠近T（t）σ（r（t））c（r（t），d）dt（6）在PIFU [22]）。当我们在训练过程中有深度信息然而，由于我们具有固有的深度模糊性（因为点.T（t）=exp−不近Σσ（r（s））ds（七）在采样之前被投影到特征图像上），我们发现这种聚合会产生伪像。图9示出了该行为的示例。11738这种图像特征的简单平均值不考虑摄像机信息，这可以帮助网络更有效地使用条件信息。为了将视点信息注入到特征中，我们学习了另一个网络-′工作Ncf：Rd+7→Rd，取特征向量和摄像机信息（ci），并产生摄像机-总结特征向量。然后，对所有条件视图对这些修改后的向量进行平均，如下所示4. 实验我们描述了用于捕获训练数据的设置，描述了用于比较的基线，并进行了定量和定性比较。4.1. 训练设置我们的拍摄设置包括53个摄像头，f′（i）=N （f㈠、c）（9）围绕主题。对于每个受试者，我们记录一组Xcf1年 Xi（i）30表情与一顶帽子。和一个中性的表情没有头发的帽子每一帧都配有一个3D人脸模型fX=n i=1fX（10）包括我们用来集中不同身份和表达之间我们不这种方法的优点是相机-概括特征可以在执行特征平均之前考虑可能的遮挡摄像机信息被编码为4D旋转四元数和3D摄像机位置。3.4. 背景模型为了避免学习场景表示中的部分背景，我们定义了一个背景估计网络：Nbg：Rnc：→Rh×w ×3来学习每个摄像机的固定背景。特别地，我们预测最终图像像素为Ip=Irgb+（1−Iα）Ibg（11），其中Ibg=<$Ibg+Nbg（Ci），对于摄像机Ci，其中<$Ibg是使用inpaint提取的背景的初始估计值ing.这些修补的背景通常是嘈杂的，导致人的头部周围的7）。我们的背景估计模型学习残差的绘画背景。这具有不需要高容量网络来考虑背景的优点。3.5. 色彩校正模型不同的相机传感器对相同的入射辐射具有略微不同的 如果不采取任何措施-如果不这样做，则强度差异最终被烘焙到场景表示N中，这将导致图像从某些视点不自然地变亮或变暗。为了解决这个问题，我们学习每个相机的偏差和增益值。这使得系统有一个'更容易'的数据中的这种变化3.6. 损失函数对于地面实况目标图像vj，我们使用简单的摄影测量重建损失来训练辐射场和特征提取网络：在训练期间使用任何网格信息。我们使用40个观点在50个主题上训练我们的网络，并对持有的观点进行测试。此外，对于基于表达式的模型，我们在25个表达式上训练我们的网络，并在剩下的表情。在训练过程中，我们将每个目标图像划分为16×16的网格，并从每个网格位置随机采样一条射线，每个训练图像总共256条此外，我们沿着射线采样ns=128个点，同时将采样点夹持在单位体积方块我们用批量大小为4来训练模型我们的模型需要大约24小时才能收敛到4个Nvidia Tesla V100。4.2. 基线在下文中，我们介绍了我们用于定性和定量比较的基线。Reality Capture ： 是 一 种 基 于 经 典 运 动 恢 复 结 构（SFM）和多视图立体（MVS）的商用软件，可从一组捕获的图像重建3D模型。神经元体：神经元体（NV）是一种基于体素的推理方法，它对场景的动态图像进行全局编码，并对表示场景的体素网格和扭曲场进行解码。cNeRF：我们用全局身份条件反射（cNeRF）训练了NeRF的变体。特别地，我们采用VGG网络为每个训练身份和条件NeRF提取单个64D特征向量。4.3. 定性比较我们使用像素对齐的辐射场演示了看不见的身份的新视图合成，见图3。可以看出，给定仅两个视图作为输入，我们的方法预测可以从大量新颖视点观看的体积化身。我们还将我们的方法与三个基线进行了比较，L照片 =Ipj-vj2.可以处理看不见的身份，不使用显式的3D su-图中的训练透视图四、 在所有基线中，请注意，我们的方法仅基于这种2D重新渲染损失以端到端的方式进行训练，而不需要显式的3D监督。在我们的方法中，我们只使用新身份的两个图像作为输入来计算重建。可以看出，我们的方法在以下方面优于所有基线11739图3：我们展示了使用像素对齐辐射场的不可见身份的新视图合成所有体积化身都是在仅给出两个视图作为输入的情况下计算的。图4：我们将我们的方法与三个基线进行比较：现实捕获（a），神经网络（b），全局条件NeRF（c）.我们还展示了我们的结果（d）和地面真值恒等式（e）。可以看出，我们的方法优于其他方法的完整性和重建的细节水平由一个很大的保证金。(a)(b)（c）第（1）款图5：在规范视角下使用（a）eNerf和（b）Ours（c）地面真实身份生成alpha/法线/化身。注意，对于这个实验，eNeRF基线在训练时已经看到了所有的身份和表达。我们的方法不仅能更好地捕捉人的身份，还能捕捉面部表情，而在训练时还没有看到这些特定的我们将这种更好的泛化行为归因于我们的像素对齐特征。11740SSIM（↑）MSE（↓）LPIPS（↓）cNeRF0.76631611.01124.3775NV0.80271208.363.1112我们0.8889383.711.7392表1：我们的方法（我们的）从神经元（NV）和全局条件化NeRF（cNeRF）重建的定量比较完整性和重建细节的数量。我们的方法产生更完整的重建比现实捕捉，这将需要更多的人的意见，以获得良好的重建。此外，我们的方法也导致更详细的rebraction c- tion比全局条件神经网络和cN-erf方法。我们将这种更好的泛化归因于像素对齐特征的使用，这些特征在测试时更好地通知模型。4.4. 定量比较我们在表1中比较了我们的方法与NV和cNeRF基线（我们省略了RC，因为它无法捕捉完整的头部形状）在 文 献 中 的 三 个 常 用 指 标 （ SSIM ， LPIPS[32] 和MSE）上的性能。我们注意到，我们的框架在相当大的程度上优于所有基线。4.5. 分析我们观察到，使用全局身份编码的方法，如NeuralNetworks和cNeRF，不能很好地推广特别是，我们注意到在cNeRF中，面部特征被平滑化，一些不可见身份的局部细节（如第3行和第4行的面部毛发，以及第2行的毛发长度）丢失，因为该模型严重依赖于学习的全局先验。现实捕捉无法捕捉头部的结构，因为SfM+MVS框架中没有内置先验，表2：所需调节处理视图数量的定量评价。表达式的条件NeRF基线。特别是，由于cNeRF不能推广到新的身份，我们训练了一个NeRF模型，该模型以测试时间身份（我们的方法看不到）上的独热表达代码和独热身份信息（eNeRF）为在这种情况下，我们观察到，尽管在训练过程中已经看到了所有的身份，eNeRF未能推广到多个身份的动态表达式由于我们的方法利用局部特征进行条件化，因此能够更好地捕获特定身份（几何形状和纹理）上的动态效果。导致重建不完整。要忠实地再现一部小说，添加法线纹理视图添加法线纹理视图使用RC识别（我们参考补充文件进行额外分析）。由于生成的翘曲场在一定程度上考虑了局部信息，因此神经体能够生成更好的纹理。然而，由于神经卷使用编码器-解码器架构，其中编码器使用全局编码，因此它将测试时间标识投射到最近的训练时间标识中，导致不准确的化身预测。我们提出的框架是能够重建体积头从两个例子的观点，随着头发的结构。表达信息我们在图5中对我们的模型更好地捕获表达信息的能力进行了额外的定性比较。我们训练另一个图6：相对于颗粒数量的预测质地意见.在每一行中，我们添加一个额外的条件视图（从上到下）。可以看出，每个添加的输入增加了重建质量。5. 消融研究在下文中，我们进行了几项消融研究，以更详细地探索我们方法的不同方面。生成图像的质量如何随示例图像的数量而变化？图6示出了用于不可见身份的视图外推特别是，由于我们的模型从训练身份中学习形状先验，因此预测的法线与输入身份一致。Num. 查看SSIM（↑）MSE（↓）LPIPS（↓）10.84671467.152.948620.85961314.172.645130.86321285.672.558240.87391191.082.360650.87531181.322.316711741(a)（b）第（1）款法线纹理调节图像法线纹理调节图像图7：背景消融。(a)（b）没有背景估计。我们学习的背景模型导致更好的重建结果。平均特征Ours Conditioning视图调节查看沙漏网络UNet浅层转换图8：我们展示了像素对齐特征对所用特征提取器选择的敏感性。可以看出，我们的浅层卷积网络可以实现更好的重建。然而，当外推到极端视图（第1行）时，伪影出现在调节图像中不可见的面部部分这是因为由于样本点到特征图像上的投影而导致的固有深度模糊性。我们看到，仅仅添加第二个视图就已经显著减少了这些伪影，因为模型现在有更多关于不同视图的特征的信息，因此可以推断深度。在实践中，我们发现，我们可以实现很大程度上的看法外推只有两个条件的意见。选项卡. 2给出了相应的定量评价。除了ex-campus功能之外，还需要相机信息吗？图9展示了在所提取的特征中并入相机信息的需要。特别地，在没有相机信息的情况下，由于来自不同视点的信息的不一致平均（特别是在行1和2中），我们在所生成的图像中看到很大程度的条纹结果是否对所采用的特征提取网络敏感？U-Net和沙漏网络是一些最近的作品中使用的流行特征提取网络[23]。然而，我们发现，在我们的设置中，浅编码器-解码器架构用作最佳特征提取网络（图8），因为它保留了更多的局部信息，而不必将所有像素级信息编码到瓶颈层中。图9：特性总结。可以看出，我们的摄像机感知特征摘要策略比使用简单的均值池产生更高质量的结果。6. 限制虽然我们已经证明了仅从少量示例图像预测人类头部的体积化身的令人信服的结果，但我们的方法仍然受到一些限制，这些限制可以在后续工作中解决：(1)我们的方法目前在完全未观察到的区域方面具有有限的外推能力，例如，如果仅提供前视图作为示例图像，则将不详细地重建头部的后部。在这种情况下，引入全局先验可以提高泛化能力。(2)我们的方法目前不能应用于野外数据。这有多个原因：首先，我们需要测试时每个示例图像的绝对头部姿势。第二，我们的训练语料库没有捕捉到野外图像的照明和背景变化的频谱。这可以在未来通过更复杂的训练语料库或数据增强策略来解决。7. 结论我们提出了PVA-一种新的方法，用于预测人体头部的体积化身，只需要少量的图像作为输入。为此，我们设计了一个神经辐射场，它利用了可以直接从输入中提取的局部像素对齐特征，从而避免了对非常深或复杂的神经网络的需求我们的方法仅基于光度重新渲染损失以端到端的方式进行训练，而不需要明确的3D监督。我们已经证明，我们的方法在质量方面优于现有的最先进的技术，并且我们能够在多身份设置中生成忠实的面部表情。我们希望，这一办法将成为今后工作的一个简单而有力的基线。11742引用[1] Rameen Abdal，Yipeng Qin，and Peter Wonka.如何将图像嵌入到风格的潜在空间？在IEEE计算机视觉国际会议论文集，第4432-4441页，2019年。2[2] 沃尔克·布兰斯和托马斯·维特。一种用于合成3d人脸的可 变 形 模 型 。 在 Proceedings of the 26 th AnnualConferenceonComputerGraphicsandInteractiveTechniques ， SIGGRAPH'99 ， 第 187-194 页 ， 美 国 ，1999 年 。 出 版 社 ： ACMPress/Addison-WesleyPublishing Co. 2[3] Wenzheng Chen，Huan Ling，Jun Gao，Edward Smith，Jaakko Lehtinen，Alec Jacobson，and Sanja Fidler.学习使用基于插值的差分渲染器预测3d对象。神经信息处理系统的进展，第9609-9619页，2019年。2[4] 蒂莫西·F. Cootes，Gareth J. Edwards，and Christopher J.Taylor. 活跃的外观模型。IEEETransactions on PatternAnalysis and Machine Intelligence，第484Springer，1998年。2[5] Philipp Henzler，Niloy J Mitra，and Tobias Ritschel.逃离柏拉图的洞穴：对抗渲染的3d形状。在IEEE计算机视觉国际会议论文集，第9984-9993页，2019年。3[6] Angjoo Kanazawa、Shubham Tulsiani、Alexei A Efros和Jitendra Malik。从图像集合中学习特定类别的网格在欧洲计算机视觉会议（ECCV）的会议记录中，第371-386页，2018年。2[7] Tero Karras Samuli Laine和Timo Aila一种用于生成对抗网络的基于风格的生成器体系结构在IEEE计算机视觉和模式识别会议上，CVPR 2019，长滩，加利福尼亚州，美国，2019年6月16日日，第4401-4410页。计算机视觉基金会/ IEEE，2019年。2[8] 加藤浩治牛久义孝原田达也神经三维网格渲染。在IEEE计算机视觉和模式识别会议论文集，第3907- 3916页2[9] Lingjie Liu ， Jiatao Gu ， Kyaw Zaw Lin ， Tat-SengChua，and Christian Theobalt.神经稀疏体素场，2020年。1[10] Lingjie Liu ， Jiatao Gu ， Kyaw Zaw Lin ， Tat-SengChua，and Christian Theobalt.神经稀疏体素场。神经信息处理系统的进展，33，2020。3[11] Shichen Liu，Tianye Li，Weikai Chen，and Hao Li.软光栅化器：一个基于图像的三维推理微分渲染器在IEEE计算机视觉国际会议论文集，第7708-7717页2[12] 斯蒂芬·隆巴迪，杰森·萨拉吉，托马斯·西蒙，还有亚瑟·谢赫.用于面部渲染的深层外观模型。ACM事务处理图表，37（4），2018年7月。2[13] Stephen Lombardi ， Tomas Simon ， Jason Saragih ，Gabriel Schwartz ， Andreas Lehrmann ， and YaserSheikh.NeuralVolume-umes ： LearningDynamicRenderable Volumes from Images.ACM事务处理图表，38（4），2019年7月。一、三、四[14] 里卡多·马丁-布鲁阿拉、诺哈·拉德万、迈赫迪·SM·萨贾迪、乔纳森·T·巴伦、阿列克谢·多索维茨基和丹尼尔·达克沃斯。野生Nerf：神经辐射场的uncon-紧 张 的 照 片 收 藏 arXiv 预 印 本 arXiv ： 2008.02268 ，2020。3[15] Ben Mildenhall ， Pratul P. Srinivasan ， Rodrigo Ortiz-Cayon，Nima Khademi Kalantari，Ravi Ramamoorthi，Ren Ng，and Abhishek Kar.局部光场融合：具有规定采样指南的实用视图合成。ACM Transactions on Graphics（TOG），2019年。4[16] Ben Mildenhall，Pratul P Srinivasan，Matthew Tancik，Jonathan T Barron ， Ravi Ramamoorthi ， and Ren Ng.Nerf：将场景表示为用于视图合成的神经辐射场。arXiv预印本arXiv：2003.08934，2020。一、三、四[17] Koki Nagano，Jaewoo Seo，Jun Xing，Lingyu Wei，Zimo Li ， Shunsuke Saito ， Aviral Agarwal ， JensFursund，and Hao Li.异教徒：使用动态纹理的实时化身 。 ACM Transactions on Graphics （ TOG ） ， 37（6）：1-12，2018。2[18] Thu Nguyen-Tongoc，Chuan Li，Lucas Theis，ChristianRichardt，and Yong-Liang Yang. Hologan：从自然图像中进行3D表示的无监督学习。在IEEE计算机视觉国际会议的Proceedings中，第7588-7597页，2019年。3[19] Thu H Nguyen-Jiangoc，Chuan Li，Stephen Balaban，and Yongliang Yang. Rendernet：一个深度卷积网络，用于从3D形状进行可区分的渲染。神经信息处理系统的进展，第7891-7901页，2018年。2[20] Michael Oechsle、Lars Mescheder、Michael Niemeyer、Thilo Strauss和Andreas Geiger。纹理场：学习函数空间中的纹理表示。IEEE International Conf. on ComputerVision（ICCV），2019。3[21] Kyle Olszewski，Sergey Tulyakov，Oliver Woodford，Hao Li，and Linjie Luo.可转换的瓶颈网络。在IEEE计算机视觉国际会议的Proceedings中，第7648-7657页2[22] Shunsuke Saito ， ， Zeng Huang ， Ryota Natalism ，Shigeo Mor-ishima ， Angjoo Kanazawa ， and HaoLi.Pifu：Pixel-aligned implicit function for high-resolutionclothed human digitiza- tion.arXiv 预 印 本 arXiv ：1905.05172，2019。二、三、四[23] Shunsuke Saito ， Tomas Simon ， Jason Saragih ， andHanbyul Joo. Pifuhd：用于高分辨率三维人体数字化的多级像素对齐隐式函数。在IEEE计算机视觉和模式识别会议论文集，2020年6月。三，八[24] Katja Schwarz ， Yiyi Liao ， Michael Niemeyer ， andAndreas Geiger. Graf：用于3D感知图像合成的生成辐射场。神经信息处理系统的进展，33，2020。3[25] V. Sitzmann，J. Thies，F. Heide，M.尼斯纳湾Wetzstein和M. 佐尔赫奥菲河深度视觉：学习持久的三维特征嵌入。在计算机视觉和模式识别会议论文集（CVPR2019），2019年。2[26] Vincent Sitzmann，Justus Thies，Felix Heide，MatthiasNießner，Gordon Wetzstein，and Michael Zollhofer.深度体素：学习持久的3D特征嵌入。在IEEE计算机视觉和模式识别会议上，第2437-2446页，2019年。2[27] 西茨曼，迈克尔·佐尔·霍费尔，戈登·韦茨坦。场景表示网络：连续3D结构感知神经场景表示。InAdvances in11743神经信息处理系统，第1121-1132页，2019年。二、三[28] Ayush Tewari ， Mohamed Elgharib ， Gaurav Bharaj ，FlorianBernard ， Hans-PeterSeidel ， PatrickPe'rez ，MichaelZoll- hofer 和 Christian Theobalt 。Stylerig ：Rigging style- 用 于 对 肖 像 图 像 进 行 3D 控 制 。 在IEEE/CVF计算机视觉和模式识别会议论文集，第6142-6151页，2020年。2[29] Ayush Tewari ， Ohad Fried ， Justus Thies ， VincentSitzmann ， Stephen Lombardi ， Kalyan Sunkavalli ，Ricardo Martin- Brualla，Tomas Simon，Jason Saragih，Matthias Nießner ， et al. State of the art on neuralrendering.arXiv预印本arXiv：2004.03805，2020。3[30] 尤里·维亚茨基弗拉基米尔·伊瓦什金和叶夫根尼·卡申。Stylegan2蒸馏用于前馈图像处理。arXiv预印本arXiv：2003.03581，2020。2[31] Lior Yariv、Yoni Kasten、Dror Moran、Meirav Galun、Matan Atzmon、Basri Ronen和Yaron Lipman。多视图神经表面重建的几何与外观分离方法。神经信息处理系统的进展，33，2020。3[32] 理查德·张、菲利普·伊索拉、阿列克谢·埃弗罗斯、伊莱·谢克特曼和奥利弗·王。深度特征作为感知度量的不合理有效性。在IEEE计算机视觉和模式识别会议论文集，第586-595页，2018年。7[33] Jun-Yan Zhu，Zhoutong Zhang，Chengkai Zhang，JiajunWu ， Antonio Torralba ， Josh Tenenbaum ， and BillFreeman.视觉对象网络：用解缠的3D表示生成图像。神经信息处理系统的进展，第118-129页，2018年。2