端到端神经人体渲染器：动态多视图捕捉技术

"本文介绍了一种名为神经人体渲染（NHR）的技术，它是一种端到端的渲染器，专门用于在多视角设置下处理动态人体的捕获。NHR利用PointNet++进行特征提取，以在低质量的3D重建中实现强大的3D对应匹配。在新视图的渲染过程中，3D特征被映射到目标相机上形成2D特征映射，并通过抗锯齿CNN处理空洞和噪声问题。新合成的视图还可以用于构建视觉外壳，以处理无纹理或暗区，如黑色衣物。研究表明，NHR在手、头发、鼻子、脚等部位的表现明显优于现有的神经和基于图像的渲染技术。该技术有广泛的应用，包括在虚拟和增强现实中创建超现实的化身，以及全息和沉浸式通信。传统的建模和渲染方法依赖于3D几何形状的捕捉和后处理，而基于图像的方法如IBMR可能会遇到遮挡、无纹理区域和细节丢失的问题。NHR通过改进的代理几何形状和混合采样的光线处理这些问题，提供更高质量的自由视图视频（FVV）生成。" 在本文中，作者探讨了当前人体3D模型生成技术的挑战，尤其是对于动态人体的高保真重建。传统的方案包括使用活动或无源系统捕捉3D点云，然后进行三角测量、纹理映射等一系列复杂步骤。这些方法往往受限于设备分辨率、遮挡处理和无纹理区域的处理。基于图像的建模和渲染虽然试图从多个角度插入新视图，但常常难以处理遮挡和精细细节。 NHR的创新之处在于它采用了神经网络方法，结合PointNet++进行特征提取，增强了低质量3D重建中的对应匹配能力。通过将3D特征映射到2D并应用抗锯齿CNN，NHR能够有效地处理渲染过程中的空洞和噪声。此外，它能生成视觉外壳，这对于处理如黑色衣物等无纹理或暗区非常有用。 实验结果证明，NHR在手部、头部、头发、脚部等细节丰富的区域表现突出，超越了现有的神经渲染和基于图像的渲染技术。这一进展对于推动虚拟现实、增强现实和全息通信等领域的发展具有重要意义，因为它提供了更真实、更高效的动态人体渲染解决方案，减少了对人工后期处理的依赖。