可微分渲染：融合显隐式表面的高效采样与深度感知技术

本文提出了一种创新的3D表面绘制方法，名为"基于不可微采样的可微曲面渲染"，它结合了显式和隐式表示的优势。这项工作主要关注可微分渲染技术，旨在解决传统图形处理中的挑战，如网格表示的导数在局部变化时的不连续性。通过将不可微光栅化与可微深度感知点溅射相结合，该方法能够生成精确且平滑的表面渲染，即使在遮挡边界也能提供正确的导数信息。 具体来说，方法流程如下： 1. 不可微光栅化采样：首先，使用常规的、非微分的光栅化技术对3D表面进行采样，包括显式网格模型（如YCB玩具飞机的纹理三角形网格）和隐式表示（如NeRF生成的等值面）。这种方法处理了遮挡问题，确保了整体视图的完整性。 2. 深度感知点溅射：采样得到的点通过深度感知的点溅射操作进一步处理，这一步是可微分的，使得后续的图像合成过程能够计算出平滑的梯度信息。这个过程不仅适用于网格表面，也适用于隐式表示，如神经辐射场（NeRF）生成的等值面。 3. 优势与应用：与传统的体积绘制相比，这种方法更为高效，特别是在从NeRF这样的神经网络表示中提取等值面时。通过将预训练的NeRF转换为表面光场，作者实现了显著的渲染速度提升，例如128倍于原始NeRF的速度，这对于实时渲染和神经网络训练应用具有重要意义。 4. 可微分性与适用性：由于采样阶段可以是非微分的，这种方法兼容各种常见的表面提取和光栅化算法，使得大型3D模型的处理变得更加灵活。不仅如此，它还适用于隐式表示的逆绘制和神经网络训练，为这些领域的研究开辟了新途径。 这篇论文为3D图形渲染领域带来了革命性的进展，通过将不可微采样和可微操作相结合，解决了导数计算的问题，特别是在处理复杂表面和遮挡情况时。这不仅提升了渲染效率，也为基于神经网络的3D形状建模和理解提供了强大工具。