NeurMiPs：高效的基于平面的神经混合模型用于视图合成

"基于平面的神经混合模型用于高效视图合成" 在计算机图形学和虚拟现实领域，视图合成是一项关键技术，它允许从不同的视角重新渲染一个场景，提供沉浸式的体验。传统的视图合成方法通常依赖于显式几何表示，如多平面图像、点云或网格，以及基于图像的渲染技术。然而，这些方法往往存在内存消耗大和对几何结构要求较高的问题。 神经网络在近几年已经被广泛应用到视图合成中，尤其是神经辐射场（NeRF）的提出，它通过学习场景的连续密度场和颜色场来生成高保真图像。尽管NeRF表现出了出色的渲染效果，但其采样效率低和对硬件资源的需求较高，限制了其在实时应用中的潜力。 "平面专家神经混合模型（NeurMiPs）"是一种新的解决方案，旨在结合显式几何形状表示的效率与神经辐射场的灵活性。该模型的核心在于使用3D空间中的局部平面专家集合来表示场景。每个平面专家由一个表示几何形状的局部矩形参数和一个模拟颜色与不透明度的神经辐射场组成。这种方法能够有效地模拟复杂的表面几何和外观。 NeurMiPs通过计算光线与平面的交点并复合输出的颜色和密度，在图像的顶点进行渲染。这种渲染方式融合了显式网格渲染的效率和NeRF的灵活性，从而提高了新视图合成的速度和质量。在实际应用中，NeurMiPs能够在保持图像质量的同时，降低内存需求，这对于实现如Metaverse这样的实时、高质量、内存高效的虚拟环境至关重要。 实验结果表明，NeurMiPs在新视图合成任务上相比于其他3D表示方法，无论是性能还是速度，都有显著优势。这使得NeurMiPs成为解决实时视图合成挑战的一种有前途的技术。随着虚拟现实和增强现实技术的发展，这种高效、灵活的视图合成方法有望在未来得到更广泛的应用。