超快收敛的直接体素网格优化:神经辐射场重建新视角

0 下载量 140 浏览量 更新于2024-06-20 收藏 1.91MB PDF 举报
"直接体素网格优化:一种用于快速重建场景的超快速收敛算法,旨在解决神经辐射场(NeRF)技术的长时间训练问题。该方法结合了密度体素网格和特征体素网格,以及一个浅层网络,以在15分钟内实现与NeRF相当的高质量结果。通过激活后插值体素密度和应用几何优化先验,实现了更快的收敛速度和清晰的表面细节。评估显示,该方法在多个基准测试中与NeRF的质量相当甚至更好。" 在计算机图形学和虚拟现实领域,直接体素网格优化是一种用于高效重建3D场景的技术。传统的神经辐射场(NeRF)虽然能生成高逼真的图像,但训练过程耗时较长。本文提出了一种名为DirectVoxGO的超快速算法,旨在缩短这一过程。 DirectVoxGO的核心在于使用一个包含场景几何的密度体素网格和一个特征体素网格,后者与浅层网络相结合,来处理视图相关的外观。这种方法将复杂的3D表示简化为显式和离散的体积形式,便于快速计算。为了提高收敛速度和输出质量,研究者引入了两个关键技术: 1. 激活后插值体素密度:这是一种创新技术,能够在低分辨率的网格中生成锐利的表面边界,从而减少对高分辨率网格的需求,加快了计算速度。 2. 直接体素密度优化:由于直接优化体素密度容易陷入局部最优,因此在优化过程中应用了几何先验,增强了方法的鲁棒性,避免了次优解。 实验结果显示,DirectVoxGO在不到15分钟的时间内,使用单个GPU即可从零开始达到与NeRF相当的重建质量,大大缩短了训练时间。与NeRF的数小时至数天相比,这是一个显著的改进。此外,对多个内部基准测试的评估证明,该方法在自由视点导航任务上的性能与NeRF相当,甚至在某些情况下超越了NeRF。 总结来说,直接体素网格优化提供了一种快速、高效的3D场景重建方案,尤其适用于需要实时或近实时结果的应用,如虚拟现实体验和在线产品展示。通过结合先进的优化策略和显式体积表示,DirectVoxGO为3D重建领域开辟了新的可能性,降低了对计算资源的依赖,同时保持了高质量的输出效果。