NeRFlow：神经辐射流——动态场景的4D视图合成与视频处理

本文介绍了“神经辐射流”(NeRFlow)，一种用于4D视图合成和视频处理的新型神经隐式表示方法。该方法由杜一伦、于红星和约书亚·贝恩·坦嫩鲍姆等研究人员开发，旨在解决动态场景表示中的挑战，特别是如何从有限的、甚至是单一视角的视频数据中学习3D占用、辐射和动态信息。 1. 神经辐射流(NeRFlow)概述 NeRFlow是一种创新的神经网络模型，它能够从RGB图像序列中学习场景的4D时空表示。这种表示方式能够捕捉到场景的三维结构、光照条件和动态变化。与传统的运动捕捉系统相比，NeRFlow更适应复杂遮挡和精细运动的处理，且能高效利用存储资源。 2. 动态场景表示与应用 动态场景表示对于虚拟现实、游戏设计、机器人感知和环境导航等领域具有重要意义。传统方法往往针对特定现象，难以处理复杂动态，而NeRFlow通过神经网络参数化，解决了这一问题。 3. 解决稀疏观察问题 NeRFlow的一大优势在于它能够处理稀疏的跨时间观察数据。即使只有少数或单个摄像机视角，NeRFlow也能学习到连贯的时空场，从而实现对复杂动态场景的准确建模和新视图的合成。 4. 实现与结果 NeRFlow在多个动态场景上展示了优于现有技术的表现，包括倒水、机器人交互等实例。此外，学习的表示还可以用作预训练场景，用于视频处理任务，如图像超分辨率和去噪，而且无需额外的监督数据。 5. 技术细节与代码 NeRFlow的实现涉及到在不同模态间的一致性强制，确保神经网络的输出在时间和空间上一致。代码可以在https://yilundu.github.io/nerflow/找到。图1展示了NeRFlow如何从不同位置和时间戳的训练图像中学习底层3D结构和动态，进而实现4D视图合成。 NeRFlow为处理动态场景提供了一种强大的工具，通过神经隐式表示法，即便在数据有限的情况下，也能实现高质量的视图合成和视频处理。这一进展对于推动计算机视觉、图形学和人工智能领域的研究具有重要意义。