![](https://csdnimg.cn/release/download_crawler_static/88432601/bg3.jpg)
隐式场景先验”。我们通过拟合噪声和低分辨率观测来
验证它,同时显示出良好的去噪和超分辨率结果。虽
然我们的发现与Ulyanov
等人的
观点相似。[67],先前
的趋势来自我们的3D渲染架构。
并行工作。 与我们的工作同时,几个相关的工作[51,
75,30,52,64]也研究了整合时间信息用于稀疏时间
步长新颖视图合成。与其他作品分开,我们学习了一
个单一的一致的连续的时空辐射场,其被约束以生成
跨空间和时间的一致的4D视图合成这使得能够直接通
过辐射场跨视点和时间戳两者进行直接渲染。 这 对
于学习离散的时间戳相关变形场的其他方法是不可能
的[51,52,64]。类似于我们的方法,[75,30]也学习
连续的空间-时间辐射场,但是虽然我们的方法使用神
经ODE [8]在连续时间上实施一致性,但是它们仅在观
察到的时间戳处实施一致性因此,虽然我们的方法可
以渲染中间时间戳,[75]请注意,使用其时空辐射场的
插值渲染不够好。
此外,我们进一步表明,我们的方法可以
适用于视频处理任务。我们证明我们的学识
(在-1和1之间编码)和视图方向,并输出发射的颜色
和密度,其可以用于通过射线行进和体积渲染形成图
像[41]。第二个模块,流场,采用位置和时间的4D输
入,并输出其流量或动态。我们在下面详细描述
光辉领域。辐射率函数R
θ
是6维函数,其将4D位置x
=
(x
,
y
,
z
,
t)和2D观察方向(θ
,
θ)作为输入,并
且输出发射颜色c
=
(r
,
g
,
b)和体积密度σ,表示对
应3D点的颜色和透明度(图2的顶部)。由于密度与视
角无关,因此我们预测体积密度σ与视角方向无关。为
了更好地聚合跨视图视觉外观信息,我们还将预测的
颜色分解为视图不变的漫射部分c
diffuse
和视图相关的
specular部分c
specular
。由于镜面反射通常是稀疏观察到
的,因此在训练期间,我们将
2
正则化损失添加到c
镜面反射
的幅度。
流场进行流函数F
θ
表示场景的潜在动态。 F
θ
将4D位
置作为输入 x
=
(x
,
y
,
z
,
t)。输出流场
f
=
(
f
,
f
,
f
)
=
∫
x
,
y
,
z
,
,
图像,然后可以被渲染以生成高分辨率或无噪声图
像。
3.
神经辐射流(NeRFlow)
我们的目标是学习一个隐含的神经场景表示
表示空间中每个点的瞬时运动通过积分,该函数可用
于 导 出 任 何 点 的 未 来 位 置 。 特 别 地 , 给 定 连 续 点
(x
s
,
y
s
,
z
s
,
t
s
),该点在时间戳t
g
处的未来位置可
以通过积分获得为
(
x
,
y
,
z
)+
∫
t
g
f
(
x
,
y
,
z
,
t
)
dt.
视图合成,给定每个时刻的图像观察和相关联的姿态
的潜在有限集合一个关键的挑战是有效地聚合来自不
同时间戳的部分观测,同时实现时空相干性。
我们提出了神经辐射流(NeRFlow),它学习场景
的外观,密度和运动联合,同时鼓励这些组件的时间
一致性。具体地,NeRFlow在内部通过神经辐射场表
示场景外观和密度,并且其通过流场表示场景动态。
这两个场相互作用以传播在不同时刻观察到的外观、
密度和运动信息,这些信息由一组源自基本物理直觉
的一致性损失调制
我们在图2中显示了NeRFlow的概述。在下文中,我
们首先描述辐射和流场。接下来,我们介绍了如何学
习这两个领域共同使用时间一致性损失。最后,我们
概述了RGB图像的训练监督和整体实现的细节
3.1.
辐射和流场
NeRFlow由两个独立的模块组成。第一个模块,辐
射场,采用位置、时间和辐射场的6D输入
3.2.
时间相干学习
在整个学习过程中,我们强制辐射和流场的一致
性,以便它们相互作用以跨时间聚集和传播部分观察
到的信息如图3所示,这种内部学习过程由一组关于场
景外观、密度和运动的一致性损失来调节由于我们考
虑可能不完全覆盖视角的时间上的稀疏观测,因此我
们仅强制漫射颜色c
diffuse
(第3.1节)而不是镜面反射颜
色的一致性。
外观一致性。物体的漫反射率在其四处移动时保持恒
定。假设入射辐射在物体表面近似相同[55],则发射的
漫射颜色保持恒定。这种颜色恒定性假设是许多光流
算法的基 础,并且近似地保持,特 别是当运动很小
时。在这个假设下,我们开发了外观一致性损失。
特别地,给定在时间戳t处的随机采样的3D点x,我
们最小化x的颜色与在未来时间戳
t
处的预测的对应关
系x。