没有合适的资源?快使用搜索试试~ 我知道了~
18376通过重投影的射线先验:改进用于新视图外推的神经辐射场张健1* 张元庆1,2*傅欢1²周晓伟2蔡博文1黄锦池1贾荣飞1赵斌强1唐兴 11阿里巴巴集团2浙江大学CAD CG国家重点实验室摘要神经辐射场(NeRF)[22]已经成为表示场景和合成照片级逼真图像的有效范例。传统NeRF的主要限制是它们通常不能在与训练视点显著不同的新颖视点下产生高质量在本文中,我们研究了新的视图外推设置,而不是开发少镜头图像合成,(1)训练图像可以很好地描述一个对象,(2)有一个显着的差异之间的训练和测试视点的分布。我们提出RapNeRF(RAy先验)作为一种解决方案。我们的见解是,3D表面的任意可见投影的固有外观应该是一致的因此,我们提出了一个随机光线投射政策,允许训练看不见的意见,使用看到的意见。此外,我们表明,从观察到的射线的观察方 向 预 先 计 算 的 射 线 图 集 一 个 主 要 的 限 制 是 ,RapNeRF将删除强大的视图相关的影响,因为它杠杆的多视图一致性属性。1. 介绍计算机图形社区的主要目标是使虚拟世界的照片真实感渲染有效。受物理启发的图形技术很好地接近实时渲染和照片逼真的图像创建,但是遭受昂贵的几何、材料和场景的其他方面的手动内容生成。在过去的几年里,人们对新能源的兴趣激增,ralrendering [17,18,21,38,39,47],其对深度网络中的物理知识进行建模,以解决可控图像的单个公式中的重建和渲染*这些作者对这项工作做出了同样的贡献。²通讯作者一代利用神经体渲染,最近的先进神经辐射场(NeRF[22])学习从图像中表示3D场景,并令人印象深刻地支持照片逼真的图像合成。生成的图像的视觉质量甚至可以与基于物理的渲染管道生成的图像相媲美。NeRF的主要局限之一因此,几个子项目集中于研究少数拍摄或无监督辐射场重建[4,11,52]。这些作品假设我们只观察一个场景的几个图像。在一个极端的设置中,场景的某些几何形状和外观永远不会被观察到。在本文中,我们从物体重构的角度研究NeRF,如[9,33,51],并将我们的重点限制在固体和非透明物体上。我们发现,即使有足够的图像,可以很好地描述一个对象,传统的NeRF往往无法产生高质量的渲染的新的观点是显着不同的训练观点。这一观察促使我们研究如图1所示的新视图外推设置。我们从3D表面的任意可见投影的内在外观应该是一致的这一见解中获得灵感它在非监督3D对象重建和纹理优化工作中得到了很好的研究[10,15,41,55]。我们深入研究了NeRF公式的多视图一致性属性具体而言,我们提出了一种随机光线投射(RRC)策略,该策略以在线方式为每个训练光线在圆锥内随机生成光线。这种训练策略简单而有效,可以使用可见视图为潜在的不可见视图创建监督。RRC依赖于目标对象的粗糙3D网格(R3DM),其可以从其预训练的NeRF中提取。此外,我们谨慎地重新考虑了强烈的视角依赖效应之间的权衡18377图1.观察设置。左:我们研究了新的视图外推设置,(1)训练图像可以很好地描述对象,(2)测试视点与训练视点显著不同。我们以一个具体的对象为例来说明MobileObject中的训练(红色)和测试(蓝色)视点标记为“灰色”的视点右:对于新视图外推,NeRF [22]生成的图像通常包含伪影,而RapNeRF可以生成高质量的渲染。和多视图一致渲染。我们表明,从训练射线的观察方向计算的射线图谱(RA)可以进一步提高渲染质量的extrap- olated视图。 RapNeRF由RRC和 RA统一制定。为了研究新的视图探索设置,我们重新分割NeRF对象的合成训练和测试图像我们还通过手机捕获了八个场景,构建了一个MobileObject数据集。示例如图1(右)所示。实验证明了Rap-NeRF在合成有前途的新视图方面的优越性,与最先进的方法相比。我们进行了各种消融研究,以讨论RapNeRF的核心组件。最后但并非最不重要的是,RapNeRF的一个主要限制是,它交易的一些视图依赖的效果,更好的新的视图探索性能。我们通过研究[9]中的延迟NeRF架构提供了一种补救措施2. 相关工作神经渲染(NR)绕过网格重建直接执行真实场景的视图合成。它从不同视角和照明条件下的几个输入图像令牌构建隐式场景表示[38]。这种隐式的场景表示方法可以用来合成高质量的新颖图像,同时也有一定的指导作用。在NR文献中,神经体积渲染(NVR)支持生成场景的照片级真实感渲染[1±3,6,20,22,29,31,33,34,37,45]。一个很好的实践-神经辐射场(NeRF)[22]。该方法提出用神经辐射场表示连续场景,并利用体绘制技术实现高质量的视图合成。利用NeRF的成功,有许多后续工作已经提出了更好和更有效的视图合成[8,13,16,17,19,23,27,36,42,51,53]。例如,神经稀疏体素场(NSVF)[17]研究了一种渐进式训练策略,以利用稀疏体素场。局部几何属性建模的树。所得到的模型在绘制质量和速度上都大大提高了NeRF。最近,PlenOctree [51]显示了另一个里程碑,它实现了保留视觉质量的实时视图合成。与NeRF其他例程包括可变形或动态场景合成[7,28,30,32,40],可学习的相机姿势[14,44,50]和可编辑视图合成[25,46]。一些作品通过在图像输入上调节NeRF [52]并利用多视图特征的语义一致性[11]来学习少镜头视图合成。在几个镜头的设置中,他们只观察一个场景的几个图像。有些几何图形和外观没有被这些图像覆盖。这使得神经重建过程特别具有挑战性。与此相反,我们研究了一种放松的新的视图外推设置,训练图像足以很好地描述一个对象。有一个伟大的并发工作RegNeRF [24]规则化的几何形状和外观利用多视图一致性prop-prop-bandry获得3D一致的表示。3. 方法我们的主要目标是缩小NeRF合成的内插和外推视图[22]系列。在本节中,我们首先简要回顾一下第二节中的NeRF。第3.1条然后,我们提出了建议的随机光线投射(RRC)的政策。3.2并解释第3.2节中的射线at- las(RA)三点三RRC和RA依赖于对象最后,我们介绍了如何在Sec中训练RapNeRF。三点四分。3.1. 分类:NeRF体积场景表示可以被视为辐射场(或5D矢量值函数),其将3D位置x=(x,y,z)和2D观看方向d=(θ,Φ)作为输入,并且输出发射颜色(或辐射)c=(r,g,b)和体积密度σ。NeRF [22]采用单个MLP18378→−−图2.随机射线投射。左:r1位于训练空间中,r2远离训练射线。沿着r 2的辐射累积操作更可能提供与Iλ(r1)相比的v的反向颜色估计。 中间:一种直观的虚拟视图重投影思想,不方便. 右:对于特定的训练射线(从o投射并穿过v),随机射线投射(RRC)策略在圆锥内随机生成一个不可见的虚拟射线(从o′投射并穿过v),然后为其分配一个伪标签基于所述训练射线在线地进行训练。RRC使得能够使用可见光线来训练不可见光线。参见第3.2详细解释将5D函数近似为神经辐射场的网络:σ,c =F(d,x).(一)该公式可以进一步分解为Fσ:x→(σ,f)和Fc:(d,f) C .为了渲染图像I的像素,NeRF从相机的投影中心o沿着穿过像素的方向d投射射线r它沿着光线采样N个点,并近似像素ΣN与I(r1)相比,估计。我们可以从I(r2)和I(r1)周围的合成小区域看出,前者包含更多的伪影。我们的直觉是通过利用多视图一致性属性为潜在的不可见视图创建监督。该属性已经在基于重投影的无监督3D对象重建和纹理优化方法中得到了很好的研究[10,15,41,48,55]。在NeRF公式中,我们可以天真地遵循生成一些虚拟相机及其视图的管道,计算所涉及的像素射线,找到相应I(r)=i=1Ti(1 −exp(−σiδi)) ci,Σi−1(二)从训练射线池中命中相同3D表面点的每个虚拟射线的射线。它类似于通过多视图投影的虚拟射线的伪标签生成过程。Ti=exp(−j=1σjδj),参见图2(中间),以获得该虚拟视图重投影解决方案的图示。实际上,离线工作流是其中δi=ti+1−ti表示两个连续样本之间的距离,ci和σi是样本点r(ti)= o+ti d的辐射率和体积密度,Ti表示从r(ti)到r(ti)的累积透射率。在实践中,ti由预定义的间隔[tn,tf]界定。NeRF最小化了渲染和真实之间的平方误差不方便我们的随机光线投射(RRC)政策允许伪标签分配随机生成的虚拟光线在线的方式。具体地,对于一个训练图像I中的感兴趣的像素,我们给出其观看方向d,cam。年代原点o和世界坐标中的深度值tz像素颜色(I(r)vs.I( r))来学习其MLP。系统,射线r= o+t d。 这里,tz=Ni=1 Ti(1−3.2. 随机光线投射我们首先从光线投射和神经映射的角度进一步讨论上述视觉质量差距。如图2(左)所示,r1和r2是在两个方向上观察3D点v的两条射线,其中前者位于训练空间中,而后者(测试射线)与训练射线不同考虑到分布位移和映射函数Fc:(r, f)→ c,我们可能感觉到某些样品沿r2的辐射率是不精确的此外,沿r2的辐射累积操作更可能提供不利的颜色exp(−σiδi))ti是预先计算的,并使用预训练NeRF。令v= o+tz d表示r击中的最近3D表面点。在训练阶段,如图2(右)所示,我们将v视为一个新的原点,并从v随机投射一条射线到圆锥体内,其中心射线是向量→−vo=tzd。这可以很容易地实现,→−vo到球面空间,并引入一些随机性从和θ到和θ。 这里,θ和θ是方位角,消除→−vo,尊重iv el y。∆ϕand∆θareuniformly从 预 定 义 的 间 隔 [η , η] 采 样 。 由 此 得 到 θ′=θ+θθ′,θ′=θ+ θ′,从而可以产生从任意原点o′投射的虚射线r′18379L如:1ΣLdV=Li=11R(Ii)[Vuv(Ii)],(三)图3.雷·阿特拉斯说明我们如何从训练光线中捕获光线图谱,并使用它来纹理椅子的粗糙3D网格(R3DM)。R(Ii)是训练图像I i的射线图。Vuv(Ii)是图像Ii对应于顶点V的2D位置。全球射线方向V的verte xV是根据方程计算的。3.第三章。也通过v。因此,我们可以将地面真值颜色强度I(r)视为I(r′)的伪标记。3.3. 雷阿特拉斯香草NeRF利用“方向嵌入我们发现场景拟合过程使得训练的颜色预测MLP严重依赖对于新视图插值来说,这不是问题。然而,由于训练射线分布和测试射线分布之间存在一些差异,因此它可能不利于新视图外推。一个简单的想法是直接删除方向嵌入(表示为“ªNeRF w/o dir然而,我们发现它经常产生图像,Vuv(Ii)=zKTw2c(Ii)V,其中,K是摄像机内参数,Tw2c(Ii)是图像Ii的摄像机到世界变换矩阵,Vuv(Ii)表示顶点V在图像Ii中的投影2D位置,并且L表示有助于顶点V的重建的训练图像的数量。我们正常化在储存之前,然后,对于每个pixel,相机姿态,我们可以通过将由光线贴图纹理化的R3DM投影到2D来捕获全局光线。有关说明,请参见图3在培训RapNeRF时,我们采用了感兴趣的像素I(r)以替换其在Fc中的d用于其颜色预测。这种替代机制发生的概率为0.5。在我们的实验中,我们沿着原始光线r采样点,并使用d进行光线嵌入计算。 我们会沿着有时会使训练不稳定的方向找到采样点。在测试阶段,样本x的辐射率c近似为:c=Fc(<$d,Fσ(x)).(四)3.4. 培训RapNeRF我们的RapNeRF训练分为两个阶段。对于要重建的对象,我们首先在N1次迭代中训练NeRF [22]然后,我们结合了提出的随机射线投射(RRC)策略和射线映射(RA)方法,在另一个N2次迭代中对预先训练的NeRF进行微调。对于每次迭代,RRC和RA分别以0.7和0.5的概率发生。我们将RRC中的η设置为30π。在这两个阶段中,我们采用了一个额外的不透明度约束[26],如果光线跟踪通过对象区域,则沿光线的累积不透明度(透射率)为1,如果光线属于背景,则为0。令m(r)表示像素射线的掩模标签(1或0)。不透明度约束可以表示为:Σ诸如意外的波纹和非平滑颜色之类的伪像。这意味着光线Lo=|、(五)|,(5)R对表面平滑的贡献。我们计算了一个光线图谱,并表明它可以进一步提高渲染质量的extra- olated视图,而不涉及更多的问题,内插视图。光线图谱类似于纹理图谱,但它为每个3D顶点存储全局光线方向。特别地,对于每个图像(例如,图像I),我们捕获其光线我们从预先训练的NeRF中提取一个粗糙的3D网格(R3DM),并将光线方向映射到3D顶点。以顶点V=(x,y,z)为例,其全局光线方向<$dV应表示为其中,TN(r)可以看作是可以通过的光的比率,通过物体。因此可以减少物体表面区域周围的一些噪声体积密度值得一提的是,其他NeRF作品[9,17,46,51]也采用了不透明度正则化技术来去除背景体素以进行对象重建。4. 实验在 本 节 中 , 我 们 进 行 实 验 , 以 研 究 我 们 的RapNeRF的新视图外推的性能。首先,我们简要介绍了合成NeRF天线18380×∼D××∼[22]第二十二话方法PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓NeRF [22]25.730.9060.09024.050.9480.089[22]第二十二话26.140.9180.06726.690.9510.053NSVF [17]26.370.8930.08822.650.8990.125印尼盾[49]20.450.9090.11323.430.9470.074IBRNet [42]23.330.8700.15318.990.8700.185PlenOctree [51]24.190.8750.10021.760.9030.105SNeRG† [9]24.680.9040.07426.320.9520.058RapNeRF27.630.9290.04628.900.9630.045RapNeRF†26.400.9120.06928.650.9610.047表1.基准比较。RapNeRF<$通过将RRC和RA合并到延迟NeRF变体(SNeRG<$ [9])中来补救RapNeRF的退化视图依赖效应。这进一步表明RRC和RA可以容易地集成到其他NeRF中。我们的方法在合成图像和真实图像的数据集上获得了最佳性能。IBRNet [42]和IDR [49]也利用了多视图一致性属性。参见第5、限制性讨论和SEC。4.2实验细节补充资料中报告了每个对象的结果产品介绍NeRF [22]RRC RA PSNR ↑SSIM ↑LPIPS↓24.05 0.948 0.08927.55 0.963 0.045表2.雷·普赖尔我们研究了MobileObject数据集上提出的随机射线投射(RRC)和射线图谱(RA)方法所带来的性能增益。当计算I(r)时,RapNeRF采用d的方向嵌入(如果只使用RRC)或射线图谱中的d的方向嵌入(如果使用RA)。[22]和MobileObject数据集对我们的研究设置,在第二节。4.1.然后,我们进行定性和定量的比较与最近的代表性NeRF的变种在SEC。四点二。最后,我们基于MobileObject进行了各种消融研究,以讨论我们的方法。四点三。更多的实验结果请参考补充资料4.1. 数据集合成NeRF原始的Synthetic-NeRF [22]数据集包含8个对象,其中每个对象以800 800的分辨率渲染,100个视图用于训练,200个视图用于测试。视点在上半球或整个球体上采样。提供了地面实况摄像机姿态和对象遮罩。在本文中,我们简单地将相机沿z轴的位置按升序排序MobileObject。我们拍摄了八个以物体为中心的视频-拍摄移动终端,其中视点在上部空间上。为了实现更好的SFM,我们在录制视频之前将目标对象放入具有丰富纹理的复杂场景中。图像大小为960 540或540 960。对于每个对象,我们从视频序列中均匀采样约200 300个图像,并使用COLMAP [35]计算相机姿势。模糊图像被预先移除。然后,计算摄像机位置的平均z值为了构建测试集,我们利用以下度量来测量相机姿态y∈ SO(3)与训练姿态X之间的距离:Dy= minx∈SO(3){|x∈ X },(六)其中SO(3)是3D旋转群。较大的Dy表示显著的视点差异。我们计算每个剩余图像的y我们选择多达60100个测试图像为每个对象根据其视频长度。其他图像已被过滤掉。4.2. 基准比较我们与NeRF [22]及其最近的代表变体进行了比较,包括NSVF [17],IBRNet [42],PlenOc树[51]和SNeRG [9]。我们使用他们发布的在大型数据库上预训 练 的 模 型 对 IBRNet 执 行 每 个 对 象 的 微 调 。PlenOctree在这里指的是它的NeRF-SH版本。我们通过预测沿f和d的射线的每个采样点的镜面反射颜色,稍微重新制定了SNeRG中的延迟NeRF架构。我们没有使用它的稀疏辐射网格数据结构,因为它会造成约2dB的质量损失我们还研究了IDR [49],这是一项令人印象深刻的3D重建工作,它利用了利用可微分渲染的多视图consideration属性。我们价格25.290.9540.056中国28.900.9630.04518381图4.定性比较。我们将RapNeRF与最近几种令人印象深刻的合成NeRF方法(顶部)和MobileObject(底部)进行了比较。RapNeRF可以更好地恢复这些对象的细节其他方法合成的图像往往含有伪影。我们参考补充材料进行更多的定性比较。放大以获得更好的视图。在N1+N2次迭代中优化NeRF以进行公平比较,因为RapNeRF包含预训练阶段。对于其他方法,我们训练它们的时间更长,以确保它们的模型收敛。我们使用PSNR,SSIM [43]和LPIPS [54]来衡量渲染质量。如表1所示,RapNeRF在新视图外插的所有指标上都获得了最佳性能有趣的是,vanilla NeRF在真实的NeurelObject数据集上实现了比NSVF更高的PSNR,而在Synthetic-NeRF数据集上则相反。正如NSVF论文[17]中所讨论的,它显示出比NeRF更少的相机姿态误差容差IBRNet23.33合成场景)。主要原因是MobileObject场景的训练视图和测试视图IBRNet和类似的工作MVSNeRF [4]只能很好地重建参考视图(一个小的场景截头体)看到的场景内容。这里的IDR产生的平均PSNR为23.43在真实场景中。我们注意到它在DTU数据集上的表现类似[12](如其论文中报告的23.20)。这意味着,尽管IDR擅长恢复表面,但在照片级真实感视图合成方面不如NeRF。我们还在图4中显示了一些定性结果。其他方法通常会生成包含伪影和失真的渲染,而RapNeRF可以生成具有出色视觉质量的图像。4.3. 消融研究雷·普赖尔我们研究了RapNeRF的核心组件的有效性 , 即 。 随 机 射 线 投 射 ( RRC ) 和 射 线 图 谱(RA),用于新的视图外推。如表2所示,虽然RA比NeRF基线产生1.24的PSNR改善,但RRC以显著的裕度(+3. PSNR为5)。此外,完整的模型获得了进一步的性能增益,并产生了28.90的显着PSNR一些定性18382−图5. PSNR vs. SO(3)姿态距离。我们通过计算整个MobileObject数据集中每个测试图像的PSNR得分和SO(3)姿态距离(Dy)来绘制曲线。RapNeRF产生一贯优越的PSNR,而Dy变得更大。η10◦20◦30◦40◦50◦60◦PSNR ↑26.89 27.32 27.86 26.7227.38 27.29SSIM ↑0.963 0.9650.967 0.964 0.966 0.965LPIPS ↓0.036 0.032 0.029 0.030 0.0290.029表3.在RRC中具有阈值η的颅骨上的定量结果方法PSNR↑ SSIM↑ LPIPS↓NeRF-TF [22] 31.01 0.947 0.081NeRF-TF(不含目录)JaxNeRF [5] 31.65 0.952 0.051在外推的视点下生成更平滑的渲染。RA会产生伪影,如轻微的凹凸表面和白噪声。RRC可以解决RA引起的问题。姿势距离。我们研究了我们的方法的鲁棒性姿势距离。我们首先在图5中展示了通过不同SOTA方法获得的“?PSNR与SO(3)姿态距离在这里,我们通过计算整个MobileObject数据集中每个测试图像的PSNR得分和SO(3)姿态距离(Dy)来绘制曲线。我们还在表5中使用不同的测试分割与NeRF进行了比较。具体来说,对于MobileObject中的每个对象,我们将其测试和丢弃的图像(在图1中标记为“蓝色”和“灰色”)组合在一起然后,我们计算这些图像与基于Eqn的训练集之间的距离。6,并将它们重新分成三个不相交的集合。从图5和表5中可以看出,随着Dy变大,比较方法的性能急剧下降。值得一提的是,对于"关闭因此,NeRF在PSNR上只能达到26.23也就不足为奇了。幸运的是,RapNeRF即使在"远”设置下也能产生稳定的PSNR。RapNeRF可以在这些具有挑战性的情况下生成视觉上吸引人的渲染,但其他方法会产生严重的伪影。n在RRC中。我们的随机射线投射(RRC)政策允许伪标签分配随机生成的虚拟射线在训练过程中。我们在球面空间中的射线向量中引入方位随机性θ和仰角随机性θ。这里,从预定义的间隔[η,η]均匀地采样Δ θ和Δ θ。我们在表3中给出了不同高度阈值η的颅骨的定量结果。选择η= 30μm,表4.新颖的视图插值。JaxNeRF是Jax NeRF的实现。NeRF-TF是官方的Tensorflow NeRF实现。RapNeRF通过Pytorch-Lightning实现。最好的表现。当η大于30μ m时,图像质量略有下降。 一个可能的原因是RRC没有考虑对象的自遮挡5. 限制由于我们的关键见解是多视图一致性,RapNeRF将牺牲新视图插值的视图相关效应,以确保新视图外推的更好性能。我们认为这是可以接受的应用程序,如6自由度沉浸式观看和下一代AR/VR系统。具体地,当展示对象时,人不喜欢在非常高频率的照明条件下捕捉 它 。 此 外 , 像 重 新 照 明 这 样 的 研 究 可 能 会 从RapNeRF中获得一些灵感,因为它们需要从物体的基色中分解视图相关效果对于纯视图合成,我们通过利用SNeRG [9]中的延迟NeRF架构特别是3.1)和其对应的方向嵌入到镜面颜色 。我们 删除了RRC中的 方向嵌入 ,并强 制RapNeRF只学习漫射颜色。3D点的颜色(或辐射)现在通过添加其漫反射颜色和镜面反射颜色来计算。我们将这种变体称为RapNeRF。如表1所示,与RapNeRF相比,RapNeRF†造成了约1dB的质量损失,但在MobileObject(真实场景)上仍优于其他方法。其他-RapNeRF-PL30.080.9490.067SNeRG-Jax [9]30.470.9510.049研究结果见图6。 我们发现,相比之RapNeRF†-PL31.290.9510.055与RA,RRC烘烤更多的灯光效果,但它会18383图6.我们可视化所提出的随机射线投射(RRC)政策和射线图谱(RA)的影响。我们可以发现,(1)用RRC或RA微调NeRF可以很好地解决伪影问题;以及(2)RA和RRC彼此兼容密切中间远方法PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓NeRF [22]26.230.9600.07523.420.9440.09522.510.9390.099[17]第十七话27.460.9580.04726.910.9550.05025.710.9380.603RapNeRF†30.240.9680.04128.310.9580.04927.420.9550.052RapNeRF30.880.9690.03729.060.9630.04428.740.9630.045表5.视点距离。我们进一步将每个对象的测试图像和丢弃图像(标记为“蓝色”和“灰色”)基于等式(1)分成三个不相交的子集。六、当训练图像和测试图像之间的视点距离变大时,NeRF [22]的性能急剧下降。RapNeRF在每种设置下都能产生一致的有希望的分数。结果见表5和图5。此外,RapNeRF可以被视为训练具有RRC和RA的延迟NeRF变体[9这进一步表明RRC和RA可以灵活地集成到其他NeRF中,以提高其新视图探索能力。在表4中,我们在标准NeRF blender数据集上评估了RapNeRF和RapNeRF†与JaxNeRF相比,RapNeRF的质量损失为1.6dBRapNeRF可以通过隐藏物体表面内的一些反射内容来伪造视图相关效果,如[ 9 ]中所分析的此外,RapNeRF†不会降低SNeRG用于新视图插值的性能6. 结论在本文中,我们研究了神经辐射场(NeRF)的新的视图外推的测试观点是显着不同的训练观点。我们发现NeRF [22]经常在外推视点下产生低质量的渲染,其中有许多伪影,即使是训练图像也可以很好地描述场景。我们接受-启发的洞察,3D表面它是由随机射线投射(RRC)和射线图谱(RA)授权。前者允许以在线方式对不可见视图进行伪监督,后者谨慎地重新考虑强视图依赖效应和多视图一致渲染之间的我们为我们研究的设置重建了Synthetic-NeRF [22],并构建了一个包含八个具有真实图像的对象的MobileObject数据集。与NeRF及其最新变体的比较表明RapNeRF用于新视图外推的优越性。在未来,我们希望研究神经辐射场重建稀疏多视图图像。确认这项工作得到了阿里巴巴集团通过阿里巴巴创新研究计划的部分支持。这项工作是在张元庆在阿里巴巴集团实习时完成的18384引用[1] Jonathan T Barron,Ben Mildenhall,Matthew Tancik,Peter Hedman , Ricardo Martin-Brualla , and Pratul PSrinivasan. Mip-nerf:抗混叠神经辐射场的多尺度表示。arXiv预印本arXiv:2103.13415,2021。2[2] SaiBi,ZexiangXu,KalyanSunkav alli,MilosHavana ,Yan-nick Hold-Geoffroy,David Kriegman,and Ravi Ramamoor-thi. 深反射体积:来自多视图光度图像的可靠反射。arXiv预印本arXiv:2007.09892,2020。2[3] Mark Boss,Raphael Braun,Varun Jampani,Jonathan TBarron,Ce Liu,and Hendrik Lensch.书呆子:神经反射分解从图像收集. arXiv预印本arXiv:2012.03918,2020。2[4] Anpei Chen , Zexiang Xu , Fuqiang Zhao , XiaoshuaiZhang,Fanbo Xiang,Jingyi Yu,and Hao Su.Mvsnerf:Fast generalizable radiance field reconstruction from multi-view stereo.arXiv预印本 arXiv :2103.15595 ,2021。1、6[5] 放 大 图 片 作 者 : Jonathan T. Barron , and Pratul P.Srinivasan. JaxNeRF:NeRF的高效JAX实现,2020。7[6] EmilienDupont 、 MiguelBautistaMartin 、 AlexColburn、Aditya Sankar、Josh Susskind和Qi Shan。等变神经渲染。国际机器学习会议,第2761±2770页。PMLR,2020年。2[7] GuyGafni , JustusThies , MichaelZollhoBagheferr ,andMatthiasNiegner.用于单目4d面部化身重建的动态arXiv预印本arXiv:2012.03065,2020。2[8] Stephan J Garbin,Marek Kowalski,Matthew Johnson,Jamie Shotton , and Julien Valentin.Fastnerf : 200fps 的arXiv预印本arXiv:2103.10380,2021。2[9] Peter Hedman , Pratul P Srinivasan , Ben Mildenhall ,Jonathan T Barron,and Paul Debevec.烘焙神经辐射场用于实时视图合成。2021年。一、二、四、五、七、八[10] Jingwei Huang , Justus Thies , Angela Dai , AbhijitKundu , Chiyu Jiang , Leonidas J Guibas , MatthiasNiefenner,Thomas Funkhouser,et al. Adversarial textureoptimization from rgb-d scans.在IEEE/CVF计算机视觉和模式识别集,第1559± 1568页,2020年。第1、3条[11] Ajay Jain Matthew Tancik和Pieter Abbeel。把nerf放在一个饮食:语义一致的少数镜头视图合成。arXiv预印本arXiv:2104.00677,2021。一、二[12] Rasmus Jensen,Anders Dahl,George Vogiatzis,EnginTola,and Henrik Aanñs.大比例尺多视立体视觉评价。在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议 论 文 集 , 第406±413页,2014年。6[13] Adam R Kosiorek , Heiko Strathmann , Daniel Zoran ,PolMoreno , RosaliaSchneider ,SonZahaMokra ,andDaniloJ Rezaran.Nerf-vae:一个几何感知的3D场景生成模型。arXiv预印本arXiv:2104.00587,2021。2[14] 林振轩,马伟秋,安东尼奥·托拉尔巴,西蒙·露西。呕 吐 : 束 调 节 神 经 辐 射 场 。arXiv 预 印 本 arXiv :2104.06405,2021。2[15] Chen-Hsuan Lin , Oliver Wang , Bryan C Russell , EliShecht-man , Vladimir G Kim , Matthew Fisher , andSimon Lucey.视频对齐三维物体重建的光度网格优化。在IEEE/CVF计算机视觉和模式识别会议论文集,第969± 978页,2019年。第1、3条[16] David B Lindell ,Julien NP Martel ,Gordon Wetzstein.Autoint:自动集成快速神经体积渲染。arXiv预印本arXiv:2012.01714,2020。2[17] Lingjie Liu , Jiatao Gu , Kyaw Zaw Lin , Tat-SengChua,and Christian Theobalt.神经稀疏体素场。神经IPS,2020年。一二四五六八[18] Stephen Lombardi 、 Tomas Simon 、 Jason Saragih 、Gabriel Schwartz、Andreas Lehrmann和Yaser Sheikh。Neural volume- umes : Learning dynamic renderablevolumes from images.ACM Trans.Graph. ,38(4):65:1±65:14,2019年7月1[19] Stephen Lombardi、Tomas Simon、Gabriel Schwartz 、Michael Zollhoefer、Yaser Sheikh和Jason Saragih。混合体基元以实现高效的神经渲染。arXiv预印本arXiv:2103.01954,2021。2[20] Quan Meng,Anpei Chen,Haimin Luo,Minye Wu,Hao Su,Lan Xu,Xuming He,and Jingyi Yu. Gnerf:基于Gan的神经辐射场,无需设置摄像头。arXiv预印本arXiv:2103.15606,2021。2[21] Moustafa Meshry 、 Dan B Goldman、 Sameh Khamis 、Hugues Hoppe、Rohit Pandey、Noah Snavely和RicardoMartin- Brualla。在野外进行神经再生。在IEEE/CVF计算机视觉和模式识别会议论文集,第6878±6887页,2019年。1[22] 放大图片作者:Ben Mildenhall,Pratul P. Srinivasan,Matthew Tancik,Jonathan T. Barron,Ravi Ramamoorthi和Ren Ng. Nerf:将场景表示为用于视图合成的神经辐射场。在ECCV,2020年。一、二、四、五、七、八[23] Thomas Neff , Pascal Stadlbauer , Mathias Parger ,Andreas Kurz , Chakravarty R Alla Chaitanya , AntonKaplanyan , and Markus Steinberger. Donerf : Towardsreal-time rendering of neural radiance fields using depthoracle networks. arXiv 预 印 本 arXiv : 2103.03231 ,2021。2[24] MichaelNiemeyer , JonathanTBarron, BenMildenhall , Mehdi SM Sajjadi , Andreas Geiger , andNoha Radwan.Reg-nerf:正则化神经辐射场,用于稀疏输入的视图合成.arXiv预印本arXiv:2112.00724,2021。2[25] Michael Niemeyer和Andreas Geiger。Giraffe:将场景表示 为 合 成 生 成 神 经 特 征 场 。arXiv 预 印 本 arXiv :2011.12100,2020。2[26] Michael Niemeyer、Lars Mescheder、Michael Oechsle和Andreas Geiger。差分体绘制:学习隐式3D表示没有3D监督。在IEEE/CVF计算机视觉和模式识别会议论文集,第3504±3515页,2020年。4[27] Atsuhiro Noguchi,Xiao Sun,Stephen Lin,and TatsuyaHarada. 神 经 连 接 辐 射 场 。 arXiv 预 印 本 arXiv :2104.03110,2021。218385[28] 作 者 : Kunhong Park , Utkarsh Sinha , Jonathan T. 巴伦,索菲安·布阿齐兹,丹·戈德曼,史蒂文·塞茨和里卡多·马丁-布鲁阿拉。可变形神经辐射场。arXiv预印本arXiv:2011.12948,2
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- BSC关键绩效财务与客户指标详解
- 绘制企业战略地图:从财务到客户价值的六步法
- BSC关键绩效指标详解:财务与运营效率评估
- 手持移动数据终端:常见问题与WIFI设置指南
- 平衡计分卡(BSC):绩效管理与战略实施工具
- ESP8266智能家居控制系统设计与实现
- ESP8266在智能家居中的应用——网络家电控制系统
- BSC:平衡计分卡在绩效管理与信息技术中的应用
- 手持移动数据终端:常见问题与解决办法
- BSC模板:四大领域关键绩效指标详解(财务、客户、运营与成长)
- BSC:从绩效考核到计算机网络的关键概念
- BSC模板:四大维度关键绩效指标详解与预算达成分析
- 平衡计分卡(BSC):绩效考核与战略实施工具
- K-means聚类算法详解及其优缺点
- 平衡计分卡(BSC):从绩效考核到战略实施
- BSC:平衡计分卡与计算机网络中的应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)