基于点的神经辐射场: 连续辐射体积的高质量渲染

5438×Point-NeRF：基于点的神经辐射场徐千庚1<$徐泽祥2朱利安菲利普2赛毕2志新舒2Kalyan Sunkavalli2乌尔里希诺依曼11南加州大学2Adobe Research{qiangenx，uneumann} @ usc.edu{ zexu，juphilip，sbi，zshu，sunkaval} @ adobe.com图1. Point-NeRF使用神经3D点来有效地表示和渲染连续辐射体积。基于点的辐射场可以通过网络前向推理从多视点图像预测然后可以针对每个场景进行优化，以在数十分钟内实现超过NeRF [34]的重建质量Point-NeRF还可以利用现成的重建方法，如COLMAP [42]，并且能够执行点修剪和生长，自动修复这些方法中的漏洞和离群值。摘要体积神经渲染方法（如NeRF [34]）生成高质量的视图合成结果，但每个场景都进行了优化，导致重建时间过长。另一方面，深层多视点立体方法可以通过直接网络干涉快速重建场景几何。Point-NeRF通过使用具有关联神经特征的神经3D点云来对辐射场进行建模，从而结合了这两种方法的优点。在基于光线推进的绘制流水线中，通过聚集场景表面附近的神经点特征，可以有效地绘制此外，Point-NeRF可以通过预训练的深度网络的直接推理来初始化，以产生神经点云;这个点云可以被微调到超过NeRF的视觉质量，训练时间快30。Point-NeRF可以与其他3D重建方法相结合，并通过一种新的修剪和生长机制来处理这些方法中的错误和离群值1. 介绍从图像数据中建立真实场景模型，绘制具有照片般真实感的新视图是计算机视觉和图形学的核心问题。NeRF [34]及其扩展†这项工作部分是在Adobe Research实习期间完成的。代码和结果：xharlie.github.io/projects/project sites/pointnerf.[28，31，58]通过对神经辐射场进行建模，在这方面取得了巨大成功。这些方法[34，37，58]通常通过射线行进使用整个空间的全局MLP来重建辐射场。这导致长的recruitc- tion时间，由于缓慢的每个场景的网络拟合和不必要的采样巨大的空白空间。我们使用Point-NeRF来解决这个问题，Point-NeRF是一种新颖的基于点的辐射场表示，其使用3D神经点来对连续体积辐射场进行建模不像纯粹依赖于每个场景拟合的NeRF，Point- NeRF可以通过前馈深度神经网络有效地初始化，跨场景进行预训练此外，Point-NeRF通过利用近似实际场景几何形状的经典点云来避免在空场景空间中进行光线采样。Point-NeRF的这一优势导致比其他神经辐射场模型更有效的重建和更准确的渲染[8，34，50，57]。我们的Point-NeRF表示由具有每点神经特征的点云组成：每个神经点对局部3D场景几何形状和其周围的外观进行编码。现有的基于点的渲染技术[2]使用类似的神经点云，但是使用光栅化和在图像空间中操作的2D CNN来执行渲染。相反，我们将这些神经点视为3D中的局部神经基函数，以模拟连续的体积辐射场，从而使用可微分光线行进实现高质量的渲染在5439特别地，对于任何3D位置，我们建议使用MLP网络来聚合其邻域中的神经点，以回归该位置处的体积密度和视相关辐射。这表示连续的辐射场。我们提出了一个基于学习的框架，有效地初始化和优化基于点的辐射场。为了生成初始场，我们利用深度多视图立体（MVS）技术[54]，即，应用基于成本-体积的网络来预测深度，然后将其不投影到3D空间。此外，训练深度CNN以从输入图像中提取2D这些来自多个视图的神经点被组合为神经点云，其形成场景的基于点的辐射场。我们使用基于点的体绘制网络对该点生成模块进行端到端的训练，以绘制新视图图像并使用地面真实值对其进行监控。这导致一个generalizable模型，可以直接预测一个基于点的辐射场在推理时间。一旦预测，初始的基于点的字段在短时间内每个场景进一步优化，以实现照片般逼真的渲染。如图1（左），使用Point-NeRF优化21分钟比经过数天训练的NeRF模型更好。除了使用内置的点云重建，我们的方法是通用的，也可以生成一个辐射场的基础上的点云的其他重建技术。然而，在实践中，由COLMAP [42]等技术产生的重建点云包含对最终渲染产生不利影响的为了解决这个问题，我们引入点生长和修剪作为我们的优化过程的一部分。我们在体绘制[13]期间利用几何该机制有效地提高了我们的最终重建和渲染质量。我们在图中显示了一个例子。1（右），我们将COLMAP点转换为辐射场，并成功地填充了大洞并生成了照片级逼真的渲染。我们在DTU数据集[17]上训练我们的模型，并在DTU测试场景，NeRF合成，Tanks Temples [22]和ScanNet [11]场景上进行评估。结果表明，我们的方法可以实现最先进的新颖视图合成，优于许多现有技术，包括基于点的方法[2]，NeRF，NSVF [28]和许多其他通用方法。可量化的神经方法[8，50，57]（见（表1）。1和2））。2. 相关工作场景表示。传统和神经方法研究了许多3D场景表示，包括卷[18，24，40，44，52]，点云[1，39，48]，网格[19，49]，深度图[16，27]和隐式函数[9，32，36，55]，在各种视觉和图形应用中。最近，各种神经场景表征已经被预先研究。sented [4，29，45，61]，推进了新颖视图合成和逼真渲染的技术水平，体积神经辐射场（NeRF）[34]产生高保真度结果。NeRF通常被重构为对整个场景空间进行编码的全局MLP [34，37，58];当重构复杂和大规模场景时，这可能是低效和昂贵的。相反，Point-NeRF是一种局部化的神经表示，将体积辐射场与典型地用于近似场景几何的点云相结合。 我们分布细粒度的神经点来模拟复杂的局部场景几何形状和外观，从而获得比NeRF更好的渲染质量（见图2）。6、7）。具有每体素神经特征的体素网格[8，15，28]也是局部神经辐射表示。然而，我们基于点的表示更好地适应实际表面，从而获得更好的质量。此外，我们直接预测良好的初始神经点特征，绕过大多数基于体素的方法所需的逐场景优化[15，28]。多视图重建和渲染。多视图3D重建已被广泛研究，并通过许多运 动 恢复结 构 [41，46，47]和多视图立体技术[10，14，24，42，54]。点云通常是MVS或深度传感器的直接输出，尽管它们通常被转换为网格[20，30]用于渲染和可视化。网格化可能会引入错误，并且可能需要基于图像的渲染[6，12，60]以实现高质量渲染。相反，我们直接使用深MVS的点云来实现逼真的渲染。点云已广泛用于渲染，其中通过基于光栅化的点溅射，甚至不同的光栅化模块[25，51]。然而，重建的点云往往有洞和离群点，导致在渲染的文物基于点的神经渲染方法通过溅射神经特征并使用2D CNN来渲染它们来解决这个问题[2，23，33]。相比之下，我们的基于点的方法利用3D体绘制，导致显着更好的结果比以前的基于点的方法。神经辐射场。NeRFs [34]已经证明了新颖视图合成的高质量结果。它们已经扩展到实现动态场景捕捉[26，38]，重新照明[3，5]，外观编辑[53]，快速渲染[15，56]和生成模型[7，35，43]。怎么-然而，大多数方法[3，26，38，53]仍然遵循原始的NeRF框架，并训练每个场景的MLP来表示辐射场。我们利用神经点的空间变化的神经功能在一个场景中编码的辐射场。这种局部化的表示方法比网络容量有限的纯MLP可以模拟更复杂的场景内容。更重要的是，我们表明，我们的基于点的神经场可以通过预训练的深度神经网络有效地初始化，该网络可以在场景中泛化，并导致高效的辐射场重建。先前的工作也提出了可推广的辐射场-5440−ΣΣ{|}Σi我∈我我我如果是，基于方法。PixelNeRF [57]和IBRNet [50]在每个采样射线点处聚合多视图2D图像特征，以回归辐射场渲染的体积渲染属性。相比之下，我们利用场景表面周围的3D神经点中的特征这避免了在巨大的空白空间中采样点，并导致比PixelNeRF和IBRNet更高的渲染质量和更快的辐射场重建。MVSNeRF [8]可以实现非常快速的基于体素的辐射场重建。然而，它的预测网络需要固定数量的三个小基线图像作为输入，因此只能有效地重建局部辐射场。我们的方法可以融合神经点从任意数 量 的 意 见 ， 并 实 现 快 速 重 建 完 整 的 360 辐 射 场MVSNeRF不能支持。3. 点NeRF表示我们提出了我们的新的基于点的辐射场表示，旨在有效的重建和渲染（见图。第2段（b）分段）。我们先做一些准备。体绘制和辐射场。基于物理的体绘制可以通过不同的方法进行数值评估。从其相邻神经点计算x为：（σ，r）=点NeRF（x，d，p1，f1，γ1，.， pK，fK，γ K）。（ 二）我们使用类似PointNet [39]的神经网络，具有多个子MLP，来进行这种回归。总体而言，我们首先对每个神经点进行神经处理，然后聚合多点信息以获得最终估计。逐点处理。我们使用MLPF来处理每个相邻神经点，以通过以下方式预测阴影位置x的新特征向量fi ， x=F （ fi ， x− pi ） .（3）本质上，原始特征fi对pi周围的局部3D场景内容进行编码。这个MLP网络表达了一个输出特定神经场景的本地3D功能，scriptionf i，xat x，由其局部框架中的神经点建模。相对位置x p的使用使得网络对于点平移不变性以更好地泛化。视相关辐射回归。 我们使用标准的反向距离加权来聚合从这K个相邻点回归的神经特征fi，x，以获得描述x处的场景外观的单个特征f x：光线行进具体地，在{x}处的M个着色点J| j = 1,..., M}，并且fx=Wiwi，x其中w1=.（四）p−x使用体积密度累积辐射率，如：然后，MLP，R，从该特征在给定观看方向d：c=τj（1 −exp（−σj<$j）） rj，Mr=R（fx，d）。（五）在这里，j−1τ j= exp（− σ t <$t）。t=1表示体积透射率;σjRJ（一）是反距离权Wi广泛应用于散乱数据插值;我们利用它来聚集神经特征，使得更近的神经点对着色计算贡献更多。此外，我们还使用了单点控制器，对于xj处的每个阴影点j的体积密度和辐射率，是相邻着色采样之间的距离辐射场表示在任何3D位置处的体积密度σ和视相关辐射率r。NeRF [34]提出使用多层感知器（MLP）来回归这样的辐射场。我们提出了Point-NeRF，它利用神经点云来计算体积属性，从而实现更快和更高质量的渲染。基于点的辐射场。我们表示一个神经点云fidenceγ在这个过程中;这在具有稀疏性损失的最终重构中被优化，给予网络拒绝不必要点的灵活性。密度回归为了计算x处的体积密度σ，我们遵循类似的多点聚集。然而，我们首先使用MLPT回归每个点的密度σi，然后进行基于距离的逆加权，由下式给出σi=T（fi，x）（6）通过P=（pi，fi，γ i）i= 1，.，N，其中每个点i位于p i处并且与神经特征向量fi相关联对本地场景内容进行编码。我们还分配每个Wσ=σi γiw，wi=p1.（七）-x点缩放置信度值γi[0，1]，表示该点位于实际场景表面附近的可能性。我们从这个点云回归辐射场给定任何3D位置x，我们查询它周围一定半径R内的K个相邻神经点。我们的基于点的辐射场可以被抽象为一个神经模块，该神经模块在任何阴影位置处回归体积密度σ和视相关辐射率r（沿任何观察方向d我我我5441因此，每个神经点直接贡献于体积密度，点置信度γi与此贡献明确相关我们在点移除过程中利用这一点4.2）。讨论与以前的基于神经点的方法[2，33]不同，这些方法先对点特征进行渲染，然后用2D CNN进行渲染，我们的表示和渲染完全是3D的。通过使用近似于5442--(a) 神经点生成。（b）具有体绘制的点NeRF表示。图2. Point-NeRF概述。(a)从多视图图像中，我们的模型通过使用基于成本体积的3D CNNGp，γ为每个视图生成深度，并通过2DCNNGf从输入图像中提取2D特征。 在聚合深度图之后，我们获得基于点的辐射场，其中每个点具有空间位置pi、置信度γi和未投影图像特征fi。（b）为了合成新颖的视图，我们进行可微射线行进并仅计算神经点云附近的阴影（例如，xa，xb，xc）。在每个着色位置，Point-NeRF聚合来自其K个神经点邻居的特征，并计算辐射率r和体积密度σ，然后使用σ累积r。整个过程是端到端可训练的，并且可以利用渲染损失来优化基于点的辐射场。场景几何，我们的表示自然，有效地适应场景表面，避免采样阴影位置在空的场景空间。对于每条光线上的阴影点，我们实现了一个高效的算法来查询相邻的神经点;详情见补充材料。4. NeRF点重建我们现在介绍我们的管道，有效地重建基于点的辐射场。 我们首先利用在场景中训练的深度神经网络，通过直接网络推理生成初始的基于点的场（第二节）。4.1）。该初始场通过我们的点生长和修剪技术进一步优化每个场景，从而实现最终的高质量辐射场重建（第二节）。4.2）。图. 图3示出了该工作流程，其具有用于初始预测和每个场景优化的相应梯度更新图3.虚线指示用于辐射场初始化和每场景优化的梯度更新。4.1. 生成初始的基于点的辐射场给定一组已知图像 I1，...，IQ 和点云，我们的Point-NeRF表示可以通过优化随机初始化的每点神经特征和具有渲染损失的MLP（类似于NeRF）来重建然而，这种纯粹的每场景优化依赖于现有的点云，并且可能非常慢。因此，我们提出了一个神经生成模块，通过前馈神经网络预测所有神经点的属性，包括点的位置pi，神经特征fi和点的置信度γi，以实现有效的重建。直接输入-网络的参考输出良好的基于初始点的辐射场。然后可以微调初始字段以实现高质量渲染。在很短的时间内，渲染质量更好或与NeRF相当，后者需要更长的时间来优化（见表1）。1和2）。点的位置和信心。我们利用深度MVS方法使用基于成本体积的3D CNN生成3D点位置[10，54]。这样的网络产生高质量的稠密几何结构，并且在不同的域上具有很好的推广性对于在视点q处具有相机参数Φq的每个输入图像Iq，我们遵循MVSNet [16]，首先通过扭曲来自相邻视点的2D图像特征来构建平面扫描成本体积，然后使用深度3D CNN回归深度概率体积。通过线性组合由概率加权的每平面深度值来计算深度图我们将深度图未投影到3D空间以获得点云p1，...，pNq per view q.由于深度概率描述了点在表面上，我们对深度概率体积进行三线性采样，以获得每个点pi处的点置信度γi。上述过程可以表示为：{pi，γ i}= Gp，γ（Iq，Φq，Iq1，Φq1，Iq2，Φq2，. ），（8）其中，Gp，γ是基于MVSNet的网络。I q1，Φq1，. 是在MVS再现中使用的附加相邻视图;在大多数情况下，我们使用两个附加视图。点要素。我们使用2D CNNGf从每个图像Iq中提取神经2D图像特征映射。这些特征图与来自Gp，γ的点（深度）预测对齐，并且用于直接预测每点特征fi，如下：{fi}= G f（I q）.（九）特别是，我们使用的VGG网络架构Gf具有三个下采样层。我们结合中间的功能，在不同的分辨率为fi，提供了一个有意义的点描述模型多尺度场景外观。(See图2（a））5443J稀疏L LL|γ|我我端到端重建。我们将来自多个视点的点云组合在一起，以获得最终的神经点云。我们训练点生成网络和表示网络，从端到端都有渲染损失（见图1）。（3）第三章。这使得我们的生成模块能够产生合理的初始辐射场。它还使用合理的权重初始化Point-NeRF表示中的MLP，从而显著节省了每个场景的拟合时间。此外，除了使用完整的生成模块，我们的管道还支持使用点云重建，基于由我们的Point-NeRF表示建模的局部场景几何的点云边界特别地，我们利用等式（1）中的每射线着色位置（x，j）。1）在射线行进中采样以识别新的点候选。具体来说，我们确定沿光线具有最高不透明度的着色位置xjgαj=1−exp（−σj<$j），jg=ar gmaxαj。（十一）我们计算xjg到对于行进射线，我们在xjg处生长神经点，如果从其他方法（如COLMAP [42]）构造，其中αjg > T不透明度和Δg> T区 这意味着当地人--我们的模型（不包括MVS网络）仍然可以为每个点提供有意义的初始神经特征。详情请参阅我方补充资料4.2. 优化基于点的辐射场该流水线可以为新场景输出合理的初始点辐射场通过可重构的射线行进，我们可以通过优化神经点云（点特征fi和点置信度γi）和我们表示的MLP来进一步改善辐射场，用于该特定场景（见图11）。（3）第三章。初始点云，特别是来自外部重建方法的点云（例如，Metashape或图中的COLMAP。1），通常可以包含降低渲染质量的孔和离群值在每场景优化过程中，为了解决这个问题，我们发现直接优化现有点的位置会使训练不稳定，并且无法填充大的空洞（参见1）。相反，我们采用新的点修剪和增长技术，逐步提高几何建模和渲染质量。点修剪。如在第二节介绍。3中，我们设计了描述神经点是否靠近场景表面的点置信度值γi我们利用这些置信度值来修剪不必要的离群点。请注意，点置信度与体积密度回归中的每点贡献直接相关（公式10）。因此，低置信度反映了点的局部区域中的低体积密度，指示其为空。因此，我们修剪具有γ i<0的点。每10K次迭代1次我们还对点置信度施加稀疏损失[29]：它位于表面附近，但远离其他神经点。通过重复这种增长策略，我们的辐射场可以扩展到覆盖初始点云中的缺失区域。 点增长特别有利于通过COLMAP等方法重建的点云，这些方法并不密集（见图1）。4）.我们表明，即使在只有1000个初始点的极端情况下，我们的技术也能够逐步增长新的点，并合理地覆盖物体表面（见图11）。（五）。5. 实现细节网络详细信息。我们对每点处理网络Gf的相对位置和每点特征以及网络R的观看方向应用频率位置编码。我们从网络Gf中的三个不同分辨率的层中提取多尺度图像特征，得到具有56（8+16+32）个通道的向量。我们还附加了来自每个输入视点的相应观看方向，以处理视图相关的影响。因此，我们最终的每点神经特征是一个59通道向量。请参考我们的补充材料，了解着色过程中网络架构和神经点查询的详细信息。训练和优化细节。我们在DTU数据集上训练我们的完整管道，使用与PixelNeRF和MVSNeRF相同的训练和测试分割。我们首先使用与原始MVSNet页面类似的地面真实深度来预训练基于MVSNet的深度生成网络[54]。然后，我们从端到端训练我们的完整管道纯粹用L2渲染损失L渲染，监督我们的租金-L=1<$[log（γ）+log（1−γ）]（10）γi来自光线行进的有序像素（经由等式（1）与地面真相，以获得我们的Point-NeRF重建网络。我们这迫使置信度值接近于零或者一个如图4、这种剪枝技术可以去除离群点，减少相应的伪影。点增长。 我们还提出了一种新的技术来增长新的点，以覆盖丢失的场景几何在原始点云中。与直接利用来自现有点的信息的点修剪不同，生长点需要在没有点存在的空区域中恢复信息 我们通过逐步增加点来实现这一点使用Adam [21]优化器训练我们的完整管道，初始学习率为5e-4。我们的前馈网络需要0。2s从三个输入视图生成点云在逐场景优化阶段，我们采用损失函数，结合了渲染和稀疏性损失opt=render+asparse，（ 12）其中我们在所有实验中使用a= 2e −3。我们每10K次迭代执行点生长和修剪，以实现最终的高质量重建。5444200KPixelNeRF无逐场景优化[五十七] MVSNeRF [8] IBRNet[50]我们我们的一千我们的10公里按场景优化MVSNeRF 10 KIBRNet10KNeRF200kPSNR↑SSIM↑LPIPSV gg↓时间↓19.310.7890.382-26.630.9310.168-26.040.9170.190-23.890.8740.203-28.430.9290.1832min30.120.9570.11720min28.500.9330.17924min31.350.9560.1311h27.010.9020.26310h表1.我们的Point-NeRF与基于辐射的模型[28，31，50]和基于DTU数据集[17]的基于点的渲染模型[2]的比较[8]中引入了新的视图合成设置下标表示优化过程中的迭代次数NPBG [2]NeRF [31]IBRNet [50]NSVF [28]波因特-内夫山口200KPoint-NeRF20KPoint-NeRF200KPSNR↑SSIM↑LPIPSV gg↓LPIPSAlex↓24.560.9230.1090.09531.010.9470.081-28.140.9420.072-31.750.964-0.04731.770.9730.0620.04030.710.9670.0810.05033.310.9780.0490.027表2.Point-NeRF与基于辐射的模型[28，31，50]和基于点的渲染模型[2]在Synthetic-NeRF数据集[31]上的比较下标表示迭代次数。我们的模型不仅在200K步（Point-NeRF200 K）后收敛时超过其他方法，而且在仅优化20 K步（Point-NeRF 20 K）时超过IBRNet [50]并与NeRF [34]相当。我们的方法还可以初始化辐射场的基础上重建的点云的方法，如COLMAP（点NeRF的科尔）。6. 实验6.1. DTU测试集的评价。我们在DTU测试集上评估我们的模型。我们从直接网络推断和每个场景的微调优化中产生新颖的视图合成，并将其与以前的最先进方法（包括PixelNeRF[57]，IBRNet [50]，MVSNeRF [8]和NeRF）进行[34]。 IBRNet和MVSNeRF使用类似的每场景微调;我们用10 k次迭代来微调所有方法以用于比较。此外，我们展示了我们的结果，只有1k迭代证明优化效率。选项卡. 图1示出了所有方法的定量结果与PSNR、SSIM和LPIPS;定性渲染结果如图所示。六、我们可以看到，在10k次迭代后，我们的微调结果实现了最佳SSIM和LPIPS [59]，这是三个指标中的两个。这些显著优于MVSNeRF和NeRF。虽然IBRNet产生的PSNR略好，但我们的最终渲染实际上恢复了更准确的纹理细节和高光，如图所示六、另一方面，IBRNet的微调也更昂贵，需要1个小时-比我们的相同版本长5倍。这是因为IBRNet利用了一个大型的全局CNN，而Point-NeRF利用了具有更容易优化的小MLP的局部点特征。更重要的是，我们的神经点位于实际场景表面附近，从而避免了在空的空间中采样光线点。除了优化结果之外，从我们的网络估计的初始辐射场明显优于PixelNeRF。在这种情况下，我们的直接推理比IBRNet和MVSNet更差，主要是因为这两种方法使用了更复杂的基于方差的特征提取。我们的点特征是从一个简单的VGG网络中提取的。PixelNeRF中使用了相同的设计;由于我们的新颖性，我们取得了比PixelNeRF更好的结果。基于点的曲面自适应表示。虽然IBRNet中更复杂的特征提取器可能会提高质量，但它会增加内存使用和训练效率的负担。更重要的是，我们的生成网络已经提供了高质量的初始辐射场，以支持有效的优化。我们表明，即使2分钟/1 K迭代的微调，我们的方法导致非常高的视觉质量相比，MVS-NeRF的最终10 k迭代结果。这清楚地证明了我们的方法的高重建效率。6.2. NeRF合成数据集的评价。虽然我们的模型纯粹是在DTU数据集上训练的，但我们的网络可以很好地推广到具有完全不同相机分布的新数据集。我们在NeRF合成数据集上证明了这样的结果，并与图中具有定性结果的其他方法进行了比较。7和定量结果见表。二、我们比较了基于点的渲染模型（NPBG）[2]、可推广的辐射场方法（IBRNet）[50]和每场景辐射场重建技术（NeRF和NSVF）[28，34]。与一般化方法的比较。与IBRNet相比，据我们所知，IBRNet是最好的基于NeRF的可推广模型，可以处理任意数量的自由视点渲染。请注意，此数据集具有360◦相机分布，比DTU数据集宽得多。在这种情况下，无法应用像MVSNeRF这样的方法，因为它从三个输入图像中恢复局部透视平截头体体积，这无法覆盖整个360°视角范围。因此，我们与IBRNet进行了比较，并在本实验中重点研究了每个场景优化后的最终结果。我们使用他们发布的模型来产生结果。我们在20 k迭代（Point-NeRF20K）的结果已经超过了IBR-Net5445×IPS;我们还实现了渲染质量与更好的几何和纹理细节，如图所示。7 .第一次会议。与纯逐场景方法的比较。我们在20K次迭代后的结果在数量上非常接近NeRF从视觉上看，我们的模型在20K迭代时在某些情况下已经有了更好的渲染，例如，图中的榕树场景（第四行）。7.第一次会议。Point-NeRF20K优化仅需40分钟，比NeRF的20多小时优化时间至少快30NSVF将我们的模型优化为200K直到收敛，可以得到比NeRF、NSVF和所有其他比较方法更好的结果。如图7、我们的200K结果包含了最多的几何和纹理细节。由于点生长技术，我们的方法是唯一一种可以完全恢复细节的方法，例如船舶场景（第2行）中的细绳结构。与基于点的渲染的比较我们的结果是显着优于以前的国家的最先进的基于点的渲染方法。我们使用基于MVSNet的网络生成的相同点云运行NPBG [2然而，NPBG只能产生模糊的渲染结果与其光栅化和2D CNN框架。相反，我们利用体绘制技术与神经辐射场，导致照片般逼真的结果。6.3. 对Tanks Temples和ScanNet数据集的评估。我们比较了Point-NeRF与NSVF在Tanks Temples和Tab中的ScanNet数据集上的结果。3 .第三章。 请参阅补充材料以了解更多比较。[22]第二十二话[第11话]NSVF [28]28.40 / 0.900 /0.15325.48 / 0.688 /0.301Point-NeRF29.61/0.954/0.08030.32/0.909/0.220表3. Tanks Temples和ScanNet数据集上的定量结果（PSNR /SSIM / LPIPSAlex6.4. 额外的实验。将COLMAP点云转换为Point-NeRF除了使用我们的完整管道外，Point-NeRF还可用于将通过其他技术重建的 标 准 点 云 转 换 为 基 于 点 的 辐 射 场 。 我 们 使 用COLMAP [42]重建的点云，在完整的NeRF合成数据集上进行实验。定量结果显示为表中的Point-NeRF列二、由于COLMAP点云可能包含大量孔洞（如图所示）。1）和噪声，我们在初始化后对模型进行了200K的优化，以使用我们的点生长和修剪技术来解决点云问题。请注意，即使从这个低质量的点云，我们的最终结果仍然图4.我们的神经点云和渲染新的视图，有或没有点修剪和生长（PG）。当使用从我们的模型或从COLMAP [42]重建的点云时，PG改进图5.从椅子场景的1000个随机采样的COLMAP点开始，我们的点生长机制可以帮助完成几何形状，并在仅由RGB图像监督时生成高质量的新颖视图。与所有其他方法相比，具有非常高的SSIM和LPIPS数量的非常高的质量。这表明，我们的技术可以潜在地与任何现有的点云重建技术相结合，以实现逼真的渲染，同时改善点云几何。点生长和修剪。为了进一步证明我们的点生长和修剪模块的有效性，我们显示了消融研究结果，在每个场景优化的点生长和修剪我们在热狗和船场景上进行了这个实验，使用了我们的完整模型和带有COLMAP点云的模型。定量结果见表。4;我们的点生长和修剪技术是非常有效的，显着改善重建结果的两种情况下。我们还展示了图中热狗场景的视觉效果。4.第一章我们可以清楚地看到，我们的模型能够修剪左侧的点离群值，并成功地填充原始COLMAP点云右侧的严重漏洞。我们还手动创建了一个极端的例子来展示我们的点生长技术。5，其中我们从非常稀疏的点云开始，其中仅1000个点从我们的原始点重建中采样我们证明，我们的方法可以逐步增长新的点从点云边界，直到通过迭代填充整个场景表面这个例子进一步证明了我们的模型的有效性，它具有很高的潜力，在使用图像数据，以恢复准确的场景几何形状和外观从低质量的点云。请在补充材料中找到更多结果。5446图6. DTU数据集上每个场景优化的定性比较[17]。我们的点NeRF可以恢复纹理细节和几何结构比其他方法更准确Point-NeRF还表现出卓越的效率。在两分钟内，我们训练1K步的模型已经与最先进的方法（如MVSNeRF [8]和IBRNet [50]）不相上下。图7. NeRF合成数据集的定性比较[34]。下标表示迭代次数。我们的Point-NeRF可以捕捉精细的细节和薄的结构（见第2行的绳子）。Point-NeRF还表现出卓越的效率。我们的模型训练了20K步，已经与NeRF相当，训练时间快了30倍方法P G船热狗我们没有25.50 / 0.878 /0.18234.91 / 0.983 /0.067我们是的30.97/0.942/0.12437.30/0.991/0.037COLMAP 没有19.35 / 0.905 /0.16729.91 / 0.978 /0.061COLMAP 是的30.18/0.941/0.13435.49/0.986/0.061表4.有或没有点修剪和生长（PG）的船舶和热狗场景的定量结果（PSNR/SSIM/LPIPSV gg）&。当使用我们生成的点或COLMAP生成的点云时，改进是显著的[42]。7. 结论cloud.我们重建一个良好的初始化点NeRF直接从输入图像通过直接网络推理，并表明我们可以有效地微调这个初始化的场景。这使得高效的Point-NeRF再现仅需20-我们还提出了新的有效的增长和修剪技术，我们的每场景优化，显着改善我们的结果，使我们的方法与不同的点云质量的鲁棒性我们的Point-NeRF成功地从-本文提出了一种新的高质量神经场景重建和绘制方法.我们提出了一种新的神经场景表示-点NeRF-模型的体积辐射场与神经点该方法综合了经典点云表示和神经辐射场表示的优点，为实现高效、真实的场景重建迈出了重要的一步。5447引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas Guibas.学习3D点云的表示和生成模型。在ICML，第40-49页，2018年。2[2] Kara-Ali Aliev ， Artem Sevastopolsky ， Maria Kolos ，Dmitry Ulyanov，and Victor Lempitsky.基于神经点的图形学。在计算机视觉-ECCV 2020中：第16届欧洲会议，英国格拉斯哥，2020年8月23日至28日，会议记录，第XXII部分16，第696-712页。Springer，2020年。一二三六 7[3] SaiBi ， ZexiangXu ， PratulSrinivasan ， BenMildenhall，Kalyan Sunkavalli，Milosˇ Hasˇan，YannickHold-Geoffroy，David Kriegman，and Ravi Ramamoorthi.用于外观采集的神经反射场。arXiv预印本arXiv：2008.03824，2020。2[4] Sai Bi ， Zexiang Xu ， Kalyan Sunkavalli ， MilosˇHasˇan，Yan-nick Hold-Geoffroy，David Kriegman，andRavi Ramamoor- thi.深反射体积：从多视图光度图像的可靠重建。Proc. ECCV，2020。2[5] Mark Boss，Raphael Braun，Varun Jampani，Jonathan TBar- ron，Ce Liu，and Hendrik Lensch.Nerd：来自图像集合的神经反射分解。在IEEE/CVF计算机视觉国际会议论文集，第12684-12694页，2021年。2[6] Chris Buehler 、 Michael Bosse 、 Leonard McMillan 、Steven Gortler和Michael Cohen。非结构化发光图绘制。在Proc. SIGGRAPH，第425-432页，2001中。2[7] Eric R Chan，Marco Monteiro，Petr Kellnhofer，JiajunWu，and Gordon Wetzstein. pi-gan：周期性隐式生成对抗网络用于3D感知图像合成。在IEEE/CVF计算机视觉和模式识别会议的论文集，第5799-5809页，2021年。2[8] Anpei Chen ， Zexiang Xu ， Fuqiang Zhao ， XiaoshuaiZhang，Fanbo Xiang，Jingyi Yu，and Hao Su.Mvsnerf：Fast generalizable radiance field reconstruction from multi-view stereo.arXiv预印本arXiv：2103.15595，2021。一二三六八[9] 陈志勤和张浩。学习生成式形状建模的隐式字段。在Proc. CVPR，2019中。2[10] Shuo Cheng，Zexiang Xu，Shilin Zhu，Zhuwen Li，LiErran Li，Ravi Ramamoorthi，and Hao Su.使用具有不确定 性 意 识 的 自 适 应 薄 体 积 表 示 的 深 度 立 体 声 在IEEE/CVF计算机视觉和模式识别会议论文集，第2524-2534页，2020年。二、四[11] Angela Dai、Angel X Chang、Manolis Savva 、MaciejHal- ber 、 Thomas Funkhouser 和 Matthias Nießner 。Scannet：室内场景的丰富注释3D重建。在IEEE计算机视觉和模式识别会议论文集，第5828-5839页，2017年。二、七[12] Paul Debevec，Yizhou Yu和George Borshukov。基于投影 纹 理 映 射 的 高 效 视 相 关 图 像 绘 制 在 RenderingTechniques1998. 2[13] Robert A Drebin，Loren Carpenter，Pat Hanrahan.体绘制。ACM Siggraph计算机图形，22（4）：65-74，1988。2[14] 古川康孝和让·庞塞。精确、密集和强大的多视图立体视 觉 。 IEEE Transactions on Pattern Analysis andMachine Intelligence，32（8）：13622[15] Peter Hedman ， Pratul P Srinivasan ， Ben Mildenhall ，Jonathan T Barron，and Paul Debevec.烘焙神经辐射场用于实时视图合成。arXiv预印本arXiv：2103.14645，2021。2[16] Po-Han Huang ， Kevin Matzen ， Johannes Kopf ，Narendra Ahuja，and Jia-Bin Huang. Deepmvs：学习多视图立体视觉。在IEEE计算机视觉和模式识别会议论文集，第2821-2830页二、四[17] Rasmus Jensen、Anders Dahl、George