EfficientNeRF: 高效神经辐射场，加速3D场景表示与新视角合成

129020EfficientNeRF – 高效神经辐射场0Tao Hu 1 Shu Liu 2 Yilun Chen 1 Tiancheng Shen 1 Jiaya Jia 1 , 201  香港中文大学 2  SmartMore0{ taohu,ylchen,tcshen,leojia } @cse.cuhk.edu.hk , sliu@smartmore.com0摘要0神经辐射场（NeRF）由于其高质量的3D场景表示而被广泛应用于各种任务。它需要长时间的场景训练和图像测试时间。在本文中，我们提出了EfficientNeRF作为一种高效的基于NeRF的方法来表示3D场景和合成新视角图像。尽管存在一些加速训练或测试过程的方法，但要同时大幅减少这两个阶段的时间仍然很困难。我们分析了采样点的密度和权重分布，然后分别在粗糙和精细阶段提出了有效和关键采样，以显著提高采样效率。此外，我们设计了一种新的数据结构，在测试期间缓存整个场景以加速渲染速度。总体而言，我们的方法可以减少超过88%的训练时间，达到超过200FPS的渲染速度，同时仍然实现竞争性的准确性。实验证明我们的方法提升了NeRF在实际世界中的实用性，并实现了许多应用。代码可在https://github.com/dvlab-research/EfficientNeRF中获取。01. Introduction0新视角合成（NVS）旨在给定多个相机校准图像，生成新视角的图像。这是实现视觉或增强现实的有效方法。随着神经辐射场（NeRF）[17]的提出，NVS任务[20,24]，如大规模或动态合成[21, 22,25]，在高质量方面取得了成功。NeRF采用隐式函数，将3D点的空间信息（位置和方向）直接映射到颜色和密度的属性上。为了合成高分辨率图像，NeRF需要在整个场景上密集采样点，这比传统解决方案[14, 16,29]消耗更多计算资源。例如，对于包含100个分辨率为800×800的图像的场景，NeRF的训练时间通常需要1-2天[17]，每个图像的测试时间约为30秒。这两个低效性阻碍了NeRF的快速实际应用。0Figure 1. Training and testing efficiency on realistic syntheticdataset [17] on a single GPU. Our EfficientNeRF muchimproves efficiency in both training and testing phases.0最近，出现了一些方法[2, 4, 12, 18, 32,35]来加速训练过程或测试阶段。一方面，在测试期间，NSVF [12]和DONeRF[18]通过生成的稀疏体素或预测的深度减少了采样点的数量。FastNeRF [4]和PlenOctree[35]通过快速查询以离散方式缓存目标场景并合成新视角图像。尽管这些方法成功地减少了每个图像的推理时间，但它们的训练时间相当或甚至更长，如图1所示。另一方面，在训练期间，[2, 32, 36]的方法将NeRF与从ResNet[7]或MVSNet[34]提取的图像特征相结合，构建了一个广义模型，从而实现了快速训练。然而，由于图像先验来自有限的相邻视图，合成的准确性可能会受到影响。1. We propose EfficientNeRF, the first work to signifi-cantly accelerate both training and testing of NeRF-based methods while maintaining reasonable accuracy.2. We propose Valid Sampling, which constructs dy-namic Voxels to accelerate the sampling process at thecoarse stage. Also, we propose Pivotal Sampling to ac-celerate the fine stage. They in total reduce over 88%of computation and training time.3. We design a simple and yet efficient data structure,called NerfTree, for NeRF-based methods. It quicklycaches and queries 3D scenes, thus improving the ren-dering speed by 4, 000+ times.2. Related WorkNovel View SynthesisNVS is a long-standing problemin computer vision and computer graphics.Voxel grids[8,10,14,28] can achieve real-time synthesis. But they arechallenging to represent high-resolution images with largememory consumption. MPI-based methods [16, 23, 30, 31,33, 38] can synthesize high-resolution images. They firstsynthesize multiple depth-wise images and then fuse themto the target views by α-compositing [15]. Large-view syn-thesis [32] is necessary.NeRF-based ApplicationsNeRF [17] resolves the res-olution and memory issues, and can be easily expandedto various applications. Nerfies [21], NSVF [12], and D-NeRF [25] implicitly learn 3D spatial deformation func-tions for dynamic scenes where objects are moving in differ-ent frames. Neural Actor [13] and Animatable-NeRF [22]also adopt similar functions to synthesize human body withnovel poses. GRAF [27], pi-GAN [1], and GIRAFFE [19]treat NeRF as a generator in GAN [5] and generate geomet-rically controllable images. Recently, StyleNeRF [6] suc-ceeds in generating images at 1K resolution, which encour-ages development of NeRF generator.Training AccelerationTraining of NeRF [17] and itsvariants usually takes 1 to 2 days [12, 17, 35], which lim-its efficiency-critical applications. Yu et al. proposed Pixel-NeRF [36] that introduces image features from ResNet [7]and skips training in novel scenes. But its synthesis accu-racy reduces [2]. Wang et al. proposed IBRNet [32] thatintegrates multi-view features in the weighted sum, thusimproving accuracy. Chen et al. proposed MVSNeRF [2],which employs MVSNet [34] to provide a feature volumefor NeRF. It can synthesize high-quality images within 15-minute finetuning. However, the testing time of the abovemethods is as long as the original NeRF.Testing AccelerationTo accelerate per-image inference,NSVF [12] gives a hybrid scene representation that com-bines NeRF with sparse voxels structure. The generatedsparse voxels guide and reduce sampling. It improves theinference speed to around 1 FPS. KiloNeRF [26] reducedthe inference time by adopting around 1,000 tiny MLPs,where each MLP takes care of a specific 3D area.Therunning speed is over 10 FPS. PlenOctree [35] and Fast-NeRF [4] achieved inference speed over 168 FPS and 200129030racy tends to be lower than NeRF [2, 32]. Besides,obtaining features from multi-view images takes moretime during testing. There is no work yet to significantlyshorten both training and testing time simultaneously. Inthis paper, we present the Efficient Neural Radiance Fields(EfficientNeRF) as the first attempt to accelerate bothper-scene training and per-image testing. Apart fromobtaining competitive accuracy, the training time can bereduced by more than 88%, and the rendering speed isaccelerated to over 200 FPS, as illustrated in Fig. 1. Thepipeline of original NeRF [17] consists of the coarse andfine stages. During training, the coarse stage obtains thedensity distribution over the whole scene. It uniformlyand densely samples points and calculates correspondingdensities by a coarse MLP. However, as will be shown inTable 1, for common scenes with uniformly sampling,there are only around 10%-20% of valid samples (in Eq.(5)) – 5%-10% are pivotal samples (in Eq. (12)). Also, sinceeach point’s density is shared by all rays, it is possible tomemorize the global density by Voxels. Although NSVF[12] also marks this fact, its solution is to gradually deleteinvalid voxels, which may cause adverse effects whenremoval is wrong. Differently, we propose Valid Sampling,which maintains dense voxels and updates density in anonline way with momentum. The coarse MLP only infersvalid samples whose queried densities are greater thanzeros, thus saving most of the time at the coarse stage.For the fine stage, the original NeRF samples more pointsfollowing previous coarse density distribution. We findthat many rays even do not contain any valid and pivotalpoints because of the empty background. We insteadpropose Pivotal Sampling for the fine stage that focuseson the nearby area of pivotal samples to efficientlysample points. Our strategy substantially decreases thenumber of sampled points while achieving comparableaccuracy. During testing, inspired by [35] and [4] thatreplace MLP modules by caching the whole scene invoxels, we design a novel tree-based data structure, i.e.NerfTree, to more efficiently represent 3D scenes. OurNerfTree only has 2 layers. The first layer represents thecoarse dense voxels extracted from the coarse MLP, andthe second layer stores the fine sparse voxels obtainedfrom the fine MLP. The combination of our dense andsparse voxels leads to fast inference speed. Our maincontributions are the following.𝟐𝟓𝟔×𝟐𝟓𝟔 ×𝟖𝑫𝒄𝑫𝒄𝑫𝒄TrainingTestingCoarse Dense Voxels (𝑽𝒄)Fine Sparse Voxels (𝑽𝒇)Fine MLPRay𝟏𝟐𝟖×𝟏𝟐𝟖 ×𝟒Coarse MLP𝒓𝒐Rendering𝑪,(𝒓)RenderingPivotalSamplingMomentum Density Voxels (𝑽𝝈)Uniform Sampling𝑵𝒄NerfTree𝑵𝒄Update DensityUniform Sampling𝑫𝒇𝑵𝒑𝑵𝒔𝑵𝒗𝝈𝒊 > 𝟎𝒘𝒊 > 𝝐ValidSampling𝒓𝒐𝒓𝒐𝒓𝒐𝑫𝒇129040� �0查询0查询0图2.我们提出的高效NeRF的概述。训练：我们首先沿着每条射线r均匀采样Nc个点，并从动量密度体素Vσ中查询密度。我们计算有效样本的粗密度，其密度σi > 0，获得权重以计算最终射线颜色，并通过粗密度更新Vσ。关键样本的权重wi >ϵ。沿着射线r以更高的分辨率线性采样Ns个附近样本。最后，我们通过细MLP推断出细密度和颜色参数，并通过体积渲染预测射线颜色。测试：粗密体素和细稀疏体素分别从粗和细MLP中提取。密度和颜色通过体素查询而不是MLP获得。0与缓存整个3D场景相比，它们的训练仍然很重。相比之下，我们的高效NeRF在每个图像推理速度更快，训练时间更短。03.我们的方法0给定场景中多个视图中校准的相机参数的M个图像Im（m =1, 2, ...,M），我们旨在实现准确的3D场景表示和新图像合成，同时考虑到快速训练和测试。首先，我们回顾NeRF[17]的基本思想和流程。然后，我们介绍我们在训练过程中的高效策略，包括轻量级MLP、粗阶段的有效采样和精细阶段的关键采样。最后，我们在测试过程中使用我们提出的NerfTree来表示整个场景，以达到数百FPS的速度。03.1.背景：神经辐射场0NeRF[17]是一种用于3D场景的新表示方法。与3D网格、点云和体素不同，它引入了隐式函数来建模场景，并采用体积渲染来合成图像。与基于体素的表示方法相比，NeRF克服了分辨率和存储的限制，可以合成高质量的结果。0隐式函数NeRF在输入5D空间信息时，采用隐式函数推断采样点的4D属性，表示为0(r, g, b, σ) = f(x, y, z, θ, φ), (1)0其中x = (x, y, z)和d = (θ,φ)表示世界坐标中的点位置和方向。颜色和密度属性分别由c = (r, g,b)和σ表示。f是一个映射函数，通常由MLP网络实现。0体积渲染对于合成图像中的每个像素，NeRF首先沿着射线r采样N个点xi（i = 1, 2, ...,N）。然后通过公式（1）计算相应的密度σi和颜色ci。最终预测的颜色ˆC（r）通过α-合成[15]渲染。0ˆC(r) =0i=1 wi ci, (2)0w i = T i α i,0Ti = exp(-0j=1 αjδj),0α i = 1 - exp(-σ i δ i),L =�r∈R∥ C(r) − ˆC(r) ∥22,(3)wi = Ti · αi = 0.(4)V = NvNc.(5)129050场景 椅子 鼓 Ficus 热狗 乐高 材料 麦克风 船 平均0有效样本（V，％）9.58％ 7.00％ 3.85％ 9.35％ 15.43％ 19.47％ 8.44％ 11.32％ 10.56％ 关键样本（P，％）3.79％ 2.25％1.68％ 3.59％ 5.81％ 7.42％ 3.14％ 4.62％ 4.04％0场景 蕨类 花 堡垒 角 落叶 兰花 房间 Trex 平均0有效样本（V，％）24.28％ 13.68％ 23.45％ 21.34％ 15.09％ 19.74％ 30.62％ 18.27％ 20.81％ 关键样本（P，％）15.63％7.49％ 4.48％ 10.45％ 8.49％ 9.43％ 15.23％ 7.89％ 9.89％0表1.在真实合成数据集[17]和真实前向数据集[16]上的有效和关键样本比例。0其中  δ i  表示沿射线  r 的样本间隔。0训练目标 NeRF 的训练目标  L  是每个真实像素颜色  C ( r )和渲染颜色 ˆ C ( r )  之间的均方误差，表示为0其中  R  是从相机中心射向图像像素的所有射线的集合。03.2. 网络0原始的NeRF [ 17]采用粗到细的流水线来表示场景。模型中有两个具有相同网络大小的多层感知机（MLP），分别用于粗和细阶段。我们称它们为粗MLP和细MLP。由于粗MLP主要推断粗密度分布，原始的粗MLP是冗余和可简化的。为了简单起见，我们直接将粗MLP的深度和宽度减半，并保持细MLP的一致性，如图2所示。根据表5中的实验结果，我们的轻量级粗MLP几乎不会削弱性能，同时提高了整体推理速度。利用我们的轻量级粗MLP，我们增加了 N c以提高合成质量。与原始的NeRF不同，原始的NeRF采用从方向到颜色的隐式映射，我们采用PlenOctree [ 35]中的球谐模型通过MLP网络显式预测颜色参数。这不仅提高了准确性，而且在测试期间对离线缓存也是有益的。03.3. 粗阶段的有效采样0有效样本 我们将具有位置  x v 且密度  σ v  >  0的点定义为有效样本，如图3所示。对于沿射线  r 的  N个点，假设位置为  x i 的点的密度为  σ i  = 0 。因为  T i  =exp ( − � i − 1 j =1 α j δ j ) 属于 [0 ,  1] 的范围，且  α i  = 1− exp ( − σ i δ i ) = 0 ，我们通过以下方式计算其对射线颜色ˆ C ( r ) 的贡献  w i ：0图3.典型射线的密度和权重分布，用于基于NeRF的方法。绿色和黄色点分别表示有效和关键样本。0这意味着该点是一个无效样本，对最终的渲染结果没有影响。因此，一旦我们知道了位置，可以跳过它。有效样本的比例表示为0我们测量了经过训练的NeRF在常见场景中有效的面积百分比，并在表1中显示了这些数字。令人惊讶的是，只有很小一部分（约10% -20%）的样本是有效的。根据这个分析，我们得出结论，采用稀疏和有效的采样来实现高效的场景表示是可行且必要的。0动量密度体素 对于特定场景，任何世界坐标  x  ∈  R 3的密度都被所有射线共享。因此，我们构建动量密度体素  Vσ ，分辨率为  D  ×  D  ×  D，以在训练期间记忆目标场景上最新的全局密度值。0初始化 由于每个点的密度  σ  ≥  0 ，我们将 V σ中的默认密度值初始化为一个正数 ε。这意味着在开始时，V σ 中的所有点都是有效样本。0更新 对于位置为  x  ∈  R 3的采样点，我们通过粗MLP推断其粗密度  σ c ( x )。然后，我们通过  σ c ( x )  更新密度体素  V σ。我们添加一个动量来稳定值。具体来说，我们首先将  x129060将3D体素索引  i  ∈  R 3作为0i  = x  −  x最小0x最大  −  x最小 ∙  D, (6)0其中  x最小 ,  x最大  ∈  R 3表示场景的最小和最大世界坐标边界。接下来，对于每次训练迭代，我们通过以下方式更新  V σ  中索引  i处的全局密度  σ ：0Vσ[i] ← (1 - β) ∙ Vσ[i] + β ∙ σc(x). (7)0其中β∈[0, 1]控制更新速率。我们的动量密度VoxelsVσ反映了整个场景的最新密度分布。因此，我们直接通过查询获取坐标x处的密度属性，而不是通过MLP模块计算。这主要减少了推理时间，并用于引导动态采样过程。0有效采样在训练过程中，对于起始点为ro∈R3且归一化方向为rd∈R3的每条射线r，原始NeRF采用均匀采样策略获取采样点，如下所示0xi = ro + iδcrd, (8)0其中i∈Z且�i∈[1,Nc]。δc是沿射线r的最近粗糙采样点之间的间隔。我们提出有效采样来关注有效样本。具体而言，我们首先从Vσ查询最新的密度，仅输入具有全局密度的xi0Vσ[i] > 0 (9)0对于粗糙MLP推断的单个点，需要时间Tm，从体素中查询单个点需要时间Tq。对于沿射线r采样的所有采样点，通过粗糙的MLP预测它们的密度需要时间NcTm。我们的方法需要时间(NvTm + (Nc - Nv)Tq)。考虑到体素查询时间Tq �Tm [4, 35]，我们通过以下公式计算粗阶段的加速比Ac0Ac = Nc0NvTm + (Nc - Nv)Tq ≈ Nc0Nv = 0V. (10)0如表1所示，如果有效样本的比例V =10％，则粗阶段理论上可以加速10倍。03.4.细阶段的关键采样0在细阶段，应该以更高的分辨率对3D点进行采样以获得更好的质量。原始NeRF[17]首先沿每条射线r采样Nf个点，遵循以下规则0粗阶段的权重分布。然后通过细致的MLP预测密度和颜色。由于细阶段的点数通常是Nc的2倍，因此在运行时需要更多计算。为了实现细阶段的高效采样，我们提出了一种关键采样策略。0关键样本我们将具有位置xp且权重wp >ϵ的点定义为关键样本，其中ϵ是一个很小的阈值，如图3所示。0关键采样wi表示xi对射线r的颜色的贡献。关键样本附近的区域专注于推断更详细的密度和颜色。我们沿着每条射线r均匀采样Ns个接近xp的点，如下所示0xp,j = xp + jδfrd, (11)02].δf是细阶段的间隔。假设有Np个关键点，则关键样本的比例可以表示为0P = Np0Nc. (12)0与粗阶段类似，我们计算细阶段的加速比Af0Af = Nf0Np Ns = 2Nc0Np Ns = 0PNs. (13)0在我们的实验中，结果列在表1中，如果Ns = 5且P =5％，我们的关键采样策略可以将细阶段加速8倍。03.5.使用NerfTree表示场景0尽管通过有效和关键的采样，训练时间已经显著缩短，但系统在测试过程中仍受到MLP推理时间的限制。受到[4,35]的启发，该论文在Voxels或Octrees中缓存目标场景，我们设计了一种高效的基于树的数据结构，称为NerfTree，用于加速NeRF方法的推理速度。NerfTree可以离线存储整个场景，从而消除了粗糙和细致的MLP。与PlenOctree[35]中的密集Voxels和Octrees不同，我们的NerfTree T ={Vc，Vf}是一个2层深度的树。第一层缓存粗糙的密集Voxels Vc，第二层缓存细疏的Voxels Vf，如图2所示。Vc∈RDc×Dc×Dc仅包含密度属性，通过粗糙的MLP推断每个体素网格的密度值来提取。对于细疏的Voxels Vf∈RNV×D3f，第一维NV表示所有有效样本的数量，第二维表示大小为Df×Df×Df的局部体素。Vf中的每个体素存储从细致的MLP推断出的密度和颜色参数。RR𝑽𝒄𝑽𝒇R…………Level 1Level 2Level 3Level N129070密集体素0八叉树0图4.不同3D数据结构的2D图形表示。左：密集体素。中：八叉树。右：NerfTree（我们的方法）。0如图4所示，这三种表示之间，密集体素只有一个深度层，因此实现了最小的访问时间和最大的存储空间。八叉树与体素具有相反的特点。我们的NerfTree结合了体素和八叉树的优点。因此，它可以在快速访问的同时不消耗太多的存储空间。04. 实验04.1. 实验设置0数据集首先介绍常见的高分辨率新视角合成数据集，包括逼真的合成数据集[17]和真实的前向数据集[16]。逼真的合成数据集[17]包含8个合成场景。每个场景包含100个训练图像和200个测试图像，分辨率均为800×800。真实的前向数据集[16]包含8个复杂的真实场景，每个场景有20到62个图像，分辨率为1,008×756。我们按照原始NeRF[17]的训练和测试数据集划分进行训练和测试。0评估指标我们通过PSNR/SSIM（越高越好）和LPIPS[37]（越低越好）等指标评估合成图像的准确性，遵循最近的方法[12, 14, 17,35]。此外，我们通过总训练时间（小时）和每秒帧数（FPS）来衡量训练速度和渲染速度。为了公平比较，我们在同一台机器上重新训练了它们的源代码，并跳过了训练过程中的评估时间。0训练过程中，对于动量密度体Vσ，其分辨率设置为384×384×384，初始密度ε=10.0，更新速率β=0.1。球谐函数的阶数为3，这意味着MLP的输出维度为49[35]。关键阈值ϵ为1×10-4。学习率初始化为5×10-4，使用Adam[9]优化器，并在每500K次迭代时按0.1的指数衰减，批量大小为1024。最后，总的训练迭代次数为1×10^6。测试过程中，我们设置Dc=384和Df=3，这意味着粗糙体素的分辨率为384×384×384，局部细疏体素的分辨率为3×3×3。0从MLP的连续坐标到离散坐标的量化通常会削弱性能[35]。我们通过在训练过程中直接输入转换后的离散坐标到MLP，或者使用线性插值来避免这种情况。我们的所有实验都在一台配备了一块RTX-3090GPU的服务器上进行。更多实验结果请参考补充材料。04.2. 定量比较0我们将提出的Ef�cientNeRF与最先进的方法[11, 12, 14, 17,29,35]在准确性和速度方面进行比较。结果列在表2中。根据是否引入图像先验，最先进的方法可以分为两组。第一组[2,14, 29,32]基于图像先验。这些方法可以在短时间内对新场景进行微调，但会牺牲测试准确性。第二组[11, 12,35]是从头开始训练的。它们旨在提高渲染速度。然而，训练时间甚至比原始的NeRF[17]还要长。相比之下，我们的Ef�cientNeRF在两个数据集上都达到了竞争性的准确性，并在训练和测试效率方面展现了显著优势。如图1和表2所示，即使我们的方法没有引入图像先验，当训练时间达到15分钟或更长时，仍然优于之前的快速微调方法MVSNeRF[2]。此外，我们提出的NerfTree在测试过程中可以快速查询目标位置的3D属性，这为我们的最终测试速度238.46FPS做出了贡献。总之，我们的Ef�cientNeRF采用了高效的策略，包括轻量级MLP、有效采样和关键采样，从而加速了训练和测试，并保持了可比较的准确性。0准确性和速度之间的权衡为了平衡合成准确性和推理速度，我们根据表3中粗采样参数Nc和细采样参数Ns的数量提供了四个版本的Ef�cientNeRF（N1-N4），并在图1中绘制了PSNR-Speed曲线。我们的方法比其他最先进的方法如PlenOctree[35]具有更好的渲染速度。04.3. 定性比较0我们还通过视觉比较展示了我们方法的性能。如图5所示，我们直观地展示了不同方法在0.25、2和5小时以及最终训练时间的训练可视化。在训练时间轴上，我们的方法在1小时内已经合成了详细的图像，而其他方法[12,32,35]需要训练5小时或更长时间才能达到类似的性能。此外，与基于图像先验的IBRNet[32]相比，我们的方法是从头开始训练的，在0.25小时的训练内就超越了它。EfficientNeRF31.680.9540.0286238.4627.390.9120.0824218.83Version# SamplingPSNR (↑)Rendering Speed (FPS, ↑)NcNsEfficientNeRFN164129.54493.62N264230.49403.28N396331.22324.62N4128431.68238.46✓✓0.12129.28✓✓0.13229.39✓✓0.13830.96ens of129080方法 Realistic Synthetic[17] Real Forward Facing[16,17]0PSNR（↑） SSIM（↑） LPIPS（↓）训练时间（小时，↓）0渲染速度（FPS，↑） PSNR（↑） SSIM（↓） LPIPS（↓）训练时间（小时，↓）0渲染速度（FPS，↑）0SRN[29] 22.26 0.846 0.170 - 0.909 22.84 0.668 0.378 - - NV[14] 26.05 0.893 0.160 - 3.330 - - - - 3.052 MVSNeRF[2] 27.21 0.945 0.227 0.25 0.020 26.25 0.9070.139 0.25 0.016 IBRNet[32] 28.14 0.942 0.072 2.0 0.042 26.73 0.851 0.175 2.0 0.0360NeRF[17] 31.01 0.947 0.081 56 0.023 26.50 0.811 0.250 20 0.018 NSVF[12] 31.75 0.953 0.047 100+ 0.815 - - - - 0.758 AutoInt[11] 25.55 0.911 0.170 - 0.38024.13 0.820 0.176 - - KiloNeRF[11] 31.00 0.950 0.030 25+ 10.64 - - - - - FastNeRF[4] - - - - � 200 26.04 0.856 0.085 - � 200 Nex[33] - - - - - 27.26 0.904 0.178 18+300 PlenOctree[35] 31.71 0.958 0.053 58 167.68 - - - - -0表2. 在Realistic Synthetic[17]和RealForward-Facing[16,17]数据集上的准确性和时间比较。我们的方法在训练和测试阶段都显示出与最先进方法相当的PSNR/SSIM/LPIPS准确性，同时加速性能有所提升。0表3.我们的Ef�cientNeRF在合成准确性和渲染速度之间的不同版本。0粗MLP 细MLP 时间（s/iter，↓） PSNR（↑） 轻量级 标准 细 标准0表4.原始NeRF[17]在粗网和细网阶段轻量级和标准MLP之间不同组合的性能。批量大小为1024。04.4. 消融研究0网络我们研究了粗网和细网的不同尺寸对性能的影响，如表4所示。基线组合是两个相同的标准MLP，来自原始的NeRF[17]。准确性在最长运行时间下最好。两个轻量级MLP的组合表现相反，这表明了标准MLP的影响。发现轻量级粗MLP加上标准细MLP几乎具有相同的准确性和快速渲染速度。这表明细MLP的大小主要决定了最终的合成质量。因此，我们采用最终的组合作为我们的Ef�cientNeRF网络。0Ef�cient模块如表5所示，我们评估了提出的Ef�cient模块的性能。首先，通过球谐（SH）[35]在不同方向上表示颜色有利于性能。其次，我们的轻量级粗MLP和粗有效采样ac-0方法 PSNR（↑）时间（↓）改进（↑）0NeRF [17] 31.01 0.184 s/iter - + SH [35] 31.57 0.183 s/iter-0+ 轻量级粗糙MLP 31.52 0.137 s/iter 25.54% + 粗糙有效采样 31.490.085 s/iter 53.80% + 精细关键点采样 31.68 0.021 s/iter 88.58%0表5. 我们提出的模块对RealisticSythetic数据集[17]的训练时间的贡献。0方法 采样策略 训练时间（小时） PSNR Uniform NeRF [17] 我们0NeRF [17]0� 41 30.060� 56 31.010� 6 31.250IBRNet [32] � 2 25.490� 1 26.230MVSNeRF [2] � 0.25 27.210� 0.18 28.030PlenOctree [35] � 58 31.710� 6 31.660表6. 我们的高效采样策略与不同基于NeRF的方法结合时的效果。0加速训练过程。第三，我们的精细关键点采样进一步减少了训练时间并提高了合成精度