压缩显式体素网格表示：快速NeRF

1236压缩显式体素网格表示：快速NeRF也变得很小Chenxi Lola Deng Enzo TartaglioneLTCI，Te'le' comParis，InstitutPolytechniquedeParis摘要NeRF由于其内在的紧凑性而彻底改变了每场景辐射场重建的世界。NeRF的主要限制之一是它们在训练和推理时的渲染速度慢。数据集训练EVG-NeRFRe：NeRF最终模型最近的研究集中在优化表示场景的显式体素网格（EVG），它可以与神经网络配对以学习辐射场。这种方法显著提高了训练和推理时间的速度，但代价是占用大量内存在这项工作中，我们提出了Re：NeRF，一种专门针对EVG-NeRF压缩性的方法，旨在减少NeRF模型的内存存储，同时保持可比较的性能。我们用三种不同的EVG-NeRF架构在四个流行的基准上对我们的方法进行1. 介绍近年来，神经辐射场（NeRF）技术的兴起从一组固定的训练图像中有效地生成具有照片真实感的新视图是计算机视觉领域的一个热门研究领域，具有广泛的应用。从2D表示中提取3D对象的本质及其紧凑性的能力是NeRF在文献中成为高影响力方法的主要原因。原始的NeRF [25]由一个多层神经元组成，它隐式地学习表示3D对象的流形。由于NeRF在合成新视点方面具有很好的泛化能力，并且模型本身具有高度的紧凑性（通常由几个MB组成），因此它已成为3D重建的一种流行方法然而，NeRF为了加快NeRF的速度，后续工作对原始NeRF架构进行了修改[8，3，34]。其中一个流行的方法，考试-图1：具有显式体素网格表示的NeRF模型可以使用Re：NeRF有效压缩。Ple将场景的特征编码在一个明确的3D体素网格中，并结合一个微小的MLP。这组方法利用了与传统NeRF不同，EVG-NeRF模型需要更大的内存，限制了它们在现实应用中的部署，其中模型需要通过通信渠道共享，或者其中许多模型必须存储在内存受限的设备上。在这项工作中，我们提出了Re：NeRF，这是一种减少训练EVG-NeRF模型所需内存存储的方法。它的目标是准确地将对象从其背景中分离出来Re：NeRF能够生成高度压缩的模型，几乎没有性能损失：它是专门为EVG-NeRFs设计的，因为它利用空间局部性原理将体素添加回网格，在这种意义上，它的工作流程类似于雕刻家的工作流程（图2）。①的人。我们观察到Re：NeRF能够对预训练的EVG-NeRF模型进行高级压缩，并且传统的通用方法（如盲修剪）的性能比Re：NeRF差。我们在四个数据集上测试Re：NeRF，其中三个最近的EVG-NeRF验证了所提出的方法的有效性。2. 相关作品从给定场景的一组校准的2D图像渲染3D场景的照片真实感新颖视图具有1237空间位置&观看方向空间位置&观看方向MLP（一）MLP（b）第（1）款输出色密度输出色密度渲染质量。神经辐射场。与传统的显式体积表示技术不同，NeRF[25]近年来脱颖而出，成为最流行的新颖视图渲染方法，该方法在它将场景的整个内容编码到一个单一的多层感知器中，包括与视图相关的颜色发射和密度。2a）并达到最先进的质量。此外，基于Neural RadianceField的方法被证明在经历几种变换时具有良好的泛化能力，如改变环境光线[1，32]，图像变形[9，27，40]，甚至可用于更多的学习设置，包括Meta学习[35]，学习动态变化的 场景[10，20，23，42]，甚至在生成上下文[2，16，29]。与显式表示相比，NeRF需要非常少的存储空间，但相反，由于MLP被查询了极高的次数来渲染单个图像，因此训练时间很长，渲染速度非常慢。NeRF与显式体素网格。为了减少推理和训练时间，可以对3D对象表示施加显式先验。最直观但有效的方法图2：传统NeRF方法的可视化，包括多层感知器（a）和具有显式体素网格表示的基于NeRF的方法（b）。后者也可以有一个小的MLP。一直是计算机视觉和计算机图形学的热门研究领域。灵感来自米尔登霍尔等人在2020年提出了完全使用多层反射器（MLP）捕获3D场景的辐射和密度场[25]，大量后续研究采用了场景的隐式表示以下是3D表示模型，神经辐射场和后续工作的概述。用于新颖视图合成的3D表示。在给定一组图像的情况下推断场景的新颖视图是计算机图形学领域中的长期挑战。在过去的几十年里，人们研究了各种用于三维重建的场景表示技术。光场渲染[4，19，31]通过在采样光线之间插值直接合成未观察到的视点，但渲染速度很慢，需要大量的计算资源。网格是另一种易于实现并允许实时渲染的常见技术[5，39，41]。然而，它难以捕捉精细的几何和拓扑信息，其绘制质量受到网格分辨率的限制最近提出了可微分方法来执行场景重建[6，21，33]。他们使用可微的光线行进操作来编码和解码场景的潜在表示，并实现卓越的性能。它依赖于将3D体积分割成小块，每个小块都由一个微小的NeRF模型学习。使用KiloN- eRF [28]，这样做的好处是双重的：单个NeRF模型的大小比原始模型小得多，减少了延迟时间;其次，由于可以同时呈现多个像素，所以呈现过程本身变得可并行化。这种方法的缺点是需要适当地调整KiloNeRF的粒度，并且单个更小NeRF的蒸馏可能是相当昂贵的过程。利用没有显式神经分量的辐射场的有趣方法是Plenoxels [8]。 在这种情况下，稀疏特征网格用3D球谐函数编码（它属于EVG方法，而没有图1中的MLP分量）。第2b段）。因此，训练时间和推理时间都得到了极大的改善，然而，代价是学习模型的内存存储显著增加，尽管它的稀疏表示。DVGO [34]提出了激活后插值，显示了相似的收敛时间，但保持了复杂视图相关外观的MLP分量最近，为了进一步提高执行速度，已经提出了TensoRF[3]使用较低质量的渲染设置，作者提供了一个大小与原始NeRF相当的模型，但使用更高质量的渲染，与普通NeRF模型的内存差异仍然相当大。正在压缩EVG-NeRF 虽然密集的基于体素的表示大大提高了渲染速度，但它们需要的内存比隐式表示多一个数量级隐式表示...显式体素网格1238.|Q I|QiL. .L.我我爱你I.||Q体积表示，以实现可比的渲染质量。使用八叉树的分层结构表示最近的工作解决了用神经稀疏体素场训练模型的问题[22]，逐渐减少体素的粒度并跳过空体素的渲染。然而，这种方法是为资源重新分配而设计的。虽然它提高了渲染速度，但它仍然遭受了较长的训练时间。据我们所知，Re：NeRF是第一种专注于EVG-NeRF压缩的方法。虽然其他作品利用了3D场景的稀疏性知识[22，8，34]，但它们专注于性能增强（对抗可能出现在空白空间中的伪影），并且不特定于压缩。在这项工作中，我们是NeRF架构不可知的，我们的目标是保持性能，同时减少模型3. 关于：NeRF被删除.尽管这种方法简单且应用广泛，但它有一个潜在的问题：具有非常低幅度的参数对于模型可能是重要的。例如，参数可以具有非常低的幅度但具有高梯度：根据（1）将其硬设置为零可以显著地影响损耗值/性能。正因为如此，其他作品建议使用参数的梯度作为临界值来评估参数的重要性[17，37]。参数wi可以局部地具有低梯度，但是移除它可能潜在地在损失值及其梯度两者中施加剧烈变化。因此，有必要在这两种情况之间找到一种折衷办法我们可以使用截断到一阶的泰勒级数展开来估计损失值的变化：（2）第一次从（2）中，我们可以定义如何根据以下公式删除参数：在本节中，我们提出Re：NeRF，我们的方法来减少EVG-NeRF的存储内存。重新-w=w i if （w i）>|体重（w）|（γ）0否则。（三）减少模型大小，我们迭代地删除重要性排名最低的参数在每一轮的prun- ing，我们设计了一个策略，增加后邻居体素，以避免性能下降。3.1. 哪些参数是重要的？使EVG-NeRF成为有效方法的关键特征之一是端到端培训的可能性：给定在渲染图像上评估的某个目标损失函数，使用反向传播，可以训练所有的然而，已知的事实是，参数的梯度和权重大小都根据所考虑的层的类型而变化[18]。因此，为了解决可以全局应用的参数移除策略（因此，从整个模型中移除给定比例的参数，而不在该移除中施加均匀性），分位数函数应在层归一化量∂Lwi模型的参数w。 这种学习方法是COM-我的朋友在与W相同的层中。 （四）mon与任何标准的深度神经网络，这使我们能够建立在现有的技术与相同的L（wi）=Max∂wj，wjiWJ一组优化器（如SGD和Adam）。基于小批量样品的方法已经流行，因为它们因此，（3）成为允许比随机学习更好的泛化，同时具有记忆和时间效率。它们还受益于利用GPU上的并行计算的以这样w=wi如果|L（wi）|>Q|L|（γ）0否则。（五）在一个框架中，网络参数wi朝着最小化小批量的平均损失的平均方向更新显然，如果梯度减少深度神经网络中参数数量的一种典型方法是根据一些确定要移除的量的超参数来阈值化参数[36，7]：w=w i ，如果w i>|W|（γ）（1）否则，其中Q|W|（·）是参数的范数为1的分位数函数，γ ∈ [0;1]是参数的百分比，然而，该策略评估了每个如（2）中那样独立地确定参数wi，这已知是次优的，因为在模型内部的参数之间存在依赖性。我们如何纠正潜在的3.2. 仅删除从模型中删除参数始终是一个微妙的问题：如果参数被移除得太快，则在某些点上性能不能恢复。相反，如果它们被移除得太慢，则训练复杂性变得很大。此外，还提出了识别哪些参数可以从模型中删除的策略，..1239WL∈ W..L，w∈Wi||∂w∂wWW ← W WW W||W ← W{}∈W ← W{}∈ W∈ W25：如果。 L≥T，n增加..W ← W{}←∂w22：Whileone addeddowi|∂w|，w∈W（七）35：结束程序(a)（b）第（1）款图3：RE-INCLUDE在运行一次迭代之前（a）和之后（b）的效果。红色：模型中已有的体素;绿色：满足重新包含规则的非相邻体素;蓝色：满足重新包含规则的相邻体素。效率问题限于（2）中的一阶近似，使得参数去除机制可能倾向于近似误差。我们如何才能确定已经删除的参数，并应添加回来，以便不降低性能exceptibility？让我们考虑已被删除的参数的子集由于这些参数已经被移除，根据（2），Δ k（wi）= 0wi，这意味着该度量不能用于最终重新包括模型中的参数为了确定重新包含预先删除的参数是否会进一步增强性能（或者换句话说，将导致评估的损失函数的最小化），我们可以例如查看其梯度的值。如果梯度高于给定阈值，则将参数加回。一个简单的阈值可以由信号强度的分布来定义其余参数W的梯度：. L ≥ Q（δ）<$w ∈ W，（6）其中，n（wi）是作为wi的邻居的参数的子集。图图3a显示了实际情况，其中存在一些未包括的体素（白色空间）、模型中的体素（红色）、满足（7）的被移除的体素（蓝色）以及满足梯度条件但不是模型中任何体素的邻居的体素（绿色）。 在一次重新包含迭代之后，蓝色体素被包含在内，并且一些绿色体素（蓝色体素的邻居）成为重新包含的新候选者（图1）。第3b段）。为了找到要添加回的体素的整个子集，有必要重新包含机制，直到没有蓝色的体素添加。关于Re：NeRF3.3. Re：NeRF方案算法1Re：NeRF.一曰： 程序RE：N ERF（Wbeg，γ，δ）2：Trem←Q|L|，w∈Wbeg（γ）3：W，W ←REMOVE（Wbeg，Trem）4：Tinc<$Q<$L，w∈W（δ）5：结束RE-INCLUDE（ ，，Tinc）6：返回端7：结束程序第八章： 程序REMOVE（Wbeg，Trem）9：W←10：W←11：对于wi∈ W，12：如果|L（wi）|≥Trem，则13：wi14：其他15：wi16：如果结束17：结束18：返回，19：结束程序二十：程序重新包含（W，W，Tinc）21：一个添加←真其中δ[0; 1]确定了重新纳入。尽管（6）是一般规则并且潜在地适用于EVG-NeRF的所有层，但是我们可以利用体素网格结构，在对象本身的3D流形表示我们期望它是紧凑的，并且尽可能地稀疏。 为此，我们添加d作为对（6）的附加约束，即参数w i为了被重新包括，它也应该是连接的，或者应该是某个wj的邻居. 因此，重新包含规则变为. L ≥ Q L（δ）23：一个添加d←假24：对于wi∈W，wi26：你←邻居（wi）27：如果W=，则28：wi29：一个添加了True30：如果结束31：如果结束32：结束第33章：结束34：返回Wwi∈ Wwj∈W|wj∈n（wi），我1240WW∈∈W训练集开始学习阶段（1个时期）在NeRFs的一些共同基准上。4. 结果在本节中，我们将介绍在最先进的数据集和三种不同的EVG-NeRF方法上获得的经验结果，在此基础上，为了减少存储内存，我们执行了Re：NeRF对于所有实验性能 没有满意了吗是的端这些模型已经使用在各自的原始工作中指示的超参数设置进行了预训练。作为一个常见的停止标准，我们施加了一个最大的恶化性能的PSNR上的原始模型的PSNR的1 dB的PSNR。 所有其他的超参数已经使用网格搜索算法进行了优化。虽然每一项技术都需要验证集去除参数重新纳入参数作为一个特定的CUDA和PyTorch版本，Re：NeRF代码与PyTorch 1.12兼容，并与PyTorch 1.6向后兼容。对于所有实验，使用配备有40 GB的NVIDIA A40。1图4：Re：NeRF概述。虚线箭头指示在每个阶段使用某些特定数据集/超参数。在本节中，我们提供了Re：NeRF的概述，如图所示4.第一章给定一个预先训练好的模型，我们使用与原始NeRF模型相同的策略对模型进行一个epoch微调，然后移动到参数删除/重新包含以确定子集属于模型的参数。每次我们执行参数移除的步骤时，我们遵循算法1中的步骤。特别地，我们被要求一个属于模型beg的参数子集和两个超参数γ[0; 1]和δ[0; 1]：虽然γ决定了每一步之后（暂时）删除多少参数，但δ决定了（最终）添加多少参数因此，我们区分Re：NeRF的两个阶段：一个（RE-MOVE）将模型参数分割成下降到给定阈值以下或保持在给定阈值以上的参数（第3行），另一个（RE-INCLUDE）重新包括具有高导数并且是模型中其他参数的邻居的暂时移除的参数。这将有利于降低损失（第5行）。特别地，后者可能需要多次运行，每次至少重新包括一个参数（第22行）。这是必要的，因为每次添加新参数时，第27行中的邻居测试可能会给出不同的结果。我们对此进行反复测试，直到性能不会下降到某个预先确定的性能阈值（从原始性能开始）以下：当这种情况发生时，我们结束训练过程。为了保存模型，首先用均匀量化器对状态字典进行8比特量化，并使用LZMA对状态字典进行压缩。在下一节中，我们将介绍结果ob-4.1. 设置数据集。我们在四个数据集上评估了我们的方法。Synthetic-NeRF [25]和Synthetic-NSVF [22]是两个流行的数据集，每个数据集包含8个不同的现实物体，它们分别由NeRF（椅子，鼓，无花果，热狗，乐高，材料，麦克风和船）和NSVF（自行车，生活方式，宫殿，机器人，宇宙飞船，蒸汽火车，蟾蜍和酒桶）合成对于两者，图像分辨率已设置为800 × 800像素，具有100个用于训练的视图，100个用于验证的视图和100个用于测试的视图。我们测试的第三个数据集是Tanks& Temples [15]：我们选择了这个数据集，因为它是真实世界图像的集合。在这里，我们使用所提供样本的子集（即：Ignatius、卡车、谷仓、毛毛虫和家庭）。我们在这里使用FullHD分辨率，在这种情况下，我们还使用10%的图像用于验证，10%用于测试。最后，我们运行实验的第四个数据集是LLFF-NeRF [24]。与其他三个数据集不同的是，该数据集包含真实的图像和非空白背景。每个场景由20到60个分辨率为1008 × 756的前向图像组成。在这种情况下，我们使用了所有8个可用的样本（蕨类植物，花，堡垒，角，叶子，兰花，房间和trex）。结构和可压缩性配置。 我们在 三 种 非 常 不 同 的 EVG-NeRF 方 法 上 测 试 了 Re ：NeRF：[34]和[35]，并在[36]和[37]之间。2DVGO模型使用与本文中相同的配置进行训练，在1603体素网格大小配置中，1源代码可在https://github.com/ enzotarta/re-nerf上获得。2虽然Plenoxels是一种学习辐射场的方法，没有任何“神经网络”，它仍然利用相同的优化工具。我们将其包含在我们的实验设置中，以显示Re：NeRF对任何最小化可微损失函数的方法的更广泛的适应性。1241表1：低压缩性状态（LOW）和高压缩性状态（HIGH）的结果。第一行表示基线。在每个数据集中，各种指标都是针对其中的样本进行平均的。Synthetic-NeRF Synthetic-NSVF储罐Temples LLFF-NeRF方法压缩PSNRSSIM大小PSNRSSIM大小PSNRSSIM大小PSNRSSIM大小[dB](↑）（↑）[MB](↓）[dB](↑）（↑）[MB](↓）[dB](↑）（↑）[MB](↓）[dB](↑）（↑）[MB](↓）NSVF[22]-31.74 0.95316 35.13 0.979 16 28.40 0.900 16-即时NGP [26]-33.040.93428.6436.110.96646.0928.810.91746.0920.180.66246.09-31.920.957160.0935.420.979104.1228.260.909106.48---Dvgo [34]低31.470.9523.9935.290.9744.3728.220.9104.69---高31.080.9442.0034.900.9692.4627.900.8941.62----33.140.96369.2636.520.98269.0528.560.92064.0426.730.839151.79TensoRF [3]低33.260.96211.4736.440.98211.6028.500.9169.9926.800.82032.34高32.810.9567.9436.140.9788.5228.240.9076.7026.550.79720.27-31.480.956189.08---27.370.904147.9625.900.8381484.96Plenoxels [8]低31.520.95291.77---27.660.909102.2626.240.838457.23高30.970.94454.68---27.340.89685.4725.950.828338.02(a) 地面真相（b）TensoRF（基线）。（c）TensoRF低压缩。（d）TensoRF高压缩。图5：“lego”（上）、“mic”（中）和“fern”（下）的定性结果第 TensoRF 模 型 是 用 默 认 的 192- VM 配 置 获 得 的Plenoxel模型首先在1283网格上获得训练，上采样到2563，最后到5123。对于所有的架构和数据集，我们使用γ = 0。5且δ = 0。5，除了在Synthetic-NeRF和LLFF-NeRF数据集上训练的Plenoxel，其中γ= 0。66已使用为了与其他有效方法进行比较，我们还将我们的结果与NSVF [22]和Instant- NGP [26]进行了比较。4.2. 讨论所有结果报告于表1中。这里，一些定性结果也显示在图中。五、总的来说，我们观察到Re：NeRF有效地减少了测试数据集/EVG-NeRF的所有组合中模型的大小，并根据不同的情况产生不同的影响。1242×××EVG-NeRF被应用。通常，具有较高平均尺寸同时也具有稍差性能的方法是Plenoxels [8]，其是其中没有神经元件的EVG方法。然而，Re：NeRF能够有效地压缩它。特别地，在低压缩性设置中，性能随着整体尺寸减小而提高DVGO [34]由体素网格和MLP分量组成，是巨大的，例如，合成NeRF和MLP的压缩比分别为80和80。65 在1dB的性能损失内。方法生成器-TensoRF [3]也实现了更好的性能，其中低压缩设置保持几乎相同的性能，仍然支持6压缩。与DVGO相比，TensoRF占用的内存更少，因为它依赖于4D体素网格中的因子化神经辐射场，也就是说，它在训练时设计得更有效，当然，为了保持这种更高的性能，模型的可能压缩性相对有限。当与其他方法相比，我们观察到在一般情况下，类似的模型的大小（LLFF-NeRF）的性能显着改善或显着降低内存的类似性能（在其他三种4.3. 消融研究在本节中，我们提出了Re：NeRF的消融研究。特别是，我们要证明所提出的技术的单一贡献，强调其效果。 为此，我 们对来自 Synthetic-NeRF 数据集 的“Mic”进行了实验消融研究总结这里提出的所有措施都是在3次不同运行中平均的。删除所有层还是其中的一部分？考虑到EVG-NeRF方法中各层的异质性，从所有层中删除参数并不是最好的方法。实际上，我们观察到，聚焦于具有显式体素表示（指示为“体素”）的层导致与基线（33.19 dB）类似的PSNR，具有非常高的尺寸减小（从67.69MB到7.02MB）。关注模型的所有层，因为它将在通用模型修剪方案[12，38，7]中完成，导致性能下降非常高（26.72dB，即与基线相比为-6.42dB这表明关注体素和设计特定的解决方案而不是依赖于通用的方法是多么重要。重新包含帮助。所提出的策略需要体素去除阶段的“平衡”，这可能是极端的。为此，重新包括移除的vox-els稍微增加了模型的大小，然而这变成了性能恢复。特别是，仅增加0.10MB，我们就获得了0.07dB：请注意，基线PSNR低于实 现 的性能，删除+重新包含。这种现象在高压缩性状态下更加明显，在这种情况下，仅添加0.16MB即可获得约2dB的增益。量子化的影响。在传统的NeRF模型中，量化是一个微妙的过程，需要非均匀的自定义量化策略[30]。然而，在我们的情况下，8位量化保持了高PSNR值的性能（损失0.16 dB，无需额外的微调），但显著减少了压缩模型的大小（从7.12MB到1.48MB）。这在高压缩性结果中非常明显，我们仅从1.24MB移动到4.4. Re：NeRF作为最后的分析，我们希望测试基线模型的体素网格中发生的情况，以及应用Re：NeRF的情况。图6显示了基线（向上，红色）和压缩后（向下，蓝色）的密度网格层的内容。查看密度网格的空间占用率，在没有Re：NeRF的情况下，我们的体素占用率远远高于必要的体素占用率（图1）。6a），这是修剪的真实物体形状的Re：NeRF（图。（见第6d段）。查看每个体素的有效值（这里归一化并建模为trans-parency），我们可以很容易地猜测Re：NeRF情况下对象的结构（图11）。6 e），而密度是如此分散在空间的基线情况下，该对象几乎是不可能区分（图。第6 b段）。这对层的参数值分布有明显的影响：而在基线情况下，我们观察到正值和负值的非常不同的行为，使得压缩和量化等问题更加困难（图1）。6c），当应用Re：NeRF时，分布趋于更加镜面反射（图6）。6f）：这是由于模型中不相关参数的抑制以及具有已经包括的其他参数作为邻居的参数的排他性重新包括。5. 结论今后的工作在这项工作中，我们提出了Re：NeRF，一种利用显式体素网格表示压缩NeRF模型的方法这种方法从模型中删除了参数，同时确保性能不会大幅下降。这是通过重新包含机制实现的，该重新包含机制允许先前移除的参数（其是剩余参数的邻居）在它们显示高梯度损失的情况下被重新包含。Re：NeRF可轻松部署于任何模型，具有不同的架构、训练策略或目标函数。因此，我们在三种不同的方法上测试了其有效性：DVGO [34]，其中模型的一部分学习密度，另一部分使用MLP映射复杂的体素依赖关系，TensoRF [3]学习4D网格和每个1243×（a）（b）（c）(d)（e）（f）图6：在“Mic”（Synthetic-NeRF）上训练的DVGO [34]的密度网格层的可视化。上：基线模型;下一篇：Re：NeRF应用这里可视化了非空体素（a，d）、它们的有效值（b，e）以及它们的值的分布，以对数标度（c，f）。 为了便于观察，（b）中的值被放大了10倍。表2：在Synthetic-NeRF的“Mic”上进行的消融研究。这里使用的方法是DVGO [34]。第一行是参考基线。低压缩性高压缩性层去除重新纳入量化峰值信噪比[dB]大小[MB]峰值信噪比[dB]大小[MB]✗✗✗✗33.1567.69--所有✓✗✗26.726.8825.090.87体素✓✗✗33.197.0227.671.08体素✓✓✗33.267.1229.541.24体素✓✓✓33.101.4829.410.34在辐射场上形成低秩分解，Plenoxels [8]直接优化体素网格，没有MLP支持学习。这些方法已经在四个流行的数据集上进行了测试，其中两个是合成的，两个来自真实图像。在所有情况下，Re：NeRF都能够以高达80的压缩率压缩approaches。减少这些模型所需的存储内存，主要是为了提高训练和推理时间，与原始NeRF [25]相比，EVG-NeRF牺牲了存储内存，进一步强调了EVG-NeRF的优势，并推动了其在内存受限或带宽受限应用中的大规模部署能力。有趣的是，在一个低压缩设置，性能基本上是无害的，而模型是有效的压缩。这为模型的预算重新分配开辟了道路1244引用[1] Mark Boss，Raphael Braun，Varun Jampani，Jonathan TBar- ron，Ce Liu，and Hendrik Lensch.Nerd：来自图像集合的神经反射分解。在IEEE/CVF计算机视觉国际会议论文集，第12684-12694页[2] Eric R Chan，Marco Monteiro，Petr Kellnhofer，JiajunWu，and Gordon Wetzstein. pi-gan：周期性隐式生成对抗网络用于3D感知图像合成。在IEEE/CVF计算机视觉和模式识别会议的Pro-ceedings中，第5799-5809页[3] Anpei Chen，Zexiang Xu，Andreas Geiger，Jingyi Yu，and Hao Su. Tensorf：张量辐射场。ECCV，2022年。[4] Abe Davis Marc Levoy和Fredo Durand非结构化光场。在Computer Graphics Forum ， 第 31 卷 ， 第 305-314 页 中Wiley Online Library，2012.[5] Paul E Debevec，Camillo J Taylor，and Jitendra Malik.从照片中建模和渲染建筑：一种基于几何和图像的混合方法 。 在 Proceedings of the 23rd annual conference onComputer graphics and interactive techniques，pages 11[6] 约翰·弗林，迈克尔·布罗克斯顿，保罗·德贝维克，马修·杜瓦尔，格雷厄姆·费弗，瑞安·奥弗贝克，诺亚·斯内弗利和理查德·塔克。Deepview：查看合成与学习梯度下降。在IEEE/CVF计算机视觉和模式识别会议论文集，第2367- 2376页[7] 乔纳森·弗兰克尔和迈克尔·卡宾。彩票假设：寻找稀疏的、可训练的神经网络。ICLR，2019。[8] Sara Fridovich-Keil ， Alex Yu ， Matthew Tancik ，Qinhong Chen，Benjamin Recht，and Angjoo Kanazawa.Plenoxels：没有神经网络的辐射场。在IEEE/CVF计算机视觉和模式识别会议论文集，第5501-5510页[9] Guy Gafni ， Justus Thies ， Michael Zollhofer ， andMatthias Nießner.用于单目4d面部化身重建的动态神经辐射场。在IEEE/CVF计算机视觉和模式识别会议论文集，第8649-8658页[10] Chen Gao ，Ayush Saraf ，Johannes Kopf，and Jia-BinHuang.从动态单目视频合成动态视图。IEEE/CVF计算机视觉国际会议论文集，第5712-5721页，2021年[11] Pengsheng Guo，Miguel Angel Bautista，Alex Colburn，Liang Yang，Daniel Ulbricht，Joshua M Susskind，andQi Shan.快速和明确的神经视图合成。在IEEE/CVF计算机视觉应用冬季会议论文集，第3791-3800页，2022年[12] Song Han，Jeff Pool，John Tran，and William Dally.学习权值和连接，以实现高效的神经网络。神经信息处理系统的进展，2015年28日。[13] Yi-Hua Huang，Yue He，Yu-Jie Yuan，Yu-Kun Lai，and Lin Gao.风格化削弱：通过2D-3D相互学习将一致的3D场景风格化为风格化的nerf。InProceedings ofIEEE/CVF计算机视觉和模式识别会议，第18342-18352页，2022年。[14] Berk Kaya，Suryansh Kumar，Francesco Sarno，VittorioFer-rari，and Luc Van Gool.深度多视点光度立体的神经辐射场方法。在IEEE/CVF计算机视觉应用冬季会议论文集，第1965-1977页[15] Arno Knapitsch ， Jaesik Park ， Qian-Yi Zhou ， andVladlen Koltun.坦克和寺庙：大规模场景重建的基准。ACM Transactions on Graphics（ToG），36（4）：1[16] 亚当·R·科西奥雷克，海科·斯特拉斯曼，丹尼尔·佐兰，波尔·莫雷诺，罗萨莉亚·施奈德，索纳·莫克尔和达尼洛·希门尼斯·雷兹。Nerf-vae：一个几何感知的3D场景生成模型。《国际机器学习会议》，第5742-5752页PMLR，2021年。[17] Yann LeCun， John Denker ， and Sara Solla. 最佳 脑损伤。神经信息处理系统进展，2，1989。[18] Namhoon Lee 、 Thalaiyasingam Ajanthan 和 Philip HSTorr。Snip：基于连接敏感性的单次网络修剪。ICLR，2019。[19] Anat Levin和Fredo Durand使用维度间隙光场先验的线性视图合成在2010年IEEE计算机协会计算机视觉和模式识别上，第1831-1838页IEEE，2010。[20] Zhengqi Li，Simon Niklaus，Noah Snavely，and OliverWang.神经场景流场用于动态场景的时空视图合成在IEEE/CVF计算机视觉和模式识别会议论文集，第6498-6508页[21] 李正奇、贤文琦、阿比戴维斯、诺亚·斯奈弗利。全光功能的众采样。在欧洲计算机视觉上，第178Springer，2020年。[22] Lingjie Liu ， Jiatao Gu ， Kyaw Zaw Lin ， Tat-SengChua，and Christian Theobalt. 神经稀疏体素场。 神经信息处理系统的进展，33：15651[23] Ricardo Martin-Brualla 、 Noha Radwan 、 Mehdi SMSajjadi、Jonathan T Barron、Alexey Dosovitskiy和DanielDuck-worth。Nerf在野外：神经辐射场用于非受控的照片收集。在IEEE/CVF计算机视觉和模式识别会议论文集，第7210-7219页[24] Ben Mildenhall ， Pratul P Srinivasan ， Rodrigo Ortiz-Cayon，Nima Khademi Kalantari，Ravi Ramamoorthi，Ren Ng，and Abhishek Kar.局部光场融合：实用的视图合成与规定的采样指南。ACM Transactions on Graphics（TOG），38（4）：1[25] Ben Mildenhall，Pratul P Srinivasan，Matthew Tancik，Jonathan T Barron ， Ravi Ramamoorthi ， and Ren Ng.Nerf：将场景表示为用于视图合成的神经辐射场。欧洲计算机视觉会议，第405-421页。Springer，2020年。[26] ThomasMüller，Ale xEvans， ChristophSchied ，andAlexan-der Keller.即时神经图形原语与多分辨率哈希编码。ACM事务处理图表，41（4）：102：11245[27] Atsuhiro Noguchi，Xiao Sun，Stephen Lin，and TatsuyaHarada.神经连接辐射场。 在IEEE/CVF计算机视觉国际会议论文集，第5762-5772页[28] Christian Reiser ， Songyou Peng ， Yiyi Liao ， andAndreas Geiger. Kilonerf：用数千个微小的mlps加速神经辐射场。在IEEE/CVF国际计算机视觉会议论文集，第14335- 14345页[29] Katja Schwarz ， Yiyi Liao ， Michael Niemeyer ， andAndreas Geiger. Graf：用于3d感知图像合成的生成辐射场。神经信息处理系统的进展，33：20154[30] 施静蕾和克里斯汀·吉列莫。用于光场压缩的带量子化的 蒸 馏 低 阶 神 经 辐 射 场 。 arXiv 预 印 本 arXiv ：2208.00164，2022。[31] Lixin Shi ， Haitham Hassanieh ， Abe Davis ， DinaKatabi，and Fredo Durand.利用连续傅立叶域中的稀疏性重建光场ACM Transactions on Graphics（TOG），34（1）：1[32] Pratul P Srinivasan ， Boyang Deng ， Xiuming Zhang ，Matthew Tancik，Ben Mildenhall，and Jonathan T Barron.神经反射和可见性领域的重新照明和视图合成。在IEEE/CVF计算机视觉和模式识别会议论文集，第7495-7504页[33] Pratul P Srinivasan ， Richard Tucker ， Jonathan TBarron，Ravi Ramamoorthi，Ren Ng，and Noah Snavely.用多平面图像推进视图外推的边界在IEEE/CVF计算机视觉和模式识别会议论文集，第175-184页[34] 孙成、孙敏、陈焕宗直接体素网格优化：辐射场重建的超快速收敛在IEEE/CVF计算机视觉和模式识别会议论文集，第5459- 5469页[35] Matthew Tancik，Ben Mildenhall，Terrance Wang，DiviSchmidt，Pratul P Srinivasan，Jonathan T Barron，andRen Ng.用于优化基于坐标的神经表示的学习初始化。在IEEE/CVF计算机视觉和