341内隐神经表征阿德莱德卡梅伦戈登大学阿德莱德大学阿德莱德大学阿德莱德大学摘要量化在隐式/坐标神经网络中的作用仍然没有完全理解。我们注意到，在训练期间使用规范的固定量化方案在低比特率下产生较差的性能，这是由于网络权重分布在训练过程中发生变化在这项工作中，我们表明，神经权重的非均匀量化可以导致显着的改善。具体来说，我们证明了聚类量化，使重建得到改善。最后，通过characteris- ing量化和网络容量之间的权衡，我们证明了使用二进制神经网络重建信号是可能的（虽然内存我们在二维图像重建和三维辐射场的实验上证明了我们的发现;并表明简单的量化方法和结构搜索可以实现NeRF的压缩到小于16 kb，性能损失最小（比原始NeRF小323倍）。1. 介绍人们对隐式神经功能的压缩越来越感兴趣[9，10，40，47]。虽然现有的工作已经研究了量化作为神经压缩管道的一部分的使用，但仍然存在许多经典的量化方法，这些方法很少应用于这些问题[14，15，13]。特别地，在隐式神经函数的压缩中，通常的方法是应用统一量化[9，10，40]，并且使用在训练过程中不改变的固定虽然简单有效，但如果底层分布在训练中有所不同，则可能会引入量化误差。在这项工作中，我们应用聚类量化方法来更紧密地表示隐式神经表征的权重。在量化文献中，关键思想是尽可能紧密地匹配量化信号和原始信号的分布以防止重构误差;这是集群K-means峰值信噪比：19.56，峰值信噪比：21.0646.9kb均匀最小最大分布[-1，1]PSNR：18.14 PSNR：18.52 PSNR：18.4611.0kb 13.2kb 16.2kbPSNR：18.44 PSNR：19.20 PSNR：19.1831.8kb 39.9kb 49.3kb图1.在一个小NeRF模型上比较团簇和均匀量子化。顶部：4层，每层64个神经元。下图：4层，每层128个神经元量化为每权重3位。这可以通过使用信号的聚类划分来实现[13，15]。此外，众所周知，网络中权重值的分布在训练过程中会发生变化-因此，在一个时期的分布假设-在整个训练周期内可能无效。此外，虽然已知均匀量化方法可以实现高保真度的信号表示，但网络容量和可行量化水平之间的权衡较少探索[9，10，40]。直觉上，通常预期增加网络量化的量应该有利于降低速率（即，以比特为单位的大小）的网络。然而，为了保持相同的重建质量，需要大幅增加网络的大小，以抵消权重的保真度损失。令人惊讶的是，我们发现，一个更高的量化水平与一个受限制的网络结构可以更高效的内存比一个低的量化水平与一个更具表现力的网络结构。本文的主要重点是在低比特/权重下对隐式神经表示中的聚类和均匀量化 特别是，我们的控制-342TLQE=∀2→2AB|一|≥|B|A → B22显式范围[-1，1]均匀量化聚类量化数据量，每个分区中的值映射到质心（质量中心）的分区[13，15]。数据相关的量化方案可以被定义为相对于要量化的数据确定的量化映射。数据不可知的量化方案具有先验确定的映射。对于均匀量化方案，数据相关方法可以将范围设置为数据的（最小值，最大值）值，或者设置为包含分布信息（例如数据的标准偏差）的限幅范围[15，13]。图2显示图2. 左侧： 不同的均匀量化范围。右：研究的均匀量化和聚类量化的决策边界之间的比较。均匀量化方案平均地划分量化范围。簇量化划分量化范围，使得每个分区包含相等质量的分布。分配如下：• 我们引入了一种自适应聚类策略，用于应用于隐式神经网络的量化感知训练，在较低的量化水平下比多模态（图像和神经辐射场）的统一方法表现出更好的性能。• 我们证明，需要在量化水平和网络架构的表现力之间进行性能权衡，以充分重构信号，即使使用二进制量化也可以实现高保真度重构。• 作为分析的应用，我们证明了神经辐射场的实质性压缩（比原始NeRF [27]小323倍，比cNeRF [2]小58倍）可以通过简单的量化方法和架构搜索获得，性能崩溃最小。2. 背景2.1. 量化我们将量化方案Q：定义为两个集合之间的映射，使得基数（例如 Q：RZ5）。 虽然其他字母表是可能的，但通常共域具有R或Z中的元素。例如，均匀量化方案具有在范围（a，b）内具有相等间隔的余域。 相反，非均匀量化方案在其元素之间具有不相等的间隔。非均匀量化方案的示例包括对数量化，其中元素按几何学间隔开;以及簇量化，这些方法之间的区别。固定量化方案对于每个时期t使用相同的量化方案。也就是说，Qt=Qt+1;t。自适应量化方案允许Qt在训练过程中变化标量x的量化误差由[13]给出：Q=x − Q（x）。（一）对于值矩阵，我们可以使用量化误差的L2范数作为距离度量：e=<$X − Q（X）<$2。（二）对 于 L层 感 知器 ， 我 们可 以 将 总 逐 层量 化 误 差（TLQE）定义为：22l∈L其中，Wl是指层l处的全精度权重，并且Ql是应用于层l的量化映射。2.1.1固定和自适应量化考虑Qt取决于给定时期的权重t.在固定的数据相关的聚类量化下，我们将Qt定义为最小化时期t处的量化值和未量化值之间的距离的映射：Q t：=argmin <$W t− Q（W t）<$2。 （四）请注意，通常权重值的分布会随着训练而变化。 考虑在几个训练时期之后，在时间t′将相同的Q t应用于权重矩阵。 由方程4的假设，我们得到Qt是历元t的最优映射，Qt′是历元t′的最优映射。因此，我们知道在t′处使用Qt所产生的量化误差大于或等于应用最佳Qt′所产生的量化误差：≥。（五）2 2其中元素由决策边界划分分离点簇[14，15，13]。Lloyd算法和K-means是聚类量化的示例，其中决策边界被确定为具有相等的这促使使用自适应量化方案。由于利用K均值算法的重新划分在计算上是昂贵的，因此可以设置自适应量化规则，最小最大范围分布范围Q343→--基于历元的间隔，或者基于量化误差，使得如果对于所选δ：至少在香农的时代[36]。在图像处理中，量化是JPEG等图像压缩算法的基本要素[35，42]。而术语2 2<$Wt′−Qt（Wt′）<$2≥<$Wt−Qt（Wt）<$2+δ。（六）在实践中，我们发现只根据历元的数量定期重新划分就足够了2.2. 内隐神经表征（INR）INR是将坐标输入向量x映射到由神经网络权重[38，9，40，47]参数化的输出特征向量y的函数，如下所示：f θ（x）→ y。（七）INR的示例包括坐标网络[32，31]，NeRF及其许多变体[45，47，26，29]，音频[38，10]，视频[3，50，21]，拓扑表示[48]，光-场表示[11]、隐式几何[8，28]、新颖视图合成、体积标量场[24]和千兆像素图像拟合[25]。INR的一个特殊情况是图像退化问题[38，40，9]。 图像回归学习表示函数映射：f θ（x，y）（r，g，b）。网络权重θ提供了一种编码，可预测给定坐标的近似像素值穿过原始坐标集的前向传递近似地重建原始图像。因此，一个足够小或量化的网络可以被视为一种有损图像压缩形式[40，9，10]。2.3. 神经辐射场（NeRF）NeRF是以下形式fθ（x，y，z，θ，σ）→（r，g，b，σ），（8）其中空间位置由坐标（x，y，z）和观察方向（θ，θ）提供[27]。当在给定场景的一组相机姿态上训练时，隐式表示使得能够插值和生成新颖的姿态估计。为了提高逼真度或渲染速度，大量的技术变体虽然NeRF的隐式本质本身是一种压缩形式，但只有少数作品研究了进一步压缩该模型。方法包括秩残差分解、量化、熵惩罚、修剪和蒸馏技术的混合[18，2，43，44，37]。2.4. 相关作品2.4.1深度学习自20世纪90年代以来，如何对信号进行解调以保持其相关信息内容一直是信号处理、信息论、压缩和其他领域的基本兴趣。量化可以指任何连续的离散化信号，应该对其在计算机视觉中最常见的用法进行区分：在减少的位数中表示浮点值所涉及的精度降低的量化在深度学习中，降低精度的量化已被广泛应用于深度前馈网络中的权重和/或激活值[16，33，14，30，19]。由于PyTorch和Tensorflow等深度学习库在极端情况下，这涉及二进制神经网络，其权重被量化为二进制值-1，1 [6]。 Rastegariet al. [33]其引入了一种训练全精度网络的方法，该方法对于量化变换是鲁棒的，称为量化感知训练。深度神经网络的各种量化方法，包括非均匀映射，全局和逐层映射，整数量化[19]和混合精度量化也在文献中广泛描述[16，14]。2.4.2量化内隐神经表征在更广泛的INR文献中，有几项工作已经检查了量化压缩的使用。与我们有关的作品有杜邦等。[9]其应用量化和结构搜索来压缩图像，Strumpler等人。[40]其应用了量化感知训练和熵编码，以及Chiarlo [4]，其研究了INR的压缩方法（蒸馏，修剪，量化和量化感知训练）。杜邦等[10]显示了通过使用量化权重调制在多个模态上压缩INR的令人印象深刻的结果这些文件中的每一个应用统一的，而不是集群量化。此外，最近的[40]，[10]和[22]中的每一个都应用了元学习预初始化（MAML）来提高率失真性能和模型性能。它们需要额外的数据集进行预初始化;相反，我们在单个信号实例上学习以直接比较量化方法。在工程采用集群量化隐式神经表示，我们发现卢等。[24]，Takikawaet al. [43]和Shiet al. [37]与我们的方法最为Lu等人[24]对网络的每一层的权值应用K-means聚类来压缩体积标量场。 我们与他们的工作不同之处在于研究了NeRF和2D图像压缩;并且另外采用量化 感 知 训 练 和 熵 压 缩 。 第 二 个 是 最 近 发 布 的Takikawaet al。344−−F2∈ −W K−[43]他将一种学习过的量化应用于特征网格，以压缩NeRF和符号距离场。虽然他们使用K-means聚类作为后处理基准组件，但他们没有像我们的方法那样将其用作量化感知训练的一部分。最近，Shiet al. [37]基于原始NeRF（8层，256通道）对训练模型应用低秩分解和蒸馏，然后迭代地使用全局K-means量化映射来将每一层与其他层进行混合，然后重新训练。相比之下，我们在整个训练过程中应用逐层量化感知此外，我们的工作直接研究了量化方法，网络架构和量化级别对不同模态压缩的影响。3. 方法对于损失函数L、隐藏层的数量h、每层隐藏单元的数量w、量化函数Q、每权重比特数k、压缩函数C和目标分类约束D，我们可以将隐式神经表示的压缩看作是跨架构和量化级别的约束优化，最小L（·）（9）S.T.C（Q，w，h，k）≤ D。3.1. 量化方法我们的实验是在4种量化方法（显式[-1，1]，分布，Minmax和K-均值）上进行的。前三个是具有不同范围的均匀量化（参见图2）：一个明确的范围，[1，1];作为权重分布的标准偏差的函数计算的分布范围;以及由分布的最小值和最大值确定的Minmax这些与使用K-means算法计算的聚类进行比较。显式[-1，1]均匀量化使用Rastegari等人中找到的k位公式来计算。[33]：算法1自适应聚类量化输入：每权重比特数k，模型，交代期一曰： 对于时期1到N，第二章：训练模型（量化感知训练）3：如果重新划分时期，则4：对于层中的l，5：重新计算量化图（1D K均值）6：结束7：如果结束第八章： 端9：将量化模型转换为码本10：BZIP2码本模型+集群字典图3中的该过程通过使用直通估计器[1，33]将模型稳健地训练到量化。我们调整此过程以包括周期性重新分 区 ， 其 中 在 训 练 过 程 中 周 期 性 地 重 新 计 算Distributional，Minmax和K-means的量化映射。显式[ 1，1]量化对于所有历元是固定的。在N个历元训练周期中对每F个历元进行重新分区引入NG（q，w，h，k）的计算开销，其中G是重新分区的成本，其取决于网络架构（w，h）、量化函数（q）和每权重比特数（k）。因此，周期性的重新划分在累积量化误差和随着权重分布在训练中改变而重新计算划分的引入的计算开销之间取得平衡;参见图4和Sec. 5.在训练之后，量化的权重被转换为整数表示（量化的浮点数和整数的字典映射），如[40]所示。然后使用熵编码压缩库BZIP2对整数表示和映射算法1描述了我们的方法。1.2.1（）= 2（round（（2k1）（x+1））2k−1−（1）、（10）2其中x[ 1，1]。分布量化在权重分布的d个标准偏差内均匀地量化，其中d是根据Dupont等人发现的k位公式计算的.[10]：d= 3 + 3（k −1）。（十一）153.2. 量化感知训练（QAT）我们采用Rastegari等人介绍的量化感知训练。[33]第33段。简要回顾了该算法图3.QAT每历元训练周期：当前全精度权重矩阵W被量化Q（W）=Wk。针对输入数据计算损失函数L（Wk），并且误差导数单位长度（Wk） 计算了 然后，全精度权重矩阵W为使用反向传播更新。3452·4.1. CIFAR10图4.重新划分对总分层量化误差（TLQE）的影响重新计算分区以增加计算为代价减少了量化误差架构：1个隐藏层，18个神经元，5位权重，K均值量化。在CIFAR10数据集上进行了二维图像重建实验。我们使用1个隐藏层，正弦激活，20个神经元层的基础网络，复制了[10]中用于COIN压缩实验的架构在每个时期都应用重新分区。如图5所示，K-means聚类量化相对于在感知度量上评估的其他方法改进了重建有趣的是，它被发现具有实质上更高的准确性，根据梯度PSNR，即使在高比特每重量。比较统一的方法，分布和Minmax量化给出了大致相似的结果。在固定的[-1，1]之间均匀量化给出了最差的性能，其中以低比特/权重重构的信号很少。3.3. 实现细节训练是使用Adam优化器进行的，超参数为1e−4，β=（0. 99，0。999）和重量衰减= 1e−8[20]。对于图像回归，我们使用频率为30的正弦激活，如[9，40]所述，但与高斯和ReLU激活相结合作为补充消融[9，38]。 对于我们的2D图像回归实验，我们实验了MSE损失及其负底10对数（即，未缩放的峰值信噪比（PSNR））。对于NeRF实验，我们使用MSE损失[27];参见第2节。5更多详情 我们的实验使用标准感知度量进行定量评估，包括PSNR，结构相似性指数度量（SSIM）以及LPIPS Alex和VGG（两个学习的感知度量）[46，49，35，42，13]。我们还评估了梯度PSNR，我们定义为权重量化（CIFAR10）302520151051 2 3 4 5 6 78每权位数方法[-1，1]分布极大极小K-means10PSNR=−log10（（fθ（x，y））−（X）<$2），（12）1.00.8其中，是通过Sobel算子生成的图像梯度的近似值[42]。梯度PSNR用于确定保留图像梯度的质量，因为这些对于下游任务（例如图像分类和分割）通常很重要[42]。4. 结果在本节中，我们将介绍不同量化方案的比较。首先，我们展示了CIFAR10数据集的图像回归的聚类和均匀量化之间的性能差异接下来是对DIV2K数据集实例的更深入的架构分析作为分析的示例应用，我们应用05100.40.30.20.10.02 4 6 82 4 6 8每权位数0.60.40.20.00.80.70.60.50.40.30.20.10.02 4 6 82 4 6 8每权位数我们的方法更复杂的形式NeRF。图5.感知评估（CIFAR10）再分配频率50100200500 1000 3000时代TLQEPSNR梯度峰值信噪比LPIPS（亚历克斯）LPIPS（VGG）SSIM53461040 40分布120120内存使用图像质量2040608010032120120406080100321201PSNR图6.体系结构搜索隐藏层的数量，以及每个隐藏层的单元数量。颜色对应于使用K均值量化的不同量化比特/权重（1，3，5，8）Div2K指数3，在3000个时期评估。4.3. NeRF实验对于神经 辐射场的评估 ，我们使用了 4层NeRF[27]，每层64个隐藏单元，没有分层采样，训练了200，000个epoch，每100个epoch进行一次重新采样。选择性能最高的时期进行评估。按照[27]使用具有位置编码的ReLU激活。请注意，我们的分析对激活是不可知的;参见补充消融。最初的实验是在LLFF“花”实例上进行的在此之后，使用量化为3位/权重的权重对完整LLFF和Blender数据集进行评估。LLFF数据集图9显示了我们使用均匀和聚类量化在“花”实例（LLFF）上压缩NeRF的结果。观察到NeRF的显著压缩，而没有准确性的灾难性降级（例如，20.77 PSNR，模型大小为25.6kb）。在内存使用方面，这与原始NeRF（27.42 PSNR，5169 kb）和cN-eRF（27.39 PSNR，938 kb）[27，2]相比是有利的。此外，我们注意到图7.DIV2K索引3上不同速率下不同架构下的量化方法之间的比较聚类量化在低比特/权重下优于均匀方法，并且在较高分辨率下差异变得微不足道在低比特每重量的K-均值量化的改进。在每权重3比特的情况下，K-means量化在4层64个神经元的架构下获得 了 18.93 的 测 试 PSNR ， 而 显 式 [-1 ， 1] 量 化 下 为17.82，Minmax量化下为17.56，分布量化下为18.02。此外，K-均值量化使信号在1比特量化下获得（16.21PSNR）;一个限制，导致信号崩溃下显式和分布式quantization。在更高的比特/重量下，这种益处减少。这是预期的，并且与量化理论一致，因为增加分区会减少未覆盖的分布支持[13，15]。体系结构的选择对内存占用有很大的影响（例如，将隐藏层神经元增加到128个，使所使用的存储器从25.6kb增加到76.9kb，大 约增 加了 三 倍） ，PSNR （20.77 到 21.61;补 充材料）。Blender数据集表1显示了Blender测试NeRF实例上评估方法的比较。结果表明，K-means量化的感知指标有明显的改善这些模型的大小与BZIP2压缩后是明显较大的K均值量化。由于BZIP2对重复信息的压缩最有效，因此量化权重的分布在K均值聚类下可能更均匀请注意，在此过程中获得的压缩大小非常小，NeRF模型压缩到大约1.5的大小806040204320406028010012013025201543204060280100120113584.2. DIV2K我们在DIV2K图像测试套件上进行了2D图像重建的实验，该测试套件包括：1-位权重16143-位权重2520年龄与至少2000像素在至少一个轴上。图12峰值信噪比PSNR157比较了不同建筑的量化方法，810量子化的性质和速率。 应用了重新分区44每50个时期。 正如预期的那样，K-means量化203203在低比特率下优于均匀量化方法。在每权重8比特的情况下，K均值、分布和最小最大量化之间的差异可以忽略不计。这6028010012015-位权重K-meansMinmax[-1，1]60801008-位权重2与众所周知的结果一致，高分辨率32均匀标量量化器非常接近最优253028量化（对于高斯源，在2.82dB内），20峰值信噪比26峰值信噪比241963年由科舍列夫首次发现，此后又被重新发现1522多个作者[15，13]。1018347PSNR∗地面真相K-means[-1，1]分布极大极小PSNR：21.03 PSNR：20.47 PSNR：19.72 PSNR：19.3515.85kb 15.00kb 13.40kb 11.63kb图8.“drum”实例的合成NeRF定性结果在K-means量化下可见较少失真每个模型小于16kb（4个隐藏层，64个神经元，3位量化）。5020.017.54015.030 12.510.0207.5方法分布a[-1，1]MinmaxK-means在增加的计算成本和更频繁的重新划分的感知收益之间是实验者的主观考虑，我们注意到机器学习中的高全局能耗对社会的影响[12]。1001.03.05.08.05.02.50.01.03.05.08.0网络容量和量化的权衡1每权位数每权位数有趣的实验观察是一个明显的交易-图9.NeRF Flower图像的PSNR和压缩内存大小的比较架构（4层，64个神经元层）。下载16kb。定性评估表明，即使在这种极端压缩下，也能够重建清晰的信号（见图8）。5. 讨论和限制周期性重新分区虽然更频繁地重新计算分区可以减少量化误差（见图4），但这种开销可能会使使用K均值的频繁重新分区对于具有高量化分辨率的大型架构不切 实 际 。 实 现 的 K-means 算 法 的 计 算 复 杂 度 为 O（mn+nlogn），其中m是分区数，n是数据点[39]。对于我们的情况，这取决于每权重比特数k，（如m=2k）;每层的神经元数量win，wout（因为n=win wout）;以及层数。 因此，聚类操作在大的架构大小和每权重比特数的情况下低效地扩展在实践中，我们发现每50到100个epoch重新分区一次，可以将实验中的成本平衡到可管理的开销。在较小的程度上，Distributional和Minmax的开销也受到重新分区频率的影响。当一个平衡-在网络容量和量化之间。在图6中，我们显示了使用K均值量化在不同比特率下的权重量化效果。通过考虑诱导PSNR的水平集，我们注意到网络宽度、深度和量化水平的多种配置可以导致相同的PSNR。然而，该体系结构在内存消耗上存在差异，内存在层数上呈指数增长。这样做的结果是即使在极端权重量化的情况下也能在架构上减轻重建失败。图10在CIFAR上直观地显示了这一点：a）示出了3个隐藏层的网络，每层256个神经元，1比特权重（PSNR：22.21，31.6kb）; b）3个隐藏层512个神经元，1比特权重（PSNR：33.61;124.41kb）。作为压缩，这不是很有用：b）中的量化网络大约是原始CIFAR图像的40倍，然而它清楚地表明了权重量化和神经结构之间的性能折衷。作为比较，我们注意到，可以使用更高的每权重位数来获得改进的存储器效率，如图所示：c）其中我们有2个隐藏层，20个神经元，由于架构存储器成本，量化为5位权重（PSNR：29.69，3.11kb）。未来的工作进一步的改进，可以另外适用于我们选择的量化方案。特别是压缩内存（kb）3483隐藏层3隐藏层256个神经元512个神经元1位权重1位权重2个隐藏层20个神经元5位权重地面实况PSNR：22.21 PSNR：33.6131.6kb 124.41kbPSNR：29.693.11kb3.07kblog L2损失函数（即，直接优化PSNR）在给定的训练时期产生了比文献中更常见的标准L2损失函数更高精度的重建（参见补充材料），该结果在网络结构和激活函数的消融中保持一致。我们注意到，对数是一个单调运算，因此不会改变收敛网络的理论最小值。因此，有趣的是，这种修改导致了2D评估的这一结果并不适用于其他更具表现力的实验，如NeRF。对这一观察结果的原因进行正式调查仍然是一个潜在的调查途径。图10.量化级别的交易网络容量虽然可以使用K-means权重量化来实现具有足够网络容量的1位重建，但这需要对存储器效率进行权衡。表1. Blender（NeRF）的定量结果，架构：4个隐藏层，每层64个单元，3比特量化）。对重建的采样2D视图进行平均所采用的量化方法是确定性的，其可以在量化映射中引入图案和伪像;公知的抖动方法是避免该问题的一种方法[13，35]。在一定程度上，重新计算质心引入了一个随机性的来源，这可能有助于解决这个问题，但正式的评估仍然是未来工作的顺便说一下，我们发现使用6. 结论我们研究了使用非均匀量化的隐式神经函数的压缩通过考虑神经网络层的权重分布，我们能够以较低的每权重比特数实现比均匀量化方法更高的性能。此外，我们还表明，存在一个权衡之间的网络容量和权重量化水平，与极端（二进制）量化能够补偿足够的网络容量简单的experiments。与原始NeRF模型相比，我们的方法能够在很大程度上压缩神经辐射场由于该策略涉及对神经权重所采用的量化策略的修改，因此这也可以应用于其他大型隐式神经表示。特别令人感兴趣的是将其应用于高分辨率方法的潜力，例如kiloNeRF，其具有100MB的大内存占用或SNeRG具有90MB [34，17]。由于这些方法针对实时推理进行了优化，因此这将是迈向轻量级实时NeRF模型的一步确认我 们 感 谢 dr. Sameera Ramasinghe 和 Dr. HemanthSaratchandran对这项工作进行了宝贵的讨论。方法PSNRSSIMLPIPS大小（kb）椅子K-means29.780.950.0815.58分布26.760.910.1613.45Minmax27.690.930.1410.95显式[-1，1]28.400.940.1214.49鼓K-means21.030.810.2515.85分布19.720.720.4113.40Minmax19.350.710.4211.63显式[-1，1]20.470.770.3215.00FicusK-means23.850.890.1216.17分布23.030.860.2213.42Minmax22.710.850.2511.85显式[-1，1]23.390.880.1614.10热狗K-means27.520.880.1915.52分布25.040.800.3613.24Minmax25.600.830.2911.51显式[-1，1]26.070.830.3014.83乐高K-means22.880.820.1615.69分布21.370.770.2713.33Minmax20.790.760.2810.92显式[-1，1]21.890.790.2114.89材料K-means21.510.820.2315.36分布19.880.760.3713.22Minmax19.760.750.3710.64显式[-1，1]20.770.780.3414.03MicK-means26.070.930.1316.02分布23.680.890.2413.43Minmax23.090.890.2411.30显式[-1，1]24.960.920.1814.44船K-means24.490.690.3715.87分布23.450.650.4613.35Minmax23.480.660.4511.08显式[-1，1]23.930.660.4414.52349引用[1] YoshuaBengio，NicholasL e'onard，andAaronCourville. 通过条件计算的随机神经元来估计或消除干扰。技术报告arXiv：1308.3432，arXiv，8月2013. arXiv：1308.3432[cs] type：文章.[2] ThomasBird，JohannesBall e'，SaurabhSingh和PhilipA. 小周啊。基于熵量化神经表征函数的三维场景压缩。技术报 告 arXiv ： 2104.12456 ， arXiv ， 4 月 2021. arXiv ：2104.12456 [cs，eess] type：article.[3] 陈昊，何伯，王涵玉，任逸轩，林南爵士，史里瓦斯塔瓦。NeRV：Neural Representations for Videos。神经信息处理系统进展，第34卷，第21557-21568页。CurranAssociates，Inc. 2021年。[4] 弗朗切斯科·玛丽亚·奇亚罗。用于图像压缩的隐式神经表示。出版商：Politecnico di Torino，2021年7月。[5] Shin-Fang Chng、Sameera Ramasinghe、Jamie Sherrah和Simon Lucey。GARF：高斯激活辐射场高保真重建和姿态估计。技术报告arXiv：2204.05735，arXiv，4月2022年。arXiv：2204.05735 [cs] type：article.[6] Matthieu Courbariaux、Itay Hubara、Daniel Soudry、RanEl-Yaniv和Yoshua Bengio。二值化神经网络-工作原理：训练权重和激活约束为+1或-1的深度神经网络。技术 报 告 arXiv ： 1602.02830 ， arXiv ， 3 月 。 2016 年 。arXiv：1602.02830 [cs] type：article.[7] Thomas M.饰Joy A.托马斯信息理论的要素（Wiley系列电信和信号处理）。Wiley-Interscience，美国，2006年。[8] 弗朗索瓦·达蒙，贝·恩·迪科特·巴斯克，让·克莱·埃蒙·德沃，帕斯卡·莫纳斯和马蒂厄·奥布里。用面片变形改进神经隐式曲面几何。arXiv：2112.09648 [cs]，2021年12月。arXiv：2112.09648。[9] Emilie nDupont ， AdamGolin' ski ， MiladAlizadeh ，YeeWh yeTeh和Arnaud Doucet。COIN：内隐神经表征的压缩arXiv：2103.03123，2021。[10] 埃米利安·杜邦、赫鲁希凯什·洛亚、米拉德·阿里扎德、亚 当·戈 利 ·恩 斯 基 、 耶· 瓦 ·耶 · 泰 和 阿 诺 德 · 杜 塞 。COIN++ ： 数 据 不 可 知 的 神 经 压 缩 。 arXiv ：2201.12904，2022。[11] 布兰登·玉山·冯和阿米塔布·瓦什尼。SIGNET：光场的高效神经表示。在2021年IEEE/CVF计算机视觉国际会议（ICCV），第14204-14213页，加拿大魁北克省蒙特利尔，10月。2021. 美国电气与电子工程师协会。[12] EvaGarc 'ıa-Mart' ın ， Crefeda Faviola Rodrigues ，Graham Ri-l ey，andHaGrackanGrahn. 机器学习中能量消耗的估计并行和分布式计算，134：75-88，12月。2019年。[13] 艾伦·格肖和罗伯特·格雷。矢量量化与信号压缩。Kluwer国际工程与计算机科学系列。克鲁沃国际出版社，1992年.[14] Amir Gholami ， Sehoon Kim ， Zhen Dong ， ZheweiYao，Michael W.马奥尼和库尔特·库兹。高效神经网络推理的量化方法综述arXiv：2103.13630 [cs]，2021年6月。arXiv：2103.13630。[15] R.M.格雷和D.L.诺伊霍夫量化。IEEE Transactions onInformation Theory，44（6）：2325-2383，Oct. 1998.会议名称：IEEE Transactions on Information Theory.[16] Song Han，Huizi Mao，and William J. Dally深度压缩：使用修剪、训练量化和霍夫曼编码压缩深度神经网络技术报告arXiv：1510.00149，arXiv，2月。2016年。类型：article.[17] Peter Hedman，Pratul P.放大图片创作者：Jonathan T.Barron和Paul Debevec。烘焙神经辐射场用于实时视图合成。在IEEE/CVF计算机视觉国际会议论文集，第5875-5884页[18] Berivan Isik通过模型压缩进行神经3D场景压缩。技术报告arXiv：2105.03120，arXiv，2021年5月。arXiv：2105.03120 [cs] type：article.[19] Benoit Jacob、Skirmantas Kligys、Bo Chen、MenglongZhu、Matthew Tang、Andrew Howard、Hartwig Adam和Dmitry Kalenichenko。量化和训练神经网络，用于高效的仅整数算术推理。arXiv：1712.05877 [cs，stat]，Dec. 2017. arXiv：1712.05877。[20] Diederik P. Kingma和Jimmy Ba。Adam：A Method forStochastic Optimization，2014.电子版：1412.6980。[21] Hoang Le ， Liang Zhang ， Amir Said ， GuillaumeSautiere，Yang Yang，Pranav Shrestha，Fei Yin，RezaPourreza，and Auke Wiggers. MobileCodec：移动设备上的神经帧间视频压缩。技术报告arXiv：2207.08338，arXiv ， 2022 年 7 月 。 arXiv ： 2207.08338 [cs ， eess]type：article.[22] Jaeho Lee ， Jihoon Tack ， Namhoon Lee ， and JinwooShin.元学习稀疏隐式神经表征。神经信息处理系统进展，第34卷，第11769-11780页。Curran Associates，Inc.2021年。[23] 林振轩，马伟秋，安东尼奥·托拉尔巴，西蒙·露西。BARF ： 束 调 节 神 经 辐 射 场 。 技 术 报 告 arXiv ：2104.06405，arXiv，8月2021. arXiv：2104.06405 [cs]type：article.[24] 卢宇哲，姜凯荣，Joshua A. Levine和Matthew Berger。体 标 量 场 的 压 缩 神 经 表 示 。 技 术 报 告 arXiv ：2104.04523，arXiv，4月2021. arXiv：2104.04523 [cs]type：article.[25] 朱利安·NP. 作者声明：David B.作者：Connor Z.作者：Eric R.Chan ， Marco Monteiro ， and Gordon Wetzstein.ACORN：用于神经场景表示的自适应坐标网络。arXiv ： 2105.02788 [cs] ， 2021 年 5 月 。 arXiv ：2105.02788。[26] Fabian Mentzer，George Toderici，Michael Tschannen，and Eirikur Agustsson.高保真生成图像压缩，2020年。电子版：2006.09965。[27] 作者 ：Ben Mildenhall，放 大图 片作 者： Jonathan T.Barron，Ravi Ramamoorthi和Ren Ng.NeRF：将场景表示为视图合成的神经辐射场，2020年。350[28] 大卫·帕默，德米特里·斯米尔诺夫，斯蒂芬妮·王，艾伯特·陈和贾斯汀·所罗门。 DeepCurrents：学习隐式表示的边界。arXiv：2111.09383 [cs]，2022年3月。arXiv：2111.09383。[29] 作者：Kunhong Park，Utkarsh Sinha，Jonathan T.放大图片创作者：John W.塞茨和里卡多·马丁-布鲁阿拉。神经：变形神经辐射场。在2021年IEEE/CVF计算机视觉国际会议（ICCV）上，第5845-5854页，加拿大魁北克省蒙特利尔，10月15日。2021. 美国电气与电子工程师协会。[30] 秦 昊 彤 ， 龚 瑞 豪 ， 刘 祥 龙 ， 小 白 ， 宋 景 宽 ， NicuSebe。二进制神经网络：一个调查。模式识别，105：107281，9月。2020年。[31] Same
我的内容管理
展开
