大规模三维点云属性压缩方法的研究

148193DAC：点云学习属性压缩方广池1，2，胡庆勇3，王汉云4，徐一玲5，郭玉兰1，2，6*1中山大学、2中山大学深圳校区、3牛津大学4信息工程大学5上海交通大学6国防科技摘要研究了大规模非结构化三维点云的属性压缩问题通过深入研究不同编码步骤和不同属性通道之间的关系，本文引入了一种深度压缩网络（3DAC），用于显式压缩3D点云的属性，减少存储空间。首先将点云的颜色、反射率等属性转换为变换系数.然后，我们提出了一个深度熵模型，通过考虑隐藏在属性变换和先前编码属性中的信息来最后，使用估计的概率来进一步将这些变换系数压缩为原始点云（地面实况）BPP：24G-PCC基本生产力：11.91 PSNR峰值：51.773D自动编码器基本生产力：12.34PSNR ：25.57我们BPP：8.62 PSNR峰值：52.98最终属性比特流。在室内和室外大规模开放点云数据集上进行的广泛实验，包括ScanNet和SemanticKITTI，证明了所提出的方法具有优越的压缩率和重建质量。1. 介绍作为一种常见的3D数据表示，点云已广泛用于各种实际应用中，例如混合现实[28]，自动驾驶车辆[16，21]和高分辨率地图[20，37]。由于在3D采集方面取得的显著进展，点云变得越来越容易获得。然而，大量不规则采样点的存储和传输对现有的压缩技术提出了新的挑战。特别地，与点的原始3D坐标一起，其属性（例如，颜色、反射率）也是不平凡的1。在这方面，我们将研究有效的非结构化点云的属性压缩在本文中。要实现点云属性压缩，图1. 定性点云属性压缩结果3D自动编码器，G-PCC和我们在ScanNet上的方法[10]。报告亮度分量的每点比特数（BPP）和峰值信噪比（PSNR）。注 意 ， 原 始 点 云 通 常 使 用 uint8 RGB 值 （ 即 ， 8×3=24BPP）。文献[11，29，30，41，42，45，48，57]通常将图像处理技术应用于3D点云。特别是，早期的方法通常遵循两步框架，即。属性的初始编码和变换系数的熵编码。许多方法集中于开发复杂的初始编码算法，其将点云属性转换为特定域中的系数。然而，熵编码，即进一步将系数有损压缩成最终比特流，在很大程度上被忽视了.在最近的作品中，只有少数熵编码器[18，26，39通常，熵编码与初始编码一起独立地包括在上述属性压缩框架中。更具体地，这些传统的手工熵编码器将系数作为符号序列，并且仅考虑*通讯作者：郭玉兰（guoyulan@sysu.edu.cn）.1例如，使用MPEG的标准点云压缩算法（即，，G-PCC [39]），对于有损和无损压缩，属性压缩分别占用整个比特流的60%和2根据信息论[40]，给定传输系数的实际分布，熵编码器可以实现比特率的下限。14820将先前的输入符号作为上下文信息。大多数现有的熵编码器没有结合点云的几何信息或初始编码的上下文信息此外，这些方法单独地编码每个通道的属性，并且没有充分利用不同属性之间的通道间相关性。在本文中，我们提出了一个基于学习的压缩框架，称为3DAC，点云属性。具体而言，所提出的3DAC采用区域自适应分层变换（RAHT）[11]进行初始编码。然后，我们提出了一个面向属性的深度熵模型来估计变换系数的概率分布。特别地，我们通过探索来自初始编码阶段的上下文信息和不同属性之间的声道间相关性来对这些系数的概率进行如图1所示，我们的方法以较低的比特率实现了更高的重建质量，这表明了出色的属性压缩性能。本文的主要贡献如下：• 我们引入了一个基于学习的有效框架用于3D点云的属性压缩，具有竞争力的压缩性能。• 我们提出了一个面向属性的深度熵模型来连接属性压缩中的初始编码和熵编码步骤，并探索不同属性之间的• 我们证明了国家的最先进的压缩性能的建议的方法在室内和室外点云数据集。2. 相关工作2.1. 点云几何压缩点云几何压缩的目的是压缩点云的三维坐标。鉴于点云的非结构化性质，现有方法[27，39]通常利用高级数据结构（如oc树）来组织原始点云。例如，G-PCC [39]包括用于几何压缩的基于八叉树的方法。后来，在几种基于学习的方法[6，22，35]中，八叉树结构也用于初始编码，八叉树结构熵模型被提出用于概率估计。这些基于八叉树的方法主要是为几何压缩量身定制的。此外，深度图像压缩[3]通过3D自动编码器[7，8，31]扩展到3D域[15，23，32，34，50，53然而，由于点云属性的高度复杂性，神经网络往往会忽略高频分量（即，属性详细信息）。因此，将该框架扩展到属性压缩是不可行的。2.2. 点云属性压缩属性压缩的目的是压缩属性（例如，颜色、反射率）。总其思想是将传统的图像压缩技术应用于3D点云，其通常包括属性的初始编码和变换系数的熵编码。初始编码旨在捕获变换域中的信号冗余例如，Zhang等人。[57]首先通过八叉树将点云分成几个块，并使用图变换将属性转换为特征向量。Shao等人[41，42]用KD树组织点云，并采用图形变换进行属性压缩。由于特征分解的重复使用，基于图为了解决这个问题，Queiroz等人[11]提出了Haar小波变换的一种变体，即区域自适应分层变换（RAHT），用于实时点云传输。在几个后续工作中，RAHT扩展了帧内和帧间预测[30，45]，图形变换[29]和定点操作[38]。熵编码倾向于通过熵编码器（诸如霍夫曼[24]、算术[52]和Golomb-Rice编码器[36，51]）将符号编码到具有估计分布的Zhang等人。[57]和Queiroz等人。[12]假设变换系数遵循一定的拉普拉斯分布，然后用算术编码对其进行编码。然而，由于朴素的假设，估计的分布通常难以近似真实分布。在[11，30，45]中，自适应游程长度Golomb-Rice（RLGR）编码器[26]被用于熵编码。游程编码的两种变体也被[18，39]采用。所有这些熵编码器都将输入符号作为顺序数据，并且仅根据先前的输入符号来调整其编码参数。最近的一些作品[6，33，43]开始探索用于属性压缩的深度学习技术。Mau- rice等人。[33]使用FoldingNet[56]将点云重新组织为图像，然后使用传统的2D图像编解码器压缩图像。Muscle [6]被提出用于动态LiDAR强度压缩，其利用前一帧的LiDAR几何形状和强度用于其深度熵模型。通过利用来自其他初始编码方法和点云数据结构的上下文信息，可以进一步提高2.3. 深度图像压缩传统的图像压缩方法[5，17，44，46，49]通常包含三个步骤：变换，量化和熵编码。特别地，首先将源图像从信号域变换到频域，以利用少量变换系数来捕获空间冗余。这些系数然后用手工制作的量化表进行量化，并进行熵编码以进一步压缩。与传统的图像压缩方法相比，基于深度学习的方法联合优化了这三种方法。14821初始编码上下文模块F通道间相关模块RAHT树（第二节）3.2.2）深度熵模型（Sec. 3.3）算术编码概率估计RAHT（第3.2.1节）初始编码（第3.2）属性比特流彩色点云熵编码（第二节）第3.4节）低频系数高频系数低频节点高频节点F ：功能聚合 深度 重量 位置 低频系数 重建属性MLPs(1)来自高频节点的上下文zFySparseConvNetX(2)低频节点的上下文初始编码上下文模块（第3.3.2）MLPs(1)通道间相关系数zFySparseConvNetX(2)通道间空间相关性通道间相关模块（第3.3.3）图2.点云属性压缩方法的网络结构。步最新的方法[1-这些方法通过编码器构造一个非线性函数，将源图像映射到一个更可压缩的隐空间，并通过解码器从隐码中恢复图像然后，他们还用神经网络对潜在代码例如，Balle 'et al.[2]使用2D卷积神经网络对图像压缩的非线性变换和熵模型进行建模。3. 方法3.1. 概述给定一个三维点云，其几何形状是单独传输的，本文主要研究点云属性压缩问题。我们提出了一个基于学习的属性压缩框架，称为3DAC，以减少存储，同时确保重建质量。不失一般性，我们的框架将彩色点云作为其输入，如图2所示。请注意，其他属性，如不透明度和反射率，也可以用我们的框架压缩。如图2所示，我们首先采用有效的初始编码方法（即，例如，RAHT）将点云属性分解为低频系数和高频系数。然后，我们用一个树结构（i.例如，RAHT树）。所得到的高频系数被量化并通过RAHT树被公式化为符号序列。接下来，我们提出了一个面向属性的熵模型来解释初始编码上下文和声道间相关性。因此，可以很好地模拟每个符号的概率分布。在熵编码阶段，进一步对符号流和预测概率进行编码。其被传递到算术编码器中以产生最终属性比特流。3.2. 初始编码初始编码方法能够通过将点云属性转换为变换系数来捕获在这里，由于其简单性和灵活性，我们采用区域自适应分层变换（RAHT）[11]进行初始编码。请注意，可以将RAHT的改进版本集成到我们的框架中以获得更好的性能。3.2.1区域自适应分层变换RAHT是Haar小波变换的一种变体，它将点云属性转换为频域系数。具体而言，原始点云首先被体素化，然后通过将来自个体体素的点组合到整个3D空间来将属性分解为低频系数和高频系数。在这里，我们通过一个2D玩具示例简要回顾RAHT [11图3（a）示出了RAHT的2D示例 只有两个维度（即，x和y）在这种情况下被考虑在图3（a）中，li和hi分别表示低频系数和高频系数。在图1的第一块中在图3（a）中，点被表示为被占用的体素，并且对应点的属性被表示为低频系数l1、l2和l3。在编码阶段，我们先沿x轴进行变换，然后依次沿y轴进行变换，直到所有体素合并到根空间。在第一深度级别，l2和l3被变换为l4和h1，而l1由于沿x轴缺乏邻居而被直接传输到下一深度级别在第二深度级别中，l1和l4被变换14822联系我们RΣΣ1w1w21M（一）（b）第（1）款节点表示相应的子空间。特别地，如果RAHT树节点沿着变换方向没有邻居，则将该节点的低频系数否则，两个节点将合并到其父节点。同时，产生低频和高频系数。为了更好地说明概率和上下文建模，在第二节。3.3中，我们将仅包含低频系数的节点表示为低频节点（即，例如，图3（b）中的绿色节点），以及包含低频和高频系数作为高频节点的其他节点（即。例如，图中的黄色节点第3（b）段）。图3.RAHT和RAHT树的图解（a）A 2DRAHT的例子，（b）相应的RAHT树。到l5和h2。在解码期间，DC系数l5和高频系数h2用于恢复低频系数l1和l4。类似地，h1用于l2和l3以及重建的l4。因此，仅DC系数15和所有高频系数h1和h2需要作为符号发送。也就是说，这些系数必须被编码用于属性压缩。对于3D点云，RAHT沿着三维重复地将属性转换为系数（例如，例如，在一个实施例中，首先沿x轴，然后沿y轴和z轴），直到所有子空间合并到整个3D空间。使用以下变换合并两个相邻点：3.2.3序列化我们将所有的高频系数量化，并将这些量化系数序列化为一个符号流与宽度优先遍历的RAHT树。以上述二维玩具箱为例，我们将根层系数序列化为h2，将第二层系数序列化为h1。系数序列化是无损的，属性失真只来自量化步长。请注意，所有上下文信息均在Secs中采用。3.3.2和3.3.3的深度熵模型在给定点云几何形状和宽度优先遍历格式的熵解码期间是可访问的对于DC系数，我们直接传输它。3.3. 我们的深度熵模型ld+1，x，y，zhd+1，x，y，zTw1，w2ld，2x，y，zld，2x+1，y，zΣ，（1）根据信息论[40]，给定传输的高频系数R的实际分布，比特率的下限可以通过以下方式实现其中，ld，2x，y，z和ld，2x+1，y，z是沿x维度的两个相邻点的低频系数，ld+1，x，y，z和ld+1，x，y，z是分解的低频系数和高频系数。这里，Tw1定义为：√ √熵编码然而，实际分布p（）在实践中通常不可用。为了解决这个问题，我们提出了一个深度熵模型，用估计的分布q（R）来近似未知分布p（R）。通常，我们首先用初始编码上下文来公式化q（RTw1，w 2=w 1 +W、（二）其中w1和w2是权重（即， 的数量q（R）与p（R）使用交叉熵损失。叶节点）和关于I v el y的L d，2x，y，z和L d，2x+1，y，z。如果该点没有相邻点，则将低频系数直接传递到下一级3.2.2RAHT树我们用树结构来描述上下文特征3.3.1制剂给定3D点云及其关联的RAHT树，m个高频节点和n个属性通道，发射的高频系数n，ts表示为R=. R（1），. -是的-是的 ，R（n）≠ 0且R（i）=r（i），. -是的-是的 ，r（i）. 认为-在SEC中提取。三点三 一般来说，点的组织方式为根据分层变换步骤的RAHT 树这里，我们在图3（b）中示出了上述2D玩具示例的构造的RAHT树与SEC一致。3.2.1，将l2和l3的树节点合并到l4和h1的树节点，而将l1和l4合并到l5和h2。在该RAHT树中，叶节点表示原始体素化点和内部节点。你好，你好你好，你好ΣΣ和通道间相关性，然后利用深度神经网络− 2000年2月2000年1月2网络（由两个模块组成）来近似14823R.n（1）（i-1）pend在先前的编码序列上，. -是的-是的，的。对于通道间相关性，我们首先将q（）转化为条件概率的乘积：q（R）= Yq.R（i）|R（i-1），. - 是的- 是的 ，R（1）n.（三）我这里，假设R（i）的概率分布为：R R14824R.Σ·|RRJY.−q（R）=qr|I，R，. -是的-是的 、R.⑷jJJJJJJJJJ.ΣJJj jjJ注意到，概率分布q（i）还取决于来自初始编码阶段的上下文信息，因此我们进一步利用系数r（i）的初始编码上下文Ij对q（R（i））进行因式分解：（i）（i1）（1）JJ然后，我们对估计的概率分布 q进 行建模Ij ，（i−1），. -是的-是的、（1）通过具有两个所提出的上下文模块的概率密度模型[3]，所述上下文模块包括初始编码上下文模块（其对来自属性变换的信息进行编码）和声道间变换模块（其探索对先前编码的属性的依赖性）。3.3.2初始编码上下文模块如第3.2节所述，我们采用RAHT进行初始编码，并用树结构表示RAHT的过程在这里，我们利用隐藏在初始编码阶段，通过从上下文特征和上下文特征中提取上下文特征，并扩散到多尺度特征体积中。对于每个高频节点，我们在其3D位置处从多尺度特征空间内插潜在特征，然后将它们连接成最终的嵌入特征lj。我们连接潜在嵌入hj和lj，并将它们馈送到MLP中以获得每个传输系数的初始编码上下文IjIj= MLP（[hj，Ij]）。（五）3.3.3通道间相关模块在大多数情况下，点云包含多个属性通道（例如，颜色、正常），并且在不同属性之间存在显著的信息冗余。因此，我们提出了一个通道间的相关性模块，利用通道间的相关性。通道间相关系数 对于未压缩系数r（i），我们首先将先前的增强编码系数，r（1），. -是的-是的，r（i−1），以探索整数-低频和高频树节点，并提出我们的初始编码上下文模块。来自高频节点的上下文。我们首先开始处理高频节点的信息。正如在Secs中提到的那样。3.2.2和3.2.3中，传输的符号流由高频系数组成，每个系数都有对应的高频节点。鉴于高频系数和节点之间的强关系，我们的初始编码上下文模块遵循[22]以提取每个高频节点的潜在嵌入hj特别地，我们将在初始编码阶段获得的上下文信息馈送到多层感知器（MLP）以获得hj。对于给定的高频节点，上下文信息包含深度级别、权重（即，子节点的数目）、低频系数和属性。注意，所有信息在解码期间都是可用的。低频节点的上下文。我们进一步提取低频节点的信息，并将其与高频节点的信息融合为初始编码上下文特征。虽然低频节点不直接与所传输的符号交互，但是在这些节点中仍然隐藏有大量的信息。因此，我们提取存在于这些节点中的上下文信息在这里，我们使用SparseConv [9，47]来处理RAHT树节点以提高效率。特别是，我们在每个深度级别执行3D稀疏卷积，并将低频和高频节点的位置（即，对应子空间的中心）作为输入点，并且它们的上下文信息作为输入特征。通过渐进稀疏卷积和下采样，融合低频节点和高频节点的上下文信息信道相关系数 具体来说，我们使用将先前编码的系数作为先验知识，并将它们馈送到MLP中以提取潜在特征c（i）：c（i）=MLP（[r（1），. -是的-是的 ，r（i−1）]）。（六）在这里，我们简单地连接所有先前编码的系数，并将它们用作MLP层的输入。通道间空间相关性。通过点云几何方法对编码后的系数进行进一步的聚集，以利于概率估计.一个关键的观察是，其他点的属性有助于预测给定点的属性。因此，我们通过RAHT树利用空间关系，通过3D稀疏卷积合并所有高频节点。注意，在这部分中仅考虑高频节点，因为低频节点不包含传输系数。更具体地说，我们在每个深度级别上执行3D稀疏卷积，并将高频节点的位置作为输入点，将其编码系数作为输入特征。对于每个高频节点，我们通过在多尺度特征空间中内插潜在特征来获得系数空间嵌入s（i）。类似于初始编码上下文fea的聚合在这些情况下，我们首先将c（i）和s（i）级联，然后将它们馈送到MLP层中以获得先前的信道嵌入。dingC（i）. 对于第一个属性通道，为了模型的一致性，我们将嵌入C（1）设置为全零特征。因此，我们最终可以对q r（i）进行建模|Ij，R（i−1），. -是的- 是的，R（1）为q（r（i））|Ij，C（i））。14825.n-概率分布qr|I，R，. -是的-是的 、R.JJJJ(a)（b）第（1）款图4.ScanNet（a）和SemanticKITTI（b）数据集上不同属性压缩方法的定量结果3.3.4概率估计我们通过MLP层聚合两个上下文特征Ij和C（i）以获得最终的潜在嵌入。这种嵌入进一步用于生成完全因子化密度模型的可学习参数[3]，该模型能够建模（i）（i1）（1）J3.4. 熵编码对于熵编码，我们采用算术编码器来获得最终的属性比特流。在前面的步骤中，我们已经将属性转换为Sec中的转换系数3.2.1中，将这些系数串行化为第3.2.1节中的3.2.3，并得到了Sec. 3.3.4.在最后的熵编码阶段，变换系数和估计的概率被传递到算术编码器以生成用于进一步压缩的最终属性比特流。在解码过程中，算术编码器能够以与我们的深度熵模型产生的概率相同的概率恢复3.5. 学习在训练过程中，我们对深度熵模型采用交叉熵损失：l=−r/logq（r（i））|Ij，C（i））。（七）我 J4.1. 实验装置(1) 数据集。 我们在以下两个数据集上进行实验：• ScanNet [10].这是一个包含1513个密集点云的大规模室内点云数据集。每个扫描包含超过一万个彩色点。在正式的训练/测试划分之后，我们使用1，201个点云进行训练，312个点云进行测试。• SemanticKITTI [4].这是一个大型户外Li-DAR数据集，包含22个稀疏点云序列。利用LiDAR传感器获取的点云反射率进行属性压缩。按照[4]中的默认设置，我们使用11个点序列进行训练，其他11个序列进行测试。(2) 评估指标。用峰值信噪比（PSNR）来评价重建质量。在[11]之后，我们报告了ScanNet中亮度分量的峰值 信 噪 比 。 类 似 地 ， 反 射 率 的 峰 值 信 噪 比 在SemanticKITTI数据集上报告。每点比特数（BPP）也被用来评估压缩比。(3) 基线。我们将所提出的方法与以下选定的基线进行比较：• RAHT [11]. 我们使用RAHT进行初始编码，用于熵编码的游程Golomb-Rice编码器[26]为了降低最终属性比特流的比特率，我们通过最小化交叉熵损失来用实际分布p（R）近似估计分布q（R）。4. 实验在本节中，我们首先评估我们的方法在两个点云数据集上的属性然后，我们的方法的有效性进行了验证的下游任务。最后，我们进行了广泛的烧蚀实验，以验证每个组件的贡献。• [29]第二十九话这是一个改进版本的RAHT与图形变换。熵编码采用游程Golomb-Rice编码器。• G-PCC [39].这是由MPEG3提供的标准点云压缩方法（G-PCC）。• Spconv AE。我们采用torchsparse [47]构建MinkUNet[9]进行属性重建，并使用完全因子分解密度模型[3]进行熵编码。3我们使用G-PCC参考实现的13.0版本：https://github.com/MPEGGroup/mpeg-pcc-tmc1314826BPP：5.39 PSNR峰值：26.17 BPP：3.46 PSNR峰值：34.63 BPP：2.11 PSNR峰值：34.60 BPP：2.07PSNR峰值：34.63ScanNetBPP：14.71 PSNR信噪比：26.42 BPP：16.52 PSNR信噪比：52.94 BPP：12.49 PSNR信噪比：51.58 BPP：9.20PSNR信噪比：52.94(a)地面实况（b）Spconv AE（c）RAHT（d）G-PCC（e）Ours图5.通过我们的方法和其他基线（包括Spconv AE、RAHT [11]和G-PCC [39]）实现的定性结果我们分别以低比特率和高比特率可视化ScanNet扫描我们的方法实现了最佳的压缩质量（PSNR）与最低的比特率。• 无转换。这是由Muscle [6]驱动的。这些属性不经过任何变换就被传输，并通过具有地理度量信息的概率密度模型[3]进行熵编码。与[6]相比，我们通过3D稀疏卷积从当前点云框架中提取几何上下文特征。注意，在我们的方法、RAHT和RAGFT中使用变换系数的均匀量化，而在G-PCC中使用自适应量化。实施详情。为了模拟点云压缩的真实情况，我们分别采用ScanNet和SemanticKITTI的9层和12层八叉树对原始点云数据进行体素化，并假设点云的几何形状已经分别传输。对于ScanNet，根据G-PCC的默认设置[39]执行从RGB颜色空间到YUV颜色空间的转换。我们采用了初始编码上下文模块和声道间匹配模块。对于SemanticKITTI，考虑到属性的单个通道（即，反射率）时，我们仅使用初始编码上下文模块并且简单地禁用声道间相关模块。4.2. 对公共数据集在ScanNet上进行评估不同方法在ScanNet上的定量属性压缩结果如图4所示。可以看出，基于变换的方法（即，、3DAC、G-PCC、RAHT和RAGFT）显著优于其他方法（即，，不带转换和SpconvAE），证明了初始编码方案的有效性。此外，与其他基线相比，所提出的方法始终实现最佳结果虽然我们的方法和RAHT采用了相同的初始编码，但我们的方法可以以更低的比特率获得相同的再现质量。这主要归功于所提出的熵模型和学习框架。我们还在图中提供了ScanNet的定性比较。五、可以看出，我们的方法实现了更好的重建性能，甚至比标准的点云压缩算法，G-PCC。SemanticKITTI的评价在SemanticKITTI数据集上通过不同方法实现的压缩性能的定量结果如图所示4. 很明显，所提出的方法始终优于其他方法的大幅度。这主要是因为所提出的模块能够通过3D卷积从稀疏LiDAR点云隐式地学习几何信息。我们还注意到，现有的压缩基线（包括RAHT，RAGFT和G-PCC）在此数据集上的性能并不令人满意相比之下，所提出的方法被证明可以很好地工作在室内密集点云和室外稀疏LiDAR点云。4.3. 下游任务评价我们通过两个有代表性的下游任务进一步评估了属性压缩的性能，包括机器每分钟的3D场景流估计任务，14827DWF一比拉泰C3.853.64CC3.57CCC3.51CCCC3.48（一）（b）第（1）款表2.高频节点信息消融研究。D、W、F和A分别代表节点4.4.消融研究图6.两个下游任务的定量结果。(a)：FlyingThings3D上的场景流估计（b）：ScanNet上的质量评估概念和人类感知的质量评估任务场景流估计。我们使用FlowNet3D在FlyingThings3D上展示了场景流估计的性能[25]。特别是，我们首先在原始点云上训练网络。然后，我们评估了压缩点云上的流量估计性能。具有和不具有属性的原始点云的结果也分别报告为“wRGB”和“w/o RGB”。端点错误（EPE）在每个点不同的比特被采用作为评估度量。如图6所示，所提出的方法实现了比RAHT和G-PCC更好的性能。这个下游任务的性能进一步证明了我们的方法的卓越压缩质量。质量评估。对于人类感知任务，我们采用点云质量评估，因为人类视觉系统对属性更敏感。特别是，我们采用GraphSIM [55]度量来表示压缩点云的质量，较高的GraphSIM分数意味着较低的属性失真。报告每个点不同位的分数。如图6所示，所提出的方法在相同的比特率下获得了最高的GraphSIM分数，进一步证明了我们的方法在下游面向人类视觉的任务上的有效性。初始H编码L除其他C信道S比拉泰C3.853.48CC3.28CCC3.08CCCC2.79表1.对初始编码上下文和通道间相关模块的消融研究。H、L、C和S分别表示来自高频节点的信息、来自低频节点的信息为了进一步确定我们框架中每个组件的贡献请注意，所有实验都在ScanNet上进行，并且对于相同的重建质量，所有均匀量化参数都设置为10首先，我们评估初始编码上下文和声道间相关模块。如表1所示，我们首先使用非参数的完全因子分解密度模型[3]，然后添加来自高频和低频节点（分别为H和L）的信息，通道间系数依赖性（C），最后采用通道间空间依赖性（S）。很明显，所提出的组件的渐进合并可以导致更低的比特率。然后，我们在表2中报告了RAHT树节点上下文信息上的消融研究。通过逐步将节点的深度级别（D）、权重（W）、低频系数（F）和属性（A）合并5. 结论本文提出了一种点云属性压缩算法。我们的方法包括一个面向属性的深度熵模型，同时考虑属性初始编码和通道间相关性，以减少属性的存储。我们展示了我们的方法在室内和室外数据集上的压缩性能，结果表明，我们的方法具有优越的能力，以降低比特率，以及保证重建质量。鸣谢。这项工作得到了国家统计局的部分支持。自然科 学中 国 基 金 会 （ 编 号 ： U20A20185 、61972435、61971282），深圳市科技计划项目（编号：RCYX20200714114641140），广东省自然科学基金项目（2022B1515020103）。胡庆勇还获得了中国国家留学基金管理委员会（CSC）奖学金和华为AI英国研究员奖学金的支持。14828引用[1] 白远超、刘先明、左王梦、王耀伟、季向阳。通过联合有损图像和残差压缩学习可伸缩ly=-约束的近无损图像压缩。在CVPR中，第11946-11955页，2021年。3[2] JohannesBall e' ， ValeroLaparra ， andEeroPSimoncelli. 端到端优化的图像压缩。在ICLR，2017。3[3] JohannesBalle´ ， DavidMinnen ， SaurabhSingh ，SungJinHwang，and Nick Johnston.基于尺度超先验的变分图像压缩。在ICLR，2018年。二、三、五、六、七、八[4] Jens Behley ， Martin Garbade ， Andres Milioto ， JanQuenzel ， Sven Behnke ， Cyrill Stachniss ， and JurgenGall. Se- manticKITTI：用于LiDAR序列语义场景理解的数据集在ICCV，第9297-9307页，2019年。6[5] FabriceBellardBpg 图 像 格 式 。 https ： //bellard.org/bpg，2015. 2[6] Sourav Biswas ， Jerry Liu ， Kelvin Wong ， ShenlongWang，and Raquel Urtasun. Muscle：使用深度熵模型的激光雷达多扫描压缩。NeurIPS，33，2020。二、七[7] Andrew Brock、Theodore Lim、James Millar Ritchie和Nicholas J Weston。使用卷积神经网络的生成和判别体素建模。神经信息处理会议：3D深度学习，2016年。2[8] Christopher Choy，JunYoung Gwak，Silvio Savarese.4D时空卷积神经网络：Minkowski 卷积神经网络。在CVPR中，第3070-3079页。IEEE，2019。2[9] Christopher Choy，JunYoung Gwak，Silvio Savarese.4D时空卷积网络：Minkowski卷积神经网络。在CVPR中，第3075-3084页，2019年。五、六[10] Angela Dai、Angel X Chang、Manolis Savva 、MaciejHal- ber 、 Thomas Funkhouser 和 Matthias Nießner 。ScanNet：室内场景的丰富注释3D重建。在CVPR中，第5828-5839页，2017年。1、6[11] Ricardo L De Queiroz和Philip A Chou。使用区域自适应层次变换压缩三维点云。IEEE TIP，25（8）：3947-3956，2016。一二三六七[12] Ricardo L de Queiroz和Philip A Chou。使用高斯过程模型的点云变换IEEE TIP，26（7）：3507-3517，2017。2[13] Xin Deng，Wenzhe Yang，Ren Yang，Mai Xu，EnpengLiu，Qianhan Feng，and Radu Jingfte.用于高效立体图像压缩的深度单应性。在CVPR中，第1492- 1501页，2021年。3[14] 葛高、裴佑、潘荣、韩顺元、张媛媛、戴玉超、李浩在。通过注意力多尺度反投影和频率分解的神经图像压缩。在ICCV中，第146773[15] Linyao Gao，Tingyu Fan，Jianqiang Wan，Yiling Xu，Jun Sun，and Zhan Ma.通过神经图形采样进行点云几何压缩。在ICIP中，第3373-3377页。IEEE，2021。2[16] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准 备 好 自 动 驾 驶 了 吗 ？ KITTI 视 觉 基 准 套 件 。 在CVPR，第3354-3361页，2012中。1[17] Vivek K Goyal变换编码的理论基础IEEE信号处理杂志，18（5）：9-21，2001年。2[18] Shuai Gu，Junhui Hou，Huanqiang Zeng，Hui Yuan，and Kai-Kuang Ma.基于几何引导稀疏表示的三维点云属性压缩。IEEE TIP，29：796- 808，2019。一、二[19] 何黛兰，郑耀燕，孙宝成，王艳，秦宏伟。用于高效学习图像压缩的黑板上下文模型。在CVPR中，第14771-14780页，2021年。3[20] Qingyong Hu，Bo Yang，Sheikh Khalid，Wen Xiao，Niki Trigoni，and Andrew Markham. Sensaturban：从城市规模摄影测量点云学习语义。国际计算机视觉杂志，第11[21] Qingyong Hu，Bo Yang，Linhai Xie，Stefano Rosa，Yulan Guo，Zhihua Wang，Niki Trigoni，and AndrewMarkham.利用随机采样学习大规模点云的语义分割。IEEE TPAMI，2021。1[22] Lila Huang，Shenlong Wang，Kelvin Wong，Jerry Liu，and Raquel Urtasun. Octsqueeze：用于激光雷达压缩的八叉树结构熵模型。在CVPR中，第1313-1323页，2020年。二、五[23] 黄天心和刘勇。深度学习的3D点云几何在ACM MM中，第890-898页，2019年。2[24] 大 卫 · 霍 夫 曼 。 一 种 构 造 最 小 冗 余 码 的 方 法 。Proceedings of the IRE，40（9）：1098-1101，1952. 2[25] Xingyu Liu ， Charles R Qi ， and Leonidas J Guibas.Flownet3d：学习3D点云中的场景流。在CVPR中，第529-537页，2019年。8[26] 恩里克·S·马尔瓦。统计量未知的量化广义高斯信源的自 适 应 游 程 /Golomb-Rice 编 码 在 数 据 压 缩 会 议（DCCIEEE，2006年。一、二、六[27] 唐纳德·米格。使用八叉树编码的几何建模。计算机图形和图像处理，19（2）：129- 147，1982年。2[28] Zhigeng Pan ， Adrian David Cheok ， Hongwei Yang ，Jiejie Zhu，and Jiaoying Shi. 虚拟学习环境的虚拟现实与混合现实。计算机图形，30（1）：20-28，2006年。1[29] Eduardo Pavez，Benjamin Girault，Antonio Ortega，andPhilip A Chou.三维点云的区域自适应图形傅立叶变换。在ICIP中，第2726-2730页。IEEE，2020年。一、二、六[30] Eduardo Pavez，Andre L Souto，Ricardo L De Queiroz，and Antonio Ortega.三维点云属性的多分辨率帧内预测编码。arXiv预印本arXiv：2106.08562，2021。一、二[31] Charles R Qi， Hao Su ，Kaichun Mo， and Leonidas JGuibas.PointNet：用于3D分类和分割的点集深度学习。在CVPR中，第652-660页，2017年。2[32] 莫里斯·夸奇，朱塞佩·瓦伦齐斯，弗雷德里克·杜福。学习卷积变换用于有损点云几何压缩。在ICIP中，第4320-4324页。IEEE，2019。214829[33] 莫里斯·夸奇，朱塞佩·瓦伦齐斯，弗雷德里克·杜福。基于折叠的点云属性压缩。在ICIP中，第3309-3313页。IEEE，2020年。2[34] 莫里斯·夸奇，朱塞佩·瓦伦齐斯，弗雷德里克·杜福。改进的深点云几何压缩。2020年IEEE第22届多媒体信号处理国际研讨会（MMSP），第1-6页IEEE，2020年。2[35] 子正缺、郭鲁、东旭。Voxelcontext-net：基于八叉树的点云压缩框架。在CVPR中，第6042-6051页，2021年。2[36] 伊恩·E·理查森。H. 264和MPEG-4视频压缩：下一代多媒体视频编码。John Wiley Sons，2004年。2[37] Radu Bogdan Rusu 、 Zoltan Csaba Marton 、 NicoBlodow、Mihai Dolha和Michael Beetz。面向家庭环境的基于三维点云的对象地图。机器人和自动化系统，2008年。1[38] Gustav oPSandri ， PhilipAChou ， MajaKriv okuc' a ，andRicardo L de Queiroz.区域自适应分层变换的替代方案. IEEE符号过程 Letters，26（9）：1369-1372，2019.2[39] Sebastian Schwarz，Marius Preda，Vittorio Baroncini，Mad- hukar Budagavi ， Pablo Cesar ， Philip A Chou ，Robert A