没有合适的资源?快使用搜索试试~ 我知道了~
保持密度的点云压缩方法
Yun He1∗Xinlin Ren1∗Da22Xiangyang Xue1Yanwei Fu1Ours (Bpp: 1.61)Depoco (Bpp: 1.73)\\23330保持密度的深度点云压缩01 复旦大学 2 谷歌0摘要0点云的局部密度对于表示局部细节至关重要,但是现有的点云压缩方法忽视了这一点。为了解决这个问题,我们提出了一种新颖的深度点云压缩方法,可以保留局部密度信息。我们的方法以自动编码器的方式工作:编码器对点进行下采样并学习点级特征,而解码器使用这些特征对点进行上采样。具体而言,我们提出使用三种嵌入来编码局部几何和密度:密度嵌入、局部位置嵌入和祖先嵌入。在解码过程中,我们明确预测每个点的上采样因子以及上采样点的方向和尺度。为了减轻现有方法中的聚集点问题,我们设计了一种新颖的子点卷积层和自适应尺度的上采样块。此外,我们的方法还可以压缩点级属性,例如法线。在SemanticKITTI和ShapeNet上进行了广泛的定性和定量结果验证,证明我们的方法在失真率权衡方面达到了最先进的水平。01. 引言0点云是许多应用中最重要和广泛使用的3D表示之一,例如自动驾驶、机器人和物理模拟[ 13]。随着3D扫描技术的快速发展,复杂的几何体现在大规模的点云中可以被有效地捕捉到,并且具有精细的细节。因此,点云压缩对于存储和传输变得至关重要。特别是为了实现有利的压缩比,学术界一直在关注有损方法,并思考一个关键问题:在有限的比特率预算下,应该保留点云的哪些属性?除了全局几何之外,我们认为局部密度0�表示相等的贡献。Yun He、Xinlin Ren和XiangyangXue隶属于复旦大学计算机科学学院。YanweiFu隶属于复旦大学数据科学学院。0GT 我们的方法(Bpp: 1.61)0G-PCC(Bpp: 1.66) Depoco(Bpp: 1.73)0图1。我们认为局部密度是点云的一个重要特征,应该在压缩过程中保持。忽略局部密度的现有方法会产生均匀分布(G-PCC [ 12])和聚集点(Depoco [ 40])等伪影,导致重建效果更差,特别是在比特率较低时。0是一个重要的特征,应该尽可能地保留。首先,保留密度通常会导致较少的异常值,从而减小重建误差。其次,实际捕获的点云(例如来自激光雷达)很少具有均匀分布的点。丢失局部密度意味着丢失重要的特征,例如扫描分辨率和遮挡。第三,点云通常会在感兴趣区域或具有复杂几何的区域(例如人脸、手等)上进行处理或简化,保持压缩过程中的密度意味着在这些区域上花费更多的预算。最后但并非最不重要的是,如果解压缩的点云与原始点云的密度显著不同,则可能会影响语义分割等下游应用。从数学上讲,点云可以被视为一个集合,通常具有不同的基数和排列设置[ 8],这使得对于假设固定维度和有序输入的图像/视频压缩或传统的基于学习的解决方案来说变得困难。现有有损方法的典型策略是在压缩之前对点云进行体素化处理。23340sion [ 12 , 27 , 28 , 37 , 38]。虽然这样可以利用传统方法[ 7 , 22],但很明显会丢失局部密度,并且精度受到体素大小的限制。最近的方法[ 17 , 41 ]利用PointNet [ 24]或PointNet++ [ 25]通过最大池化来忽略基数和排列,并在一定程度上保持密度。然而,解压缩的点云总是丢失局部细节,并且由于最大池化丢弃了大部分局部几何信息,因此会出现聚集点问题。Depoco [ 40 ]采用KPConv [ 35]来捕捉比池化更多的局部空间信息,但由于特征复制,仍然存在聚集点伪影,见图1。另外,赵等人[ 46]引入了注意机制来处理不同的基数和排列,但它并不是为了压缩目的而设计的。在本文中,我们提出了一种新颖的密度保持的深度点云压缩方法,它在先前的方法中具有更好的失真率权衡,并且更重要的是保持了局部密度。我们的方法具有自动编码器架构,通过熵编码器进行端到端训练。我们的论文的贡献总结如下。在编码器方面:设计了三种类型的特征嵌入来捕捉局部几何分布和密度。在解码器方面:为了减轻现有方法中的聚集点问题,我们提出了1)子点卷积来促进上采样过程中的特征多样性;2)可学习的上采样点数以及不同区域的偏移量的比例。我们进行了大量的实验和消融研究来证明这些贡献。此外,我们还证明了我们的方法可以轻松扩展到同时压缩法线等属性。02. 相关工作0点云分析。点云通常是非结构化的、不规则的和无序的,不能直接通过传统的卷积进行处理。为了解决这个问题,许多工作[21,30]首先对点进行体素化,然后应用3D卷积,但这可能计算开销很大。另一种方法直接在点云上操作,因此被称为基于点的方法。例如,PointNet[24]和PointNet++[25]使用最大池化来忽略点的顺序。DGCNN[39]提出了动态图卷积来进行非局部特征聚合。PointTransformer[46]引入了纯自注意力[36]的网络。0点云压缩。传统的点云压缩算法[10-12, 23, 31,32]通常依赖于八叉树[22]或KD树[5]结构以实现存储效率。受到深度学习技术在点云分析[24, 25, 39, 46]和图像压缩[2,3]方面的巨大成功的启发,学习基于的点云压缩开始受到关注。同样,有损方法0还可以将其分为基于体素的[27, 28, 37, 38]和基于点的[17,40,41]。虽然在点云分析中共享了讨论的优缺点,但基于点的方法可以保留局部密度,以便将原始3D点作为输入。具体而言,Yan等人[41]将PointNet[24]集成到自动编码器框架中,而Huang等人[17]则使用PointNet++[25]。在体系结构方面,Wiesmann等人[40]建议在编码期间对点云进行下采样,并在解码期间进行上采样。此外,关于深度熵模型[6,16,29]的研究也很活跃,尽管它几乎是无损的,因为其损失仅来自量化。在本文中,我们专注于更丢失的压缩,以获得更高的压缩比。0点云上采样。点云上采样旨在将稀疏的点云上采样为密集且均匀的点云。以前的方法总是设计各种特征扩展模块来实现。特别地,Yu等人[44]通过多分支MLP复制特征并对其进行变换。其他一些方法[19, 20,43]采用基于折叠的[42]上采样,首先复制特征。具体而言,Wang等人[43]为每个复制的特征分配一个1D代码。Li等人[19]和Li等人[20]将每个复制的特征与从2D网格中采样的点连接起来。然而,由于复制,从这些方法生成的上采样特征可能太相似,导致点聚集。03. 方法论0提出的保持密度的深度点云压缩框架基于对称自动编码器结构,其中编码器具有由0、1...S-1索引的S个下采样阶段,解码器也具有由S-1、S-2...0反向索引的S个上采样阶段。对于编码器的第s阶段,输入点云被表示为Ps,输出为Ps+1。在解码器的反向阶段,第s阶段的输入和输出分别为ˆPs+1和ˆPs,如图2所示。请注意,为了与编码区分,重建的点云和相关特征使用帽符号。0输入点云P0首先被分割成较小的块,每个块将被单独压缩。为了简化,我们在块上使用相同的符号P0。具体来说,在编码器端,输入Ps在每个阶段s下采样到Ps+1,采样因子为fs,同时局部几何和密度也被编码为特征Fs+1。在瓶颈处,特征Fs被输入到端到端训练的熵编码器进行进一步压缩。在解压缩时,我们恢复下采样的点云ˆPS,以及由熵解码器提取的特征ˆFS。我们的上采样模块利用ˆFS逐个阶段地将ˆPS上采样回重建的点云ˆP0。��S ockDS BlockDS BlockDownsampling ModuleEntropyEncoder……��������������: Downsampled Point Cloud: Downsampled Features�������������Stage 1Stage 2US BlockUS BlockUS BlockAdaptive Upsampling ModuleStage 2Stage 1Stage 0Stage 023350DS块0DS块0DS块0下采样模块0熵编码器0:下采样的点云0:下采样的特征0US块0US块0US块0自适应上采样模块0阶段2 阶段1 阶段0 阶段00图2.我们的流水线首先将点云分割成小块。然后,每个块在局部点坍缩的密度和几何模式被编码成特征的同时进行三次下采样。在瓶颈处,下采样特征通过熵编码器进一步压缩。然后,解码器可以使用这些特征将下采样的点云自适应地上采样回原始的几何和密度。下采样(DS)块和上采样(US)块的详细信息分别如图3和图5所示。03.1.保持密度的编码器0下采样。在编码器的每个阶段s中,输入点云块Ps将通过最远点采样(FPS)按照fs的因子下采样为Ps+1,这鼓励采样点对点云Ps具有良好的覆盖。请参阅补充部分以了解不同采样技术的消融研究。0特征嵌入。由于Ps+1本身不保留Ps中被丢弃的点的分布。简单地通过1/fs对Ps+1进行上采样将导致重建结果精度较差且密度均匀。为了解决这个问题,对于Ps+1中的每个点p∈Ps+1,我们计算三个不同的嵌入:密度嵌入、局部位置嵌入和祖先嵌入,以紧凑的形式低熵地捕捉被丢弃的点Ps−Ps+1的几何和密度。首先,我们定义坍缩点集C(p)的概念。在决定了下采样点集之后,每个被丢弃的点被视为仅坍缩到其最近的下采样点。因此,所有坍缩到下采样点p的点形成一个坍缩点集C(p),我们将u=|C(p)|称为点p的下采样因子。密度嵌入FD通过将下采样因子u通过MLPs映射到一个d维嵌入来捕捉C(p)的基数。其次,局部位置嵌入捕捉C(p)的分布。具体而言,对于C(p)中的每个pk∈C(p),计算偏移pk−p的方向和距离如下:0(0||pk−p||2,||pk−p||2),p∈Ps+1,pk∈C(p)(1)0在这个4D向量中,方向(3D)和距离(标量)由此表示。因此,以p为中心的局部点分布可以由一个u×4的特征表示,该特征通过MLPs映射到一个更高维度的(u×d)空间,然后应用注意机制[36]将它们聚合成一个d维嵌入FP。虽然密度和位置嵌入在阶段s捕捉了局部密度和几何信息,但有必要在不增加太多计算成本的情况下将这些信息从前一阶段传递下去。为此,我们采用点变换层[46]将坍缩点集C(p)的前一阶段特征聚合到代表性采样点p中,因为它简单而有效。我们将这个d维向量FA称为祖先嵌入。最后,一个MLP将这三个嵌入(FP,FD,FA)融合成一个新的d维特征Fs+1,用于下一阶段。该过程如图3所示。0熵编码。在瓶颈处,我们有一个下采样的点云PS和每个点的特征FS。对于PS,我们使用半浮点表示来减少比特率。并且FS通过熵编码器进一步压缩。根据深度图像压缩的最新成功[2,3],我们将算术编码器集成到训练过程中,以共同优化特征的熵。这个过程伴随着一个速率损失函数,稍后将在第3.3节介绍。03.2. 密度恢复解码器0概述。在解码过程中,对称地,我们有S个上采样阶段。在瓶颈处,我们有经过下采样的点云ˆPS和由熵解码器提取的解码特征ˆFS。回想一下,在编码过程中,对于每个点pSample with FPSFind Collapsed Points for SamplesPoint TransformerAttentionMLPDownsample Factor � = 2Raw PointcloudMLP������������IndividualIndividualInput FeaturesConvolution����Periodic ShuffleConvolutionUpsampledFeatures� � ���� � ������� � ����WeightsCandidate Diform plent ionDirecti�Input PointspliUpsampled�Duplicate�� � �Sub-pConvolnt ion23360使用FPS对样本进行采样找到坍塌点0点变换器0注意力0下采样因子� =20原始点云0图3.下采样块:首先选择一部分点作为样本,然后计算并融合三种类型的嵌入到Fs+1中。0下采样点p,u个丢弃的点会合并到其中。这些信息不是无损传输的,而是融合到特征中。在解码过程中,为了正确地上采样每个点,我们应用MLP从特征中预测一个近似于u的上采样因子ˆu。类似于编码器上的折叠集合C(p),我们将特定点ˆp∈ˆPs+1的上采样集合定义为ˆC(ˆp)。除了ˆC(ˆp)之外,还预测了每个上采样点的特征。因此,上采样阶段s中每个点ˆp的输出是:0(ˆC(ˆp)U×3,ˆF(ˆp)U×d,ˆu),ˆp∈ˆPs+1,ˆu≤U(2)0其中ˆC(ˆp)和ˆF(ˆp)有U个项目,但只有前ˆu个点和特征将被选择为最终输出。所有选择点的并集是下一阶段的上采样点云ˆPs,ˆFs也是如此。子点卷积。在上采样阶段s中,根据特征ˆFs+1的指导,我们的目标是通过预测的上采样因子ˆu来上采样每个点ˆp∈ˆPs+1。此外,ˆFs+1还需要扩展为ˆu个特征ˆFs以供下一阶段使用。为了实现这一目标,先前的上采样方法要么使用多分支MLP进行特征扩展[40,44],要么应用基于折叠的[42]上采样模块[19,20,43]。尽管经过正则化和细化的努力,但由于特征复制,它们仍然受到前述聚类点伪影的影响。为了解决这个问题,我们提出了一种新颖高效的运算符子点卷积(图4),受到子像素卷积[33]的启发。具体而言,给定输入N×din特征ˆFs+1,我们首先沿着通道维度将其分成U组,使得每组具有din/U个通道。然后,对每组应用卷积层将特征扩展到一个维度为N×Udout的空间。最后,我们使用周期性洗牌将上采样特征重塑为UN×dout。与先前的方法[19,20,40,43,44]相比,子点卷积具有以下优点:1)通过防止特征复制来减轻聚类点问题;2)卷积应用于每个点,因此可以更好地保留局部特征。0个体0个体0输入特征0卷积0周期洗牌0卷积0上采样特征0图4. 子点卷积的示意图。0对于每个低维度的组,可以显著减少参数和计算量。0自适应尺度的上采样块。基于子点卷积,我们构建了用于点和相关特征的上采样块,如图5所示。以每个点ˆp∈ˆPs+1为中心,预测上采样点的偏移量。由于下采样和上采样都发生在局部区域,所以预测的偏移量的尺度需要受到限制。为此,基于折叠的方法[19,20,43]使用预定义的小网格尺寸。而Wiesmann等人[40]将预测的偏移量限制在[-1,1],然后与预定义因子进行缩放。然而,这个缩放因子在不同区域和不同点云之间可能有显著变化。因此,我们设计了一个具有可学习尺度的新的上采样模块。0权重0尺度0单位球0候选方向均匀采样0子点卷积0方向0输入点0复制0偏移0上采样的点0复制0输入特征 �� �0上采样的特征子点卷积0上采样的特征�� � �0复制0求和0子点卷积0图5. 尺度自适应上采样块,包括点上采样和特征上采样。0具体而言,首先从单位球中采样出一个M个向量的池,并将其固定为训练和推理的候选方向。在上采样过程中,预测这些候选的权重,使加权和结果成为最可能的方向。还从输入特征ˆ F s +1预测一些缩放因子或幅度,以获得偏移量和上采样的点。特征扩展通过在残差块[14]中进行子点卷积来执行。一旦获得最终的S−1ˆpˆS−1DM(P0, ˆP0) =1δ(ˆp, p),+ µ23370为了对上采样的点和特征进行微调,添加了一个细化层。它本质上是一个上采样模块,上采样因子为ˆ u = 1。03.3. 损失函数0我们在训练过程中采用标准的速率-失真损失函数以获得更好的权衡。0L = D + λR,(3)0其中D惩罚失真,R惩罚比特率。失真损失。对于失真(重构误差),我们使用对称点对点Chamfer距离[16]来衡量重构点云ˆ P s 与真实点云 P s之间的差异。由于解码器有S个阶段,为了避免误差累积,我们在每个阶段计算失真损失,并将它们聚合为Dcha。还设计了一个密度项来鼓励恢复局部密度。在解码器的第s个阶段,将一个点ˆ p 上采样到一个新的选定点集ˆ C(ˆ p)(见第3.2节)。然后找到它在编码器侧最近的对应点p,该点从一个集合C ( p)坍缩而来(见第3.1节)。因此,我们可以定义密度损失Dden 如下:0D den =0s = 00��� |C ( p ) | − | ˆ C (ˆ p ) | ��� + γ ���) − ˆ C (ˆ p ) ���0(4)其中分子的第一项计算两个集合之间的基数差异,第二项计算集合中所有点到中心点p或ˆp的平均距离的差异,γ是权重。为了进一步促进密度估计,对于每个阶段s,我们使用另一个损失来衡量真实点云 P s和重构点云ˆ P s 的基数差异:0D card =0s = 00��� |P s | − | ˆ P s | ��� (5)0最后,总失真损失如下:0D = D cha + αD den + βD card (6)0其中α和β是各项的权重。速率损失。由于熵编码是不可微的,训练过程中使用可微的代理。根据[2,3],我们用加性均匀噪声替代量化步骤,并将比特数估计为速率损失R。在推理过程中,特征通过范围编码器进行适当的量化和压缩。03.4. 属性压缩0我们的框架还可以压缩点云属性,如颜色、法线等。作为示例,我们将法线压缩到我们的框架中。为了避免额外的比特率开销,我们保持相同的网络架构和超参数。唯一的区别是输入/输出维度从3D变为6D(位置+法线)。为了实现这一点,我们采用简单的L2损失来最小化法线重构误差。0在本节中,我们通过与最先进的方法在压缩率、重建准确性和局部密度恢复方面进行比较来评估我们的方法。然后,我们进行消融研究来证明设计选择的合理性。最后,我们证明了额外的属性,如法线,也可以被压缩。有关实现细节和参数设置,请参阅补充部分。04. 评估0数据集。我们在SemanticKITTI [4]和ShapeNet[9]上进行主要实验。对于SemanticKITTI,我们遵循官方的训练/测试划分[4]。对于ShapeNet,我们遵循[17]的训练/测试集划分,并根据[15]从网格中采样点。所有点云首先被归一化为100m3的立方体,并分别划分为不重叠的块,SemanticKITTI为12 m3,ShapeNet为22m3,而每个块进一步被归一化为[-1, 1]。对于下游的表面重建任务,我们使用RenderPeople[1]数据集。基线。我们将与最先进的非学习方法进行比较:G-PCC [12],Google Draco [11],MPEG Anchor[23];以及基于学习的方法:Depoco [40],PCGC[38]。请注意,所有基于学习的方法都已经在与我们的方法相同的数据集上重新训练。评估指标。按照[6,16]的做法,我们采用对称的点对点Chamfer距离(CD)和点对平面PSNR来衡量几何精度,以及每点的比特数(Bpp)来衡量压缩率。此外,我们设计了一个新的指标来衡量局部密度差异。所有这些指标都在每个块上进行评估。具体而言,对于每个点p,我们将其半径r =0.15内的邻居点记为K(p)。由于地面真值P0和重建的点云ˆP0的基数不一定相同,我们定义了一个对称的密度度量DM:04.1. 实验设置0|P 0 |0p ∈P 0δ ( p, ˆp ) + 10�0whereδ ( a,b ) =||K ( a0��� K ( a ) − K ( b ) ���0(7) where b is the nearestcounter point of a , µ isthe weight, |K ( a ) |denotes the cardinality ofK ( a ) and K ( a ) denotesthe mean distance of all0Bpp: 1.94 PSNR: 44.73GTOursG-PCCDracoMPEG AnchorDepocoPCGCBpp: 1.95 PSNR: 39.77Bpp: 2.56 PSNR: 24.61Bpp: 2.54 PSNR: 36.02Bpp: 4.52 PSNR: 45.29Bpp: 4.89 PSNR: 38.65Bpp: 4.91 PSNR: 40.22Bpp: 1.71 PSNR: 36.78Bpp: 1.76 PSNR: 35.52Bpp: 1.99 PSNR: 34.79Bpp: 4.06 PSNR: 44.00Bpp: 4.21 PSNR: 42.8723380Bpp: 2.89 PSNR: 26.500Bpp: 2.39 PSNR: 34.340Bpp: 4.23 PSNR: 47.980Bpp: 4.83 PSNR: 38.320Bpp: 4.98 PSNR: 40.010Bpp: 1.67 PSNR: 39.650Bpp: 1.85 PSNR: 32.320Bpp: 1.69 PSNR: 29.440Bpp: 4.06 PSNR: 44.000Bpp: 4.25 PSNR: 41.310Bpp: 4.16 PSNR: 40.930Bpp: 4.13 PSNR: 39.120Bpp: 4.09 PSNR: 39.9700.167 0.333 0.500 0.667 0.833 1.00 1.00e-07 错误颜色图0图6. 在SemanticKITTI(前两列)和ShapeNet(最后两列)上的定性结果。从上到下:真实值,我们的方法,G-PCC [12],Draco[11],MPEG Anchor [23],Depeco [40]和PCGC[38]。我们使用解压缩点云中每个点与真实值中最近邻点之间的距离作为误差。Bpp和PSNR指标由完整点云的每个块平均计算。显然,我们的方法成功地实现了准确的几何和最低的比特率。23390图7.在SemanticKITTI(第一行)和ShapeNet(第二行)上的定量结果。我们的方法在整个比特率范围内始终实现更准确的几何和恢复密度。04.2. 与SOTA的比较0我们首先将我们的方法与SOTA进行比较,以了解速率失真权衡。在图7中,我们展示了所有方法的每个块的Chamfer距离,PSNR和密度指标与每点比特(Bpp)的关系。我们的方法在SemanticKITTI和ShapeNet数据集上始终实现更准确的重建。请注意,这些差异在密度指标下更为明显。0图6显示了不同比特率下的定性结果。Draco [11]和MPEGAnchor [23]通常需要较高的Bpp(例如>4)才能实现令人满意的重建。此外,它们在低比特率下的表现较差,因为存在量化问题。Depoco[40]经常生成由特征复制引起的聚类点。PCGC[38]倾向于错过一块连续的点云,因为它将解压缩视为二进制分类过程(占用或非占用),由于点云的固有稀疏性,该过程具有极度不平衡的数据。此外,它还显著改变了密度。虽然G-PCC[12]成功恢复了整体几何结构,但由于体素化,它丢失了局部细节。我们的方法在几何和局部密度方面以最低的比特率实现了最高的压缩性能。0复杂性分析。表1显示了不同方法的每个块延迟和内存占用。对于G-PCC [12],Draco [11]和MPEG Anchor[23],我们使用其可执行文件的大小。对于Depoco[40]和PCGC [38],0方法编码时间(毫秒)解码时间(毫秒)大小(MB)0G-PCC [12] 180/165 163/152 3.49 Draco [11] 147/153147/153 2.49 MPEG Anchor [23] 151/142 136/130 27.8Depoco [40] 32/126 2/2 0.54 PCGC [38] 130/96 24/19 7.730我们的80/81 24/31 0.700表1.在SemanticKITTI/ShapeNet上不同方法的平均每块编码时间、解码时间和模型大小,使用TITAN X GPU。0我们使用他们的检查点大小。我们的模型在计算效率上具有竞争力,仅次于Depoco[40],但在速率失真权衡方面取得了更好的效果。04.3. 消融研究0为了公平比较,我们在SemanticKITTI上进行所有消融实验,同时将Bpp固定在2.1。0每个组件的有效性。我们构建了一个基线模型,包括一个点变换编码器[46]、熵编码器和多分支MLPs解码器[44]。然后逐步添加提议的组件,包括动态上采样因子ˆu、局部位置嵌入FP、密度嵌入FD、尺度自适应上采样块、子点卷积和上采样细化层,如表2所示。所有模块都对在固定Bpp下的重建质量有贡献。23400组件CD(10-2)↓ PSNR↑ DM↓0基线 2.61 38.82 4.17 + ˆ u 2.29 39.64 3.23 + F P1.67 40.96 3.02 + F D 1.32 41.68 2.58+自适应尺度 0.98 42.49 2.31 +子点卷积 0.45 43.732.07 +改进 0.36 44.03 1.980表2.我们方法中每个组件的有效性。每行组件在前一行的基础上添加。0我们解码器的有效性。为了显示我们的解码器(包括我们的上采样块和子点卷积)在利用编码器提供的信息以恢复密度方面更加有效,我们使用先前工作中的各种点上采样模块作为解码器,与我们的编码器一起进行联合训练,如表3所示。我们的解码器在所有重建质量指标上明显优于其他方法,表明我们的解码器更好地保留了几何和局部密度。0解码器 CD(10-2)↓ PSNR↑ DM↓0Yu等[44] 1.25 41.51 2.60 Wang等[43] 1.03 42.542.46 Li等[19] 0.98 42.57 2.45 Li等[20] 0.90 42.832.32 Qian等[26] 0.81 43.06 2.250我们的方法 0.36 44.03 1.980表3.我们解码器的有效性。每行中,我们用另一个工作的解码器替换我们的解码器。0图8.定量法线压缩结果。左:SemanticKITTI;右:ShapeNet。我们的方法在比特率范围内始终优于Draco[11]、G-PCC[12]和MPEGAnchor[23]。04.4. 法线压缩0除了位置,我们还评估了压缩属性的能力,以法线为例。法线与点位置连接并输入到我们的模型中。然后,使用每个块的F1分数[6]将解压缩的位置和法线与输入进行比较。由于修改基于学习的方法(如PCGC[38]和Depoco[40])以实现属性压缩是非常困难的,我们只与Draco[11]、G-PCC[12]和0图9.下游任务的定量结果。左:RenderPeople上的表面重建;右:SemanticKITTI上的语义分割。0如图8所示,我们的方法始终优于其他方法,尤其是在SemanticKITTI数据集上。04.5. 对下游任务的影响0作为上游任务的点云压缩不应对下游应用的性能产生太大影响。在本节中,我们比较了不同压缩算法对两个下游任务(表面重建和语义分割)的影响。由于某些方法不支持属性压缩,为了公平比较,所有方法只压缩位置信息。在表面重建实验中,我们对完全解压缩的点云运行Poisson重建[18]。然后,使用对称点到平面Chamfer距离[34]将重建的网格与地面实况进行比较。对于语义分割,我们在SemanticKITTI训练集的原始点云上训练PolarNet[45],并在完全解压缩的点云上进行测试。使用平均交并比(IOU)作为度量标准,参考[16]。如图9所示,我们的方法始终提供最佳的速率失真权衡,这再次强调了恢复局部密度的重要性。有关定性比较,请参阅补充部分。05. 结论0我们介绍了一种新颖的深度点云压缩框架,可以保留局部密度。它不仅在速率失真权衡方面优于先前的方法,而且在我们的密度度量下更准确地恢复局部密度。定性结果显示,我们的算法可以缓解其他方法的两个主要密度问题:均匀分布和聚类点。就复杂性而言,我们的方法仅次于Depoco,但准确性更高。致谢。本工作得到了NSFC(No.62076067)、SMSTM项目(2021SHZDZX0103)和上海市研究与创新功能计划(17DZ2260900)的部分支持。唐丹航、张银达和傅彦伟为通讯作者。23410参考文献0[1] Renderpeople.https://renderpeople.com/free-3d-people,2018年。50[2] Johannes Ball´e,Valero Laparra和Eero P Simoncelli.端到端优化的图像压缩。arXiv预印本arXiv:1611.01704,2016年。2,3,50[3] Johannes Ball´e,David Minnen,Saurabh Singh,SungJin Hwang和Nick Johnston.具有尺度超先验的变分图像压缩。arXiv预印本arXiv:1802.01436,2018年。2,3,50[4] Jens Behley,Martin Garbade,Andres Milioto,JanQuen- zel,Sven Behnke,Cyrill Stachniss和Jurgen Gall.语义场景理解的激光雷达序列数据集。在IEEE/CVF国际计算机视觉会议论文集中,页码为9297-9307,2019年。50[5] Jon Louis Bentley.用于关联搜索的多维二叉搜索树。ACM通信,18(9):509-517,1975年。20[6] Sourav Biswas,Jerry Liu,Kelvin Wong,ShenlongWang和Raquel Urtasun.Muscle:使用深度熵模型对激光雷达进行多次扫描压缩。arXiv预印本arXiv:2011.07590,2020年。2,5,80[7] Andrew Brock,Theodore Lim,James M Ritchie和NickWeston.用卷积神经网络进行生成和判别体素建模。arXiv预印本arXiv:1608.04236,2016年。20[8] Christian Bueno和Alan Hylton.关于集合池化网络的表示能力。在第35届神经信息处理系统会议上,2021年。10[9] Angel X Chang,Thomas Funkhouser,LeonidasGuibas,Pat Hanrahan,Qixing Huang,Zimo Li,SilvioSavarese,Manolis Savva,Shuran Song,HaoSu等。Shapenet:一个信息丰富的3D模型库。arXiv预印本arXiv:1512.03012,2015年。50[10] Ricardo L De Queiroz和Philip A Chou.使用区域自适应分层变换对3D点云进行压缩。IEEE图像处理交易,25(8):3947-3956,2016年。20[11] Frank Galligan,Michael Hemmer,Ondrej Stava,FanZhang和Jamieson Brettle.Google/Draco:用于压缩和解压缩3D几何网格和点云的库。https://github.com/google/draco,2018年。2,5,6,7,80[12] D Graziosi,O Nakagami,S Kuma,A Zaghetto,TSuzuki和A Tabatabai.正在进行的点云压缩标准化活动概述:基于视频的(V-PCC)和基于几何的(G-PCC)。APSIPA信号与信息处理交易,9,2020年。1,2,5,6,7,80[13] Yulan Guo,Hanyun Wang,Qingyong Hu,Hao Liu,LiLiu和Mohammed Bennamoun. 3D点云的深度学习:一项调查.IEEE模式分析与机器智能交易,2020年。10[14] Kaiming He,Xiangyu Zhang,Shaoqing Ren和Jian Sun.用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议论文集中,页码为770-778,2016年。40[15] Pedro Hermosilla,Tobias Ritschel,Pere-PauV´azquez,`Alvar Vinacua和Timo Ropinski.蒙特卡洛卷积用于非均匀采样点云的学习. ACM Transactions onGraphics (TOG),37(6):1-12,2018年。50[16] Lila Huang,Shenlong Wang,Kelvin Wong,JerryLiu和Raquel Urtasun.Octsqueeze:用于激光雷达压缩的八叉树结构熵模型。在IEEE/CVF计算机视觉和模式识别会议论文集中,页码为1313-1323,2020年。2,5,80[17] Tianxin Huang和Yong Liu. 3D点云几何压缩的深度学习.在第27届ACM国际多媒体会议上的论文中,页码为890-898,2019年。2,50[18] Michael Kazhdan和Hugues Hoppe.屏幕泊松曲面重建。ACM图形学交易(ToG),32(3):1-13,2013年。80[19] Ruihui Li,Xianzhi Li,Chi-Wing Fu,DanielCohen-Or和Pheng-AnnHeng。Pu-gan:一种点云上采样对抗网络。在计算机视觉和模式识别的IEEE/CVF国际会议论文集中,页码7203-7212,2019年。2,4,80[20] Ruihui Li,Xianzhi Li,Pheng-Ann Heng和Chi-WingFu。通过解耦精化进行点云上采样。在计算机视觉和模式识别的IEEE/CVF会议论文集中,页码344-353,2021年。2,4,80[21] Daniel Maturana和SebastianScherer。Voxnet:用于实时物体识别的3D卷积神经网络。在2015年IEEE/RSJ国际智能机器人和系统大会(IROS)中,页码922-928。IEEE,2015年。20[22] DonaldMeagher。使用八叉树编码的几何建模。计算机图形学和图像处理,19(2):129-147,1982年。20[23] Rufael Mekuria,Kees Blom和PabloCesar。用于远程沉浸式视频的点云编解码器的设计、实现和评估。IEEE Transactions on Circuits and Systems for VideoTechnology,27(4):828-842,2016年。2,5,6,7,80[24] Charles R Qi,Hao Su,Kaichun Mo和Leonidas JGuibas。PointNet:用于3D分类和分割的点集深度学习。在计算机视觉和模式识别的IEEE会议论文集中,页码652-660,2017年。20[25] Charles R Qi,Li Yi,Hao Su和Leonidas JGuibas。PointNet++:在度量空间中对点集进行深层次特征学习。arXiv预印本arXiv:1706.02413,2017年。20[26] Guocheng Qian,Abdulellah Abualshour,Guohao Li,AliThabet和BernardGhanem。Pu-gcn:使用图卷积网络进行点云上采样。在计算机视觉和模式识别的IEEE/CVF会议论文集中,页码11683-11692,2021年。80[27] Maurice Quach,Giuseppe Valenzise和FredericDufaux。学习卷积变换进行有损点云几何压缩。在2019年IEEE国际图像处理会议(ICIP)中,页码4320-4324。IEEE,2019年。20[28] Maurice Quach,Giuseppe Valenzise和FredericDufaux。改进的深度点云几何压缩。2020年234
下载后可阅读完整内容,剩余1页未读,立即下载
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)