基于深度学习的点云压缩通过学习深巴黎萨克雷大学博士论文第580号博士学院：信息和通信科学与技术通信（STIC）博士专业：信号和图像处理研究生院：计算机科学和数字提交人：中央超级银行论文在负责研究论文答辩于2022年7月6日在巴黎-萨克雷，由莫里斯·奎赫陪审团组成Géraldine MORIN图卢兹大学IRIT首席考官教授法国图卢兹Mylene FARIAS报告员考试员电气巴西巴西利亚大学工程学院Fernando PEREIRA报告员，电信研究所审查员教授葡萄牙里斯本高等技术学院Marius Preda审查员会议主持人ARTEMIS，南巴黎电信，IP巴黎，法国Frédéric DUFOUX博士生导师巴黎萨克雷大学（L2S）CentraleSupélecCNRS研究主任Giuseppe VALENZISE共同主管巴黎萨克雷大学（L2S）CentraleSupélecCNRS研究员博士论文NNT：2022UPASG051标题：通过深度关键词：点云，深度学习，压缩，质量评估摘要：点云在许多应用中正变得至关重要，捕获技术的进步导致数据量不断增加。因此，压缩对于存储和传输至关重要。点云压缩可分为两部分：几何图形压缩和属性压缩。此外，几何压缩、属性压缩和质量评估是本论文的三个主要所有这三个问题的共同挑战是点云的稀疏性和不规则性。实际上，当诸如图像的其它模态依赖于规则网格时首先，回顾了几何和属性压缩方法的最新技术水平，重点介绍了基于深度学习的方法。本文回顾了几何和属性压缩过程中面临的挑战，分析了当前解决这些挑战的方法、它们的局限性以及深度学习与属性压缩之间的关系。传统的方法。我们介绍了我们在几何压缩方面的工作：一种基于卷积的有损几何压缩方法，研究了这些方法的关键性能因素，以及一种无损几何压缩的生成模型，该然后，我们提出了一种基于折叠的属性压缩方法，该方法学习从点云到2D网格的映射，以便将点云属性压缩简化为图像压缩问题。此外，我们还提出了一种可微的深度感知质量度量，可用于训练与感知视觉质量相关的有损点云几何压缩网络，以及一种基于补丁提取方法评估点云质量的卷积神经网络。最后，对点云压缩中存在的问题、现有的解决方案和前景进行了总结和讨论。我们强调了当前关于点云可视化的研究与相邻领域的研究问题之间的联系，如计算机图形渲染3基于深度学习的点云压缩关键词：点云，深度学习，压缩，质量评估摘要：随着捕获技术的进步，点云在关键应用中正变得至关重要，这些技术将导致大规模的数据量。压缩对于存储和传输至关重要。点云压缩可分为两部分：几何图形和属性压缩。此外，点云质量评估对于评估点云压缩方法是必要的几何概念、属性压缩和质量构成了本文的三个主要部分。这三个问题的共同挑战是点云的稀疏性和不规则性。然而，当像图像这样的其他模态位于规则网格上时，点云几何体可以被认为是3D空间上的稀疏二进制信号，并且属性被定义在可以是稀疏和不规则的几何体上。首先，回顾了几何和属性压缩方法的最新技术水平，重点介绍了基于深度学习的方法。分析压缩几何和属性时面临的挑战，并分析当前解决这些挑战的方法、它们的局限性以及深度学习之间的和传统的。我们介绍了我们在几何压缩方面的工作：一种卷积有损几何压缩方法，研究了这种方法的关键性能因素，以及一种用于无损几何压缩的生成模型，该模型具有多组织变量来解决其复杂性。然后，我们提出了一种基于折叠的属性压缩AP方法，该方法学习从点云到2D网格的映射，以便将点云属性压缩简化为图像压缩问题。此外，我们还提出了一种不同的深度感知质量度量，可用于训练与感知视觉质量相关良好的有损点云年龄-几何压缩网络，以及一种用于基于点云质量评估的卷积神经网络。补丁提取方法。最后，我们结束了论文，并讨论了点云压缩中的开放性问题，现有的解决方案和前景。我们强调了现有点云压缩研究和研究问题之间的联系--涉及相邻领域的领域，如计算机图形渲染、网格压缩和点云质量评估。5确认书我要感谢我的博士顾问Frédéric Dufaux和Giuseppe Valen-zise在整个旅程中给予的持续支持。在这三年里，我非常享受我们充满激情的讨论和你们令人惊叹的指导。我感到非常幸运和荣幸能与这样一位杰出的顾问一起工作。我想感谢评审团成员Géraldine Morin、Mylene Farias、Fernando Pereira、Marius Preda和Dong Tian的详细评论、见解和鼓舞人心的交流。特别感谢他们对这项工作的关注和所进行的伟大讨论。我 非 常 感 谢 Dong Tian 、 Jiahao Pang 和 Muhammad Asad Lodhi 在InterDigital的博士论文的最后一年里，在特别是，我想感谢董天坚持不懈地使实习成为可能，并为我提供了这个宝贵的机会。此外，我们还要感谢朱塞佩、弗雷德里克、斯蒂芬妮·杜斯纳德、奥黛丽·贝尔蒂内和每一个帮助实现这一目标的人。同时，感谢Aladine Chetouani、Dat Thanh Nguyen、Pierre Duhamel、EminZerman、Ali Ak、Patrick Le Callet、Hai Dang Nguyen、Nan Ding和MetaCan Kaya的精彩和鼓舞人心的合作。我要感谢我的朋友和同事Milan Stepanov、Abhishek Goswami、FlorentChiaroni和Maxim Karpushin进行了令人鼓舞的讨论。最重要的是，我想感谢我的父母和家人无条件的爱和支持。特别是，我想感谢我的妻子，迪。Ju，这三年来一直陪伴和支持我。我还要感谢资助本论文的ANR ReVeRy国家基金（REVERY ANR- 17-CE 23-0020）。7内容物1导言191.1背景191.2目标和贡献201.3结构212点云压缩的最新技术水平2.1导言232.2点云压缩252.2.1G-PCC和V-PCC标准252.2.2几何压缩262.2.3属性压缩302.3基于深度学习的点云压缩2.3.1几何压缩332.3.2基于深度学习的属性压缩372.4讨论382.4.1几何压缩382.4.2属性压缩412.4.3LoD分解和压缩443Lossy PCGC的卷积神经网络3.1导言473.2相关工作483.3基本方法493.3.1建议方法493.3.2实验结果523.4改进的深点云压缩533.4.1建议的改进533.4.2实验593.5第64章4无损PCGC65的深度生成模型4.1导言654.2相关工作664.2.1MPEG G-PCC和传统无损编解码器664.2.2生成模型和基于学习的压缩4.3建议方法684.3.1系统概述684.3.2体素DNN。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...703.3多分辨率编码器和自适应分区。 . . . ...723.4上下文扩展。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...734.3.5数据增强。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...754.4实验结果。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...754.1实验设置。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...754.4.2性能评估和消融研究。... ... ... ... ... ... ... ...794.4.3计算复杂性分析。... ... ... ... ... ... ... ... ... ... ... ... ...884.5结论和今后的工作。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...895深度多尺度无损PCGC915.1引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...915.2相关工作。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ......925.3拟定方法。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...933.1 VoxelDNN上下文模型。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...93MSVoxelDNN上下文模型。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...935.3.3网络体系结构。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...955.3.4复杂性分析。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...965.4实验结果。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...975.4.1实验设置。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...975.2实验结果。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...985.5结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...996基于文件夹的PCAC1016.1引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1016.2相关工作。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ......1016.3拟定方法。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1026.3.1网格折叠。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1036.3.2折叠再填充。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1046.3.3优化属性映射。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1056.4实验结果。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...10696.5结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1077深度感知点云质量度量1097.1体素网格表示。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1107.2客观质量指标。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1117.2.1体素网格度量。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1127.2感知损失。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1137.2.3点集度量。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 1147.3实验。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1157.1实验设置。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... 115897.3.2感知损失特征图的1157.3.3客观质量指标1177.4结论1188PCQA119的卷积神经网络8.1导言1198.2建议方法1208.2.1补丁质量指数1218.2.2全球质量指数1238.3实验结果1258.3.1数据集1258.3.2方案和性能评估1258.3.3性能分析1268.3.4与最先进技术的比较1278.3.5交叉数据集评估1298.4结论和观点1309结论和观点1319.1结论1319.2前景1339.2.1几何图形和相关属性的联合压缩带渲染1339.2.2细节分解和渲染：点和体素1339.2.3几何压缩的稀疏性1359.2.4点云质量评估1369.2.5与网格压缩的1379.3出版物137合成141A.1 上下文141A.2 目标和贡献142A.3 结构14311表列表2.1点云几何压缩方法分为传统的和基于深度学习的方法。............................. 392.2点云方法将压缩属性划分为传统的和基于深度学习的方法。................... 413.1点云几何压缩的实验条件评估。................................................................553.2每种实验条件下的RD性能..........................................................................603.3焦点损失α参数对RD性能的影响............................................................... 634.1扩展块尺寸744.2训练和测试点云774.3每个模型的训练集中的块数........................................................................784.4不同分区级别的每个数据集的平均BPOV速率和增益高于1级分区的编码器。......................................................................814.5与MPEG G-PCC相比，建议方法的平均速率（以bpov为单位）和百分比增益。........................................................................................................834.6单模型和多模型比较。......................................................................................... 884.7不同编码器的平均运行时间（秒）G-PCC。....................................................................................................... 895.1每个块大小的训练集中的块数....................................................................985.2MSVoxelDNN与MPEG G相比的平均bpov速率PCC v12和VoxelDNN。............................................................................ 995.3每个数据集的编码/解码时间比较（秒）。........................................... 1007.1本研究中考虑的客观质量指标1117.2客观质量指标的统计分析。......................................................................1177.3压缩法客观质量指标的统计分析。1188.1在对称化和池化之前和之后在sjtu数据集上获得的平均相关性........... 1268.2与sjtu数据集上的最先进方法进行比较................................................... 1278.3与ICIP20数据集上的最新方法进行比较..................................................1288.4通过5次随机选择获得的相关性之间的p值和F值（p值/F评分）。...... 12913××图列表1.1点云可视化。从左到右，"多拉多遗址" [201]，"士兵" [56]，"菲尔" [116]和"阿科·瓦伦蒂诺"[19].....................................................................................2.1通过分离几何体和属性压缩进行点云压缩。................................................242.2八叉树结构的简化2D视图...........................................................................272.3基于学习的点云压缩分类............................................................................332.4用于压缩的简单自动编码器体系结构。............................................................ 343.1阶跃卷积和阶跃转置 卷积运算。........................................................................ 503.2神经网络体系结构。............................................................................................. 513.3MVUB数据集每个序列的RD曲线..............................................................543.4原始点云、使用所提出的方法和MPEG锚点的压缩点云。....................553.5用于点云几何压缩的熵模型。.............................................................................563.6转换类型573.7表3.2中每个条件的RD曲线3.8对"soldier_vox10_0690"进行定性评估......................................................623.9独立和顺序训练时的每点和焦位损失634.1无损耗点云几何压缩方法概述。................................................................694.23D上下文和3D类型A遮罩的插图。.......................................................... 714.3VoxelDNN架构724.4VoxelDNN74中使用的自适应分区4.5从块44到块8的上下文扩展的2D插图。754.6应用于Longdress Point云的数据增强示例 4.7.........................................测试集中的点云。.....................................................................................................804.8在每个分区大小中编码的占用体素的百分比从从上到下：第8、16、32、64块。..............................................................824.9在四个测试点云上的Block 64上的性能。.................................................844.10 输出几何比特率，单位为BPOV/块。...................................................... 854.11 每个块的扩展块大小的数量。....................................................................865.1带输入块大小的64和3个刻度。..............................................................................................94145.2MSVoxelDNN中的并行化预测... ... ... ... ... ... ... ... ... ... ... ... ... ...955.3组预测网络体系结构。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...976.1建议的属性压缩系统 ... ... ... ... ... ... ... ... ... ... ... ... ... ...1026.26.3我们为phil9的第一个框架提出的属性映射方法的不同步骤。... . . . . . . . . . . . . . . . . . . . . . . ...RD曲线显示了我们方法的不同步骤在三个点云上的性能。... . . . . . . . . . . . . . . . . .1041077.1点云的体素网格表示... ... ... ... ... ... ... ... ... ... ... ... ... ...1107.2基于自动编码器的感知损失。... . . . . . . . . . . . . . ...1137.3目标质量指标和MOS值之间的散点图。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1168.1所提出方法的一般框架... ... ... ... ... ... ... ... ... ... ... ... ...1208.2补丁质量指数（PQI）预测。. . . . . . . . . . . . . . . ...1218.3贴片提取过程。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...1219.1将3D场景（真实世界、网格、点云、体素）压缩为点云时的不同类型的失真。... ... ... ... ... ... ... ... ... ...134A.1 点云的可视化 从左到右依次为"多拉多遗址"、"士兵"、"菲尔"和"阿科·瓦伦蒂诺"。. ...14115首字母缩略词符号描述APQI聚合贴剂质量指数BCE二进制交叉熵BD-PSNRBjontegaard-增量PSNRBDBR Bjontegaard-增量比特率bpov位/占用体素BSDF双向散射分布函数CNN卷积神经网络CTC通用测试条件D1点对点指标D2点到平面度量DCM直接编码模式DCT离散余弦变换FL焦点损失FR完整参考G-PCC基于几何的点云压缩GFT图傅里叶变换GQI全球质量指数JPEG联合摄影专家组KLTKarhunen-Loève变换LiDAR光探测和测距16符号描述LoD详细程度LSTM长期短期记忆MLP多层感知器MOS平均意见评分MPEG移动图像专家组均方误差MVUBMicrosoft Voxelized上半身naBCE邻里自适应BCENR无参考资料或离群值比率PC点云PCAC点云属性压缩PCC点云压缩PCGC点云几何压缩PCQA点云质量评估PLCCPearson线性相关系数PQI补丁质量指数PSNR峰值信噪比RAHT区域自适应分层变换RD速率失真ReLU校正线性单元RGBD红色、绿色、蓝色、深度RMS根均方误差RR减小参考SLAM同步定位和映射17符号描述SROCCSpearman阶相关系数SVR支持向量机TDF截断距离场TSDF截断的有符号距离字段TSP旅行推销员问题V-PCC基于视频的点云压缩WBCE加权二进制交叉熵
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
