VA-GCN：3D点云分析网络的开源软件及其应用效能

软件影响10（2021）100127原始软件出版物VA-GCN：一种用于挖掘局部聚集信息的点云分析网络胡浩天a，王凡毅a，刘晓波，沈成b浙江大学光学工程系现代光学仪器国家重点实验室b美国加州理工学院电气工程系，Pasadena，CA 91125A R T I C L E I N F O保留字：本地聚合运算符注意点云A B标准近年来，由于局部聚合算子的发展，点云分析模型取得了突破性进展。在本文中，我们提出了一种新的点云分析网络，矢量注意力图卷积网络（VA-GCN）的基础上向量注意力卷积（VAConv）模块。VA-GCN可以很容易地嵌入到其他复杂的点云分析模型中，这可以促进点云模型在人工智能领域的发展和应用。 此外，我们还设计了一个基于VA-GCN的开源点云分类软件。它的易用性和效率将允许非专业人士快速入门。代码元数据当前代码版本V1.0此代码版本所用代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-96Reproducible Capsule的永久链接https://codeocean.com/capsule/2940276/tree/v1法律代码许可证MIT代码版本控制系统使用git软件代码语言使用Python、Pytorch编译要求，操作环境依赖性Microsoft Windows如果可用，链接到开发人员文档/手册https://github.com/hht1996ok/VA-GCN/blob/VA-GCN/README.md问题支持电子邮件hht1996ok@zju.edu.cn1. 介绍近年来，计算机视觉领域的研究人员在3D点云处理方面取得了重大突破，大大提高了当前点云模型在3D形状分类[1-4]、3D随着三维视觉在自主车辆、机器人等领域的蓬勃发展，三维点云已成为一个重要的研究课题。然而，由于点云数据的无序性、稀疏性和不规则性，如何高效地利用点云数据的信息，引起了最大的兴趣。针对这一问题，本文提出了一种新的点云分析模型--向量注意力图卷积模型网络（VA-GCN），它可以有效地处理点云数据，并进行分类和分割任务。在本文中，我们将介绍一个基于VA-GCN的点云分类和分割软件。由于鲁棒性该软件也适用于质量较差的数据集，如点云中的点数量较少或在严重抖动的情况下获取点云位置的情况。通过调整输入点云的数量和模型参数，我们开发的软件可以在计算成本和精度之间取得平衡，从而灵活地适应各种场景。我们的软件是用Python实现的，可以很容易地集成到用其他编程语言编写的模块中。用户还可以根据自己的需求轻松扩展功能。 为了满足高精度推理的需要，我们增加了多样本推理本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。∗通讯作者。电子邮件地址：hht1996ok@zju.edu.cn（H. Hu），11730038@zju.edu.cn（F. Wang），cshen3@caltech.edu（C.Shen）。https://doi.org/10.1016/j.simpa.2021.100127接收日期：2021年8月11日;接收日期：2021年8月30日;接受日期：2021年9月6日2665-9638/©2021作者。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsH. Hu，F.Wang和C.沈软件影响10（2021）1001272Fig. 1. 推理下VA-GCN软件的接口。点的数量是输入点的数量。邻域的数目是为每个邻域选择的邻域点的数目点云中的点。分类类是分类或分割类别的数量。GPU ID表示使用的GPU的索引（例如：0表示软件正在使用索引为0的GPU这四项必须填写。执行3D分割任务时，必须填写分割部分(MSI)函数，但值得注意的是，使用MSI将增加推理时间。2. 使用和评价该软件可以实现三维分类、三维零件分割和三维语义分割。软件的用户界面（UI）如图1所示。首先点击如果您需要在其他数据集上重新训练或微调VA-GCN模型，可以执行以下命令≫Pythontrain_classification.py- 模型VAGCN_clsVAGCN_cls如果您想对某个数据集执行批测试，可以 运行以下命令行：Pythontest_classification.py如果用户需要配置网络参数以满足不同场景的需要，可以直接修改源代码中parse_args函数的参数。可调参数包括GPU索引、批量大小、类数、学习率、输入点数、迭代次数、优化器、是否使用法向量信息，以及权值和训练文件保存路径。如图2、评估了VA-GCN对输入点数和随机扰动的鲁棒性。在输入点数为64，随机扰动范围为[-0.3，0.3]的极端情况下，VA-GCN的分类准确率仍能保持在87.7%~ 93.4%，证明VA-GCN对这两个因素的变化具有较强的鲁棒性即使在严重抖动的情况下获取点云数据，我们的模型仍然可以保证较高的分类精度，这对于商业应用中的实际使用图3是点云分割结果的对比VA-GCN和PointNet++。可以看出，VA-GCN准确地分割了容易被忽略或误分类的微小部分，而PointNet++的分割结果则粗糙得多。与地面实况相比，VA-GCN具有更高的分割精度。这表明，与PointNet++相比，3. 影响概述VA-GCN可以在点云数据分析领域找到广泛的应用，它可以应用于各种任务，包括3D分类，3D零件分割和3D语义分割。同时，我们的VA-GCN具有通用的数据预处理和训练模块，这大大提高了其重用的效率该软件为点云分析提供了一种简单、高效的解决方案。在软件中，我们提供了一种通过多次采样点云的推理方法。虽然它会增加推理时间，但它可以得到更准确的分类结果。更具体地说，我们的软件可以从以下几个方面帮助点云分析领域的研究人员1. 该软件操作简单、灵活。 用户只需输入自己的数据集，调整网络参数即可 训练我们的软件将自动执行数据预处理，并建立模型架构以及训练管道。同时，我们的软件还可以根据用户设置的GPU数量进行分布式训练，这将满足某些场景中需要大内存的需求。H. Hu，F.Wang和C.沈软件影响10（2021）1001273图二、 VA-GCN在输 入 点数和输入随机干扰方面的鲁棒性实验。图三. PointNet++和VA-GCN的分割结果与地面实况的比较。2. 我们的软件在稀疏或嘈杂的点云数据上仍然具有出色的性能，使其成为一个强大的选择。在极端情况下，VA-GCN保持高精度预测，可以帮助用户解决困难的点云分析问题。3. 研究人员可以在VA-GCN的基础上进一步探索点云分析模型。由于本软件提供了完整的数据预处理和网络训练功能，研究人员只需专注于模型结构和参数的研究，而无需重写基本功能，节省了大量工作很多时间4. 结论我们开发了一个点云分析软件VA-GCN。由于VA-GCN的灵活性和多功能性，用户可以基于我们的软件开发新的点云分析模型，或将其与其他现有模块集成。他们自己的训练和测试数据集可以方便快捷地部署，无需重复繁琐网络建设和数据预处理等任务。我们设计的用户界面易于操作，对非专业人士来说非常友好竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用[1]Charles R. Qi，Hao Su，Kaichun Mo，Leonidas J. Guibas，Pointnet：3D分类和分割的点集深度学习，在：IEEE计算机视觉和模式识别会议论文集，CVPR，2017年，第10页。652-660.[2]Charles R. Qi ， Li Yi ， Hao Su ， LeonidasJ. Guibas ， Pointnet++ ： Deephierarchicalfeature learning on point sets in a metric space ， in ： Advances inNeuralInformation Processing Systems，NIPS，2017，pp. 5099-5108[3]刘永成，范斌，项世明，潘春红，用于点云分析的双曲线卷积神经网络，在：IEEE计算机视觉和模式识别会议，CVPR，2019，pp. 8895-8904。H. Hu，F.Wang和C.沈软件影响10（2021）1001274[4]王悦，孙永斌，刘子伟，Sanjay E. 作者：Michael M. 作者：Justin M. Solomon，Dynamic graph cnn for learning on point clouds ， ACM Trans. Graph. （ 2019年）。[5]P.S.小王，Y.刘先生，Y. X.郭、C.Y.孙先生，X.唐，OCNN：八叉树- 基于卷积神经网络的三维形状分析，ACM Trans. Graph. （2017年）。[6]P. Wang，Y. Gan，P. Shui，F. Yu，Y. Zhang，S. Chen，Z. Sun，通过形状完全卷积网络进行3D形状分割，Comput。Graph. （2018年）。[7]A. Boulch，Convpoint：用于点云处理的连续卷积，Comput。Graph. （2020年）。[8]Zhirong Wu，Shuran Song，Aditya Khosla，Fisher Yu，Linguang Zhang，XiaoouTang ， Jianxiong Xiao ， 3d shapenets ： A deep representation for volumetricshapes ， in ： IEEE Conference on Computer Vision and Pattern Recognition ，CVPR，2015， pp. 1912-1920年。[9]Dominic Zeng Wang，Ingmar Posner，在线点云对象检测中的投票，在：机器人程序：科学与系统，罗马，意大利，2015年。[10] Yin Zhou，Oncel Tuzel，Voxelnet：基于点云的3D对象检测的端到端学习，在：IEEE计算机视觉和模式识别会议论文集，CVPR，2018年，pp. 4490-4499