无监督形状自校正点云分析的方法及其在深度学习网络中的应用

8382面向无监督点云理解的形状自校正Ye Chen1 †，Jinxian Liu1，2 †，Bingbing Ni1，2†，Hang Wang1，2，Jiancheng Yang1，Ning Liu1†，TengLi3，Qi Tian41上海交通大学，上海200240，中国2华为海思、3华为汽车BU、4华为云AI{chenye123，liujinxian，nibingbing，wang--hang，jekyll4168，ningliu}@sjtu.edu.cnliteng@ahu.edu.cnhuawei.com摘要我们开发了一种新的自监督学习方法命名为形状自校正点云分析。我们的方法的动机是一个良好的形状表示的原则，应该能够找到扭曲的部分形状，并纠正它们。为了以无监督的方式学习强形状表示，我们首先设计了一个形状混乱模块来破坏对象的某些局部形状部分。然后将破坏的形状和正常的形状送入点云网络中得到表示，利用表示分割出属于变形部分的点，并进一步重构它们，使形状恢复到正常。为了在这两个相关联的借口任务中更好地执行，网络被约束为从对象捕获有用的形状特征，这表明点云网络编码了丰富的几何和上下文信息。学习的特征提取器很好地转移到下游分类和分割任务。在ModelNet，ScanNet和ShapeNet-Part上的实验结果表明，我们的方法在无监督方法中达到了最先进的性能。我们的框架可以应用于广泛的深度学习网络进行点云分析，我们通过实验证明，使用我们的框架进行预训练可以显着提高监督模型的性能。1. 介绍由于自动驾驶等许多重要任务，3D形状理解的需求量巨大点云是一种简单而有效的三维数据表示方法，这使得它在三维视觉分析中很受欢迎。在大量人工标注的监督信息的帮助下，提出了许多巧妙的工作[21，22，26，40，17，42，20，14，18]，以直接消耗点云并实现注释。†共同通讯作者：倪冰冰，刘*平等捐款图1：我们的主要想法。如图所示，我们用某些启发式方法破坏形状部分，并且在扭曲部分和正常部分之间存在巨大的不匹配因为我们知道物体的几何特征，所以我们可以很容易地分辨出变形的部分。因此，我们认为一个强的表示，编码有效的结构信息也应该有能力。我们破坏形状的零件，并训练一个网络来区分破坏的零件，并恢复到正常的非监督的借口任务。借口任务的成功表明网络捕获了强大的形状表征，可以很好地转移到下游任务。在分类、检测和分割等3D视觉任务上表现出色。然而，由于昂贵的标记，大量的3D点云数据尚未被有效地利用。因此，利用这些未标记的数据来执行有效的表示学习是3D分析的重要机会。点云上的无监督学习旨在从没有手动标记的监督信息的点学习有用的信息和表示，这开辟了利用未标记数据的可能性。一些作品专注于通过使用自动编码器和生成对抗网络进行3D无监督特征学习[2，8，15，43，47，7]。你最近很投入-监督工程[10，25，11，1，31]设计目标相关特征提取器前置任务辨别正确破坏形状零件特征提取器分割特征分类下游任务8383借口任务，以鼓励网络捕捉结构性和低层次的信息。PointGLR [24]通过局部结构和全局形状之间的双向推理有效地捕获了底层高级语义知识然而，PointGLR依赖于分层的局部特征，并且它不适合像PointNet [21]和DGCNN [34]这样的网络。我们工作的目标是探索一种骨干不可知的自监督框架，该框架能够充分利用形状部件的局部结构并提高无监督学习的性能。每个3D形状可以以无监督的方式被划分成若干形状部分/基元，并且所有形状部分通过几何约束紧密相关。几何约束反映了对象的鲁棒几何特征，蕴含了对象的局部结构信息和语义知识。因此，如果人们知道形状的几何结构，就可以容易地区分这种形状的变形部分。基于这样的原则，我们认为，一个好的形状表示，编码有效的结构和语义信息，也应该有能力找到扭曲的部分形状，并纠正他们。受这些观察的启发，我们提出了一个自监督框架，通过破坏3D形状的局部部分来学习3D形状的强表示，为了在该前提任务中取得成功，网络被约束为捕获3D点云的更丰富我们的主要思想的概述如图1所示。我们提出的框架对PointNet，KPConv [28]和RSCNN [20]等基于点的网络是不可知的。在本文中，我们修改PointNet和RSCNN作为我们的特征提取器分别评估我们提出的方法。在预训练期间，我们将正常形状和无序形状连接起来作为利用正常形状的特征，可以得到准确的结构信息，使网络能够很好地完成任务。除了主干网之外，我们提出的框架还有三个其他组件，可以概括为：1）形状破坏模块：设计了一组启发式方法，有效地破坏了正常形状零件的几何结构; 2）区分分支：我们实现了一个逐点分类器来分割属于扭曲部分的点;3)正在还原分支：我们还设计了一个自重构模块，用于根据区分分支的分割结果来校正失真的形状。值得注意的是，我们提出了一个方法集群形状破坏模块和广泛的方法，破坏几何结构的形状零件可以包括在。在本文中，我们利用ShapeNet [3]数据集作为自监督预训练和评估的源集在两个重要的3D理解任务中使用所学的特征，即，形状分类和分割。在几个数据集上的实验结果表明，我们的方法在分类和分割任务上都达到了无监督模型中最先进的性能。请注意，我们的模型在真实世界的扫描数据集（ScanNet [4]）上实现了卓越的性能，这证明了学习特征的可转移性和鲁棒性。我们还通过实验表明，使用我们的框架进行预训练可以显着提高监督模型的性能。在分割任务中，我们还探索了半监督设置中学习特征的有效性，并且我们的方法优于以前的方法[39，11]尤其是当标签最有限时。此外，当仅使用PointNet作为骨干网络时，我们的预训练模型在下游任务上取得了有竞争力的结果，这表明我们的框架具有强大的特征学习2. 相关工作点云理解的深度学习。Point-Net [21]是直接消耗无序和非结构化3D点云的开创性工作，其中利用MLP尽管PointNet很好地处理了输入数据的顺序不变性并实现了强大的性能，但它无法聚合逐点嵌入并捕获点之间的局部上下文信息。PointNet++ [22]通过提出分层学习架构来缓解此问题，其中多尺度局部点嵌入被分组。随后的几项工作[41，9，13，32，37，33，35]采用类似于CNN的方法来聚合相邻点的贡献并捕获局部结构。所有提到的方法都取得了显着的性能上的三维点云理解任务的帮助下，标记的数据。我们提出的自监督特征学习框架适用于大多数这些方法，并且可以在没有任何人类注释的情况下学习强表示。无监督点云理解。无监督点云理解旨在从未标记的点云数据中捕获有效信息，并利用学习到的特征来处理下游任务。经典方法主要基于自动编码器[2，5，27，47，43]和生成对抗网络[15，2，29]。尽管在几个特定任务上有希望的性能，但这些方法缺乏局部结构监督，这限制了特征学习能力和可移植性。某些最近的努力集中于通过定义文本前任务来学习结构信息和语义知识[25，11，10，24，1]。RS [25]将形状分割为3x3x3体素并训练网络以重建形状8384--------联系我们其部分已经通过找到正确的体素分配而被随机地重新排列RS用于替换形状部分的方式可以在我们的框架中使用。然而，RS通过简单地重新排列形状部分来恢复形状，根据预测的体素分配。因此，许多扭曲形状的方法PointGLR [24]通过网络中不同抽象层次的局部表示和3D对象的全局表示之间的在此基础上，我们提出了一种新的形状自校正算法，该算法同时采用局部和全局自监督机制，并在后续任务中捕获了优于其他无监督方法的有效特征。点云去噪 深度去噪方法[6，23，45，46]需要成对的干净和有噪声的点云，实际上是通过向原始点云添加噪声来产生的[12]。我们的方法的配方是类似的点云去噪，因为他们都试图找到和消除离群值。然而，简单地向点云添加噪声并不能有效地改变原始形状的几何特性。因此，基于去噪任务的无监督模型不能提取对象的有效几何信息，这在第4.4节中被证明。相比之下，我们的方法破坏了形状零件的几何结构，并鼓励模型利用几何特征来识别和恢复失真。通过用该借口任务训练，网络被约束以捕获形状的有用结构信息3. 方法为了从未标记的点云数据中学习有区别的，鲁棒的和可推广的形状表示，并增强网络在3D点云理解中的能力，我们提出了一种新的自监督框架，称为形状自校正。我们的方法使模型能够捕获有效的结构和上下文信息，通过破坏局部形状部分和约束网络，以区分和恢复它们正常。3.1. 概述我们的框架包含一个形状混乱模块，一个点云编码器，一个区分分支D和一个恢复分支R，如图2所示。首先，我们打乱了3D形状和破坏的几何结构的正常形状。然后，我们使用编码器来生成正常形状和无序形状的特征。这些特征被连接作为分支D和R的输入，以区分混乱的形状部分并将其恢复为正常。在这里，正常形状的特征被用作模板以提供准确的结构信息。信息，使得网络能够很好地执行借口任务，这使得模型能够利用有效的特征。值得注意的是，分支R不利用分支D的结果作为输入，使得我们可以并行地布置它们假设形状S=s1，s2，…如果N是具有N个点的点集，则形状扰乱模块随机采样两个部分P、Q，然后利用各种方法的组合来使采样部分失真。我们将变形零件的点定义为不正确的点。不正确的点与未选择的部分一起形成新的形状S*。直观地，新形状可能不符合原始形状的几何特性。考虑到几何特征明确地表示了不同形状部分之间的关系并隐含了形状的语义知识，我们设计了区分分支D来寻找破坏原始形状的几何结构的错误点，这鼓励模型更好地理解3D形状并学习有效的结构和语义信息。基于识别结果，如果模型能够将不正确的点移动到正确的位置并恢复正常形状的几何特征，则可以得出结论，该模型探索了输入形状的更细粒度的几何和因此，恢复分支R被设计为重建输入形状。为了成功地在这样的借口任务，编码器被约束为充分利用有用的形状信息。3.2. 形状混乱形状扰乱模块被设计为通过扰乱形状部分来破坏输入3D形状的几何结构。在我们的方法中，我们设计了一个方法簇来打乱输入形状，包括（1）沿X，Y或Z轴随机旋转采样部分;（2）随机将采样点平移到新的位置;（3）随机缩放采样部分;（4）裁剪采样部分并用随机球体替换它;（5）交换两个采样部分的坐标。 对于输入形状，该模块随机采样两个形状部分，然后从聚类中随机选择某些失真方法来生成无序形状。具体地，根据输入点S = s1，s2，…随 机 选 取 两 个中 心 点 si= （ xi ， yi ， zi ） 和 sj=（xj，yj，zj）。 在PointNet++的分组层中，我们使用球查询来采样两个点的聚类P=p1，p1，…，p，K和Q=q1，q2，…，其中P/Q中的所有点都在到si/sj的半径内（K的上限设置在我们的实现）。S′=S P Q表示未采样的点集。对于采样部分P和Q，a变形方法的组合被用于生成变形版本P*和Q*。则新的形状S*可以表示为S*=S′∪P*∪Q*，表示8385∈∈Z ∈联系我们Y{}∈{}形状混乱点云编码方法群集编码器ℎ∗缩放旋转交易所更换。...打破一对一对应共享ℎ编码器抽样聚类正常部分D异常部位识别R异常零件修复图2：所提出的自监督方法形状自校正的框架。该框架由形状分解模块、点云编码网络和两个任务相关分支组成。我们设计了一系列的方法来扭曲形状的零件。设计了异常部位识别分支和异常部位恢复分支，分别用于分割属于受损部位的点，并将散乱的形状恢复为正常。破坏了原始几何结构的混乱形状。正常形状和无序形状的视觉示例如图3所示。如图2所示，为了鼓励网络更好地理解正确形状的几何特征，我们采用原始形状作为模板，编码器提取新形状和原始形状的高维特征。直观地，如果两个形状具有点对点对应，则区分分支倾向于学习点变换并给出triv- ial解决方案。为了避免这种坐标上的对应，我们使用随机抽样来选择两个子集的点T=t1，t2，…tN′ ，T*=t*1，t*2，...，t*N′分别从S和S*，其中N ′= N/2。此外，我们在T和T*上执行简单的随机数据增强更好的表示学习的目的，这进一步打破了正常形状和无序形状之间的点对点对应关系同时，Shape-disorganizing模块生成T*的伪标签。 我们将其表示为为y1，y2，... yN′使得y0，1，其中yi=1表示对应点属于变形部分（即，P*和Q*）。Shape- disorganizing的输出可以表示为元组t=[T，T*，Y]。3.3. 点云编码任何以点云为输入、输出高维特征的基于学习的网络都可以作为形状自校正的编码器在我们的实现中，我们使用RSCNN和PointNet作为编码器，将输入点集从欧氏空间Rn×3映射到潜在空间Rn×d。具体地，对于每个形状T*，编码器提取其逐点特征l*Rn×dl和全局特征g*R1×dg以编码更丰富的局部和全局比原来的空间。 使用PointNet作为编码器，定义图3：正常形状（第1行和第3行）和由形状混乱模块（第2行和第4行）混乱的异常形状的可视化。与[21]中提出的相同。对于RSCNN [20]，我们利用分类架构（单尺度邻域版本）作为我们的骨干，并通过附加某些特征传播层来生成逐点特征。为了指导网络正确识别那些杂乱无章的部分，我们还提取了全局特征g的原始形状T。g、g*和l*的级联被同时馈送到区分分支D和恢复分支R。通过辨别通过对无序部分进行分类并恢复原始形状，鼓励编码器生成强有力的形状表示，以促进高质量的分类、分割和其他3D点云理解任务。8386Y∈Y{}R Z∈ ›→P ∈∈YEP ∈ ›→Z ∈Σ联系我们R3.4. 异常零件识别对于无序形状，区分使形状违反几何构造的部分的任务使得模型能够更好地理解3D形状并捕获更有效的形状特征。因此，区分- ING分支的目的是找出所有不正确的点的无序形状。 我们把任务规划成一个点分类. 该任务被定义为Fζ：Z∈RN′×d›→RN′×2，它将点云编码器提取的高维特征映射到预测的类别中，即该对应点是否属于畸变部分。在我们的方法中，我们使用RSCNN/PointNet作为引擎。编码器，我们连接全局特征g*，g∈R1×dg∈网络利用点关系信息，然后找到不正确点的正确位置。与区分分支相同，我们采用原始形状g的全局特征作为模板。因此，恢复分支的输入是l*、g*和g的级联。输出是一个重构的点集T¯∈RN′×3。3.6.目标函数区分分支由经典交叉熵损失训练，并由伪标签Y= Y监督。{y1，y2，…yN′}，其被写为：1N′L=−ylogy ，（2）和逐点特征l*RN′×dl作为这个分支。该分类是由几个MLP形成的sN′我我i=1层。 区分分支的输出表示为=y yN ，其中yi表示概率分布由softmax函数制定。3.5.异常零件还原与区分分支并行，我们开发了恢复分支，并鼓励模型恢复原始形状，这限制了编码器捕获点云中包含的更多上下文和几何信息。因此，恢复分支自然地被设计为将不正确的点移动到原始位置。我们将任务定义为重建。我们将恢复 分支的 功能定义为：RN′×dRN′×3。通过解码提取通过编码器，恢复分支执行逐点位移预测，并尝试通过函数输出与原始点集T尽可能相似的点云T′。这里，我们使用倒角距离（CD）来测量重建的T¯和原始T¯之间的距离其中yi并且y（i）表示输出概率分布u。由softmax函数制定我们训练恢复者具有如等式（1）中公式化的修改的倒角距离损失的分支。两个分支被联合优化，并且形状自校正方案的总体目标函数是两个损耗的组合：L=Ls+βLc，（3）其中β用于平衡两项的贡献，使得两个分支对整个网络的贡献相等。我们的共同目标是鼓励编码器通过训练形状自校正任务来学习更多有区别的形状特征。我们将编码器定义为θ：RN′×3RN′×d和一个以θ为参数的多参数非线性函数可作为编码器。因此，形状自校正的优化问题可以表示为：T. 倒角距离通常用作重建任务的成本，该重建任务找到每个点的最近邻居并以双向计算它们的欧几里得距离。min{θ，ζ，}LS+ βLC。（四）两个点集之间的关系。在我们的方法中，考虑到混乱的部分主导重建的性能，我们修改了倒角距离，并且在预测的不正确点上比正确点具有更大的权重，其被写为：Lc=Σλp¯minp−p¯2+Σλp¯minp−p¯2，（1）优化后，编码器生成更有效的特征，并在特定的下游任务（如形状分类和分割）上表现更好。4. 实验在本节中，我们评估所提出的形状自p∈Tp¯∈T¯2p¯∈T¯2p∈T校正框架定性对两个最重要的三维任务，即，分类和分割。其中，λp’表示附接到重构集中的每个点的权重。这里，我们设置λp¯0的情况。五一0，其中λp¯被设置为0。5和1. 对于分别属于正常和扭曲部分的点，为0为了准确地恢复错误点的坐标，利用逐点局部特征l*和全局特征g*，因为正确点的特征是有利的具体地，利用形状自校正方案训练的编码器我们的框架是一般的，我们modify PointNet和RSCNN作为我们的编码器分别。为了训练和评估任务，我们使用多个基 准 数 据 集 ， 即 ShapeNet [3] 、 ShapeNetPart [44]、ModelNet [38]和ScanNet [4]。8387L4.1. 实验设置数据集。 ShapeNet [3]包含超过50，000个55种人造物 体 的 3D形 状 。 ShapeNetPart数 据 集 [44]包 含 来 自ShapeNet数据集16个类别的16，681个对象。每个类别包含2-6个部分，总共有50个部分。ModelNet数据集[38]有两个变体，即ModelNet 40和ModelNet 10分别包含40个类9832/3991个训练对象和10个类ScanNet [4]包含1513个扫描和重建的真实室内场景。我们遵循[17，24]中的实践，根据语义体素标签从ScanNet中获取点云，其中包含17个类别。评估指标。对于Model-Net和ScanNet上的分类任务，我们使用分类精度作为度量标准.在ShapeNetPart数据集上，我们用部分分类准确度和平均交集（mIoU）来评估我们的方案。对于每个样本，针对属于该对象类别的每个部分计算IoU。所有部分IoU的平均值被视为该样本的IoU。模型预训练。遵循[2]中介绍的实验协议，我们使用我们提出的方案在ShapeNet数据集的所有类别上预训练编码器，然后将预训练的模型传输到下游任务（即，ModelNet ScanNet上的分类和ShapeNetPart上的部件分割）。我们以PointNet和RSCNN为骨干。形状扰乱模块、区分分支和恢复分支都被丢弃，并且在下游任务中仅使用编码器在预训练期间，ShapeNet中的每个形状最初被采样到2048个点。形状扰乱模块从3.2节中所述的输入点集中采样两个点簇，并且我们将部分点的上限数量K设置为256。在打乱输入形状之后，我们将新的点集采样为1024个点，以削弱新形状和原始形状之间的点对点对应关系。在预训练期间，使用adam优化器。学习速率被设置为0.001，并且c的损失权重系数β被设置为4.0。值得注意的是，在自监督训练期间仅使用3D坐标。4.2. 形状分类为了评估形状自校正方案在形状特征学习上的性能，我们首先进行从ShapeNet到Model-Net/ScanNet数据集的转移实验。在[2，11]之后，我们使用预训练模型提取ModelNet/ScanNet样本的形状特征，而无需任何参数微调。然后，我们在Model-Net/ScanNet训练分割的嵌入上训练线性SVM，并在ModelNet/ScanNet测试分割上报告分类准确率。每个点云包含1024个点，我们只使用坐标作为输入。ModelNet/ScanNet上的结果如所示监督方法MN10（%）MN40（%）监督学习[21]第二十一话PointNet++[22]-90.7SpecGCN [30]-91.5美国有线电视新闻网[34]-92.2[19]第十九话无监督迁移学习3D-GAN [36] 91.0 83.3[43] 2016年10月31日MAP-VAE [10] 94.8 90.2多任务[11]-89.1MT-PointNet [11]-86.2RS-PointNet [25] 91.6 87.3RS-DGCNN [25] 94.5 90.6GLR-RSCNN [24] 94.2 91.3我们的PointNet93.3 89.9Ours-RSCNN95.092.4监督微调RI-PointNet 93.2 89.1Ours-PointNet93.9（+0.7） 90.0（+0.9）RI-RSCNN 94.8 91.7GLR-RSCNN [24] 94.8（+0.0）92.2（+0.5）我们-RSCNN 95.5（+0.7）93.0（+1.3）表1：ModelNet上的形状分类结果。有监督和无监督模 型 的 结 果 报 告 。 “Unsupervised Transfer Learning”denotes the pa- rameters“RI”表示从零开始在目标数据集上训练模型。我们的结果是在不使用投票等技巧的情况下衡量的。监督方法应计百分比增量%无监督传输GLR-RSCNN [24]Ours-PointNetOurs-RSCNN88.184.289.0---RI-PointNet87.8-监督微调我们的PointNetRI-RSCNNGLR-RSCNN [24]89.790.190.8+1.9-+0.7我们的RSCNN92.9+2.8表2：ScanNet上的形状分类结果。我们的方法和国家的最先进的无监督方法的分类精度的报告。“RI”表示模型在ScanNet上从头开始训练。我们还列出了预训练的增量。表12（“无监督迁移学习”）。为了进行公平的比较，我们使用注释的正常信息作为无监督信号来再现PointGLR [24]。我们的方法实现了竞争力的结果时，只使用PointNet作为编码器。当使用RSCNN时，我们的方法优于所有以前的无监督计数器，并且ModelNet上的结果与某些8388模型全监督模型由于编码器的预训练和支持向量机的训练是基于不同的数据集，因此结果意味着我们的框架具有很强的可移植性，这被认为是自监督表示学习的一个重要应用值得注意的是，ShapeNet是从CAD模型采样的合成数据集，并且Scan-Net是扫描的真实世界数据集，这两个数据集之间的域差距因此，在ScanNet上的卓越性能进一步表明，我们的模型可以很好地推广到看不见的类别，并且学习到的特征是鲁棒的和通用的。如第2节所述，RS [25]还分解形状并识别不正确的点。然而，我们的方法的动机是提供一个管道，破坏形状零件的几何结构，然后区分和恢复变形。 我们利用一组方法来扭曲形状的部分，这不适用于RS。此外，我们采用的原始形状的特征作为模板，以方便特征学习。恢复分支也有助于训练编码器，因此我们的方法在很大程度上优于RS。监督微调。我们认为，自监督学习最重要的应用是充分利用大量的未标记数据，提高监督方法的性能。在[39]之后，我们采用监督微调策略来评估我们提出的形状自校正的有效性。具体来说，我们使用我们的框架对模型进行预训练，并对下游任务的权重进行微调，并将结果与随机初始化的模型（未预训练）进行比较。在这个角度下，我们对模型网络/扫描网络进行了广泛的实验，结果也在表12中示出（请注意，使用PointGLR [24]进行预训练对监督任务略有好处，而我们的方法显着提高了性能，特别是在ScanNet上。使用我们的框架进行预训练可以用作监督模型的强初始化器。4.3. 部分分割形状部分分割被形成为细粒度逐点分类任务，以预测给定对象中的每个点的部分类别因此，我们通过这样的任务来探索学习到的逐点嵌入。在本节中，我们将评估ShapeNetPart数据集上的学习特征，并报告零件分类准确性和mIoU。在[47，11]之后，我们首先以半监督的方式进行形状 分 割 实 验 ， 即 ， 我 们 随 机 抽 取 1% 和 5% 的ShapeNetPart训练集作为训练数据。我们使用预先训练好的模型提取所有样本的点特征，无需任何参数微调，然后在采样的训练集上训练一个4层基于MLP的[2048，4096，1024，50]分类器。对整个测试集进行评价。列车数据的1%准确性IoU准确性IoUSO-Net [16]78.064.084.069.0[47]第四十七话85.067.086.070.0多任务[11] 88.6 68.2 93.7 77.7Ours-PointNet84.9 69.7 88.1 74.0我们的-RSCNN 89.8 74.1 94.3 80.1表 3 ： 没 有 微 调 的 形 状 部 分 分 割 结 果 。 报 告 了ShapeNetPart数据上的零件分类精度和Ins.mIoU。所有比较的方法都以半监督的方式进行评估（即，1%、5%的训练数据被采样），其中预训练模型的参数是固定的。图4：ShapeNetPart数据集上的分割结果。第1行：地面实况。第2/3行：在编码器固定的情况下，通过在1%/5%数据上训练的模型预测的结果。结果示于表3中。我们的方法显著优于其他无监督模型，这表明我们的预训练模型捕获了更有效的点嵌入，可以很好地转移到分割任务中。特别是当只使用1%的训练数据时，我们的RSCNN模型的性能大大优于所有以前的方法考虑到Multi-Task [11]采用了更重的基于图的主干，我们的PointNet模型也具有竞争力。结果表明，通过使用所提出的形状自校正方案进行预训练一些结果在图4中可视化。尽管训练数据是有限的，我们的模型分割细粒度的细节。监督微调。在监督微调策略下的形状分割实验也进行了。我们在几种训练数据采样策略下报告mIoU（即1%、5%、100%），并与表4中的PointContrast [39]进行比 较 。 如 图 所 示 ， 我 们 在 5% 标 记 样 本 上 微 调 的RSCNN模型实现了仅为3的Ins.mIoU。比从头开始训练的完全监督模型少9%。与随机初始化的模型相比，我们的预训练模型实现了显著的性能改进，特别是当只有1%时8389应计百分表 4 ： 具 有 微 调 策 略 的 形 状 部 分 分 割 结 果 。 “RI”denotes the model is not “FT” denotes the model is pre-trained with the浴缸点下采样和数据扩充以打破坐标对应关系。因此，我们也进行实验，以探索这种操作的有效性。表 5 中 所 示 的 结 果 表 明 ， Disinguishing 分 支 比Restoring分支起着更重要的作用，而Restoring分支可以进一步提高性能。我们还比较了没有模板形状特征的消融版本，准确度降低到87。8%，有力地验证了利用原始形状特征的有效性。第二个实验是探讨形状混乱模块中的方法集群如何影响（a）.T-SNE床94椅桌梳妆台90监测站沙发86台式厕所Number（b）.参数分析方案的执行。结果示于表6中。如图所示，交换和替换点是最重要的变形方法。值得注意的是，我们的方法实现了竞争力的表现，只有随机平移和旋转采样的部分。我们还生成异常的对象，只添加噪声的原始形状和准确性下降到87。2%，这证明了...在预任务上改变几何结构的可能性，在第2节中显示。图5：（a）.形状表示ModelNet10测试数据。 （b）. 参数分析腐译规模交易所更换。应计百分比变形零件的点数。获得标记数据（PointNet为+4.3%，RSCNN为+2.7%）。我们可以得出结论，预训练与我们的√ √√ √ √89.289.5√91.1√90.7√ √92.0框架显著提高了性能，并且可以被视为监督模型的强大初始化器，特别是当标记数据有限时，这是自监督学习的关键应用。4.4. 消融研究在本节中，我们将探讨形状自校正的关键组件和超参数。本节中的所有实验都是在ModelNet40数据集上进行的，我们在预训练后修复了编码器（RSCNN）。√88.1√ √ √89.3√90.9√ √88.0√√92.4表6：失真方法的有效性。显示了ModelNet40上的准确性结果参数分析。我们还探索了不正确点的数量（即，如在3.2节中所述的超参数K）影响模型的性能。结果示于图5（b）中。我们可以观察到，当K被设置为256时，实现了良好的性能。当进一步增加K时，没有明显的改善。5. 结论我们提出了一个无监督的框架点云分析命名为形状自校正。在不同数据集上的实验结果表明，我们的方法trans-sults-√ √ √√87.6为下游任务提供良好服务，并达到最先进水平标标87.892.4无监督方法之间的性能特别是，形状自校正可以被视为一个管道，我们支持表5：组分分析。显示了Mod-elNet 40的准确度结果组分分析。我们首先进行消融研究以调查每个分支在形状自校正中的有效性。在研究这种分支的影响时，我们去掉了相应的损失。另外，我们表演提供一个简单而有效的实现。对于未来的方向，我们打算探索更有效的方法来扭曲形状部分，并将我们的计划扩展到更多的场景，如点云完成。鸣谢本工作得到国家自然科学基金资助（U20B2072，61976137 ） 。 本 研 究 得 到 了 国 家 自 然 科 学 基 金（U1908210）的资助。-MN10-MN40-ScanNet100二百人三百四百五百六百模型IoU（1%）IoU（5%）IoU（100%）PContrast（RI）[39]71.879.384.7PContrast（FT）[39]74.0（+2.2）79.9（+0.6）85.1（+0.4）Ours-PointNet（RI）68.676.983.2我们的PointNet（FT）72.9（+4.3）78.5（+1.6）84.1（+0.9）分支分支8月& amp;温度Acc.DR下采样特征%8390引用[1] Idan Achituve，Haggai Maron，and Gal Chechik.点云上用于域适应的自监督学习。在IEEE/CVF计算机视觉应用冬季会议论文集，第123-133页[2] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas Guibas.三维点云的学习表示与生成模型。国际机器学习会议，第40-49页。PMLR，2018。[3] 天使XChang，Thomas Funkhouser，Leonidas Guibas，Pat Hanrahan ， Qixing Huang ， Zimo Li ， SilvioSavarese ， Mano-lis Savva ， Shuran Song ， Hao Su ，Jianxiong Xiao，Li Yi，and Fisher Yu.ShapeNet：一个信息 丰 富 的 3D 模 型 库 。 技 术 报 告 arXiv ： 1512.03012[cs.GR]，斯坦福大学-普林斯顿大学-芝加哥丰田技术研究所，2015年。[4] Angela Dai、Angel X Chang、Manolis Savva 、MaciejHal- ber 、 Thomas Funkhouser 和 Matthias Nießner 。Scannet：室内场景的丰富注释3D重建。在IEEE计算机视觉和模式识别会议论文集，第5828-5839页[5] Haowen Deng，Tolga Birdal，and Slobodan Ilic.Ppf折叠网：旋转不变三维局部描述子的无监督学习。参见ECCV，第602-618页[6] Chaojing Duan，Siheng Chen，and Jelena Kovacevic.基于深度神经网络的局部表面估计的三维点云去噪。在ICASSP 2019-2019 IEEE声学、语音和信号处理国际会议中，第8553-8557页。IEEE，2019。[7] Gil Elbaz，Tamar Avraham，and Anath Fischer.使用深度神经网络自动编码器进行定位的3D点云配准。在CVPR中，第4631-4640页[8] Matheus Gadelha，Rui Wang，and Subhransu Maji.用于三维点云处理的多分辨率树网络。在ECCV，第103-118页[9] 本杰明·格雷厄姆、马丁·恩格尔克和劳伦斯·范德马滕。基于子流形稀疏卷积网络的三维语义分割。在CVPR中，第9224-9232页，2018年。[10] Zhizhong Han ， Xiyang Wang ， Yu-Shen Liu ， andMatthias Zwicker.多角度点云阀：通过联合自作用和一半对一半预测，从多个角度对3D点云进行无监督特征学习。在ICCV中，第10441IEEE，2019。[11] Kaveh Hassani和Mike Haley点云上的无监督多任务特征学习在ICCV，第8160[12] Pedro Hermosilla Tobias Ritschel和Timo Ropinski。完全去噪：3D点云清理的无监督学习在ICCV，第52-60页[13] PedroHermosilla、TobiasRitschel、Pere-PauVa'zquez、A`lvarVinacua和Timo Ropinski。用于非均匀采样点云学习的 蒙 特 卡 罗 卷 积 。 ACM Transactions on Graphics（TOG），37（6）：1[14] Qiangui Huang，Weiyue Wang，and Ulrich Neumann.用于点云三维分割的递归切片网络。在CVPR中，第2626-2635页[15] Chun-Li a ngLi，ManzilZahee r，YangZhang，Barnab a´ sP o´ czos，andRuslanSalakhutdin ov. 点云GAN. 在高度结构化数据的深度生成模型中，ICLR 2019研讨会，美国路易斯安那州新奥尔良，2019年5月6日。[16] Jiaxin Li，Ben M Chen，and Gim Hee Lee. So-net：用于点云分析的自组织网络在CVPR中，第9397-9406页[17] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen.Pointcnn：x变换点上的卷积神经信息处理系统的进展，第820-830页，2018年[18] Jinxian Liu ， Bingbing Ni ， Caiyuan Li ， JianchengYang，and Qi Tian.层次点集学习的动态点聚集。在ICCV，第7546-7555页[19] Yongcheng Liu，Bin Fan，Gaofeng Meng，Jiwen Lu，Shiming Xiang，and Chunhong Pan.Densepoint：学习密集的上下文表示，以实现高效的点云处理。在ICCV，第5239-5248页[20] Yongcheng Liu ， Bin Fan ， Shiming Xiang ， andChunhong Pan.用于点云分析的关系-形状卷积神经网络。在CVPR中，第8895-8904页[21] Charles R Qi， Hao Su ，Kaichun Mo， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在CVPR中，第652-660页[22] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统的进展，第5099-5108页，2017年[23] Marie-Julie Rakotosaona 、 Vittorio La Barbera 、 PaulGuerrero 、 NiloyJMitra 和 MaksOvsjanikov 。Pointcleannet：学习去噪和去除密集