旋转不变的深点云分析: 基于PCA的规范姿态研究及姿势选择器模块的开发

16218深入了解旋转不变的深点云分析李斐然1* 藤原 健2大仓文雄1松下康之11大坂大学2LINE Corporation摘要我们考虑深度点云分析任务，其中网络的输入是随机旋转的。旋转不变点云分析的最新由于PCA的不完美对齐，目前的大部分工作都致力于开发强大的网络结构和功能，以克服这一缺陷，而没有彻底分析基于PCA的规范姿势本身。在这项工作中，我们提出了一个详细的研究w.r.t.基于PCA的点云规范姿态。我们的调查显示，模糊性问题与PCA为基础的规范构成处理不足，在最近的一些作品。为此，我们开发了用于消歧的简单姿势选择器模块，其呈现显著的增强（即，五、3%的分类准确度）超过了挑战性的现实世界数据集上的最先进的方法11. 介绍深度学习在点云分析中蓬勃发展，因为它在各种任务中表现出色。作为可以直接从传感器获得的3D数据的原始表示，点云被广泛用作现代神经网络的直接输入[17，30，31]。然而，当点云用于高级应用（诸如分类、检索和分割）时，存在基本问题在这样的应用程序中，我们希望网络呈现一致的推断w.r.t.改变点云上的仿射变换。虽然缩放和平移的影响可以通过归一化和中心化有效地消除[17]，但实现旋转不变性仍然是一个悬而未决的问题。已经提出了各种方法来解决这个问题。有人尝试在行动中调整形状*部分工作在LINE实习期间完成。1 源 代 码 可 以 在 https://github.com/SILI1994/rotation-invariant-pointcloud-analysis找到。timal pose [7，9]，或通过等价属性[6，20，21]对网络进行鲁棒化。然而，这些方法不是严格的旋转不变的，并且需要对旋转空间进行密集采样以用于数据增强。一些作品还试图手工制作旋转不变的几何特征[4，24，36]，尽管与直接使用点云的笛卡尔坐标相比，它们不可避免地遭受信息损失最近的一些工作提出使用内在确定的规范姿势，以避免信息丢失。作为一种实用工具，PCA使我们能够内在地确定3个正交基（即，主轴）并将它们与世界笛卡尔坐标对齐。尽管基于PCA的规范姿势是有效的，但我们观察到一些最近的工作致力于开发更强大的网络，而没有清楚地研究规范姿势本身[10，34，35，37]。因此，这些作品没有明确地解决基于PCA的规范姿势的模糊性问题，这阻碍了它们的性能。在这项工作中，我们详细分析了基于PCA的规范的姿态在点云分析。我们研究了基于PCA的典型姿势的歧义的实际我们的调查表明，准确识别歧义可以导致显着的性能提升比最近开发的网络和功能。即，如果正确地识别了模糊性，则在具有挑战性的真实世界数据集上，现有技术的方法的性能将大大优于现有技术的方法。我们将我们的贡献总结如下：• 我们研究的实际数量的模糊性的PCA为基础的规范构成，表明它还没有得到充分解决，在最近的作品。• 我们通过不同的实验和详细的分析证明了基于PCA的典型姿态的实际能力，希望能在旋转不变点云分析的背景下促进未来的工作• 我们提出了一个姿势选择器，可以有效地disam-biguate的规范构成和提高性能。16219∈∈∈2. 相关作品在本节中，我们简要回顾了点云数据深度学习技术的发展，以及过去在旋转鲁棒性和旋转不变深度点云分析方面的努力。2.1. 点云由于点云的不规则性，神经网络很难处理它们。作为解决方案，常规方法提出将它们渲染为图像[5，23]或进行量化以获得体积网格[14，18]以促进卷积。然而，这样的方法要么不能处理需要逐点标记的任务（诸如分割），要么由于高存储器消耗而不能很好地推广到密集点云。最近的一些研究探索了直接向网络输入点云。由PointNet [17]开创，它使用逐点卷积，然后使用最大池化层来实现置换不变表示，以下工作探索聚合本地信息以提高性能。例如，DGCNN [30]通过将点云映射到k-最近邻图来采用图PointConv [31]提出用多层感知器网络来近似卷积核KPConv [25]使用一组内核点来定义卷积区域。然而，所有这些方法都假设类别内点云已经与相同的姿势对齐，没有它，性能将显著下降。2.2. 旋转鲁棒点云分析一些作品的目的是鲁棒的网络w.r.t.随机旋转的点云。主要的理念在于设计与旋转等变的模块。例如，Esteves等人的开创性工作。[6]提出将点云映射到球面函数，并引入与旋转等变的球面卷积算子。SFCNN [20]用可训练的神经网络代替手动设计的映射Spezialetti等人[22]提出了一种自我监督的策略，通过球面卷积学习规范姿势。Shen等人[21]定义映射输入和中间层FEA的变换。性能并不完全稳定，并且严重依赖于采样效率。2.3. 旋转不变点云分析另一个线程的作品探讨实现严格的旋转不变性。例如，SPH-Net [16]提出将点云扩展到体积函数，并基于球谐函数设计旋转不变卷积核。然而，由于特征范数的计算，其表达能力是有限的还存在专注于基于固有几何形状手工制作旋转不变特征的方法。例如，基于点 之 间 的 相 对 位 置 ， 距 离 和 角 度 ， RIConv [36] ，Triangle-Net [33]，Li等人。[11]和SRI-Net [24]手动设计不同形式的旋转不变特征，并提出各自的网络结构。尽管网络设计良好，但这些手工制作的几何特征不可避免地导致信息丢失。另一方面，一些方法提出将旋转的点云转换为它们的基于PCA的规范姿势以实现旋转不变性。与基于特征的方法相比例如，Fujiwara和Hashimoto [8]利用距离场来消除规范姿势的符号的歧义，并将它们连接起来以制定输入。Xiao等[34] Yuet al. [35]声称有8个正负号歧义的规范姿势并采用可训练的基于注意力的选择模块消除歧义Kim等人[10]建议从局部补丁到整个点云进行PCA。Zhao等人[37]将规范姿势与手工制作的特征组合以制定输入。总之，尽管这些工作已经开发了不同的网络结构以更好地适应规范姿势，但不幸的是，相关的模糊性问题没有被清楚地研究。3. 规范姿势在本节中，我们探索基于PCA的规范姿势的模糊性的确切数量。为了使本文自成一体，我们首先简要回顾了如何计算的规范具体地，对于给定的点云PRn×3，通过以下方式执行PCA：变成单位四元数来实现旋转等变。RotPredictor [7]建议将笛卡尔坐标系转换为圆柱坐标系，在圆柱坐标系上旋转是Σ。Pi-我是Pin— P¯ΣT=E ~ ET，（1）表示为翻译。因此，由于卷积神经网络的平移等变特性，可以实现旋转等变[31]。虽然这些工作提出了显着的鲁棒性w.r.t.旋转，它们仍然不是严格的旋转不变的。此外，由于该线程中的大多数方法需要测试时间增加（也称为投票），并且这种增强通常通过从SO（3）随机抽样旋转来进行，其其中P是R3是P的第i个点，P¯r3是P，E的中心是由特征向量（e1，e2，e3）（a.k.a.，主轴），并且Λ=diag（λ1，λ2，λ3）是对应的特征值（a.k.a.，主要价值观）。通过将主轴与世界坐标的三个轴对齐，我们获得了规范姿态因为P可以=PE。P的旋转不变性质可以容易地导出如下：16220∈−−原始姿势反射行列式几何意义[+e1，+e2，+e3] 1旋转[−e1，−e2，+e3]1旋转[+e1，−e2，−e3]1旋转[−e1，+e2，−e3]1旋转[−e1，+e2，+e3]−1错误旋转[+e1，−e2，+e3]−1错误旋转[+e1，+e2，−e3]−1错误旋转[−e1，−e2，−e3]−1错误旋转图1：不当旋转的概念解释，包括：1）沿轴线旋转;2）沿垂直于该轴的平面的反射。纯平面反射可以看作是不适当旋转的一种特殊情况，在这种情况下旋转阶段消失。证据 通过应用随机旋转矩阵R高级官员（3）在点云P上，我们可以获得其旋转版本PR_T。如图所示，在Eq。（1），我们可以对它进行PCA的形式Σ。RPi−RP¯Σ。RPi−RP¯Σn表1：特征向量矩阵w.r.t.不同的符号分配。3.2.顺序模糊上述8个模糊度的权利要求也是不充分的。具体地说，这个主张理所当然地认为本征向量是根据某些规则排序的（例如，通过以与w.r. t相同的顺序排列特征向量，上升/下降特征值）。然而，我们认为这样的排序规则只是为了方便而手动定义的即，没有数学支持将对应于最大/最小本征值的本征向量作为=R. Σ。Pi— P¯Σ。Pi — P¯ΣTΣ（二）x轴，最小/最大的一个作为z轴。正如我们将在稍后的SEC中显示。6.2，这种排序相关的顺序实际上明显阻碍了用于对齐帧内的性能。=（RE）Λ（RE）T，其中RE成为新的主轴。因此，如上所述，规范姿态可以被计算为将对象分类为不同的姿势。因此，除了符号模糊度，我们声称，也存在6阶模糊度通过置换的3个特征向量。通过总结以上关于歧义的讨论.PRTΣ可以=PRT·RE=PE，（3）我们可以得出结论，旋转R对其没有影响。3.1.符号歧义如一些先前的工作[8，34，35]所指出的，基于PCA的规范姿势包含符号模糊性。具体地，对于某个特征向量e，+e和e都可以满足特征分解规则。因此，通过将不同的符号分配给三个特征向量中的每一个，当计算给定点云的规范姿态时，存在8个虽然这种模糊性问题在一些现有的工作中被忽略[10，37]，但它也被明确指出并通过可训练模块[34，35]或分析方法[8]处理。然而，我们认为，这8-歧义声明包含非旋转变换。详细地，假设特征向量E=[el，e2，e3]的特定组合具有行列式1。因此，8个模糊度中只有4个具有行列式1，表示旋转，而其他模糊度具有1，表征不正确的旋转（即， 旋转和反射的组合，如图所示。①的人。详细依据见表1。4（符号歧义）×6（顺序歧义）=24在总体上讲，点云的详细的可视化可以在补充材料中找到。4. 姿势选择器：学习消除典型姿势的歧义在本节中，我们提出了一个新的函数来处理模糊性，它可以有效地提高点云分析任务的性能。将上述模糊性并入用于旋转不变分析的直接策略是将每个可能的姿势视为独立的训练实例，使得网络将学习将每个可能的姿势与对应形状的标签相关联。尽管该策略工作良好，但如我们将在以下章节中所示，通过将姿势选择合并到训练过程中来让模型学习选择最佳规范姿势为此，我们设计了一个可训练模块来学习使用24个姿势。R ∈ SO3nRT不16221∈×∈Σ243图2：姿势选择器的结构，它预测24维输入的权重。我们使用256-512个1D卷积滤波器实现该模块，然后是最大池化，24维线性映射和softmax。我们将该模块表示为如示于图 2，它是一个轻量级的可训练网络，可以结合到任何网络开发的点云分析。具体来说，通过将点云PRn×3展平为向量并将所有24个模糊度连接在一起，我们获得所有规范姿势的3n24表示然后，姿态选择器将该表示作为输入，并将其轴向转换为高维特征，这些特征在3n维中被汇集以达到单个特征向量。该特征被进一步线性映射回24维，并由softmax激活，得到24维权重向量w。为了获得最佳姿态中的所选择的点云PselRn×3，我们取加权和：24Psel=wdPd，⑷d=1其中，wd和Pd分别是权重和对应的规范姿态在级联期间24个姿势的顺序仍然存 在不明确性（即，二十四！ 可能的级联顺序）。然而，由于SO（3）的封闭性，我们总是可以从任意规范姿势以确定性方式生成剩余的23个姿势。因此，由级联引起的顺序模糊度实际上可以减少到24。5. 通过使用正确识别的歧义我们声称，正确识别的歧义可以导致更显着的准确性增强比精心设计的网络或手工制作的旋转不变的功能。为了验证，我们进行了实验，流行的分类和分割基准与相关作品的性能进行比较5.1. 实现细节我们采用众所周知的DGCNN [30]网络结构（具有空间Transformer网络[9]）作为我们的骨干，无需任何修改。 所有超参数和训练设置与[30]中建议的相同，除了SGD优化器的初始学习率从0降低。1比0。01，用于更快的收敛和微调目的。在训练阶段，我们从所有可能的24个样本中随机抽样！ 不同的级联模式来鲁棒模型。对于测试，我们报告两种结果：具有和不具有测试时间增强（TTA），其将沿着特定根生成的所有24个级联模式作为输入，并使用它们的平均值作为最终预测。对于实验设置，我们遵循相关工作[11，24，35，36]并在3种模式下比较不同的算法• 训练集和测试集都围绕z轴：z/z。• 训练集围绕z轴旋转，并且测试集随机旋转：z/SO（3）。• 训练集和测试集都是随机轮换的：SO（3）/SO（3）。在我们的实现中，旋转矩阵是随机抽样的特殊正交群函数Scipy[29]。5.2. 对象分类我们首先对合成模型-Net 40数据集[32]进行比较，该数据集由来自40个类别的12311个网格组成，其中9843个用于训练，2468个用于测试。在实践中，我们使用Qi等公布的数据。[17]，其中点云已经被预处理。我们采用旋转稳健和旋转不变的方法进行比较。特征在于旋转鲁棒的对等方法都旨在通过将笛卡尔坐标转换为球坐标或柱对于旋转不变的配对，它们主要使用基于PCA的规范姿势[10]或手工几何特征[11，24，33，36]或两者[35，37]作为输入。据我们所知，LGR-Net [37]是目前最具竞争力的算法，在各种任务的记分牌上领先。结果示于表2中。如图所示，支持提供正确识别的歧义的准确性是容易的在对等算法中，RI-GCN（仅xyz）在比较中特别有意义，因为它还使用基于PCA的规范姿势作为输入，并开发强大的网络以更好地聚合局部特征。然而，它没有解决模糊性问题，导致准确度低于我们的方法。MLPsoftmaxW3N池化N主要网络16222方法输入z/zz/SO（3）SO（3）/SO（3）Acc. 下降[17]xyz88岁5十六岁4七十5五十四1旋转敏感DGCNN [30][19]第十九话xyzxyz92. 289岁。320块628岁681. 1八十五0六十岁。5五十六4PointConv [31]xyz91.6-八十五6-Shen等人[21日]xyz83岁083岁083岁00的情况。0球面CNN [6]体素88岁9七十六。986岁。910个。0旋转鲁棒a3SCNN [13]旧金山有线电视新闻网[20]体素xyz89岁。691. 487岁984. 888岁7九十10的情况。8五、3旧金山有线电视新闻网[20]xyz +正常92.3八十五391. 0五、7[7]第七话xyz92.1-九十8-RIConv [36]特征86岁。586岁。486岁。40的情况。0三角网[33]特征--86岁。7-[24]第二十四话特征87岁087岁087岁00的情况。0SPH-Net [16]xyz87岁786岁。687岁61 .一、0Yu等人[35]第三十五届xyz +特征89岁。289岁。289岁。20的情况。0旋转不变Li等[第十一届]特征89岁。489岁。489岁。30的情况。1RI-GCN [9]xyz89岁。589岁。589岁。50的情况。0RI-GCN [9]xyz +正常91.091. 091. 00的情况。0LGR-Net [37]xyz +法线+特征九十9九十991. 10的情况。2我们的（不含TTA）xyz九十2九十2九十20的情况。0我们的（含TTA）xyz91.691. 691. 60的情况。0表2：ModelNet40数据集的分类准确度（%）所有方法的点云具有密度1024。在输入列中，xyz表示点云的笛卡尔坐标，特征代表手工制作的几何特征。最后一列记录了z/SO（3）和SO（3）/SO（3）之间的差异。5.3. 对象部分分割我们还评估了不同的方法上的部分分割任务，其目的是预测逐点分割标签的输入点云。对于实验设置，我们采用ShapeNet部分分割数据集[2]进行基准测试，并使用Qi等人发布的预处理数据。[17]，它由来自16个类别的16881个点云组成，总共有50个零件标签。我们遵循标准的训练-测试分割，其中14007个对象用于训练，2874个对象用于测试。再次以如上所述的3种模式进行实验。为了评估，我们计算每个形状的并集的平均交集（mIoU，%），并将所有实例的平均值报告为最终结果。每个类别的mIoU在补充材料中为感兴趣的读者提供。表3给出了结果。在分类实验中提到的一些方法被省略，因为它们的网络在各自的建议中没有针对分割任务进行修改我们强调，LGR-Net的增强是在不包括输入中16223的法线和几何特征的情况下实现的。事实上，已知这种互补输入可以提高性能（即，如表2所示，即使仅仅添加法线也可以导致SFCNN和RI-GCN两者的大约1%的此外，通过比较分类和分割任务，我们可以观察到，一些专门设计的特征和网络结构[10，11]的能力在不同的点云分析任务中不是非常一致，表现为在特定应用上的竞争性性能，但限制了另一个应用上的结果。5.4. 真实世界数据集将PCA应用于真实世界点云的主要关注点在于其对w.r.t.诸如噪声、不完整性和变形的各种滋扰。因此，在本节中，我们研究基于PCA的规范姿势在这种情况下如何执行。对于实验设置，我们遵循LGR-Net [37]并采用来自ScanObjectNN [28]的OBJ BG数据集，其包含分类为15个类别的2890个室内对象的扫描，其中2312个用于训练，578个用于测试2。所有对象被手动配准到最接近的姿势w.r.t.他们的CAD模型，导致在每个类别中分析相同的姿势。一般来说，这个数据集比合成的ModelNet40更具挑战性，因为它包含噪声、孔洞、变形和背景。我们在表4中报告了结果。与LGR-Net相比，2作者发布的数据集包含2890个点云，尽管在[28]中声称为290216224方法输入z/SO（3）SO（3）/SO（3）mIoU滴[12]第十二话xyz三十四7七十一4三十六7旋转敏感DGCNN [30][17]xyzxyz三十七4三十七8七十三。374岁4三十五9三十六6[19]第十九话xyz四十八2七十六。728岁5三角网[33]特征-七十二5-RIConv [36]特征75. 375. 50的情况。2RI-GCN [9]xyz七十七。2七十七。30的情况。1旋转鲁棒不变量[24]第二十四话Li等[37]第37话特征特征xyz +法线+特征八十082岁2-八十082岁582岁80的情况。00的情况。3-我们的（不含TTA）xyz81. 781. 70的情况。0我们的（含TTA）xyz83岁183岁10的情况。0表3：ShapeNet上所有实例的平均IoU（%）。每个算法的输入与表2中所述的相同。除了RI-GCN [10]和Triangle-Net[33]之外，所有点云的密度均为2048，其输入的密度为1024。ModelNet40ShapeNet无姿态选择器91. 382岁8带姿态选择器91. 683岁1表5：与vanilla网络相比，姿势选择器可以提高不同任务的准确性，证明其在消除规范姿势的歧义方面的有效性。表4：真实 世界ScanObjectNN 数据集 的分类准 确度（%）。z*表示没有任何旋转的原始预对齐数据集。所有点云的密度为1024。我们的方法可以明显优于LGR-Net，这是合成数据集上最好的对等方法。这是ModelNet40和ShapeNet上的最佳对等方法，我们的方法在具有挑战性的真实世界数据集上表现出明显的优越性（即，五、3%的准确度提高）。这一结果表明，具有适当识别的歧义的基于PCA的规范姿势实际上比一些手工制作的特征和相关的网络结构更有效。此外，通过比较在z/z设置下的结果，我们可以观察到，由基于PCA的规范姿势呈现的结果仅比用手动对齐获得的结果稍差，证明了基于PCA的规范形式的鲁棒性w.r.t. 现实世界中的各种麻烦5.5. 姿势选择器在本节中，我们研究我们提出的姿势选择器模块的有效性为了比较，在训练阶段，我们从24个模糊度中随机选择1个为了测试，我们对所有的歧义进行TTA。进行了实验在分类和分段任务上都有明确的一致性。结果报告于表5中。如图所示，我们的姿势选择器可以通过合并所有可能的标准姿势的信息来有效地提高在不同任务上的性能此外，我们观察到，与使用普通DGCNN网络相比，姿势选择器也可以加速收敛。6. 关于基于PCA的典型姿势的尽管其有效性，PCA为基础的规范构成的能力没有明确的研究。因此，我们希望探索以下问题，希望在旋转不变性点云分析的背景下促进未来的研究：• 基于PCA的规范姿势的表现如何• 我们能否根据消除歧义的方法减少歧义的数量？• 不准确的歧义在多大程度上阻碍了表演？• PCA在点云上做什么？在什么条件下它表现最好？zh*/zh*z*/SO（3）SO（3）/SO（3）[17]79岁。4十六岁7五十四7[19]第十九话87岁8十五岁0四十七4[12]第十二话89岁。9十四岁663岁7DGCNN [30]87岁3十七岁7七十一8RIConv [36]-78岁478岁1LGR-Net [37]-81. 281. 416225ǁ − ǁ一预对准构成选择标准姿态所有可能典型姿势Acc.92. 992. 091. 6Miou八十五284. 783岁1表6：ModelNet40上的分类准确度和ShapeNet上的mIoU（%）w.r.t.不同的输入姿势对分类和部分分割任务的影响。从左到右的结果是通过以下方式获得的：原始数据集;经由等式（1）手动选择的规范姿态（5）和所有24个歧义。下文提到的所有实验都具有与第2.2节中提到的完全五、TTA进行所有的实验含有歧义。对于不包含模糊性的实验，我们切换到使用没有姿势选择器的6.1. 规范姿势的表现如何？不管模糊性问题如何，PCA也不能完美地将类别内对象与相同的规范姿势对齐，这是由于它们的形状不同因此，一些现有的作品[7，10，35，37]认为这些不完美的对齐是当规范姿势用于旋转不变点云分析时阻碍性能的主要原因。然而，我们认为，这样的声明是有偏见的，由于不适当地确定的歧义。在本节中，我们测试了规范姿势的最大能力。具体来说，我们希望探索如何以及规范的姿势可以执行，如果模糊性问题得到理想的解决。对于实验设置，我们手动选择从24个模糊度中选择1个姿势，以使类别内对象的姿势尽可能相似。在实现中，由于ModelNet40数据集中的原始点云已经精确对齐，因此我们将其用作参考，并从所有24个可能的标准姿势中选择1个，以最大限度地减少旋转残差：P选择=argminRP IF，（5）P∈A其中，由24个规范姿态组成，Rp是通过Umeyama [27]的方法计算的从当前候选规范姿态P到参考的相对旋转，并且I是3D单位矩阵。我们进行分类和部分分割任务的实验，以广泛展示基于PCA的规范构成的潜力。 结果报告 在表6中。如所呈现的，如果理想地处理模糊性，则可以进一步增强分类和分割准确性两者。对于分割任务，精度甚至接近网络结构的全部容量。因此，我们可以得出结论，与对不完美对准的常见指责相反，实际上是不正确的模糊度数量主要降低了准确度。图3：消歧方法可以将同一类别内的对象分配给不同的姿势。斯特拉特斯特拉特斯特拉特 所有可能典型姿势Acc. （%） 89.590387. 291。6表7：分类准确度（%）w.r.t.在ModelNet40上使用不同的消歧策略。模糊数从左到右分别为4、6、0、246.2. 消除歧义的方法能帮上忙吗？虽然歧义不能用数学方法解决，但确实存在一些消歧惯例在本节中，我们将探讨这些方法是否有助于点云分析任务。具体而言，我们使用3种消歧策略进行实验：• 策略I：通过按升序对相应的特征值进行排序来确定特征向量的顺序该操作将模糊度的数量减少到4。• 策略二：通过让更多的数据位于正半轴上来确定特征向量的符号。该策略规定主轴应与大多数数据向量保持相同的符号[1，26]。因此，模糊度的数量减少到6。• 战略三：将上述策略I和策略II结合在一起，以消除所有的歧义。如表7所示，这些消歧方法对于点云分析任务是不理想的，因为与考虑所有模糊度的情况相比，准确度明显下降。这是因为在这样的消歧过程之后，相同类别内的对象可能仍然处于不同的姿态。详细的图示在图1中呈现。3，其中姿势是用策略III获得的。6.3. 不准确的歧义有影响吗？我们使用SEC的策略I。6.2确定特征向量的阶数并分配所有8种可能的组合16226−−Σ我我我我我我我反射线DDXn通过在Eq.在等式（6）中，我们可以得到以下公式，其具有x总是垂直于n的性质：Cn=. ΣxixT+2d2nnTΣn=2Σd2n，（7）图4：非对称对象上的基于PCA的对齐的概念图示。平面表征由PCA检测的三个主轴。图5：点云可以表示为x+dn和xdn已知对称性。的迹象。通过这样做，我们获得了89的准确度。2%，即2。比用正确识别的模糊度获得的低4%。此外，该结果也比用正确但不充分的4符号模糊度（表7的策略I）获得的结果更差，表明不正确地识别的模糊度确实损害性能。6.4. PCA什么时候表现最好？我们声称，PCA是有效的对齐包含正交平面反射对称的对象。具体而言，对于具有正交反射平面的对称对象，其主轴（的一部分）将始终平行于这些平面的法线[3，15]。作为简单的证明，让我们假设给定的中心点云P沿着具有单位法线n的平面对称。如图所示。5，我们可以将每对对称点表示为x+dn和xdn，其中x属于反射平面，d是点到平面的距离。因此，P的协方差矩阵可以计算为：C= （ xi+din ） （ xi+din ） T+ （ xi−din ）（xi−din）T我=ΣxixT+2d2nnT。（六）我这是与PCA中的特征问题相同的特征问题。由于Eq.（7）对于所有反射平面成立，具有多于2个正交平面反射的点云将具有直到24个符号和阶次模糊度的唯一确定的主轴因此，PCA可以很容易地对由正交平面对称组成的对象（例如书桌、桌子和浴缸）执行出色的类内对齐。由于它们的人造属性，这些对齐通常在桌面上呈现为直立的。此外，我们观察到，PCA仍然可以实现可接受的对齐对象的对称性，只有近似满足，如吉他，杯子和汽车。然而，这并不意味着如果不存在正交对称，PCA将失败。如图1的顶行所示。4、类内对象由于其相似的结构仍然可以被对齐到相似的姿态。然而，如果类内形状在结构上甚至不相似，则对齐将是任意的，如图1B的底行所示。4，楼梯的对齐姿势是随机的，因为它们的结构完全不同。7. 讨论和结论本文研究了在旋转不变点云分析中使用主成分分析方法时，正确位姿模糊的识别及其效果一个姿势选择器模块也被开发用于消歧。尽管已经花费了许多努力来开发强大的网络结构或手工制作描述性特征以补充基于PCA的规范姿势，但我们的实验表明，正确识别的模糊性可以导致更显著的性能提升，这从各种数据集上的显著准确性增强中显而易见。我们希望我们的分析可以促进进一步的反思和未来的网络设计旋转不变的点云分析。例如，我们计划研究是否可以开发更有效的消歧模块。工作的另一个线程在于通过鲁棒化香草PCA来实现更精确的确认这项工作得到了NII CRIS和LINE公司合作研究项目的支持。我们要感谢Menandro Roxas富有成效的讨论。成功案例失败案例16227引用[1] Rasmus Bro，Evrim Acar，and Tamara G Kolda.解决奇异值分解中的符号歧义。Journal of Chemometrics，22（2）：135-140，2008. 7[2] Angel X Chang，Thomas Funkhouser，Leonidas Guibas，Pat Hanrahan ， Qixing Huang ， Zimming Li ， SilvioSavarese ， Manolis Savva ， Shuran Song ， Hao Su ， etal.Shapenet：一个信息丰富的三维模型库。arXiv预印本arXiv：1512.03012，2015。5[3] Mohamed Chaouch和Anne Verroust-Blondet。3D模型的对齐。Graphical Models，71（2）：63-76，2009. 8[4] Chao Chen，Guanbin Li，Ruijia Xu，Tianshui Chen，Meng Wang，and Liang Lin. Anternet：深度层次聚类网络，具有严格的旋转不变表示，用于点云分析。在计算机视觉和模式识别会议（CVPR）上，2019年。1[5] Xiaozhi Chen，Huimin Ma，Ji Wan，Bo Li，and TianXia.用于自动驾驶的多视角三维物体检测网络计算机视觉与模式识别会议（CVPR），2017年。2[6] Carlos Esteves ， Christine Allen Blanchette ， AmeeshMakadia和Kostas Daniilidis。用球面cnn学习so（3）等变表示。欧洲计算机视觉会议（ECCV），2018年。一、二、五[7] Jin Fang ， Dingfu Zhou ， Xibin Song ， Shengze Jin ，Ruigang Yang，and Liangjun Zhang. Rotpredictor：用于点云分类的无监督规范视点学习。国际3D视觉会议（3DV），2020年。一、二、五、七[8] 藤原健和桥本太一点云分析的神经隐式计算机视觉与模式识别会议（CVPR），2020年。二、三[9] Max Jaderberg，Karen Simonyan，Andrew Zisserman，Koray Kavukcuoglu.空间Transformer网络。arXiv预印本arXiv：1506.02025，2015。1、4[10] SeoHyun Kim，JaeYoo Park，and Bohyung Han.三维点云的旋转不变局部到全局表示学习。在神经信息处理系统（NIPS）会议论文集，2020年。一、二、三、四、五、六、七[11] Xianzhi Li ， Ruihui Li ， Guangyong Chen ， Chi-WingFu，Daniel Cohen-Or，and Pheng-Ann Heng.一种用于深度点 云分 析的旋 转不变 框架 。arXiv预印 本arXiv：2003.07238，2020。二、四、五、六[12] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen.Pointcnn：X变换点上的卷积在神经信息处理系统（NIPS）会议论文集，2018年。6[13] Min Liu ， Fupin Yao ， Chiho Choi， Ayan Sinha ， andKarthik Ramani.使用alt-az各向异性2球卷积深度学习3d形状。在国际学习表征会议（ICLR）的会议记录中，2018年。5[14] Daniel Maturana和Sebastian Scherer。Voxnet：用于实时对象识别的3D卷积神经网络。在2015年智能机器人与系统国际会议（IROS）上。2[15] Predrag Minovic、Seiji Ishikawa和Kiyoshi Kato。用八叉树 表 示 的 三 维 物 体 的 对 称 性 识 别 。 Transactions onPattern Analysis and Machine Intelligence（PAMI），15（5）：507-514，1993. 8[16] Adrien Poulenard，Marie-Julie Rakotosaona，Yann Ponty和Maks Ovsjanikov。球谐函数核的有效旋转不变点cnn国际3D视觉会议（3DV），2019年。二、五[17] Charles R Qi ， Hao Su ， Kaichun Mo ， and Leonidas JGuibas. Pointnet：对点集进行深度学习，用于3D分类和分割。计算机视觉与模式识别会议（CVPR），2017年。一二四五六[18] Charles R Qi，Hao Su，Matthias Nießner，Angela Dai，Mengyuan Yan，and Leonidas J Guibas.用于三维数据对象分类的体视和多视cnn计算机视觉与模式识别会议（CVPR），2016年。2[19] Charles R Qi，Li Yi，Hao Su，and Leonidas J Guibas.Point- net++：度量空间中点集上的深度层次特征学习。arXiv预印本arXiv：1706.02413，2017。五、六[20] 饶永明，陆继文，周杰。用于点云识别的球形分形卷积神经网络在计算机视觉和模式识别会议（CVPR），2019年。一、二、五[21] Wen Shen，Binbin Zhang，Shikun Huang，Zhihua Wei，and Quanshi Zhang.三维旋转等变四元数神经网络。欧洲计算机视觉会议，2020年。一、二、五[22] Riccardo Spezialetti、Federico Stella、Marlon Marcon、Lu Ciano Silva、Samuele Salti和Luigi Di Stefano。用自监督球面神经网络学习曲面定向2020年神经信息处理系统（NIPS）会议论文集。2[23] Hang Su，Subhransu Maji，Evangelos Kalogerakis，andErik Learned-Miller.用于三维形状识别的多视图卷积神经网络。在2015年国际计算机视觉会议（ICCV）上发表。2[24] 孙晓，连周辉，肖建国。Srinet：学习用于点云分类和分割的严格旋转不变表示在2019年国际多媒体会议（ACMMM）的会议记录中。一二四五六[25] HuguesThomas ， CharlesRQi ， Jean-EmmanuelDeschaud ， BeatrizMarcote gui ， FrancoisGoulette ，andLeonidasJGuibas.Kpconv：点云的灵活和可变形卷积。在2019年国际计算机视觉会议（ICCV）上发表。2[26] Federico Tombari、Samuele Salti和Luigi Di Stefano。用于局部表面描述的直方图的独特特征。欧洲计算机视觉会议（ECCV），2010年。7[27] 梅山真司两点模式间变换参数的最小二乘估计ComputerArchitec-ture Letters，13（04）：376-380，1991. 7[28] Mikaela Angelina Uy 、 Quang-Hieu Pham 、 Binh-SonHua、Duc Thanh Nguyen和Sai-Kit Yeung。重温点云分类：一个新的基准数据集和分类模型在现实世界的数据。在2019年国际计算机视觉会议（ICCV）上发表516228[29] 放 大 图 片 作 者 ： David E. 作 者 ： Oliphant ， MattHaberland ， Tyler Reddy ， David Cournapeau ， EvgeniBurovski ，PearuPeterson，WarrenWeckesser ，JonathanBright ， Ste´fanJ.van der Walt ，Matthew Brett，Joshua Wilson ， K. 放 大 图 片 创 作 者 ： Michael R. J.Nelson ， Eric Jones ， Robert Kern ， Eric Larson ， C JCarey，Ilhan Polat，Yu Feng，Eric W.放大图片创作者 ： John W.A. 查 尔 斯 ？ 金 特 罗 作 者 ： AnneM.Archibald，An tonioH. Ribeiro、Fabian Pedregosa、Paulvan Mulbregt和SciPy 1.0贡献者。SciPy 1.0：Python中Nature Methods，17：2614[30] Yue Wang，Yon