点云形状分析中的曲线聚合及其应用

915云中漫步：学习点云形状分析的田歌湘悉尼大学txia7609@uni.sydney.edu.au张超毅悉尼大学chaoyi. sydney.edu.au新南威尔士大学unsw.edu.au悉尼大学jianhui. sydney.edu.au悉尼大学tom. sydney.edu.au摘要离散点云对象缺乏足够的3D几何形状描述器。在本文中，我们提出了一种新的方法聚合假设曲线在点云。连接点（曲线）的序列最初通过在点云中进行引导行走来分组，然后随后聚合回来以增强它们的逐点特征。我们提供了一个有效的实施建议的聚合策略，包括一个新的曲线分组操作符，然后由曲线聚合操作符。我们的方法在几个点云分析任务上进行了基准测试，其中我们在ModelNet40分类任务上实现了94.2%的最新分类准确度，在ShapeNetPart分割任务上实现了86.8%的实例IoU，在ModelNet40正态估计任务上实现了0.11的余弦误差。我们的项目页面和源代码可以在https://curvenet.github.io/上找到。1. 介绍点云是一串室内/室外计算机视觉应用中的主要数据结构。各种各样的3D传感器（例如激光雷达传感器）现在能够捕捉真实世界的对象，并且它们到数字形式的投影为了更好地理解三维目标，有效的点云分析技术和方法是非常必要的。随着深度学习的蓬勃发展，先驱作品[27，29]及其追随者[21，6，44，1，43，7，18，48]通过精心设计的神经网络处理点云，以学习输入点坐标和地面真实标签之间的潜在映射与传统的2D视觉任务不同，点通常是不规则和无序的形式，因此，在点云之间的特征聚合和消息传递方案的有效设计仍然具有挑战性。局部特征聚合是近年来被广泛研究的一种基本操作。对于每个关键点，首先根据预定义的规则对其邻域点要素进行分组局部聚集非局部聚集曲线聚集（我们的）图1. 普通聚合和曲线聚合。蓝色圆圈表示关键点，橙色圆圈表示查询点或查询范围。在曲线聚合中，查询特征将被聚合到所有点中。(e.g. KNN）。查询点和相邻点之间的相对位置编码将被计算，然后传递到各种基于点的变换和聚合模块，用于局部特征提取。虽然上述操作在一定程度上有助于描述局部模式，但忽略了远程点关系。虽然非局部模块[35]提供了一种聚合全局特征的解决方案，但我们认为全局点对点映射可能仍然不足以提取点云形状所暗示的潜在模式。为此，我们建议通过生成连续的点段序列来改进点云几何学习。我们认为，这样的连续描述符是更充分的描述点云对象的几何形状，相比流行的现有的本地和非本地运营商现在。我们将这种连续描述符表示为曲线。通过将点云视为不规则图，其中离散点用作图节点并且相邻点连接用作图边缘，曲线因此可以被描述为图中的行走。图1直观地比较了局部聚合、非局部聚合和我们的曲线聚合运算符。在本文中，我们首先回顾了一般形式的局部特征聚合第3.1节）。然后，我们通过定义曲线分组策略（Sec.3.2）和曲线特征与点特征之间的聚合3.3）。一种新型916----联系 我们{···|}点云处理网络CurveNet是通过将所提出的模块与几个基本构建块集成到ResNet [4]风格的网络中来构建的。我们的主要贡献有三个方面：（1）提出了一种新的点云形状分析的特征聚合方法。点（曲线）的序列被分组和聚合以更好地描绘点云对象几何形状。提出了一种新的曲线分组算子和曲线聚合算子来实现曲线特征的传播。（2）研究了分组循环的潜在缺陷，并提出了解决方案。此外，提出了一种动态编码策略，使曲线可以包含更丰富的信息，同时抑制潜在的交叉。（3）将曲线模块嵌入到CurveNet网络中，在目标分类、法向估计和目标部分分割等任务上取得了较好的效果。2. 相关作品三维点云处理。点云分析的最大挑战之一是处理非结构化表示。 从间接表示变换方法[17，11，30，14]开始，所述间接表示变换方法首先将点云变换成另一表示（例如，八叉树，kdtree）为了减轻分析难度，许多最近的工作[27，47，6]直接从原始点云提取特征。作为先驱直接方法之一，Point-Net/PointNet++[27，29]利用共享MLP来学习逐点特征。在他们之后，最近的工作已经将逐点方法扩展到各个方向，其中包括设计高级卷积运算[12，43，38，20]，考虑到更广泛的邻域[15，50，36，22]，并且自适应聚合[6，44，49，45]。上述方法的成功离不开特征聚集算子的帮助，特征聚集算子实现了深度网络中离散点的直接消息当前的特征聚合算子一般可以分为局部和非局部特征聚合。作为局部聚合算子的代表，EdgeConv[36]学习关键点及其特征空间邻居之间的语义位移。非局部聚集算子的蓬勃发展始于非局部网络[35]，通过非局部网络，全局特征被转换并聚集在一起以学习多 对 一 特 征 映 射 。 随 着 最 近 在 视 觉 任 务 中 应 用Transformer [34]的成功，Guo等人。[3]设计了一个由简单Transformer组成的点云处理除了局部和非局部特征聚合操作者，我们建议点云分析可以更好地实现形状段，边缘和曲线的特殊考虑。通过聚合附加曲线特征，可以丰富潜在特征信息。三维点云采样技术。采样这些技术聚集指示性点图案，因此对于所有点云处理方法是必不可少的。基于体素化的方法[28，37，39，24]将离散点空间变换为3D网格（体素），其中输入点云表现为连续3D空间上的离散采样。然而，这种采样的质量对细分频率高度敏感类似于基于体素化的采样方法，基于视图的方法[33，10，40]从从不同角度捕获点云的2D快照开始，并基于2D图像进行预测。在这样的图像采样期间，空间信息的丢失是不可避免的。最近文献中的先进采样方法克服了上述缺点，并在基本点云分析任务上获得了有希望的结果。GS-Net [42]利用特征图来分组具有相似欧氏距离和几何信息的点。PointASNL[44]对相邻点和全局点进行采样，以实现点云对象的完整描述。与上述方法不同，PAT [45]在Transformer[34]的帮助下对点云进行建模，并通过Gumbel-Softmax门学习点采样。RandLA-Net [6]回顾了多种采样技术，并采用随机采样来有效地处理大规模点云。在当前的工作中，MeshWalker [13]还进行了在网格表面上进行随机行走的实验，以获得更好的网格分析。不同于所有现有的采样方法，我们采取引导行走组连续段的点作为曲线，其中包含丰富的信息描述对象的形状和几何形状。3. 方法在本节中，我们提出了对任何点云P=p及其逐点特征F=f的曲线进行分组和聚合的算子。如前所述，曲线表示点云中的点的连接序列，并且可以正式定义为：定义1. 点云中的曲线。给定P，F和一个同构图G=（F，E），其连通度E是用KNN算法在P上计算的。在特征空间中具有长度l的曲线c被生成为F中的点特征的序列，使得c=sl，，sl，sF。 为了对曲线进行分组，我们考虑在同构图G上定义的行走策略π，其从起点si开始行走（曲线），并经过l步。3.1. 重新思考局部特征聚合局部特征聚合的一般目的是学习k个元素的局部空间内的底层模式。 对于每个点p，邻域N=p1，，pk首先按确定性规则分组，KNN是最常用的分组算法[6，44917J−RRRRWW··联系 我们∈一·B联系我们最大池平均池C查询邻居与A和B有很大的不同这导致了{pC−pC}的变化。图2. 左：投影在2D平面上的点云。左上角：三个关键点及其k=9个查询邻居。左下角：通过红线连接的三个关键点的可能曲线。曲线聚合沿曲线融合特征。右图：在不同的局部特征聚合层和不同的池化策略下，ModelNet40椅子对象的平均通道g的可视化21，47]由于其计算效率。然后，计算N中每两个元素之间的成对差Φ并将其堆叠在一起。最后，使用共享MLP来进一步聚合计算出的编码，从而得到局部聚合的特征g。形式上，上述局部特征聚合过程可以公式化为：g=池化（{MLP（Φ（f，f，j）|fj∈N）}）。（一）使用Manhattan距离Φ（f，fj）=f fj作为相对编码是最自然的实践并且已被广泛采用。然而，我们认为这种编码方法不提供丰富的相对信号，因为点云中的大多数g在相同的特征通道中包含几乎相同的信息（无论池化策略如何），特别是在浅层中，如图2所示。由于从3D对象的显式表示采样的原始点云是无序的，所以点云P可以被视为在建模的特定概率密度函数（PDF）U中采样的一组随机变量，使得P U（）。在通过一定数量的网络层传播之后，F变成了随机变量集P。我们首先考虑一种极端情况，其中F表示初始点特征，使得F=P。使用简单的二维平面（图2左）作为示例，稀疏点分散在R2的紧凑子空间上。在图2左上角，三个关键点用它们的KNN计算的邻居突出显示。实际上可以观察到，在对点进行采样之后，pApj和pBpj最有可能具有相似的值，因为关键点被它们的查询邻居以相似的模式包围。然而，边界（3D空间中的表面的边缘或不规则段）处的点C是例外。受R的几何约束，点的分布基于上述观察，我们主张，在任何结构化的PDF中，确保在类似的几何形状上的相同的采样行为，在等式（1）中的g1依赖于F和P的分布。点云对象在大部分区域具有相似的几何信息，在g中编码相似且不可区分的信息。如图2右侧所示，椅子的靠背和座位具有紧密的特征，特别是丰富g的一种可能的策略是使用更多的相对编码规则，而不是仅使用元素差异[6，1]。在本文中，我们通过组合从曲线聚合的特征来丰富局部特征g，如图2左下所示。每条曲线覆盖点云中编码唯一几何信息的长路径，其可用于进一步增加点特征多样性。3.2. 曲线分组在本小节中，我们将介绍点云特征空间中的曲线分组的细节。曲线的起始点对于总体分组质量至关重要。为了同时对n条曲线进行分组，在Rn×||F||需要事先确定。借用[2]中的top-k选择方法，我们采用S形门控MLP来学习F中每个点特征的选择得分。起始点是具有前n个分数的点。为了实现梯度流，我们通过自我注意的方式将分数乘以回到F在构造起始点集合之后，行走然后从起始点S1中的一个起始点开始，并且行进正好l步。 行进的点被分组以形成曲线c。给定在行走i步之后到达的曲线si的中间状态（当在特征空间中对曲线进行分组时，si在数值上等于fi），我们感兴趣的是找到确定在i+1步处的曲线的下一状态的行走策略π（si）利用预定义的π（），曲线c=s1，s1可以通过执行以下操作来最终分组：以下等式迭代l次：si+1= π（si），1<= i ∈ Z+<= l.（二）良好的π（）对于保证有效的曲线分组是必不可少的。代替确定性策略，我们提出了一个可学习的π（），可以与骨干网络一起优化。更详细地，对于状态s，我们将MLP应用于状态描述符h sR2||S||来决定下一步。状态描述符被构造为点特征si和曲线描述符ri的级联，这将在本小节的后面介绍。因此，可以经由MLP学习Ns中的所有相邻点上的选择对数α然后，我们将α馈送到评分函数（例如softmax）来分配每个邻居基于分数的乘数BC一BC一层3层2层1918∈Σ···−我我S2Ns！S 1！���（α）1S2！（���α）2S1si+1=softmax当量si-1si-1SISsi-1si-1我S3当量3 .第三章。=argmaxS我S3S我！���（α）3S5S 5！（���α）5s4s4！���（α）4自循环图3. 上图：曲线分组流程概述。Bot- tom：所提出的动态动量和交叉抑制策略的可视化。在[0，1]内。得分最大的点就是π（·）的输出。对于小的y，我们将π（s）公式化为：J小循环大循环图4. 曲线中的四个可能的环。橙色圆圈表示当前曲线头，红色箭头表示当前曲线行进方向。循环，如Eq.3将始终具有相同的输出每个点的输入相同。 循环是c={s1，· · ·，sl}α={ML P（hsj|s∈Ns）}，（3）π（s）=F[arg max（softmax（α））]，⑷其中hsj是KNN邻居s j的状态描述符。在前向传播中，Eq.4用计算出的α确定下一个状态。然而，在后向传播期间，arg_max模糊梯度，并且因此模糊等式（1）中的MLP。3无法按预期进行更新。给定计算出的α，我们给出了等式的替代等式。4，丢弃arg max门并启用梯度流。首先，我们为α生成一个硬的独热风格得分向量，而不是从softmax获得的软得分1其中重复的S携带冗余和有限的信息，因此应该避免。图4显示了四种可能的循环，其中自循环可以通过在KNN计算期间排除关键点本身来容易地避免。为了避免其他循环，简单的状态描述符形成将是不够的。动态动量。避免循环的关键在于考虑当前曲线进程的状态描述符的动态编码。 我们维护一个曲线描述符riR||S||其在步骤i对曲线的前缀进行编码。k∈y点的每个邻居的状态描述符h∈js_i_n_ w变成s_j和r_i的级联。功能通过使用gumbel-softmax [9，23，45]作为scor-iing函数，可以基于arg max索引将logits转换为独热向量通过gumbel-softmax计算梯度与通过soft-max计算梯度相同。然后，我们广播地将查询邻居乘以独热得分向量，并将乘法求和为-受[8]的启发，我们按照动量范式更新ri然而，我们发现，设置一个固定的动量系数β是有限的，在最终的结果。我们提出曲线的前缀r可以通过动态动量变量更好地编码，使得：在一起上述操作的最终结果在数值上与方程计算的结果相同。4.第一章因此，我们的可学习策略定义如下：β=softmax（MLP（[ri−1，si]）），ri=βri−1+（1−β）si，（六）Kπ（s）=（gumbel-softmax（α）·Ns）），（5）1其中表示沿特征维度的广播乘法。上述管道的概述如图3底部所示。通过延伸具有最高得分点的曲线，π（）基本上基于邻域中的状态描述符来确定曲线的行进方向。我们首先遵循一个简单的方法，构造状态de-作为s和相邻s 的 直 接 级 联 。然而，这种天真的方法很容易导致1禁用Gumbel采样以避免任何随机性。其中[ ]表示级联。图3底部图示了动态动量范例。交叉抑制。 虽然动态动量策略避免了环路，但曲线仍然可能遇到交叉。与循环不同，少量的交叉可能意味着有用的模式，不应完全避免。然而，当发生大量交叉时，相同的节点将被重复包括，损害曲线表示。因此，我们建议通过研究曲线的行进方向来抑制交叉我们首先构造一个支持向量→−ci=siri−1rep-在步骤S102中表示当前曲线的大致方向I. 随后，对于曲线头si，我们计算候选向量为→−qj=sj−si。的（我si-1S1S2我我cos（θ）+1d1=我θQ$我Q2我SI吉SS&我QI&我d2=1我2SIQ（我年q4我θS（我S4我SI候选轨迹（向量）向前落后曲线轨迹容忍曲线描述子支持向量关键点查询点919F：C xTSH−−∈∈CIC3 x NLPFA. . .CIC“椅子”CurveNet曲线干涉卷积局部点要素聚合任务指定负责人图5. CurveNet概述。网络由一堆构建块组成。FPS表示最远点采样方法[29]。虚线框和线对于不同的框是可选的。构建块在缩写和颜色上匹配。→−c和→−q之间的夹角θj表示曲线是我们通过按比例缩小具有大θ的αj来抑制交叉（即可能sic Attentive-Pooling算子[6]作为AP。在AP中，输入特征∈RC× * 以自注意风格进行缩放，并沿 * 维求和，得到RC×1。转向并引起潜在的交叉）。→−G iv en分组曲线C为 {c1，···，Cn}∈具体地说，我们确定c之间的角距离和→−qj通过余弦相似性和测量每个向量对严格落入范围[ 1，1]。接近1的值表示两个向量方向相反（应抑制），1表示它们方向相同（不应抑制）。考虑到潜在空间中存在边界，曲线不可能永远笔直而不转弯。因此，我们设置了一个公差阈值角度θ¯2，以便仅需要抑制夹角大于θ¯的候选矢量遵循上述直觉，我们然后通过将余弦相似性得分移位和裁剪到[0，1]中来构造交叉抑制乘数d，j潜在的交叉通过用d j缩放候选logit α j来抑制。交叉抑制策略的图示如图3底部所示。3.3. 曲线聚合和CurveNet如第3.1节中所讨论的，曲线聚合的目的是丰富相对编码φ的声道内特征多样性，并最终提供对g的更好描述。为了符号简单，我们将特征通道的数量定义为C，将点的数量定义为P，并且将基准值定义为a。2在我们的实验中，学习这样的值会产生更差的结果。RC×n×l，为了聚集曲线中的特征，我们考虑了曲线之间的相互关系和每条曲线内的内部关系。我们首先通过沿着不同的轴在C上应用AP来学习曲线间特征向量finterRC×l和曲线内特征向量fintraRC×n点特征F与f_intra和f_inter-起然后被馈送到三个单独的瓶颈MLP以减小特征维度。 我们分别对减少的F与减少的f_intra和f_inter应用矩阵乘法以学习相应的曲线点映射。采用Softmax函数将映射转换为分数。在另一分支中，减少的f_intra和f_inter用两个额外的MLP进一步变换，然后通过矩阵乘法分别将其与计算的映射分数融合。 上述过程最终得到两个细粒度特征 向 量 f i′ntra 和 f i′nter ， 它 们 具 有 相同的 形 状RC×P。我们沿着特征轴连接f i′ntra和f i′nter，并馈送到最终的MLP中。 曲线聚合的输出是原始输入的残差相加。我们将曲线分组（CG）块和曲线聚合（CA）块嵌入到曲线干预卷积（CIC）块中。在每个CIC块中，曲线首先被分组（第3.2节），然后被聚合到所有点特征（第3.3节）。我们将8个CIC块堆叠在一起，构建一个ResNet [4]风格的网络，称为CurveNet。我们的客户CICCinx NCAC xn xlN = N/4（如果C xlF：CxNC ×N512 x N1C中xLC中xNCmidxnC x Nidx：N xNx LNx nC中xLCmidxn64 x NF：C xC x NC中xNC中xN192 x Nnx N矩阵乘法2CXN中AP：注意力集中C xNC xn xlCAC x NLPFAF：C xidx：N xP：3 x分类1024 x NC x NC x N x k9 x N x kC x N x k1024 x 11024 x 1C x N x kC x N x kC x N x k2048 x 1C x NCIC外部CIC内部512 x 1CX NC x N x k出来C输出xC x N#类x 1最大池化平均池化1024 x NMLP512 x N曲线聚合#类x N线性256 x N线性+DP64 x N向上+CIC. . .128 x N向上+CICTSH分割1024 x N1MLPMLPMLP平均池化线性线性+DP最大池化MLPMLPMLPLPFAConcat（P，Pk，Pk-P）Fk-FMLP曲线分组第3.2ConcatTop-K选择MLPMLPKNNMLPFPSAP920veNet最初通过局部点特征聚合（LPFA）块学习输入点坐标的相对局部编码，该块CurveNet最终通过任务指定头（TSH）进行预测，考虑到不同的点云处理任务。对于分类任务，提取的点特征首先被池化，然后被传递到两个完全连接的层中。对于分段任务，我们使用注意力U-Net [25]风格的解码器，该解码器连接来自 编 码 器 的 注 意 力 快 捷 连 接 。 图 5 给 出 了 我 们 的CurveNet的概述。网络结构和构建模块细节见补充材料。4. 实验我们目前的实验结果，我们的点云对象分析方法的对象分类，形状部分分割，正常的估计任务。4.1. 实现细节在所有实验中，在最终线性层中采用Dropout层[32]，概率为0.5 [36]。我们使用LeakyReLU作为主干子节点中的激活函数表1.ModelNet10（M10）和ModelNet40（M40）分类准确率（%）。“nr”表示使用法向量作为额外输入。'*'表示使用投票策略评估的方法[ 20 ]。方法输入#点M10↑M40↑PointNet [27]xyz1024-89.2[29]第二十九话xyz1024-90.7DGCNN [36]xyz1024-92.9[44]第四十四话xyz102495.792.9RS-CNN [20]xyz1024-92.9RS-CNN [20]*xyz1024-93.6Grid-CNN [43]xyz102497.593.1PCT [3]xyz1024-93.2PAConv[41]xyz1024-93.6PAConv [41]*xyz1024-93.9[12]第十二话xyz，nr102495.592.6[21]第二十一话xyz2048-93.2SO-Net [15]xyz，nr500095.793.4CurveNet（我们的）xyz102496.193.8CurveNet（我们的）*xyz102496.394.2表2.ShapeNet零件生成并集的平均交集（%）。网络工作和ReLU在特定任务的头。设定θ¯w到90。为了消除随机性的影响，在所有实验中固定随机种子，这些实验在PyTorch框架中实现[26]。对于分类任务，我们使用了带有动量的SGD0.9作为优化器，并将KNN中的邻居数设置为20。对于分割任务，根据不同的半径动态设置KNN邻居的数目，不超过32个在上采样期间，点特征类似于[27]进行插值。通过交叉熵损失，最小化预测和地面真相标签4.2. 基准对象分类。ModelNet 10/40数据集[39]是对象形状分类基准最常用的数据集，它收集各种对象的网格化CAD模型。ModelNet10数据集由4899个独立模型组成，分布在10个不同的类别中。我们按照与[19]中相同的模式拆分训练和测试样本。在一个更大的同质数据集中，ModelNet40由12311个模型组成，分为40个类别。在这两个数据集中，我们只使用1024个均匀采样点的坐标作为网络输入。在馈送到网络之前，将点归一化为单位球体。首先在采样点上乘以范围[0.66，1.5]内的随机缩放乘数。然后，将每个点沿三个方向作[-0.2，0.2]范围内的随机位移平移。缩放和平移设置为表3.正态估计导致平均余弦距离误差。方法输入#点错误↓PointNet [27]xyz10240.47DGCNN [36]xyz10240.29RS-CNN [20]xyz10240.15PCT [3]xyz10240.13CurveNet w/o curves（我们的）xyz10240.16CurveNet（我们的）xyz10240.11与[11，20]中使用的一致我们训练模型200个时期，开始时学习率为0.1，在200个时期中余弦退火计划为0.001。批量设置为32用于训练，16用于验证。表1报告了我们的Cur- veNet和最新方法之间的比较结果只有1024人方法输入#点mIoU↑PointNet [27]xyz204883.7DGCNN [36]xyz204885.1美国有线电视新闻网[16]*xyz204886.1[44]第四十四话xyz204886.1RS-CNN [20]*xyz204886.2PAConv[41]xyz204886.0PAConv [41]*xyz204886.1PCT [3]*xyz204886.4[29]第二十九话xyz，nr204885.1SO-Net [15]xyz，nr102484.6CurveNet w/o curves（我们的）xyz204885.9921一条曲线另一条曲线曲线聚合要素点要素图6. 曲线和曲线特征的可视化。左：在成组的曲线中避免循环并抑制交叉。右图：可以通过组合长程曲线特征来丰富点特征。我们的方法在大规模ModelNet40数据集上达到了最先进的结果，在没有投票的情况下达到了93.8%[20]，并且在平均10次预测投票时达到了94.2%。我们还在ModelNet10子集上实现了96.3%，这是使用相同训练数据的所有方法中第二好的结果。此外，CurveNet是一种高内存效率的架构，仅需要4.1 G GPU内存进行训练，而DGCNN[36]需要5.9 G。我们在图6中的两个随机选择的通道上可视化分组曲线、局部聚合特征和曲线聚合特征。曲线能够覆盖长范围语义，从而在很大程度上带来信道多样性。对象部分分割。我们在ShapeNetPart数据集[46]上验证了我们的方法，用于3D形状部分分割任务。该数据集收集了16个类别的16881个形状模型。数据集中的大多数对象已被标记为少于6个部分，导致总数为50个不同部分。我们的训练和测试分割方案如下[27，29]，其中12137个模型用作训练样本，其余的用作验证。从每个模型中均匀采样2048个点作为我们网络的输入我们训练了200个epoch的模型，批量大小为32，从0.05的学习率开始，在第140和180个epoch时下降了0.1动量和权重衰减分别设置为0.9和0.0001我们在CurveNet的最后一个线性层之前插入了一个简单的SE [5]模块。与[20，1]相同，也采用了独热类别标签向量和全局特征向量。表2中报告了各样本的平均联合交叉点（mIoU）结果，补充材料中列出了分类我们的方法实现了86.6%的最先进的整体mIoU，超过了所有现有的方法。在不对任何曲线进行分组的情况下，我们的基础架构达到85.9%，证明了在点云形状分割任务中涉及曲线的有效性。此外，我们定性地可视化了四种情况以及图7中的学习曲线。的图7. 曲线和分割结果的可视化。随机选择的曲线将使用随机颜色绘制。分组曲线能够探索短和长范围形状关系。补充材料中报告并分析了模型复杂性。对象正态估计。物体表面法线是三维建模和绘制的基础。与逐部分理解物体不同，估计法线需要全面理解整 个 物 体 的 形 状 和 几 何 形 状 。 我 们 通 过 使 用ModelNet40数据集来验证我们的CurveNet估计正常，其中点云中的每个点都标有其三向正常。CurveNet架构的构建类似于分割任务中使用的架构，不包括独热类标签向量和全局特征向量。模型以0.05的初始学习率进行训练，并且在200个时期中被安排为0.0005。表3显示了CurveNet和现有技术方法的平均余弦距离误差在没有任何曲线的情况下，我们的基础CurveNet架构实现了0.16的平均误差，接近[20，3]。当涉及曲线时，我们的完整CurveNet表现出卓越的性能，平均误差为0.11，为正常估计任务设定了新4.3. 消融研究我们在ModelNet40数据集上进行了广泛的实验，全面研究了我们提出的方法除非明确指定，实现细节与基准部分中描述的相同。所有的消融研究都是在没有投票的情况下进行检查的。成分研究。通过简单地从完整的CurveNet架构中删除或替换它们，检查了CurveNet单个组件的影响。我们进行了实验，用常见的局部特征聚合替换LPFA，如等式2中所示1、禁用动态动量和交叉抑制策略，并将所提出的CA算子替换为香草非局部引用预测曲线922表4.组件研究结果。报告前1分类精度和每个点云（每个批次）推断时间LPFA：局部点特征聚合，CG：曲线分组操作器，DM：动态动量策略，CS：交叉抑制策略，以及CA：曲线聚合运算符。模型LPFACGDMCSCA累积（%）延迟（ms）A、B、C、D、E、F、GCCcC93.137.6（140）CCCCCCCCCCC93.393.493.393.193.493.837.5（143）44.3（145）44.1（144）45.0（146）44.8（143）45.2（146）图8. 曲线能走多远？左边是两个形状不同的物体。右侧是到组1中具有30步的所有曲线的起始节点和最后节点的平均欧几里得距离。模块（即内部关系和相互关系不分开）。结果报告于表4。我们观察到，虽然单独使用LPFA不能带来显著的性能改善（模型A和B），但是在曲线的干预下，LPFA的存在能够在分类结果方面产生巨大的差异（模型F和G）。如模型C和D所示，所提出的动态动量和交叉抑制策略都如预期的那样在经验上有效。此外，从模型E，我们发现，建议的曲线聚集运营商起着最重要的作用，在Cur- veNet。当通过vanilla非本地模块聚合分组曲线特征时，准确率下降了0.7%，对推理延迟没有任何好处。浅层与深层。节中3.1中，我们声称局部聚合后的浅特征缺乏单信道分集，并且曲线特征在网络的浅层处比在深层处更期望。我们在CurveNet的不同组上对不同数量和长度的聚合曲线进行了实验，结果如补充材料所示（图1）。在浅层（组1/2）处的聚集曲线产生比在深层（组3/4）处更好的结果，这从经验上证明了我们的主张。曲线数量与曲线长度。 曲线数量n和923图9. 左：稀疏训练和测试输入的比较。右：在启用表决的情况下，比较噪声输入。长度L是直接确定网络性能的两个超参数。短曲线不能捕获长程模式，而长曲线需要更好的引导并且可能包含冗余信息。为了研究曲线数量与曲线长度的关系，我们进行了固定曲线总点数的实验。补充材料中的图1右下角示出了尽管长曲线（长度50）能够实现最佳结果，但是网络性能随着曲线进一步延伸而降低。聚合较长的曲线也是计算低效的，因为节点的转变不能并行计算。为了验证曲线是否被困在局部区域中，我们在图8中呈现曲线的每个节点到起始点/最后一点之间的平均欧几里得距离。曲线能够跳出最大局部KNN范围以探索更长范围的关系。稀疏的输入点和噪声测试点。曲线分组可能对点云稀疏性和噪声敏感。我们进行了大量的实验（1）使用稀疏输入点进行训练和测试，以及（2）在1024点原始坐标上进行训练并使用噪声点进行测试[44]。如图9左侧所示，我们的CurveNet在关于不同数量的输入点的所有实验中获得了最佳结果。对于噪声测试，我们在第一个LPFA块之后添加一个额外的最大池化层我们的CurveNet在所有实验中都优于[31，27]，并且达到了与[44]相当的结果，证明了对噪声的鲁棒性。5. 结论本文提出了一种用于点云形状分析的远程特征聚合方法--曲线聚合我们首先讨论了现有的局部特征聚合范式的潜在缺陷，并声称需要聚合的点云几何。然后，我们提出了我们的方法在两个连续的步骤：用于将点云中的曲线分组的规则以及分组的曲线特征与提取的点特征的集成。在此过程中，确定并解决了潜在问题。我们的方法在多个点云对象分析任务上取得了最先进的结果。准确度924引用[1] QendrimBytyqi，NicolaWo l pert，andElmarSch o¨ me r. 局域学习网络：有意义当地用于高效点云分析的区域。arXiv预印本arXiv：2006.07226，2020。[2] Hongyang Gao和Shuiwang Ji。图U形网。arXiv预印本arXiv：1905.05178，2019。[3] Meng-Hao Guo，Jun-Xiong Cai，Zheng-Ning Liu，Tai-Jiang Mu，Ralph R Martin，and Shi-Min Hu. Pct：点云Transformer。arXiv预印本arXiv：2012.09688，2020。[4] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition（CVPR），第770-778页[5] 杰虎，李申，孙刚。挤压-激发网络。在IEEE计算机视觉和模式识别会议论文集，第7132-7141页[6] Qingyong Hu，Bo Yang，Linhai Xie，Stefano Rosa，Yulan Guo，Zhihua Wang，Niki Trigoni，and AndrewMarkham. Randla-net：大规模点云的高效语义分割。在IEEE/CVF计算机视觉和模式识别集，第11108[7] Zeyu Hu，Ming-min Zhen，Xuyang Bai，Hongbo Fu，and Chiew-lan Tai. JSENet：3D点云的联合语义分割和边缘检测网络。在欧洲计算机视觉会议（ECCV）的会议记录中，第222-239页[8] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。[9] Eric Jang ， Shixiang Gu ， and Ben Poole. 使 用 gumbel-softmax 进行分 类重新参数 化。arXiv预印本arXiv：1611.01144，2016。[10] AsakoKanezaki 、 YMatsushita 和 YNishida 。RotationNet：使用无监督视点估计学习对象分类。CoRRabs/1603.06208，3，2016。[11] 罗曼·克洛科夫和维克多·伦皮茨基逃离细胞：用于识别3D点云模型的深度kd网络。在IEEE国际计算机视觉会议论文集，第863-872页[12] Artem Komarichev，Zichun Zhong，Jing Hua. A-CNN：点云上的环形卷积神经网络在IEEE计算机视觉和模式识别会议论文集，第7421-7430页[13] Alon Lahav和Ayellet Tal.Meshwalker：通过随机游走来理解深层网格ACM Transactions on Graphics（TOG），39（6）：1[14] 桓磊、纳维德·阿赫塔尔、阿杰马勒·米安。八叉树引导的cnn与球形内核的3D点云。在IEEE计算机视觉和模式识别会议论文集，第9631-9640页，2019年[15] Jiaxin Li，Ben M Chen，and Gim Hee Lee. So-Net：用于点云分析的自组织网络。在IEEE计算机视觉和模式识别会议论文集，第9397-9406页，2018年[16] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen. PointCNN：X变换点上的卷积。神经信息处理系统的进展，第820-830页，2018年[17] Yangyan Li，Soeren Pirk，Hao Su，Charles R Qi，andLeonidas J Guibas. FPNN：用于3D数据的现场探测神经网络。神经信息处理系统进展，第307-315页，2016年[18] Cheng Lin，Changjian Li，Yuan Liu，Nenglun Chen，Yi- King Choi，and Wenping Wang.点2骨架：从点云学习骨骼表示。arXiv预印本arXiv：2012.00230，2020。[19] Xinhai Liu，Zhizhong Han，Yu-Shen Liu，and MatthiasZwicker. Point2Sequence：使用基于注意力的序列学习3D点云的形状在AAAI人工智能会议论文集，第33卷，第8778-8785页[20] Yongcheng Liu ， Bin Fan ， Shiming Xiang ， andChunhong Pan.用于点云分析的关系-形状卷积神经网络。In Proceedings of the IEEE Conference计算机视觉和模式识别，第8895- 8904页，2019年。[21] 刘泽、韩虎、曹越、郑章、辛桐。点云分析中的局部聚合算子的进一步研究arXiv预印本arXiv：2007.01294，2020。[22] Zhe Liu，Shunbo Zhou，Chuanzhe Suo，Peng Yin，WenChen ， Hesheng Wang ， Haoang Li ， and Yun-HuiLiu.LPD-Net：用于大规模地点识别和环境分析的3D点云学习在IEEE国际计算机视觉会议论文集，第2831-2840页，2019年。[23] Chris J