高效图卷积网络在点云处理中的优化及应用

3752× ××面向点云处理的高效图卷积网络Yawei Li1*，He Chen2*，Zhaopeng Cui3，Radu Timofte1，MarcPollefeys1，4，Gregory Chirikjian2，5，Luc Van Gool1，61苏黎世联邦理工学院，2约翰霍普金斯大学，3浙江大学CAD CG国家重点实验室，4微软，5新加坡国立大学，6比利时鲁汶大学www.example.comyawei.li @ vision.ee.ethz.ch，hchen136@jhu.edu，zhpcui@gmail.com摘要我们的目标是提高图卷积网络（GCN）在点云上学习 研 究 了 由 K- 近 邻 （ KNN ） 搜 索 和 多 层 感 知 器（MLP）组成的基本图卷积。通过数学分析那里的操作，得到两个发现，以提高效率的GCN。（1）3D表示的局部几何结构信息在依赖于KNN搜索来收集邻域特征的GCN这促进了GCN中多个KNN搜索的简化。(2)打乱图特征收集和MLP的顺序导致等价或类似的9392.59291.59190.52520151050DGCNN加速老化500 1000 1500 2000数量的点(a) 总体精度40030020010003002001000DGCNN（分类）加速（分类）DGCNN（部分分割）加速(Part分段）0500一千1500二000年数量的点(b) 运行时DGCNN（分类）加速（分类）DGCNN（部分分割）加速(Part分段）复合操作。基于这些发现，我们优化GCNs的计算过程。 一系列的经验--05001000一千五二000年数量的点(c) GPU存储器0 1000 2000数量的点(d) FLOPs结果表明，优化后的网络在保持点云学习精度的同时，降低了计算复杂度，减少了内存消耗，1. 介绍最近，图卷积网络（GCN）[8，2，10，53，43，58，48]已经在点云的3D表示学习中实现了最先进的性能，用于分类[35，36]，部分分割[ 3 ]，语义分割[4]，语义分割[5]，语义分割[6]，语义分割[7]和语义分割[8]。[49] 和 表 面 重 建 [14] 。 典 型 的 GCN 由 多 层 感 知 器（MLP）的堆栈组成，其渐进地学习深度特征的层次结构。为了更好地对点云上的局部性建模，将邻域信息收集模块放置在MLP之前。某个点从其邻居收集信息并将其信息传播给它们。邻居可以是预定义的（即，，从Point 2 Mesh [14]中的初始网格借用）或更常见的是通过点云（静态）上的K-最近邻（KNN）搜索*共同第一作者。图1：本文中的代表性GCN和加速版本之间的比较。(a)点云分类的总体精度。报告5次运行的平均值和方差。原始GCN的（b）运行时间、（c）GPU存储器消耗和（d）FLOP随着点数的增加而爆炸。相比之下，优化的网络可以实现计算资源的显着减少，而不会降低准确性。GCN [36，23]）或特征表示（动态GCN [49，54]）上。然而，这种设计面临几个技术挑战。首先，计算成本与点的数量成二次方增长[38，37]。当在高维特征空间中进行KNN搜索时，该问题加剧。其次，图特征聚集操作扩展了结果特征的维度。考虑具有N个点和d个坐标的点云。张量的维数从Nd到NKd，其中K是邻居的数量。然后将相同的操作应用于具有重复条目的扩展张量，这导致DGCNN（分类）加速（分类）DGCNN（部分分割）加速(Part分段）总体准确度%最大GPU内存[GB]推断运行时间[ms]浮点数[G]3753×个冗余计算第三，由于计算复杂性和扩展特征，当处理的点的数量增加时，GCN计算所需的GPU存储器爆炸推理速度也大大减慢。如图1，每次处理的点的数量加倍时，所检查的GCN的计算复杂度、推理时间和消耗的GPU存储器几乎是四倍。因此，本文的目的是分析GCN中的基本操作，并寻找机会来构建有效的GCN，用于点云上的学习。与图1中的代表性GCN相比。1，本文中的计算优化的GCN减少了计算负担并加速了推理。这一重大改进依赖于以下两个发现。结论1.3D表示的局部几何结构信息在依赖于用于图特征收集的KNN搜索的上述多层GCN上平滑地传播。这一发现是支持的数学分析的两个点之间的距离之前和之后的一个层的MLP。节中4.2中，我们证明了在一层MLP之后的两点之间的距离的上界是邻域距离，下界是MLP之前的对应点之间的邻域质心距离。这意味着在GCN上，特征空间中两点之间的距离不会突然改变。因此，没有必要在每次需要在MLP中进行邻居检索时进行KNN搜索。相反，几个MLP（称为股东MLP）可以共享相同KNN搜索的结果。此外，为了确保跨股东MLP的逐渐扩大的接收域 每次需要邻居检索时，从池中对邻居进行采样。浅层的股东MLP只能从最近的邻居中采样，而深层的股东有机会从遥远的邻居中采样。结论2. 打乱图特征收集操作和用于特征提取的MLP的顺序导致GCN的等效或类似的复合操作。这一发现也得到了SEC中的一般分析的支持。四点三。如上所述，在现有的GCN中，图特征收集操作在MLP之前发生，并且扩展了特征的维度。通过在图形特征收集操作之前移动特征提取MLP，仅对未扩展的特征张量进行MLP。这导致计算量的显著减少。这两个发现直接导致了计算过程中的拟议变化，如图所示。2，降低了计算复杂度，加快了GCN的推理速度。这里，所提出的技术是(a) 常规GCN（b）优化GCN图2：（a）常规GCN和（(b) 优化的GCN。而不是调用KNN搜索每个图卷积，我们执行几个图卷积共享相同的KNN搜索与渐进扩大的感受野。图特征收集和MLP的混洗避免了特征的扩展，这导致MLP中的加速计算。应用于四个代表性GCN [49，23，14，54]。 它结果表明，它们确实可以显著提高现有GCN的效率。例如，对于2048个点的ModelNet40点云分类，与原始DGCNN相比，加速版本的速度约为3倍，GPU内存减少了57.1%，计算量减少了86.7%，而不损失准确性。更多结果见Sec. 五、因此，本文的贡献可以概括如下。1. 从分析代表性GCN中的基本运算入手，证明了两个使其加速的定理2. 基于证明的定理，提出了两种策略的shuff-fling操作，以具体改善现有的GCN的时间和内存效率。3. 在四个GCN上进行了四个点云学习任务的实验，以验证所提出的方法的有效性。实验结果表明，推理时间和记忆消耗都显著降低。2. 相关工作在过去的几年里，已经出现了将深度神经网络应用于3D表示的趋势。在这个过程中，计算高效的网络设计起着重要的作用。我们简要总结密切相关的贡献。3754N NKKGVEV EGG V E VEV V E EGG G V EΣ我我我我·G|···Σ∈ E ∈{ ∈∈Kk=1我度量函数（例如、或max），其不依赖于DN（xi，xj）= Σx − x.（一）ΣK3D点云的深度学习随着对大规模3D扫描数据的更容易访问，卷积神经网络已经从2D图像中的学习特征[15，40，11，55，4]扩展到从图形数据中学习[52，53]。9，22，7，5]和3D点云[35，36，59，12]。现有的方法可以大致分为基于体素的方法、基于点的方法和体素点混合方法[42]。基于体素的方法[33，34]利用3DCNN的架构并将其应用于栅格化的3D空间。而基于点的方法[39，60，21，60]以显式表示为目标并直接在图上操作。要点-即，i， j. 两点之间的邻域距离是它们的相邻点之间的距离之和kk2ij2k=1定义2（邻域质心距离）两个点Xi和Xj的邻域质心距离由它们的K个最近邻居的质心之间的距离定义，即、Net [35]通过设计一个基于MLP的网络体系结构，直接消耗一个D =Σxk−1Σxk2，（2）点云，同时尊重输入数据的排列不变性然而，PointNet的设计忽略了低-N CK我k=1KJ2k=1cal结构针对改善这一缺点，Point-Net ++ [36]引入了一种分层架构，该架构在输入点集的嵌套分区上反复调用PointNet。实现改进的另一种方法是通过动态图CNN [49]，它通过定义边缘卷积运算来考虑拓扑信息。高效的网络设计在计算机视觉中起着越来越重要的种 子 贡 献 包 括 GoogLeNet [44] ， SqueezeNet [20] ，MobileNets [18，41]和ShuffleNets [56，32]，它们通过设计计算高效的模块来降低模型的复杂性。高效设计中的其他技术包括网络修剪[16，31，30，25，27，28]，低秩滤波器近似[57，26]，网络量化[13，61，24]和知识蒸馏[17，46]。计算效率使我们能够在移动设备上运行性能良好的神经网络，并在功能强大的计算机上处理越来越复杂的3D/4D场景。针对在相同计算资源上以更高性能处理3D/4D场景，Vote 3D [47]和FPNN [29]提出通过处理稀疏性问题来提高效率。Minkowski Engine [6]提出了稀疏卷积，它在卷积过程中使用哈希表进行索引。这些方法被设计用于提高基于体素的方法的效率基于点的神经网络的其他有效设计ral网络深入研究基本操作，包括控制其中1KXk表示邻居的质心。邻域距离表示两点之间的距离。也就是说，与具有较大邻域距离的两个点相比，具有较小邻域距离的两个点很可能彼此更接近。类似地，邻域质心距离也是反映两个点的接近程度的度量。定义3（图和子图）图由对=（，）定义，其中是顶点的集合，并且是定义顶点之间的连通性的边的集合。图的子图由对i=（i，i）定义，其中我得双曲正弦值.我. 的曲线图可以在点云和网格上定义。子图i捕获3D表示上的局部连通性，并且针对点云和网格略微不同地构造。 对于点云，子图的顶点包括点及其K-最近邻，边连接中心点和邻居。对于一个网格，边集i包含一个边和它的4个1-环邻居[14]，顶点集i包含4个相关的顶点。定义4（图卷积）图卷积是一系列操作，通过在定义的图的顶点或边之间传播信息，从较低级别的特征中提取较高级别的特征。图卷积可以根据子图来定义，即、volution，pooling和unpooling [19，22，9，52，51]，与我们的工作相同。x′i=g（Gi;Θ）=ek∈Eih（xk;Θk），（3）3. 注释和预备为了形式化地表述这个问题，在本节中定义了几个在下面的定义1和定义2中，分别根据相对于两个点Xi和Xj定义1（邻域距离）考虑点集xi，xj∈ S中的两点。他们每个人都装备了其中，XkRd是对边缘eki上的特征进行编码的向量，X'iRM是输出特征，Θ=ΘkRd×Mk= 1，2，…，K是可训练参数的集合，并且对于所有子图i都是相同的。函数h（）将d维输入特征变换为M维向量。它表示MLP，MLP又可以实现为卷积运算。在这在特定情况下，聚合函数是由表示的求和。一般lΣy，聚集函数是对称的。利用从KNN搜索得到的点的邻域3755Σ=θ，x>，（6）m公里×个联系我们KKC×个C边的顺序。图卷积的堆栈和诸如池化的其他操作构成GCN。记法。在本文中，N表示点的数量，d表示潜在空间特征的维数，K表示每个点的邻居的数量，并且M表示中间输出特征的维数。4. 方法在本节中，将介绍GCN中的基本操作，即、KNN搜索和图卷积中的MLP。给出了关于这两种运算性质的两个定理4.2.点邻接在下文中，我们通过分析图卷积之前和之后的点的邻接属性来研究局部几何结构信息如何在GCN内传播。这个新的视角促使我们重新思考在GCN中频繁调用KNN的必要性，正如前面已经暗示的那样它导致在GCN的邻接评估的简化和加速我们认为，sider的一个特殊情况下，图卷积方程。3以下列形式x′i=[x′i1，···，x′im，···，x′iM]，（5）K摆姿势。在此基础上，提出了一种简化的KNN搜索和MLP的计算过程，提高了现有GCN的计算效率。克希姆Kik=14.1. GCN中的计算复杂性分析在最先进的GCN中，通常进行KNN搜索以定义邻域，然后是MLP。分析了这两种操作的计算复杂度，并给出了简化方法。命题1图卷积中KNN搜索和MLP的计算复杂度之比为γ=N。假设点云由一个N d表示矩阵X要计算所有的K-最近邻居其中x’im表示向量x’i的第m个元素，Θ =θ1，θ2，…，θM包含具有M个输出声道的MLP的可训练参数。对于上面定义的运算，导出以下定理定理1假设网络中的参数θm服从均值为0、方差为σ 2的独立高斯分布，则输入空间中两点的距离的上界为输出空间中相应点的邻域距离，上界为输出空间中相应点的邻域质心距离，下界为输出空间中相应点的邻域质心距离，下界为输出空间中相应点的邻域质心距离。、点，进行点之间的成对比较，即，D=XXT.对于每个点，指数σ2K21Σxk−1Σxk2的K个最近邻被保持并用于提取图形特征，这导致具有维度的3D张量。Kik=1KJ2k=1K（七）的N×K×d。然后将MLP实现为卷积≤E[x′i − x′2] ≤ σ2dKM Σxk− xk2。核大小为1×1，输出通道为M。成对比较和1×1j2ij2k=1卷积是计算密集的部分。计算复杂度，即成对比较中的乘法次数为 nn=dN2。并且11卷积的计算复杂度为conv=dMKN。因此，两个复杂度项之间的比率为的定理中的条件是合理的，因为神经网络中的参数不仅经常被独立地γ=Cnn=C转换dN2N=dMKN KM（四）高斯分布。 其实作为与最近邻的数量K和输出通道维度M相比，点云中的点的数量可能变化很大。当N小时，成对计算负荷相对较小并且甚至是可忽略的。但是当点云变得巨大时，这种成对比较的计算负荷可能会变得占主导地位。这一分析表明了简化图3：用于点云分类的完全训练的动态GCN中的层的经验权重分布。分布是类高斯分布。选项。示于图3，同样在训练之后，参数倾向于遵循类高斯经验分布。GCN中的KNN搜索证据 上界。 两个之间的平方距离3756Σ2k k2M”。，Σ”。，ΣBM.ΣMMMM我J 2我J我J 2MLL我JMK方差 则距离xi−xk2也是a我J 2我KKJ 2E[xi′−x′2]≤E[KΣΣθm2xk−xk2]（11）我J 2k=1图卷积后的点x′i和x′j为考虑到双方的期望，Eqn。17变为M K d dx′−x′）2（8）E[x′−x′2]≥1Σ ΣE[φ φl=1n=1]zz.（十八）M K≤ΣKΣθ2（9）θm的元素遵循独立的高斯分布。Mm=1 θm。≤KΣΣθǁ ǁx −x。（十）方差为Mσ2的分布。因此，在本发明中，m2i j2m=1k=1.0ln等式中的不等式9意味着算术平均值不大于二次平均值，而不等式E[φlφn]=Mσ2l= n。（十九）在等式中由Cauchy-Schwarz不等式推出。假设网络中的参数θm是随机的替换方程19进入Eqn.18，下限变为服从均值为0的变量K K2号二个随机变量，期望值表示为，E[x′−x′2]≥=σ2K21Σxk−1k=1Σxk2。（二十）k=1M KJ2m=1k=1K2ij2=σ2dKM Σxk− xk2。（十二）下限。 设am=ΣK<θm，xk−xk>。k=1i j然后是等式中的平方距离。8变为图4：共享相同KNN搜索的MLP的邻居采样。M K MΣ（Σ<θm，xk− xk>）2= Σa2。（十三）因为邻居距离和邻居-m=1k=1ijmm=1hood质心距离是两点接近程度的指标，定理1表明相邻性Cauchy-Schwarz不等式的点平滑地跨多层图卷积的堆叠传播这一结论促使我们重新思考mΣ=1Mambm≤m=1M二、二Mmm=1（十四）频繁发生的点的邻接评估通过多层GCN中的KNN一个简单的方法是减少KNN搜索的次数，让几个图卷积模块共享一个KNN搜索的结果让b2=1/M，则Eqn. 14变成如图所示然而，这个简单的方案可能会减少几个图卷积的堆栈的感受野1M√amm=1≤mΣ=1 一台2.（十五）选项。因此，我们建议逐步扩大共享相同KNN的图卷积因此，方程的下界。8变为搜索如图4所示。 如图2b，对于n个图卷积的堆栈，只有一个完全的KNNx′−x′<，Σxk− xk>2。（十六）一MnnM平均值为0，方差为σ2，φ=那么φ的元素一个独立的高斯分布和σΣ23757KΣIj搜索进行，这导致扩大池--i j2个月Mm=1mijk=1KL=K+（n-1）P个邻居比原来需要的多。然后对于第一个卷积，第一个K近邻仍然被选中。对于第l个卷积，设φ=Σm=1θm和z=Dk=1xk−xk。然后D d一个点的邻居通过随机抽样来识别合并池的前K+（l-1）P个元素也就是说，x′−x′zz对于每个额外的图形卷积，采样池为ij2Mlll=1Ml=1n=1Ln ln（十七）放大了一个台阶P。由于定理1中的界并不严格，所以点之间的邻接仍然可以改变3758Σ−K--·K--×× ×--我K我K深层。这允许GCN在计算简化之后仍然能够捕获点之间的长程依赖性（参见图12）。（六）。上述操作将多个KNN搜索减少到一个。在整个网络中，每隔几层进行KNN搜索这种简化可以加速网络的推理。4.3.基于图特征聚集的图卷积方程中的图卷积3应用于由局部点邻近度定义的子图。子图特征是从一个点的邻居收集的，并被带到局部坐标系的中心。然后将MLP应用于居中特征。总之，等式（1）中的卷积是：3具有以下形式倍和相同的参数θm用于卷积，方程中的卷积运算 23具有等效程序：1）将两个不同的MLP应用于原始点，2）收集相邻特征，以及3）对特征求和。计算复杂度降低到2dMN，仅为原算法的1/K因此，受等式11的等效运算的启发，23获得，我们建议使用相同的洗牌过程的一般情况下，在Eqn。二十二岁实验验证了洗牌操作的有效性5. 实验本节在四个流行的上g（G; Θ）= Σf（x − x，Θ）.（二十一）K网络 架构 DGCNN [49]， PointCNN [23]，[14]和[54]。包括四个重要任务的实验，即。，点云分类，部分分段-这种形式的操作用于一对动态[49，54]和非动态[36，23，14] GCN中。为了进行操作，首先从邻居收集特征，即，，xkxi，其形成具有维度N的张量KD. 然后将所收集的特征与MLP进行卷积。卷积运算的计算复杂度为dKMN。为了节省计算，我们建议打乱图特征收集和MLP的顺序。也就是说，计算被执行为kf（xk） f（xi）。 以此方式，首先将MLP应用于个别点，之后应用特征聚集。为了解释这种洗牌操作的基本原理，我们考虑在GCN中广泛使用的情况[49]，即g（Gi）= max{（[θm，φm]，[xk−xi，xi]>）}，（22）<其中，max用作聚合函数，operator[ ]连接两个向量。声称项xkxi捕获局部信息，而xi保持全局信息。下面的定理指出，对于方程n中的特殊情况，存在等效但计算上有效的过程。二十二岁定理2对于由等式2定义的图卷积，在图22中，混洗邻居特征收集和MLP的顺序导致GCN的等效操作证据 等式22可以写成x′im= max{（θm，xk>+ψm，xi>）}，（23）<<其中ψm=φmθm。在等式中23中，重新排列操作，使得卷积w.r.t.这些点和它们的邻居完全分离。考虑到一个点可以作为另一个点的邻居分割、语义分割和表面重构。对于分类和分割，我们评估了公共基准ModelNet40 [50]，ShapeNetPart [3]和S3DIS [1]的性能。对于表面重建，我们使用[14]发布的数据集和一些公共3D模型。对原始网络和加速网络重新运行所有实验相同的训练方案用于公平比较。对于点云分类、语义分割和部件分割，准确度结果在5次运行中取平均值，从而增加了报告数字的可靠性我们的实验的目的是比较的准确性，测试时间，最大GPU内存的方法与原始网络。我们的加速模型的训练都是在单个TITAN XP GPU上完成的，而原始网络需要多个GPU来进行一些实验。各实验的详细由于硬件环境的不同，运行时可能与原始论文不同。超参数设置。其中涉及多个超参数。我们遵循默认设置来确定KNN中邻居的数量K。对于具有1024和2048点的分类，K分别为20和40。对于部分分割和语义分割，K分别被设置为40和20。根据经验为不同的任务选择放大步 长P。我们尝试P=1/4K ，1/2K，3/4K，K。点云分类 之间的比较原始网络[49，23，54]和点云分类的加速版本如表1所示。与DGCNN相比，加速网络具有1024个可用点，在较重的网络上[54]，加速版本大约快4倍。 即使对于紧凑的PointCNN，3759网络方法点KOV Acc.BL Acc.时间[ms]记忆[GB]浮点数[G]GPU数量KPConv [45]10242092.9-1083.2-1[23]第二十三话基线10242091.8687.9335.3/100.%0.8/100.%2.5/100.%1加速老化10242091.8687.9229.1/82.4%0.6/76.7%1.9/76.2%1DGCNN [49]基线10242092.1089.0574.7/100.%5.2/100.%86.0/100.%1加速老化10242092.5689.6238.1/51.0%2.5/48.1%20.4/23.7%1[五十四]基线10242092.5489.5795.4/100.%4.9/100.%74.2/100.%1加速老化10242092.5089.3824.1/25.3%1.3/26.5%13.5/18.3%1基线20484092.5689.90385.8 /100.%20.5/100.%309.2 /100.%3DGCNN [49]加速老化S1加速老化S220482048404092.5892.6389.6090.16212.7 /55.1%164.7 /42.7%20.5/100.%8.7/42.4%274.8 /88.9%75.4/24.4%31加速老化20484092.6389.82132.0 /34.2%8.8/42.9%41.0/13.3%1表1：ModelNet40上点云分类的定量比较。重新运行所有实验，并对5次运行的准确度结果取平均值。OV Acc.和BLAcc.分别表示总体精度和平衡精度。网络方法点Miou运行时间[ms]GPU内存[GB]浮点数[G]GPU数量[23]第二十三话基线204883.34123.0 /100.%3.3/100.%9.7/100.%1加速老化204883.21111.9 /91.0%2.7/82.7%7.6/78.8%1DGCNN [49]基线204884.95116.1 /100.%17.2/100.%158.8 /100.%2加速老化204884.7881.8/70.5%4.1/23.8%71.2/44.8%1[五十四]基线204884.13365.3 /100.%9.7/100.%202.9 /100.%2加速老化204884.0246.2/12.6%1.9/19.5%52.7/26.0%1表2：ShapeNetPart中点云的零件分割的定量比较重新运行实验准确度为5次运行的平均值。图5：表面重建结果。(a)输入点云。（b，c）通过Point2Mesh重建的表面和法线图。（d，e）通过我们的方法重建的表面和法线映射。表3：表面重建的定量比较。方法F-score运行时间[s]#参数。[k]兔子鸟PointNet [35]10242089.483.74.70.5-1PointNet++[36]10242090.7-113--1基线69.753.30.41/100.%735.8 /100.%加速老化73.051.60.29/70.7%153.7 /20.9%方法mIoU运行时GPU内存GPU数量基线57.5172.7/100.%14.6 /100.%2加速老化57.087.0/50.4% 6.0 /40.8%13760×个所提出的方法可以减少17.6%的运行时间。当2048点可用时，加速版为表4：S3DIS中点云的语义分割的比较。5次运行报告的准确度。度量的单位与表1中的相同。大约3快，减少了57.1%的GPU内存和计算86.7%，而不损失准确性。DGCNN需要3761图6：用于部件分割任务的加速网络上的点距离的可视化。计算点到图中红点的距离。颜色越浅意味着距离越近。(a)原始数据中点之间的距离。（b）-（d）来自加速网络的层1、层2、层3的特征空间(e)分割结果。加速的网络仍然可以捕获点之间的长距离依赖性（例如飞机的机翼三个Titan Xp GPU进行测试，2048分，而我们的方法只需要一个GPU。除了我们的完整方法，性能只有KNN简化（加速。S1）或Sec. 4.3（加速S2）也被消融。如表所示，这两种策略都可以提高网络的效率。基于点采样的方法，如Grid-GCN [51]和RandLA-Net[19]可以加速网络推理，而这个方向与我们的方法平行。推理时间的减少来自于计算量的减少。GPU内存的减少主要来自于操作的洗牌，因为它避免了点特征的扩展。这两种方法的效果取决于基线网的冗余度例如，PointCNN 利用点 二次采样来使 计算高效，而DGCNN和链路DGCNN在网络上保持高密度的点。将同样的方法应用于更冗余的网络可以带来更大的好处。点云零件分割。点云部分分割的实验结果如表2所示。平均IoU度量用于定量评估分割性能。如表2所示，与DGCNN相比，我们的方法大大降低了运行时间，GPU内存消耗和计算量，分别为29.5%，76.2%和56.2%。 网络[23]和[54]分别加速9%和77.4%。在图6中，示出了输入空间和特征空间中的点的距离。随着网络变得更深，加速网络仍然可以学习点之间的长程依赖关系至于语义分割任务，表4显示，与DGCNN相比，我们的方法将运行时间和内存消耗减少了49.6%和59.2%曲面重构为了验证我们的方法应用于先验网络的有效性，我们将其与Point2Mesh [14]进行了表面重建的比较。类似于Point2Mesh，我们使用F分数作为度量来评估重建网格的质量结果表5：不同网络的FLOP的分解分析。见表3。可以观察到，我们的方法具有与Point2Mesh相似的重建质量，同时将推理速度提高了29%。请注意，参数的数量减少了79.1%。不同形状的定性结果如图所示。五、很明显，我们的加速方法恢复的三维网格具有类似的质量Point2Mesh。适用性。本文提出的两种方法具有不同的应用场景。I. 在第一种方法中，我们处理邻居查询的简化。我们专注于GCN与KNN，因为他们通常表现得更好，KNN是最昂贵的方法中可用的方法。在定理1的分析中，核心假设是有序邻居。邻居是否来自KNN搜索或诸如球查询的其他替代方案并不重要。因此，相同的理论分析和结论适用于这些方法。二. 第二种方法不限于特定的GCN。相反，它适用于具有在MLP之前发生特 征 收 集 的 计 算 模 式 的 任 何 GCN （ 例 如 ，Point2Mesh）。实际上，第二种方法是通过所有四个investi- gated网络。在表5中，卷积的FLOP的减少反映了混洗技巧如何针对不同的网络工作三. 一些经典的GCN不使用KNN。然而，他们仍然需要在邻居之间传播信息。在这种情况下（GCN2Conv、RGCNConv、Point2Mesh），通常在输入数据上定义邻接关系。在某些情况下（MeshConv，Point2Mesh），特征收集发生在MLP之前，可以使用我们的洗牌方法。6. 结论在这项工作中，我们提出了两种策略，提高时间和内存效率的动态GCN。这两种策略是基于对GCN基本操作修改后的网络保持其准确性，同时显着缩短测试时间和GPU内存消耗。实验结果表明，我们的方法有一个显着的性能在多个重要的任务。在未来，我们计划探索如何为3D任务的神经网络设计增加灵活性和效率。鸣谢：本工作得到了ETHZuürichFund（OK）和Amazon AWS赠款的部分支持模型方法分类部分分割转化率/ KNN/总计转化率/ KNN /总计PointCNN基线加速老化2.4G / 0.118G /2.5G1.8G / 0.104G /1.9G8.5G / 1.175G /9.7G7.0G / 0.588G /7.6GDGCNN基线加速老化77.3/8.7/86.020.3G / 0.1G /20.4G140.8G / 18.0G /158.8G53.6G / 17.6G /71.2G3762引用[1] Iro Armeni，Ozan Sener，Amir R Zamir，Helen Jiang，Ioannis Brilakis，Martin Fischer，and Silvio Savarese.大规模室内空间的三维语义解析。在IEEE计算机视觉和模式识别会议集，第1534-1543页，2016年。六个[2] InesChami，ZhitaoYing，ChristopherRe´，andJureLeskovec.双曲图卷积神经网络。神经信息处理系统的进展，第4868-4879页，2019年一个[3] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimming Li，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，et al. Shapenet：一个信息丰富的3D模型存储库。arXiv预印本arXiv：1512.03012，2015。1、6[4] He Chen和Gregory S Chirikjian. Curvature：用于视频序列中的动作识别的签名。在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第858-859页，2020年。三个[5] He Chen，Pengfei Guo，Pengfei Li，Gim Hee Lee，andGre-gory Chirikjian.基于多视角几何的拥挤场景中多人三 维 位 姿 估 计 在 European Conference on ComputerVision中，第541-557页。Springer，2020年。3[6] Christopher Choy，JunYoung Gwak，Silvio Savarese.4D时空卷积：Minkowski卷积神经网络。在IEEE计算机视觉和模式识别会议论文集，第3075-3084页，2019年。三个[7] 皮姆·德·哈恩塔可·科恩和马克斯·威林自然图网络。arXiv预印本arXiv：2007.08349，2020。三个[8] MichaeülDefferrard，XavierBresson，andPierreVandergheynst.具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统的进展，第3844-3852页，2016年。一个[9] Hongyang Gao和Shuiwang Ji。图U网。在国际机器学习会议上，第2083PMLR，2019年。三个[10] MaximeGasse ， DidierChe'telat ， NicolaFerroni ，LaurentCharlin，and Andrea Lodi.图卷积神经网络的精确组合优化。神经信息处理系统进展，第15580- 15592页，2019年。一个[11] 古书航、李亚伟、吕克·凡古尔、拉杜·提莫夫特。用于快速图像去噪的自引导网络。在IEEE/CVF计算机视觉国际会议论文集，第2511-2520页，2019年。三个[12] Meng-Hao Guo，Jun-Xiong Cai，Zheng-Ning Liu，Tai-Jiang Mu，Ralph R Martin，and Shi-Min Hu. Pct：点云Transformer。arXiv预印本arXiv：2012.09688，2020。三个[13] Song Han，Huizi Mao，and William J Dally.深度压缩：使用修剪、训练量化和霍夫曼编码压缩深度神经网络。InProc. ICLR，2015. 三个[14] Rana Hanocka，Gal Metzer，Raja Giryes和Daniel Cohen-Or。Point2mesh：可变形网格的自先验。arXiv预印本arXiv：2005.11084，2020。一二三六八[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。三个[16] Yihui He，Xiangyu Zhang，and Jian Sun.用于加速深度神经网络的通道修剪。在Proc. ICCV，第1389-1397页，2017年。三个[17] Geoffrey Hinton Oriol Vinyals和Jeff Dean。 提取神经网络中的知识。arXiv预印本arXiv：1503.02531，2015。三个[18] Andrew G Howard，Menglong Zhu，Bo Chen，DmitryKalenichenko，Weijun Wang，Tobias Weyand，MarcoAn- dreetto，and Hartwig Adam. Mobilenets：用于移动视觉应用的高效卷积神经网络。arXiv预印本arXiv：1704.04861，2017。三个[19] Qingyong Hu，Bo Yang，Linhai Xie，Stefano Rosa，Yulan Guo，Zhihua Wang，Niki Trigoni，and AndrewMarkham. RandLA-Net：大规模点云的高效语义分割在IEEE/CVF计算机视觉和模式识别会议论文集，第11108一、三、八[20] Forrest N Iandola、Song Han、Matthew W Moskewicz、Khalid Ashraf 、 William J Dally 和 Kurt Keutzer 。Squeezenet：Alexnet级精度，参数减少50倍，…0.5 mb模型大小。arXiv预印本arXiv：1602.07360，2016. 三个[21] ChiyuJiang ， Jingwei Huang ， Andrea Tagliasacchi ，Leonidas Guibas，et al. Shapeflow：3D形状之间的可学习变形。arXiv预印本arXiv：2006.07982，2020。三个[22] Junhyun Lee，Inyeop Lee，和Jaewoo Kang.自我注意力图 池 化 。 国 际 机 器 学 习 会 议 ， 第 3734-3743 页 。PMLR，2019年。三个[23] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen. Pointcnn：X变换点上的卷积。第32届神经信息处理系统国际会议论文集，第828-838页，2018年。一二六七八[24] Yuhang Li，Xin Dong，and Wei Wang.加性二次幂量化：神经网络的非均匀离散化。arXiv预印本arXiv：1909.13144，2019。三个[25] 李亚伟，顾书航，克里斯托夫·迈耶，吕克·范·古尔和拉杜·蒂莫夫特。组稀疏度：网络压缩中过滤修剪和分解之间的关键。在Proc. CVPR，2020中。三个[26] 李亚伟，顾书航，吕克·范古尔，拉杜·提莫夫特。卷积神经网络压缩的学习滤波器基础。在Proc. ICCV，第5623-5632页，2019年。三个[27] 李亚伟、顾书航、张凯、吕克·范古尔和拉杜·蒂莫夫特 。 DHP ： 基 于 超 网 络 的 可 区 分 Meta 剪 枝 . Proc.ECCV，第608-624页。Springe