参数化卷积滤波器在深度学习中的应用

SpiderCNN：使用参数化卷积滤波器对点集进行深度学习YifanXu12*，TianqiFan2*， MingyeXu2，LonggZeng1，anddYuQiao2†1清华大学{xuyf16}@ mails.tsinghua.edu.cn，{zenglong}@ sz.tsinghua.edu.cn2计算机视觉与虚拟现实广东省重点实验室，SIAT-SenseTime联合实验室，中国科学{tq.fan，my.xu，yu.qiao}@ siat.ac.cn抽象。深度神经网络在各种视觉任务中取得了显着的成功，但将CNN应用于缺乏规则底层结构的领域（如3D点云）仍然具有挑战性为此，我们提出了一种新的卷积架构，称为Spi- derCNN，以有效地从点云中提取几何特征 SpiderCNN由称为SpiderConv的单元组成，其通过参数化卷积滤波器家族将卷积运算从规则网格扩展到可以嵌入在Rn中的不规则点集。我们设计的过滤器作为一个产品的一个简单的步骤功能，捕捉当地的测地线信息和泰勒多项式，确保expres- siveness。SpiderCNN继承了经典CNN的多尺度层次架构，这使得它能够 提 取 语 义 深 度 特 征 。 在 ModelNet40 上 的实验表 明 ，SpiderCNN达到了最先进的准确率92。4%的标准基准测试，并显示出竞争力的分割任务的性能。关键词：卷积神经网络·参数化卷积滤波器·点云1介绍卷积神经网络是分析数据的强大工具，这些数据可以自然地表示为规则网格上的信号，例如音频和图像[10]。由于Rn中格子的平移不变性，卷积层中的参数数量与输入大小无关。组合卷积层和激活函数会产生多尺度分层学习模式，这对于在实践中学习深度表示非常有效随着近来采用3D深度传感器的应用的激增[23]如自主导航、机器人技术和虚拟现实，有一个* 这两位作者的 贡献相等。†通讯作者。在X的高海拔地区工作。2Y. Xu，T.范，M。许湖，加-地Zeng和Y.乔增加了对有效分析点云的算法的需求。然而，点云在R3中分布不规则，缺乏规范顺序和平移不变性，这禁止直接使用CNN人们可以通过将点云转换为3D体素并应用3D卷积来规避这个问题然而，体积方法在计算上是低效的，因为点云在3D中是稀疏的，因为它们通常表示2D表面。虽然有研究提高了计算复杂度，但它可能会带来性能权衡[18][2]。各种研究致力于通过尝试将卷积的定义推广到流形或图上的函数，使卷积神经网络适用于非欧几里德域（如图或流形）上的学习，丰富了几何深度学习的新兴领域[3]。然而，它在理论上是具有挑战性的，因为当空间不携带群作用时，卷积不能自然地数据由不同的形状或图形组成，因此难以选择卷积滤波器。3图1.一、信号f和滤波器g之间卷积的Ω积分公式为f* g（p）= q∈Rn f（q）g（p − q）dq. 点集P上积分公式的离散化在Rn中给出f*g（p）=Σq∈P，< $p−q <$$> ≤rf（q）g（p-q），如果g支撑在半径为r的球中。(a) 当P可用规则网格表示时，只需要9个滤波器g以计算由于域的平移不变性引起的卷积（b）当信号在点云上时，我们从R3上的参数化函数族中选择滤波器g。鉴于上述挑战，我们提出了一种替代卷积架构SpiderCNN，它旨在直接从点云中提取特征。我们验证其有效性的分类和分割基准。通过离散卷积的积分公式，如图1所示，并使用R3上的一个特殊的参数化非线性函数族作为滤波器，我们为点云引入了一个新的卷积层SpiderConv滤波器族被设计为具有表达性，同时仍然可以优化。我们结合简单的阶梯函数，这是用来捕捉由本地测地距离描述的粗糙的几何形状，阶-3泰勒展开，这确保过滤器是复杂的，足以捕捉复杂的本地geometric的变化。第4节中的实验表明，具有相对3这些过滤器没有规范的域选择。SpiderCNN3简单的网络架构在ModelNet 40 [4]上实现了最先进的分类性能，并在ShapeNet-Part [4]上显示出有竞争力的分割性能2相关工作首先，我们讨论基于深度神经网络的目标点云数据的方法。其次，我们对几何深度学习进行了部分概述。作为输入的点云：PointNet [15]是使用深度网络直接处理点集的开创性工作。通过共享MLP学习每个点的空间编码通过最大池化的全局签名，最大池化是不依赖于输入点等式的对称操作。虽然PointNet可以很好地提取全局特征，但其设计限制了其对局部结构进行编码的效率针对这个问题的各种研究提出了不同的局部特征分组策略，以模仿经典卷积神经网络核心的分层学习过程Point- Net++[17]使用迭代最远点采样来选择局部区域的质心，并使用PointNet来学习局部模式。Kd-Network [9]使用K-d树细分空间，其层次结构作为在不同尺度上聚合局部特征的指令。在SpiderCNN中，不需要额外的分组或采样选择，因为我们的过滤器会自动处理这个问题DeepSet[22]进一步探索了使用置换不变函数在无序集上学习的想法。我们注意到SpiderCNN不依赖于设计的输入顺序。作为输入的体素：VoxNet [13]和Voxception-ResNet [2]将3D卷积应用于点云的体素化。然而，存在与3D卷积相关联的高计算和存储器成本各种工作[18][6][7]旨在利用体素化点云的稀疏性来提高计算和存储效率。OctNet [18]修改并实现了卷积运算，以适应混合网格八叉树数据结构。Vote3Deep[6]使用以特征为中心的投票方案，使得计算成本与具有非零特征的点的数量成比例。稀疏子流形CNN [7]仅在激活点处计算卷积，当卷积层堆叠时，激活点的数量不会增加相比之下，SpiderCNN可以直接使用点云作为输入，并且可以处理非常稀疏的输入。非欧几里德域上的卷积：有两种主要的不同方法来定义非欧几里德域的卷积：一个是空间的，另一个是光谱的。最近的工作ECC [20]定义了图上的卷积类操作，其中过滤器权重以边缘标签为条件。将点云视为图形，并将过滤器视为MLP，SpiderCNN和ECC[20]会导致类似的卷积。然而，我们表明，我们提出的家庭过滤器优于MLP。空间方法：GeodesicCNN [12]是将神经网络应用于形状分析的早期尝试。GeodesicCNN背后的理念是4Y. Xu，T.范，M。许湖，加-地Zeng和Y.乔在黎曼流形上，指数映射标识了以原点为中心的切空间中的点到球的局部邻域。切平面与Rd同构，其中我们知道如何定义卷积。设M是网格表面，并且设F：M→R是函数，Geodes-icCNN首先使用补丁算子D来将点p及其邻居NΣ（p）映射到ticeZ2R2处的Σtel，并且将Equ映射到2上的i处。Explicitly，F*g（p）=01-02q∈N（p）wj（u（p，q））F（q）），其中u（p，q）表示局部线性代数，或dinatesstemaroundp，wj（u）是函数Σto modeltepatch的效应或D={Dj}j∈J。 在Dj=q∈N（p）wj（u（p，q））F（q）上的Bydefiniti. Later，各向异性CNN [1]和MoNet [14]通过改进用于和w j的choi g来进一步探索该框架。 M〇 Net[14]可以使用高斯的mixt作为卷积滤波器。我们提供另一种观点。而不是找到本地参数化的流形，我们认为它作为一个嵌入式子流形在Rn和设计过滤器，这是更有效的点云处理，在周围的欧氏空间。光谱方法：我们知道傅里叶变换需要卷积来在i处对s进行乘法运算。Explitly，Iff，g：Rn→C，thenf^*g=f·g. Theefore，formlywehav ef*g=（f·g）∨，4它可以用作卷积的定义非欧域，我们知道如何进行傅里叶变换。虽然我们没有傅立叶理论的一般空间没有任何等变结构，黎曼流形或图有广义概念的拉普拉斯算子。在Rn中进行傅里叶变换可以形式上更准确地说，回想一下 ∫f（ξ）=f（x）exp（−2πix·）d，（1）RnaΣnd{exp（−2πix·ξ）}ξ∈Rnareigen-functionsfortheLaplacianoperator∆=n。因此，如果U是矩阵，其列是i=1 xi图的Laplacian矩阵，Λ是对应的特征值向量，对于F，g两个函数在图的顶点上，则F*g=U（UTF⊙UTg），其中UTF是U的转置，⊙是两个矩阵的Hadamard积.由于在空间域中被紧支撑转化为在谱域中是平滑的，因此自然地选择UT g为Λ中的平滑函数。例如，ChebNet [5]使用Chebyshev多项式来降低滤波的复杂性，并且CayleyNet [11]使用Cayley多项式，其允许在感兴趣的受限频带中对局部滤波器进行当分析不同的图形或形状时，谱方法缺乏抽象的动机，因为不同的谱域不能被规范地识别。SyncSpecCNN [21]提出了一种权重共享方案 ，用 于使 用函 数图 对 齐频 谱将 点云 视为 嵌 入在R3中 的数 据，SpiderCNN可以在数据增强的帮助下学习对空间刚性变换具有鲁棒性的表示。4 如 果 是 一 个 函 数 ， 则 h∈ 是 Fouriertransformm ， 而 h ∨ 是 一 个 新 的Fourierttransform。SpiderCNN5wi3SpiderConv在本节中，我们将介绍SpiderConv，它是SpiderCNN的基本构建首先，我们讨论了当输入是Rn中点集上的特征时，如何在神经网络中定义卷积层。接下来，我们介绍一个特殊的卷积滤波器家族最后，我们详细介绍了多通道SpiderConv的实现和用于计算加速的近似。3.1R~ n中点集上的卷积图像是规则网格F上的函数：Z2→R。设W为a（2m + 1）×（2m+1）滤波器矩阵，其中m是正整数，经典卷积中的卷积CNN是ΣmΣmF*W（i，j）=F（i−s，j−t）W（s，t），（2）s=−mt=−m这是以下积分的离散化∫f*g（p）=f（q）g（p-q）dq，（3）R2若f，g：R2→ R，使得f（i，j）= F（i，j），其中（i，j）∈Z2，g（s，t）= W（s，t），其中s，t ∈ {−m，−m +1，…，m − 1，m}且g在[−m，m] × [−m，m]中被支持。现在假设F是Rn中一个点集P上的函数。令g：Rn→R是支撑在以半径R的原点为中心的球中的过滤器。将具有输入F和过滤器g的SpiderConv定义为以下是自然的：ΣFg（p）=q∈P，q −p≤rF（q）g（p-q）.（四）注意，当P=Z2是规则网格时，等式4简化为等式3。因此，经典卷积可以被视为SpiderConv的特殊情况请参见图1以获得直观的图示。在SpiderConv中，滤波器是从一个参数化的族{gw}中选择的（具体例子见图3.2），它在w中是分段可微的。在SpiderCNN的训练过程中，通过SGD优化参数w∈Rd算法，梯度通过公式Fgw（p）=Σwiq∈P，q−p≤rF（q）g w（p−q），其中wi是w的第i个分量。3.2特殊的滤波器族{gw}自然的选择是将gw视为多层感知器（MLP）网络，因为理论上具有一个隐藏层的MLP可以近似任意连续函数[8]。然而，在实践中，我们发现MLP并不工作得很好。一个可能的原因是MLP未能考虑几何6Y. Xu，T.范，M。许湖，加-地Zeng和Y.乔888我我图二、 族{gw}中过滤器的可视化。（a）是gTylor（x，y，z）=1+x√+y+z+xy+xz+yz+xyz的散点图（颜色表示函数的值）。(b) 是gstep（x，y，z）=i+1的散点图，如果i≤x2+y2+

下载后可阅读完整内容，剩余1页未读，立即下载