图上动态边条件滤波器：优化图分类的卷积神经网络

3693图上卷积神经网络的动态边条件滤波器马丁·西蒙诺夫斯基Uni versite'Paris Est，E'cole des PontsP arisTechmartin. enpc.fr尼科斯·科莫达基斯一个位于东方的桥，位于科技的桥nikos. enpc.fr摘要许多问题可以被公式化为对图结构数据的预测。在这项工作中，我们推广的卷积算子从规则的网格到任意的图形，同时避免了谱域，这使我们能够处理不同大小和连通性的图形为了超越简单的扩散，过滤器权重以顶点邻域中的特定边缘标签为条件结合图粗化的适当选择，我们探索构建用于图分类的深度神经网络。特别是，我们证明了我们的公式在点云分类中的通用性，在点云分类中，我们设置了最新的技术水平，在图分类数据集上，我们优于其他深度学习方法。1. 介绍卷积神经网络（CNN）在底层数据表示具有网格结构的任务中获得了广泛的普及，例如语音处理和自然语言理解（1D，时间卷积），图像分类和分割（2D，空间卷积）或视频解析（3D，体积卷积）[21]。另一方面，在许多其他任务中，数据自然位于不规则或通常非欧几里德域上，在许多情况下可以将其结构化为图。这些问题包括3D建模、计算化学和生物学、地理空间分析、社交网络或自然语言语义和知识库等。假设表示的局部性、稳定性和组合性原则至少在数据中保持一定的水平，考虑一种分层的类CNN架构来处理它是有意义的。然而，CNN从网格到一般图形的推广并不简单，最近已经成为一个越来越感兴趣的话题。我们发现，目前的图形卷积公式没有利用边缘标签，这导致局部图形邻域的过于均匀的视图，具有类似于强制的效果在图像上的规则卷积中使用滤波器的旋转不变性。因此，在这项工作中，我们提出了一个卷积运算，它可以利用这个信息通道，并表明它会导致一个改进的图形分类性能。这种新的配方也开辟了更广泛的应用范围;我们在这里特别集中于点云。到目前为止，点云大多被深度学习所忽略，它们的体素化是我们所知的唯一趋势[25，18]。为了提供具有不同优点和缺点的竞争性替代方案，我们在这项工作中从点云构建了欧几里得空间中的图形，并在悉尼激光雷达扫描数据集上展示了最先进的性能[9]。我们的贡献如下：• 我们在空间域中对图形信号进行类似卷积的运算，其中滤波器权重以边缘标签（离散或连续的）并且为每个特定输入样本动态地生成。我们的网络在整个数据集中具有任意变化结构的图上工作。• 我们是第一个将图卷积应用于点云分类的人。我们的方法优于体积-度量方法在悉尼数据集上达到了最先进的性能，具有保留稀疏性和可能的精细细节的优点。• 我们在图分类基准NCI1 [38]上达到了具有竞争力的性能水平，优于其他基于深度学习的方法。2. 相关工作Bruna等人 [6]介绍了用图形建模的不规则域的卷积网络模拟的第一个公式，他们研究了空间和频谱域的表示，以执行局部滤波。3694图1. 有向子图上的边条件卷积的说明。第l个网络图层中顶点1上的要素X l（1）计算为要素X l−1（. ）在其前任顶点的集合上，假设自循环。特定权重矩阵由滤波器生成网络F1基于对应的边标签L（. ），可视化为颜色。光谱方法卷积算子的数学上合理的定义利用频谱分析理论，其中它对应于通过图形傅立叶变换变换到频谱域的顶点上的信号的乘法。在[6]建模为B样条的情况下，滤波器的空间局部性由光谱滤波器的平滑度给出。变换涉及非常昂贵的乘法与特征向量矩阵。然而，通过将滤波器参数化为特征值的Chebyshev多项式及其近似估计，Defferard等人最近已经实现了计算高效和局部滤波。[11]。然而，滤波器仍然是在图拉普拉斯算子的谱的上下文中学习的，因此对于数据集中的所有图必须是相同的这意味着图形结构是固定的，只有顶点上定义的信号可能不同。这排除了在数据集中图形结构变化的问题上的应用，例如网格、点云或不同的生物化学数据集。为了涵盖这些重要的情况下，我们制定我们的过滤方法在空间域中，其中有限的复杂性的评估和本地化属性提供的建设。这里的主要挑战是处理局部邻域之间的权重共享[6]，因为与特定顶点相邻的顶点数量不同，并且它们的顺序通常无法很好地定义。空间方法。Bruna等人。 [6]假设固定的图结构，并且在邻居之间不共享任何权重。有几部著作独立地论述了这一问题问题. Duvenaud等人。 [14]对相邻顶点上的信号求和，然后进行权重矩阵乘法，有效地在所有边缘之间共享相同的权重。At-wood和Towsley [2]基于两个顶点之间的跳数共享权重。Kipf和Welling [20]进一步近似了[11]的谱方法，并削弱了对拉普拉斯算子的依赖性，但最终达到了邻域的中心-周围加权这些方法都没有相比之下，我们的方法可以利用可能的边缘标签，并证明推广正则卷积（第3.2节）。Niepert et al. [27]介绍了一种用于线性化选定图形邻域的启发式算法，以便可以使用传统的1D CNN。我们与他们的目标相同，即捕捉社区的结构，但方法不同。最后，图神经网络[33，23]在图中传播特征，直到（接近）收敛，并像我们一样利用边缘标签作为信息源之一。然而，他们的系统与当前的多层前馈架构有很大的不同，使得今天的通用构建块的重用并点云和网格上的CNN。在点云或网格上进行深度学习的工作 Masci等人 [24]使用测地线距离定义3D网格每个顶点周围的补丁描述符的卷积，在深度学习架构中公式化。使用深度学习处理点云的唯一方法是首先3695纪纪纪纪纪纪1在将它们馈送到3D CNN之前对其进行体素化，无论是用于分类[25]还是分割[18]。相反，我们把点云看作是欧氏空间中的图。3. 方法我们提出了一种利用边缘标签在局部图邻域上执行卷积的方法（第3.1节），并将其推广到正则卷积（第3.2节）。然后，我们在点云（第3.4节）和一般图形（第3.5节）的情况下使用卷积运算符（第3.3节）呈现深度网络。3.1. 边缘条件卷积让我们考虑一个有向或无向图G=（V，E），其中V是一个有限的顶点集，|V|=n且EV×V是一组边，|E|=m。设l∈ {0，.，lmax}是前馈神经网络中的层索引。我们假设图是顶点和边都有标签的，即存在函数Xl：V<$→Rdl为每个顶点分配标签（也称为信号或特征）可以用任何可区分的架构实现;我们在应用程序中使用多层感知器。复杂性计算所有顶点的Xl需要至多1m个Fl和m+n或2m+n个矩阵-向量乘法的评估，分别用于有向，无向图这两个操作都可以在GPU上以批处理模式高效地执行。3.2. 与现有制剂的关系我们在图邻域上的卷积公式保留了在CNN背景下有用的规则网格上的标准卷积的关键属性：权重共享和局部性。ECC中的权重通过边标签绑定，这与根据邻域线性化启发式[27]通过距顶点的跳距[2]、通过是否是中心顶点[20]、不加区别地[14]或根本不[6]绑定它们相反。事实上，我们的定义简化为Duvenaudetal. [14]在不一致信息的情况下，缩放（直到缩放）且L：E→Rs分配标签（也称为属性）标签：j∈N（i）ΘlXl−1（j）=Θlj∈N（i）Xl−1（j）如果到每一个边缘。这些函数可看作矩阵 Xl∈Rn×dl和L∈Rm×s，则X0为输入信号。定义顶点i的邻域N（i）={j;（j，i）∈E}<${i}包含所有相邻顶点（有向图），包括i本身（自环）。我们的方法将顶点i处的滤波信号Xl（i）∈Rdl计算为其邻域中信号Xl−1（j）∈Rdl−1的加权和，j∈N（i）。虽然这样的交换聚合解决了未定义顶点顺序的问题通过改变邻域大小，它还可以平滑任何结构信息。为了保留它，我们建议在相应的边缘标签上调节每个过滤权重。为此，我们借用了动态滤波器网络的思想[5]。L =Θl<$（j，i）∈E.更重要的是，网格是ECC的一种特殊情况，为了清楚起见，我们在1D中演示。考虑一个有序的顶点集V形成一个路径图（链）。为了获得与大小为s的中心核的卷积，我们形成E，使得每个顶点通过标记有邻居的离散偏移δ的独热编码的有向边连接到其s个空间最近的邻居，包括自身取Fl作为无偏的单层感知器，我们有Fl（L（j，i）;wl）=wl（δ），其中wl（δ）表示相应的整形col。参数矩阵wl∈R（dl×dl−1）×s的umn。与我们稍微使用了一点符号，就可以看出并定义一个滤波器生成网络Fl：Rs <$→Rdl×dl−1标准卷积：Xl（i）=Σj∈N（i）ΘlXl−1（j）=给定边标签L（j，i），输出边特定权重矩阵Θl∈Rdl×dl−1，见图1。卷积运算，被称为边缘条件卷积（ECC）的形式化如下：wl（δ）Xl−1（i−δ），忽略归一化因子1/|N（i）|仅在网格边界处起作用。这表明ECC可以保留相同数量的页，在网格的情况下，规则卷积的分维数和计算复杂性 注意，这种等价性是Σl lll−1l[2019 -02-22]不可能的，因为他们的方式，X（i）==|N(i)|1|N（i）|j∈N（i）Σj∈N（i）F（L（j，i）;w）XΘlXl−1（j）+bl（j）+b（一）重量捆绑。3.3. 使用ECC的虽然ECC原则上适用于顶点分类和图分类任务，但本文我们其中bl∈Rdl是可学习的偏差，并且Fl由可学习的网络权重wl参数化。为了清楚起见，wl和bl是仅在训练期间更新的模型参数，并且Θl是针对特定输入图中的边缘标签动态生成的参数。滤波器生成网络F1可以我们只限于后者，即为整个输入图预测一个类。因此，我们遵循常见的架构模式，前馈网络的内部-1如果边标签由特定图中的s个离散值表示，并且s m，Xl只能被评估s次。Θδ3696图2. 构造具有one-hot边标记的有向图，其中所提出的边条件卷积等价于具有大小为s= 3的中心滤波器的常规1D卷积。由全局池化和全连接层覆盖的交错卷积和池化，参见图3的说明。通过这种方式，来自局部邻域的信息在连续的层上被组合以获得上下文（放大的感受野）。虽然边缘标签对于特定图是固定的，但是借助于过滤器生成网络的它们的（学习的）解释可以从层到层改变（ F1的权重不在层之间共享因此，ECC对1跳邻域N（i）的限制不是一个简单的限制。约束，类似于在普通CNN以换取更深的网络，这是众所周知的弯曲-有效[17]。我们在每次卷积后使用批量归一化[19]有趣的是，我们没有成功使用其他特征归一化技术，如数据相关初始化[26]或层归一化[3]。合并。虽然（非跨步）卷积层和所有逐点层不改变底层图并且仅在顶点上演化信号，但是池化层被定义为在新的粗化图的顶点上输出聚合信号。因此，对于每个输入图，必须构造一个由hm个渐进粗糙图组成的金字塔让我们在这里扩展我们的符号与addi-函数上标h∈{0，.，hmax}来区分不同的图G（h）=（V（h），E（h））.每个G（h）还具有其相关联的标签L（h）和信号X（h），l。粗化通常由三个步骤组成：子采样或合并顶点，创建新的边结构E（h）并标记L（h）（所谓的约简），并将原始图中的顶点映射到粗化图中的顶点，M（h）：V（h−1）<$→V（h）。我们使用不同的算法，这取决于我们是否使用一般的图或欧氏空间中的图，因此我们推迟讨论应用的细节最后，索引为l h的池化层基于M（h）将X（h−1），lh−1聚合为低维X（h），lh。见图3作为使用引入的符号的示例。在粗化过程中，一个小图可以在其较低的分辨率下被简化为几个不连通的顶点，总是存在作为自边缘的问题。由于该体系结构设计用于处理具有变量n，m的图，因此我们通过全局平均/最大池化来处理在最低图分辨率中的可变顶点x计数n（hmaxx）3.4. 在点云中的应用点云是一种重要的三维数据形式，它来自于许多采集技术，如激光扫描（LiDAR）或多视图重建。由于其自然的不规则性和稀疏性，到目前为止，使用深度学习处理点云的唯一方法是在将其馈送到3D CNN之前首先对其进行体素化，无论是用于分类[25]还是分割[18]目的。这样的密集表示是非常硬件友好的，并且易于使用当前的深度学习框架来处理。另一方面，也有几个缺点。首先，体素表示在内存方面往往比通常的稀疏点云要昂贵得多第二，将它们拟合到固定大小的3D网格中的必要性带来了离散化伪像以及度量尺度和可能的细节的损失。通过这项工作，我们希望通过直接在点云上进行深度学习，为主流提供一种有竞争力的替代方案据我们所知，我们是第一个证明这种结果的。图构造。给定一个点云P及其点特征XP（如激光返回强度或颜色），我们构建一个有向图G=（V，E），并如下设置其标签X0和L 首先，我们创建顶点i∈V，每个点p∈P，并将相应的信号分配给它，X0 （ i ） =XP （ p ） （ 或 者 0 ， 如 果 没 有 特 征 XP（p））。然后我们用一条有向边（j，i）将每个顶点i连接到其空间邻域内的所有顶点j。在我们的邻域实验中，固定度量半径ρ比固定数量的邻域效果更好。对应于顶点j、i的点之间的集合δ=pj-pi在笛卡尔坐标和球面坐标中表示为6D边缘标签向量L（j，i）=（δx，δy，δz，||δ||，arccos δz/||δ||，arctan δy/δx）。图形粗化。对于单个输入点云P，通过VoxelGrid算法[30]获得下采样点云P（h）的金字塔，该算法将分辨率r（h）的网格覆盖在点云上，并用它们的质心替换体素内的所有点（从而保持子体素精度）。然后，将得到的点云P（h）中的每一个独立地转换为图G（h），并如上所述用邻域半径ρ（h）标记L（h）。池化映射M（h）被定义为使得P（h-1）中的每个点被分配到二次采样点云P（h）中的空间上最近的点。3697图3. 具有三个边缘条件卷积（第一、第四和第八网络层）和一个池化（第七层）的深度网络的插图。最后的卷积在结构上不同的图G（1）上执行，该图G（1）通过根据映射M（1）在最大池化步骤中的粗化和信号聚合而与输入图G（0）相关。更多详情请参见第3.3节。数据增强。为了减少小数据集上的过拟合，我们执行在线数据增强。特别是，我们随机旋转点云关于他们的上轴，抖动他们的规模，执行镜像，或删除随机点。3.5. 在一般图许多问题可以直接用图来建模。在这种情况下，图数据集已经给出，只需要选择适当的图粗化方案。这绝不是微不足道的，有大量的文献对这个问题[31]。在没有任何顶点空间定位的概念的情况下，我们诉诸于已建立的图粗化算法并利用Shuman等人的多分辨率框架。[35，28]，其通过输入图的重复下采样和图简化来工作。下采样步骤基于通过拉普拉斯算子的最大特征向量的符号将图分成两个分量。其次是Kron约简[13]，它还定义了新的边缘标记，并通过边缘的频谱稀疏化进行增强[36]。请注意，该算法将图视为未加权的粗化。这种方法对我们来说很有吸引力，原因有二。每个下采样步骤都会移除大约一半的顶点，以保证一定程度的池化强度，并且稀疏化步骤是随机的。后一个prop-pyramid被利用作为一个有用的数据增强技术，因为几个不同的图金字塔可以从一个单一的输入图生成。这在精神上类似于分数最大池的效果[16]。我们不表演3698任何其他数据增强。4. 实验在点云分类（第4.1节中的真实数据和第4.2节中的合成数据）和标准图分类基准（第4.3节）中对所提出的方法进行了评估。此外，我们验证了我们的方法，并研究其性质的MNIST（第4.4节）。4.1. 悉尼城市目标这个点云数据集[9]由14个类别（车辆，行人，标志和树木）的588个对象组成，这些对象是从360个激光雷达扫描中手动提取的，参见图4。它证明了非理想的感测条件与闭塞（孔）和一个大的可变性的观点（单视点）。这使得对象分类成为一项具有挑战性的任务。遵循数据集作者采用的协议，我们报告了按类别频率加权的平均F1分数，因为数据集是不平衡的。该分数进一步在四个标准训练/测试分割中汇总。网络配置。我们的ECC网络有7个参数层和4个图形分辨率级别。它的构型可描述为C（16）-C（32）-MP（0.25，0.5）- C（32）-C（32）-MP（0.75，1.5）-C（64）-MP（1.5，1.5）-GAP-FC（64）-D（0.2）-FC（14），其中C（c）表示具有c个输出通道的ECC，随后是仿射批量归一化和ReLU激活，MP（r，p）代表最大池化，最大池化到r米的网格分辨率和3699II模型F1平均值三角形+SVM [9]67.1GFH+SVM [7]71.0[25]第二十五话73.0ORION [1]77.8ECC2ρ74.4ECC1。5ρ76.9ECC78.4表1. 悉尼城市对象数据集上按类别频率加权的平均F1得分[9]。仅列出每个基线的最佳性能模型。P米，GAP是全局平均池化，FC（c）是具有c个输出通道的全连接层，D（p）是具有概率p的丢弃。滤波器生成网络Fl具有配置FC（16）-FC（32）-FC（dldl-1），其中正交权重初始化[32]和ReLU在其间。输入图形是在r 0 = 0的情况下创建的。1且ρ0=0。2米，以打破过于密集的点簇。网络使用SGD和交叉熵损失进行250个epoch的训练，批量大小为32，学习率为0.1，在200和245个epoch后逐步减少。顶点信号X0是标量激光返回强度（0-255），表示深度。结果表1将我们的结果（ECC，78.4）与基于体积CNN的 两 种 方 法 进 行 了 比 较 ， 这 两 种 方 法 在 大 小 为32x32x32 的 体 素 化 占 用 网 格 （ VoxNet [25] 73.0 和ORION [1] 77.8）上进行了评估，我们的表现优于小范围，并在该数据集上设置了新的最先进结果。在同一表中，我们还研究了卷积半径ρ的依赖性：将它们增加1。所有卷积层中的5×或2×会导致性能下降，这对应于在常规卷积层中使用较小滤波器的偏好CNN。对于我们性能最好的网络，平均邻域大小大约为10个顶点。我们假设，较大的半径平滑了中心顶点的信息为了研究这一点，我们通过重新公式化等式1来增加自连接的重要性，使得ΘlXl−1（i）未按1 /1标准化|N（i）|并重新训练网络。这使我们的模型ECC，ECC 1。5ρ和ECC2ρ的性能大致相同，但比原始最佳模型差(76.1，76，75.4），这确实表明，信息的汇集既不应太多，也不应太少。4.2. ModelNetModelNet [39]是一个大规模的对象网格集合。我们评估了其子集ModelNet 10（10个类别中的3991/908个训 练 / 测 试 示 例 ） 和 ModelNet 40 （ 40 个 类 别 中 的9843/2468个训练/测试示例）的分类性能。合成点云由以下各项创建图4. 悉尼城市对象数据集中大多数类的说明性样本，转载自[9]。通过根据面面积在网格面上均匀地采样1000个点（从多个视点采集的模拟）并重新缩放到单位球体中，网络配置。我们为Model-Net 10设计的ECC网络有7个参数层和3个图形解析级别，配置为C（16）-C（32）-MP （ 2.5/32 ， 7.5/32 ） -C （ 32 ） -MP （ 7.5/32 ，22.5/32）-C（64）-GMP-FC（64）-D（0.2）-FC（10），GAP是全局最大池化。其他定义和滤波器生成网络F1如4.1节所示。输入图形以r0=1/32和ρ0=2/32单位创建，模仿基于体素的方法中323的典型网格分辨率。该网络使用SGD和交叉熵损失训练175个epoch，批量大小为64，学习率为0.1，每50个epoch后 逐 步 下 降 。 没 有 顶 点 信 号 ， 即 X0 为 零 。 对 于ModelNet40， 网 络 更 宽 （ C （ 24 ） ， C （ 48 ） ， C（ 48 ） ， C （ 48 ） ， C （ 96 ） ， FC （ 64 ） ， FC（40）），并且训练100个epoch，每30个epoch之后学习率下降。结果表2将我们的结果与基于体积[39，25，1，29]或渲染图像表示[37]的几个最近的作品进行了比较。扩展测试集以包括12个方向（ECC）。我们还评估了对方向的投票（ECC 12票），这可能是由于VoxelGrid算法的旋转方差而略微改善了结果虽然还没有完全达到最先进的水平，但我们相信我们的方法仍然非常有竞争力（分别为90.8%和90.8%）。平均实例准确率为87.4%）。为了更公平的比较，应该在体素化的合成点云上重新训练领先的体积方法4.3. 图分类我们在社区中经常使用的图分类基准上进行评估，该 基 准 由 五 个 数 据 集 组 成 ： NCI1 、 NCI109 、MUTAG、ENZYMES和DD&。他们的可以在表3中找到属性，其指示数据集大小、图大小和标签可用性的可变性。在[34]之后，我们执行10倍交叉验证3700NCI1 NCI109 MUTAG酶D D#图形411041271886001178是说|V|29.8729.6817.9332.63284.32是说|E|32.332.1319.7962.14715.66#类22262#顶点标签37387382# edge标签3311--表2. 平均类别准确度（分别为平均实例精度）在ModelNets上[39]。仅列出每个基线的最佳模型。其中9次用于训练，1次用于测试，并报告平均预测精度。NCI1和NCI109 [38]分别由针对非小细胞肺癌和卵巢癌细胞系的活性筛选的化合物的图形表示组成。MUTAG [10]是根据硝基化合物是否对细菌具有诱变作用而标记的硝基化合物的数据集酶[4]包含6类酶的三级结构的表示。D D [12]是一个蛋白质结构数据库（顶点是氨基酸，边表示空间接近度），分为酶和非酶。网络配置。 我们的ECC网络 NCI1有8个参数层和3个图形分辨率级别。其构型可描述为C（48）-C（48）-C（48）-MP-C（48）-C（64）-MP-C（64）-GAP-FC（64）-D（0.1）-FC（2），其中C（c）表示具有c个输出通道的ECC，随后是仿射批量归一化、ReLU激活和丢弃（概率0.05），MP表示最大池化到较粗糙的图上，GAP是全局平均池化，FC（c）是具有c个输出通道的全连接层，并且D（p）是具有概率p的丢弃。滤波器生成网络 Fl具有配置FC（64）-FC （dldl-1 ），其中正交权重初始化[32]和ReLU在其间。标签被编码为独热向量（由于用于自连接的额外标签，d0=37并且s=4网络使用SGD和交叉熵损失进行50个epoch的训练，批量大小为64，学习率为0.1，在25，35和45个epoch后逐步减少。通过随机稀疏化将数据集扩展五倍（第3.5节）。补充资料中提到了其他四个数据集与此描述的微小偏差基 线 。我 们 比 较 我 们 的 方 法 （ ECC ） 的 状 态Weisfeiler-Lehman graph kernelet al. [34]以及使用深度学习作为其组件中的至少一个的四种方法[2，27，40，8]。在训练时使用的随机稀疏也可以在测试时使用，当网络预测得分（ECC-5得分）表3. 图基准数据集的特征，扩展自[8]。边和顶点标签都是分类的。型号NCI1 NCI109 MUTAG ENZYMES D DDCNN [2]62. 6162.8666岁。98十八岁10-PSCN [27]78岁59-92. 63-七十七。12[40]第四十话八十31八十3287岁44五十三43-structure2vec [8]83岁7282岁1688岁2861岁1082岁22[34]第三十四话84. 5584.4983岁78五十九0579岁。78ECC（无边缘标签）七十六。8275.03七十六。11四十五67七十二54ECC83岁8081.8789岁。4450块00七十三。65ECC（5票）83岁6382岁0488岁33五十三50七十三。68ECC（5分）83岁8082岁1488岁3352岁6774岁10表4.图分类数据集的平均准确度（10倍）仅列出每个基线的最佳性能模型。或投票（ECC-5-投票）在5次运行中平均为了判断边缘标签的影响，我们使用统一标签运行我们的方法，并且Fl是没有偏差2的单层FC（dldl−1）（ECC无边缘标签）。结果表4表明，虽然没有明确的获胜算法，但我们的方法在边缘标记数据集（NCI 1，NCI 109，MU-TAG）的最新水平上执行。结果证明了利用边缘标签对基于卷积的方法的重要性，因为没有边缘标签的DCNN [2在测试时对随机稀疏化进行平均可以少量提高精度。我们的结果数据集的边缘标签（酶，D D）是有点低于国家的最先进的，但仍然在一个合理的水平，虽然在这种情况下，改善不是这项工作的目的。这表明需要进一步研究CNN对一般图的适应性。补充资料中对每个数据集进行了更详细的讨论4.4. MNIST为了进一步验证我们的方法，我们将其应用于MNIST分类问题[22]，这是一个由70k个手写数字灰度图像组成的数据集，表示在28×28的二维网格上。模型ModelNet10ModelNet40[39]第三十九话83.577.3MVCNN [37]-90.1[25]第二十五话9283ORION [1]93.8-[29]第二十九话-86.0（89.2）ECC89.3（90.0）82.4（87.0）3701我们把每个图像I看作点云2对于未标记的酶和D D也是可能的，因为我们的方法默认使用来自Kron约简的所有粗化图的标签。3702P，其中点pi=（x，y，0）并且信号X0（i）=I（x，y）表示每个像素，x，y ∈ {0，.， 27}。边缘标记和图形粗化如第2节中所述执行。第3.4节。我们主要关心两个问题：ECC是否能够在这个经典的基线上达到标准的性能它学习的是什么样的表征？网络配置。我们的ECC网络有5个参数层，结构为C（16）-MP（2，3.4）-C（32）- MP（4，6.8）-C（64）-MP（8，30）-C（128）-D（0.5）-FC（10）;不-站和滤波器生成网络如第4.1节所述。最后一个卷积的步幅为30，因此映射了所有4×4个点到只有一个点。 输入图是在r0=1和ρ0=2的情况下创建的。9 .第九条。这个模型完全对应于一个常规的CNN，它有三个卷积，大小为5×5、3×3和3×3的滤波器与大小为2×2的最大池交织，最后有两个完全连接的层。使用SGD和交叉熵损失对网络进行20个epoch的训练在10和15个时期之后，批量大小64和学习速率0.01逐步结果表5证明我们的ECC网络可以达到与社区良好标准（99.14）相媲美的质量水平。这与Defferrard等人 [11]报告的准确性完全相同，并且优于其他基于光谱的方法（98.2 [6]，94.96 [15]）。请注意，我们的目标不是通过这项工作成为MNIST的最先进技术。其次，我们研究了规则网格和非规则网格的效果.为此，我们从点云中丢弃所有黑点（X0（i）=0），对应于80.9%的数据，并重新训练网络（ECC稀疏输入）。例如，获得相同的试验性能（99.14），indi-证明我们的方法对于图结构随样本而变化是非常稳定的。此外，我们检查学习的滤波器生成网络F1的质量。我们与ECC进行了比较，ECC被配置为使用单层滤波器网络和偏移量的独热编码（ECC one-hot）来模拟常规卷积，如第3.2节所述。该配置达到99.37的准确度，或比ECC高0.23，这意味着F1不是完美的，但在学习边缘标签的正确划分方面仍然表现得非常好。最后，我们探索所产生的过滤器的情况下，稀疏输入ECC的视觉。由于滤波器Θ1∈R16×1是边缘标签的连续函数，我们可以通过在两种分辨率的网格上采样标签来可视化 粗一点的具有对应于偏移δx，δy∈ {-2，.，2}。它显示了滤波器，其显示了通常在CNN的第一层中发现的结构模式。图5中更精细的分辨率（子像素步长为0.1）表明滤波器实际上是平滑的，不包含模型列车精度测试精度ECC99.1299.14ECC（稀疏输入）99.3699.14ECC（one-hot）99.5399.37表5. MNIST数据集的准确性[22]。图5.卷积滤波器在第一层的MNIST上学习，详见第4.4节。由于方位角的2π周期性，除了角伪影之外的任何不连续性有趣的是，伪影在所有过滤器中并不明显，这表明网络可能会在必要时学会克服它。5. 结论我们已经介绍了边缘条件卷积（ECC），在空间域中执行的图形信号上的操作，其中滤波器权重以边缘标签为条件，并为每个特定的输入样本动态生成。我们已经表明，我们的配方推广了标准的卷积图，如果边缘标签的选择，森正确和实验验证了这一论断的MNIST。我们以一种新颖的方式将我们的方法应用于点云分类，在悉尼数据集上建立了一个新的艺术水平。此外，我们在图分类数据集NCI1上的表现优于其他基于深度学习的方法。在特征工作中，我们希望将网格处理为图形而不是点云。此外，我们计划在具有连续边缘标签的大型图的情况下解决当前较高水平的GPU内存消耗，例如通过随机聚类，这也可以通过数据增强作为额外的正则化。致谢。我们非常感谢NVIDIA公司捐赠的GPU用于本研究。我们感谢匿名评论者的反馈。3703引用[1] N. S. Alvar，M.Zolfaghari和T.布洛克斯用于3d物体识别的方向增强体素网络CoRR，abs/1604.03351，2016。六、七[2] J. Atwood和D.毛巾扩散卷积神经网络。在NIPS，2016年。二、三、七[3] L. J. 巴河Kiros和G.E. 辛顿层归一化。CoRR，abs/1607.06450，2016。4[4] K. M. Borgwardt和H.克里格尔图上的最短路径核。在2005年11月27-30日举行的第五届IEEE国际数据挖掘会议（ICDM 2005）的会议记录中Houston，Texas，USA，第74-81页，2005年。7[5] B. D. Brabandere，X.贾氏T.Tuytelaars和L.诉好极了动态滤波网络。在NIPS，2016年。3[6] J. Bruna，W. Zaremba、A. Szlam和Y.乐存。图上的谱网络和局部连通网络。CoRR，abs/1312.6203，2013。一二三八[7] T.陈湾，澳-地Dai，D. Liu和J. Song.基于速度计的城市目标识别的全局描述符的性能。2014年IEEE智能车辆研讨会论文集，美国密歇根州迪尔伯恩，2014年6月8-11日，第667-673页6[8] H.戴湾Dai和L.歌结构化数据潜在变量模型的判别嵌入。InICML，2016. 7[9] M. De Deuge，A.夸德罗斯角Hung和B.杜拉德用于户外三 维 扫 描 分 类 的 无 监 督 特 征 学 习 。 在 AustralasianConference on Robitics and Automation，第 2 卷，2013中。一、五、六[10] A. K. 德布纳河L. Lopez de Compadre，G.Debnath，A.J.Shusterman和C.汉斯致突变芳香族和杂芳香族硝基化合物的构效关系与分子轨道能量和疏水性相关药物化学杂志，34（2）：786-797，1991。7[11] M. Defferrard，X.布列松和P。范德海恩斯具有快速局部谱滤波的图上卷积神经网络。在NIPS，2016年。二、八[12] P. D. Dobson和A. J. Doig在没有比对的情况下区分酶结构和非酶结构。分子生物学杂志，330（4）：771-783，2003。7[13] F. D？rfler和F. 布洛图的Kron约化及其在电网络中的应用。IEEE Trans. on Circuits and Systems，60-I（1）：150-163，2013. 5[14] D. K. Duvenaud，D. Maclaurin，J. 阿吉莱拉-伊帕拉吉雷，R. Bombarell，T.Hirzel、A.Aspuru-Guzik和R.P. 亚当斯用于学习分子指纹的图上卷积网络。2015年，在NIPS中。二、三[15] M. Edwards和X.谢基于图的卷积神经网络。在BMVC，2016年。8[16] B. 格 雷 姆 分 数 最 大 池 化 。 CoRR ， abs/1412.6071 ，2014。5[17] K.他和J. Sun。卷积神经网络在约束时间成本。CVPR，2015。4[18] J. Huang和S.你基于三维卷积神经网络的点云标注InICPR，2016. 一、三、四[19] S. Ioffe和C.赛格迪批次标准化：通过减少内部协变量偏移来加速深度网络训练。ICML，2015。43704[20] T. N. Kipf和M。威林基于图卷积网络的半监督分类。CoRR，abs/1609.02907，2016。二、三[21] Y. LeCun，Y.Bengio和G.辛顿深度学习Nature，521（7553）：436-444，2015. 1[22] Y.勒昆湖Bottou，Y. Bengio和P.哈夫纳基于梯度的学习应 用 于 文 档 识 别 。 Proceedings of the IEEE ， 86（11）：2278-2324，1998. 七、八[23] Y. Li，D. Tarlow，M. Brockschmidt和R. S.泽梅尔门控图序列神经网络ICLR，2016年。2[24] J. Masci，D. Boscaini，M. M. Bronstein和P.范德根斯特。黎曼流形上的测地卷积神经网络。第37-45页，2015年。2[25] D. Maturana和S.谢勒Voxnet：用于实时对象识别的3D卷积神经网络。InIROS，2015. 一三四六七[26] D. Mishkin和J.马塔斯所有你需要的是一个好的初始化。在ICLR，2016. 4[27] M.尼佩特湾Ahmed和K.库茨科夫学习图的卷积神经网络。 InICML，2016. 二、三、七[28] N. Perraudin，J.Paratte，D.I. 舒曼Kalofolias，P.Van-dergheynst和D. K.哈蒙德GSPBOX：图形信号处理工具箱。CoRR，abs/1408.5781，2014年。5[29] C. R. Qi，H.苏，M。尼斯纳A.戴，M. Yan和L.吉巴斯用于三维数据对象分类的体视和多视cnn。在CVPR，2016年。六、七[30] R. B. Rusu和S.表兄弟点云库（Point Cloud Library，PCL）在机器人与自动化（ICRA），2011 IEEE国际会议上，第1-4页IEEE，2011年。4[31] I. Safro，P. Sanders，and C.舒尔茨用于图分区的高级粗 化 方 案 。 ACM Journal of Experimental 期 刊 ， 19（1），2014年。5[32] A. M.萨克斯<英>来华传教士。McClelland和S.甘古利。深度线性神经网络中学习的非线性动力学的精确解。见ICLR，2014年。六、七[33] F. Scarselli，M. Gori，A. C. Tsoi、M. Hagenbuchner和G. 蒙 法 迪 尼 图 神 经 网 络 模 型 。 IEEE Trans. NeuralNetworks，20（1）：61-80，2009。2[34] N. 舍瓦希泽， P. 史怀哲 E. J. 范·列文K. Mehlhorn和K. M.博格沃特Weisfeiler-Lehman图核。Journal of Machine Learning Research ， 12 ： 2539-2561，2011。六、七[35] D. I. Shuman，M. J. Faraji和P.范德海恩斯图形信号的多尺度金字塔变换 IEEE Trans.Signal Processing，64（8）：2119-2134，2016. 5[36] D. A. Spielman和N.斯里瓦斯塔瓦。 图稀疏化 有效的抵抗。SIAM Journal on Computing，40（6）：1913-1926，2011. 5[37] H. Su，S. Maji、E. Kalogerakis和E. G.学习米勒。用于三维形状识别的多