GraphTER：图变换等变表示的无监督学习

7163GraphTER：通过自动编码节点变换的图变换等变表示的无监督学习高翔1，胡伟1，刘伟1，戚国军21王璇北京大学计算机技术研究所2未来微科技{gyshgx868，forhuwei}@ pku.edu.cn，guojunq@gmail.com摘要X、A图卷积神经网络（GCNN）的最新进展表明了其对图上非欧数据的有效性，这些数据通常需要大量的标记数据，成本很高。它就这样被批判了-cal来学习unsuper中的图形特征表示逐节点转换tE X，AE Dt^估计t1实践中的态度。 为此，我们提出一部小说图变换等价的t3EtX，At转型蚂蚁表示（GraphTER），旨在捕获内含子-图结构在全局变换和局部变换下的SIC模式。具体来说，我们允许从图中采样不同的节点组，然后将它们各向同性或各向异性地逐节点变换。然后，我们自训练一个表示编码器，通过从原始和变换后的图的特征表示重建这些逐节点变换来捕获图结构。在实验中，我们将学习的GraphTER应用于3D点云数据的图形，点云分割/分类的结果表明，Graph-TER的性能明显优于最先进的无监督方法，并大大接近完全监督的上限。该代码可在https://github.com/gyshgx868/graph-ter上获得。1. 介绍图形是不规则数据的自然表示，例如3D几何点、社交网络、引用网络和大脑网络。图卷积神经网络（GCNN）的最新进展已经显示出它们在学习这些数据的表示方面的有效性[4，54，53，46]，这推广了著名的CNN模型。现有的GCNN大多以监督或半监督的方式进行训练，需要大量的标记数据来学习图形表示。这就导致了广泛的应用--* 通讯作者：胡伟（forhuwei@pku.edu.cn）. 本课题得到了国家自然科学基金项目[61972009]和北京市自然科学基金项目[4194080]的资助。tX，A图1. 用于无监督特征学习的所提出的GraphTER模型的说明。编码器分别学习与邻接矩阵A相关联的原始图形数据X和与A相关联的其变换的对应物t（X）的表示。通过从两种表示解码逐节点变换t，自动编码器能够学习图的固有可变形结构。由于高标记成本，特别是在许多真实场景中的大规模图，GCNN的能力。因此，需要以非监督的方式训练图特征表示，其可以适应图上的下游学习任务。自动编码器（AE）和生成对抗网络（GANs）是无监督学习的两种最具代表性的方法自动编码器旨在训练编码器通过经由解码器重构输入数据来学习特征表示大多数自动编码器坚持在输出端重建输入数据的想法（例如，图像[16]，图形[19]，3D点云[48]），因此可以分类为自动编码数据（AED）[51]。相比之下，GAN [14，10，11，50，26，7，3]通过一对生成器和递归神经网络从输入噪声中生成数据，以无监督的方式提取特征表示，其中噪声被视为数据表示，并且生成器被训练为从“噪声”特征表示中生成数据基于AE和GAN，许多方法已经寻求7164学习变换等变表示（TER），以进一步提高无监督表示学习的质量。它假设与变换等变的表示能够对数据的内在结构进行编码，使得变换可以从变换之前和之后的表示中重构[34]。在Hinton关于学习转换胶囊的开创性工作中，一直倡导学习转换等变在此之后，已经提出了各种方法来学习变换等变表示[20，41，38，40，23，12，9，8]。其中包括群等变卷积[6]和群等变胶囊网络[24]，它们将CNN和胶囊网络推广到各种变换。然而，这些模型仅限于离散变换，并且它们应该以有监督的方式进行训练这限制了他们学习无监督表示的能力，这些表示与连续变换的通用组合等变[34]。为了推广到通用变换，Zhang et al.[51] 建议通过自动编码变换（AET）而不是AED来学习无监督的特征表示。通过随机变换图像，他们试图通过从原始图像和变换图像的学习表示直接重建这些变换来训练自动编码器。变分AET [35]也从信息论的角度引入，通过最大化变换和表示之间的互信息的下限。此外，理论上也证明了[34，35] AET的无监督表示与应用的变换是等变的不幸的是，这些工作集中在变换的等变表示学习的图像是欧几里德数据，这不能扩展到图形由于不规则的数据结构。在本文中，我们朝着这个目标迈出了第一步-所提出的方法是新颖的，在两个方面。一方面，我们定义了图信号变换，并提出了一个基于图的自动编码器架构，它编码的原始和变换的图的表示，使图变换可以从两个表示重建。另一方面，与其中将全局空间变换应用于整个输入图像的AET相比，我们对图执行逐节点变换，其中每个节点可以具有其自己的变换。因此，通过解码逐节点变换来学习各个节点的表示，以揭示其周围的图形结构。这些表示不仅可以捕捉节点变换下的局部图结构，而且可以揭示图的全局信息因为我们在训练迭代中将节点随机抽样到不同的组中。不同组的节点对图的不同部分进行建模，从而允许所学习的表示在各向同性和/或各向异性的逐节点变换下捕获图结构的各种尺度这导致变换等变表示来表征图的内在具体而言，给定输入图形信号及其关联图形，我们从图形（全局或局部）中采样节点子集，并对各个节点执行各向同性或各向异性变换。然后，我们设计了一个完整的图卷积自动编码器架构，其中编码器学习原始和变换后的图中单个节点的表示，解码器从两种表示中预测应用的节点变换。实验结果表明，学习GraphTER显着优于国家的最先进的无监督模型，并取得了可比的结果，在3D点云分类和分割任务的完全监督的approaches。我们的主要贡献总结如下。• 我们是第一个提出图变换等变表示（GraphTER）学习的人，以无监督的方式提取适当的图形信号特征表示。• 我们定义了通用的图形转换和形式化的GraphTER学习的功能表示通过在全图形卷积自动编码器架构中端到端地解码逐节点变换来生成图形• 实验表明，GraphTER模型在无监督的情况图特征学习以及通过完全监督的对应物极大地推动接近上界性能。本文的其余部分组织如下。 我们首先回顾相关的工作在Sec. 2.然后，我们在Sec中定义图变换。3和形式化的Graph- TER模型。4.第一章最后，实验结果和结论在第二节。5、第6，分别。2. 相关作品变换等变表示。已经提出了许多方法来学习等变表示，包括变换自动编码器[16]、等变玻尔兹曼机[20，41]、等变描述器[38]和等变滤波[40]。Lenc等人[23]证明在ImageNet上训练的AlexNet [22]学习了对翻转，缩放和旋转变换等变的Gens等人。 [12]提出了一种近似等变卷积架构，该架构利用稀疏和高维特征映射来处理7165群的变换。 Dieleman等人[9]表明旋转对称性可以在卷积网络中被利用来有效地学习等变表示。这项工作后来在[8]中进行了扩展，以评估具有循环对称性的其他计算机视觉任务。Cohen等人。 [6]提出了群等变卷积，这些卷积已经被分解为与更多类型的变换等变。通过确保输出姿态向量对一组变换的等变性，也将组等变性的思想引入胶囊网络[24]。 Zhang等人[51]建议通过自动编码变换（AET）通过从原始图像和变换图像的学习特征表示中估计变换来学习无监督特征表示。这项工作后来在[35]中通过引入变分变换解码器进行了扩展，其中通过最大化互信息的下限从信息论的角度训练AET模型。自动编码器和GAN。自动编码器（AE）已被广泛采用来学习无监督表示[17]，其采用编码器来提取特征表示，并采用解码器来从表示重建输入数据。这个想法是基于良好的特征表示应该包含足够的信息来重建输入数据。在这种自动编码数据（AED）的范例之后，已经提出了大量的方法，包括变分AE（VAE）[18]，去噪AE [42]，对比AE [36]，转换AE [16]等。基于上述方法，已经提出了图形AE来学习图形的潜在表示。这些方法基本上学习普通图[5，43]和属性图[19，31]的图嵌入，这些图仍然以AED方式训练。除了AE之外，生成式对抗网络（GAN）[14]在学习无监督数据表示方面变得流行，它倾向于从随机分布采样的噪声中生成数据。这些模型的基本思想是将采样的噪声视为输出数据的特征，并且可以训练编码器以获得最近，已经提出了几种方法来构建图GAN。例如，[50]和[26]建议交替生成节点和边，而[7]和[3]建议分别将GCNN与LSTM和GAN集成以生成图形。3. 图转换3.1. 预赛考虑一个无向图G ={V，E}，它由一个基数为V的节点集组成|V|= N，以及连接节点的边集合E。图信号是指与G的节点相关的数据/特征，用X ∈RN×C表示，第i行表示在第i行处的C第i个节点。为了表征相似性（从而图结构），在G上定义邻接矩阵A，A是实值对称N×N矩阵，ai，j是连接节点i和j的边（i，j）的权值。形式上，构造邻接矩阵根据如下的曲线图信号，A=f（X），（1）其中f（·）是应用于每对节点以获得成对相似性的线性或非线性函数 比如说，广泛采用的功能是从节点特征非线性地构造k-最近邻（kNN）图[44，52]。3.2. 图形信号转换与欧几里德数据（如图像）不同，图形信号是不规则采样的，因此其变换不易定义。为此，我们将信号X上的图形变换定义为X上的逐节点滤波。形式上，假设我们从变换分布Tg中采样图变换t，即，tt tg.将变换应用于从数据分布X g采样的图形信号X，即，，X<$Xg，导致滤波后的图形信号X=t（X）。（二）滤波器t被单独地应用于每个节点，其可以是节点不变的或节点可变的。换句话说，与t相关联的每个节点信号的变换可以彼此不同。例如，对于平移t，可以对每个节点应用独特的平移。如果图变换是节点不变的（变体），我们将称之为各向同性（各向异性）。因此，变换后的图形信号X的邻接矩阵根据（1）等式变化A=f（X）=f（t（X）），（3）其变换图结构，因为边权重也被t（·）滤波。根据这一定义，存在着广泛的图信号转换。示例包括对节点位置的仿射变换（平移、旋转和剪切）（例如，点云中的3D坐标），以及图形滤波器，例如通过邻接矩阵对图形信号进行低通滤波[37]。3.3. 逐节点图形信号变换如前所述，在本文中，我们专注于逐节点图信号变换，即。每个节点具有其自身的变换，或者各向同性地或者各向异性地。我们试图通过节点转换来学习图形表示，揭示图形结构的不同部分如何在全局和局部发生变化。具体来说，这里有两个明显的优势。7166(a) 原始模型（b）全局+各向同性（c）全局+各向异性（d）局部+各向同性（e）局部+各向异性图2. 在3D点云上演示不同的采样（全局或局部）和节点平移（各向同性或各向异性）方法。 红色点和蓝色点分别表示变换点和非变换点。请注意，我们采用机翼作为采样的局部点集，以实现清晰的可视化。我们训练一个解码器D：.ΣE（X，A），E（X，A）›→(a)在变形之前。（b）改造后。图3. 一个例子的kNN图之前和之后的节点式变换。 我们首先为黄色节点构造一个k NN（k = 5）图（省略其他连接）。 然后，我们对一些蓝色节点执行节点转换，这会改变黄色节点周围的图形结构。• 逐节点变换允许我们使用节点采样来研究各种变换下的图的不同部分。• 通过解码节点变换，我们将能够学习各个节点的表示此外，这些逐节点表示将不仅捕获这些表示下的局部图结构，以从原始和变换后的图形信号的表示估计逐节点变换Δt因此，我们将变换等变表示的学习问题转化为表示编码器E和变换解码器D的联合训练。已经证明，以这种方式学习的表示满足广义变换等方差，而不依赖于图结构的线性表示[35]。此外，我们从原始图形信号X局部地或全局地对遵循采样分布Sg的节点S的子集进行然后，对子集S各向同性地或各向异性地执行逐节点变换，如demon-图中所示。2.为了预测节点变换t，我们选择一个损失函数来量化t与其估计值t之间的距离，参数然后通过最小化损失，对转换，但也包含全局信息当这些节点在训练期间的迭代中被采样到不同的组中时，关于图minE、DESSgEtTgXXgS（t，t），（5）接下来，我们讨论了通过经由图卷积编码器和解码器解码逐节点变换来学习图变换等变表示的公式化。4. GraphTER：提出的方法其中，期望值E是在采样的图形信号和变换上取得的，并且损失是在每次训练迭代中的节点的（局部或全局）采样子集S在（5）中，逐节点变换Δt由下式估计：4.1. 制定解码器D=D.ΣE（X，A），E（X，A）.（六）给定一对图的信号和邻接矩阵（X，A），以及一对变换后的图信号和邻接矩阵（X_n，A_n），通过逐点图变换t，函数E（·）是变换 等 变 的 ， 如 果 它 满 足 E （ X_n ， A_n ） =E （ t（X），f（t（X）=ρ（t）[E （X，A）]，（4）其中ρ（t）是表示空间中变换t我们的目标是学习一个函数E（·），它提取图信号X的等变表示。 为此，我们采用编码器-解码器网络：我们学习图编码器E：（X，A）›→E（X，A），它对图中各个节点的特征表示进行编码。为了保证代表的变换等变性因此，我们更新了编码器E和解码器ED迭代地通过损失的反向传播。4.2. 该算法给定图形信号X={x1，x2，.，在N个节点上，在每次训练迭代中，我们从图中随机采样节点S的子集，全局或局部。全局采样是指全局地在整个节点上进行随机采样，而局部采样限于图中的局部节点采样不仅使我们能够在各种尺度上表征全局和局部图结构，而且还减少了用于估计计算效率的节点方向变换参数7167X、A经济1经济2经济3是Ein（X，A）i=maxj∈N（i）= maxj∈N（i）不aa bi，jReLU（θ（tj（xj）−xi）+φxi），（七）X、A经济1经济2经济3编码器无监督特征学习阶段监督评估阶段经济1经济2线性分类器冻重解码器分类评分其中ai，j表示边缘特征i。e. ，边权重，单位为A。θ和φ是两个加权参数，j∈ N（i）表示节点j在节点i的k-最近邻域内.然后，多层规则边缘卷积[44]被堆叠以形成最终编码器。（7）中的每个节点上的边缘卷积实质上经由边缘权重αi，j 聚 集 来 自 相 邻 节 点 的 特 征。 由于底层图的边信息随着单个节点的变换而变换，如图11所示。3、边缘卷积能够从原始和变换后的边缘信息中提取更高层次的特征。此外，由于每个节点的特征是通过从变换的和非变换的节点传播来学习的，EdgeConv图层FC层逐行级联各向同性或各向异性地由局部或全局相同的，图4. 所提出的GraphTER的架构。在无监督特征学习阶段，通过最小化（5）来联合训练表示编码器和变换解码器。在监督评估阶段，编码器的前几个块被固定有冻结的权重，并且用标记的样本训练线性分类器。然后，我们画出一个对应于S中节点的每个样本xi的逐节点变换ti，可以是各向同性的，也可以是各向异性的。 相应地，与变换后的图相关联的图A在t下也是原图A的等价变换. 具体地，如图1所示3.利用节点间的连通性构造了一个k-NN图，在应用采样的逐节点变换后，k-NN图在A中的矩阵表示发生了变化。为了学习所应用的逐节点变换，我们设计了一个完整的图卷积自动编码器网络，如图1所示。4.在GCNN的各种范例中，我们选择EdgeConv [44]作为自动编码器网络的基本构建块，它通过聚合来自每个连接节点的所有边缘的特征来有效地学习节点表示。下面我们将详细解释表示编码器和变换解码器.4.2.1表示编码器表示编码器E将原始图X和变换后的对应图X的信号连同它们对应的图一起作为输入。E通过具有共享权重的Siamese编码器网络对X和X的节点特征进行编码，其中EdgeConv层用作基本特征提取块。如图3，给定未变换的中心节点xi及其变换后的邻居tj（xj），输入层的编码特征xi因此，学习的表示能够在多个尺度上捕获固有的图形结构。4.2.2变换解码器然后在每个节点处连接原始图和变换图的逐节点特征，然后将其馈送到变换解码器中。解码器由几个EdgeConv块组成，以聚合原始图和变换图的表示，从而预测逐节点变换t。基于（5）中的损失，通过最小化在每个采样节点处的地面实况和估计的变换参数之间的均方误差（MSE）来对t图图4示出了在这样的自动编码器结构中学习所提出的GraphTER的架构5. 实验在本节中，我们通过将GraphTER模型应用于两个代表性下游任务的3D点云数据图形来评估GraphTER模型：点云分类和分割。我们比较所提出的方法与国家的最先进的监督和无监督的方法。5.1. 数据集和实验设置ModelNet40[47].该数据集包含来自40个类别的12311个网格化CAD模型，其中9843个模型用于训练，2468个模型用于测试。对于每个模型，从原始网格中采样1024个我们在训练集上训练了无监督自动编码器和分类器，并在测试集上对分类器进行了评估。ShapeNet部分[49].该数据集包含来自16个对象类别的16，881个3D点云，注释有50个部分。每个3D点云包含2，048个点，其中大部分共享权重tX，A7168表1. ModelNet40数据集的分类准确率（%）方法年无监督精度[47]第四十七话2015没有84.7[30]第三十话2015没有85.9PointNet [32]2017没有89.2[33]第三十三话2017没有90.7KD-Net [21]2017没有90.6[25]第二十五话2018没有92.2PCNN [2]2018没有92.3美国有线电视新闻网[44]2019没有92.9[28]第二十八话2019没有93.6[13]第十三话2016是的74.4VConv-DAE [39]2016是的75.53D-GAN [45]2016是的83.3[1]2018是的85.7[第48话]2018是的88.4MAP-VAE [15]2019是的90.2[27]第二十七话2019是的90.6GraphTER是的92.0其被标记为少于六个部分。我们使用了12137个模型来训练自动编码器和分类器，2874个模型用于测试。我们将每个点云中的点视为图中的节点，并将点的（x，y，z）坐标视为图信号。然后，在图信号上构造kNN图以指导图卷积。接下来，我们介绍我们的逐节点图信号变换。在实验中，我们从整个图中以采样率r采样一部分节点以执行节点变换，包括1）全局采样：从3D点云中的所有点随机采样r%的点; 2）局部采样：随机选择一个点，并根据欧几里德距离搜索它的k个最近邻居，形成r %点的局部集合。然后，我们对点云的坐标应用三种类型的节点变换，包括1）平移：通过范围[-0]内的三个参数随机平移点的三个坐标中的每一个。2，0。2）旋转：随机旋转每个点，三个旋转参数都在[-5，5]范围内;3）剪切：随机剪切每个点的x，y，z坐标，剪切矩阵的六个参数在[-0. 2，0。2]。我们考虑两种策略来转换采样节点：Isotropically或Anisotropically，它应用具有节点不变或节点可变参数的变换。5.2. 点云分类首 先 ， 我 们 在 Model-Net 40 [47] 数 据 集 上 评 估GraphTER模型以进行点云分类。5.2.1实现细节在此任务中，自动编码器网络通过SGD优化器进行训练，批量大小为32。动量和重量衰减率设置为0。分别为9和10- 4初始学习率为0。1，然后使用余弦退火时间表[29]衰减512个训练时期。我们采用交叉熵损失来训练分类器。我们部署了8个EdgeConv层作为编码器，并且所有EdgeConv层的最近邻居的数量k设置为20与[44]类似，我们使用前五层的快捷连接来提取多尺度特征，其中我们将这些层的特征连接起来以获取1，024维节点特征 向 量 。 在 编 码 器 之 后 ， 我 们 采 用 三 个 连 续 的EdgeConv层作为解码器-Siamese编码器的 批量归一化层和LeakyReLU激活函数的负斜率为0。2在每个卷积层之后使用。在 分 类 器 的 训 练 过 程 中 ， 编 码 器 中 的 前 五 个EdgeConv层用于通过将其输出特征与冻结的权重逐节点连接来表示输入云数据。在五个EdgeConv层之后，我们将三个完全连接的层节点应用于聚合特征。然后，采用全局最大池化和平均池化的方法获取全局特征，再利用三个全连接层将全局特征映射辍学率为0。最后两个全连接层采用55.2.2实验结果选项卡.图1示出了3D点云分类的结果，其中所提出的模型应用具有r=25%的全局采样率的各向同性逐节点剪切变换。我们比较两类方法：无监督方法和监督方法 。 GraphTER 模 型 在 ModelNet40 数 据 集 上 实 现 了92.0%的分类准确率，优于最先进的无监督方法。特别是，大多数比较的无监督模型结合了GAN和AED的思想，并通过自动编码数据将3D点云映射到无监督表示，例如FoldingNet [48]，MAP-VAE [15]和L2 G-AE[27]。再-结果表明，GraphTER模型取得了显着的改善，这些方法，显示出所提出的节点的AET优于GAN和AED范例。此外，无监督GraphTER模型也实现了与最先进的完全监督结果相当的性能。这大大缩小了无监督方法和文献中完全监督方法之间的差距。5.2.3消融研究此外，我们在各种采样和转换策略的实验设置7169表2.使用不同采样和转换策略的ModelNet40数据集的无监督分类准确率（%）全局采样当地采样是说IsoAniso。IsoAniso。翻译90.1590.1589.9189.5589.94旋转91.2990.2490.4889.8790.47剪切92.0290.3291.6589.9990.99是说91.1590.2490.6889.8090.7090.24表3.ModelNet40数据集上的无监督分类准确率（%），以不同的节点采样率应用翻译。采样率全局抽样局部抽样是说IsoAniso。IsoAniso。百分之二十五90.1590.1589.9189.5589.94百分之五十90.0389.6389.9589.4789.77百分之七十五91.0089.6791.4189.7590.46百分百89.6789.9989.6789.9989.83在ModelNet40数据集上。首先，我们分析了全局或局部采样下不同节点变换的有效性选项卡. 2给出了三种节点变换方法的分类精度。我们看到，剪切变换实现了最佳性能，平均比平移提高了1.05%，比旋转提高了0.52%。这表明所提出的GraphTER模型能够在更复杂的转换下学习更好的特征表示此外，我们看到，该模型在全局采样下平均达到90.70%的准确率，比局部采样高出0.46%。这是因为全局采样可以更好地捕获图形的全局结构，这在对3D点云进行分类的图形级任务中至关重要同时，在这两种采样策略下，各向同性变换的分类精度均高于各向异性变换。原因在于训练变换解码器的固有困难，当应用各向异性变换时，更多参数的复杂性增加。此外，我们还评估了不同采样率r在表1中报告的平移下的有效性3.不同采样率下的分类精度基本相同，r=25%与r=100%的分类精度相当。这表明该模型的性能对采样率的变化不敏感，即，将逐节点变换应用于图中的少量节点足以学习内在图结构。5.3. 点云分割我们还将GraphTER模型应用于ShapeNet部件数据集上的3D点云部件分割[49]。5.3.1实现细节我们还使用SGD优化器来训练自动编码转换网络。超参数与3D点云分类中的相同，只是我们训练了256个epoch。我们采用负对数似然损失来训练逐点分类器，以分割云中的每个点。自动编码架构类似于分类任务，我们使用五个EdgeConv层作为编码器。然而，前两个EdgeConv块由两个MLP层组成，其中神经元的数量为{64，64}在每一层中。 我们用捷径联系-将前四层的特征生成为512维节点特征向量。至于节点分类器，我们部署了与[44]相同的体系结构。从编码器的输出功能是级联节点与全局最大池的功能，其次是四个完全连接的层来分类每个节点。在训练过程中，编码器中前四个EdgeConv块的权重保持冻结。5.3.2实验结果我们采用Intersection-over-Union（IoU）度量来评估性能。我们遵循与PointNet [32]中相同的评估协议：形状的IoU是通过对出现在该形状中的不同部分的IoU求平均来计算的，并且类别的IoU是通过对属于该类别的所有形状的IoU求平均来获得的。平均IoU（mIoU）最终通过对所有测试形状的IoU求平均值来计算我们还将所提出的模型与非监督方法和监督方法进行了比较，如表1所示。4.我们达到了81的mlou。9%，显著优于最先进的无监督方法MAP-VAE [15] 13。9%。此外，无监督GraphTER模型还实现了与最先进的完全监督方法相当的性能，大大接近完全监督方法的上限。5.3.3可视化结果图5可视化了所提出的无监督模型和两种最先进的全监督方法的结果：[28]第44话和第44话。该模型在第一行的“table”模型上产生了更好的分割效果此外，我们定性地比较了所提出的方法与最先进的无监督方法MAP-VAE [15]，如图所示。6.所提出的模型导致更准确的分割结果比MAP-VAE，例如。飞机引擎和椅子腿。7170表4.ShapeNet部件数据集上的部件分割结果度量为点的mIoU（%）不好是说Aero袋帽车椅子耳朵电话吉他刀灯笔记本电机马克杯手枪火箭滑冰板表样品269076558983758697873921547451202184283661525271PointNet [32]没有83.783.478.782.574.989.673.091.585.980.895.365.293.081.257.972.880.6[33]第三十三话没有85.182.479.087.777.390.871.891.085.983.795.371.694.181.358.776.482.6KD-Net [21]没有82.380.174.674.370.388.673.590.287.281.094.957.486.778.151.869.980.3PCNN [2]没有85.182.480.185.579.590.873.291.386.085.095.773.294.883.351.075.081.8[25]第二十五话没有86.184.186.586.080.890.679.792.388.485.396.177.295.384.264.280.083.0美国有线电视新闻网[44]没有85.284.083.486.777.890.674.791.287.582.895.766.394.981.163.574.582.6[28]第二十八话没有86.283.584.888.879.691.281.191.688.486.096.073.794.183.460.577.783.6[1]是的57.054.148.762.643.268.458.374.368.453.482.618.675.154.737.246.766.4MAP-VAE [15]是的68.062.767.173.058.577.167.384.877.160.990.835.887.764.245.060.474.8GraphTER是的81.981.768.183.774.688.168.990.686.680.095.656.390.080.855.270.779.1表5. ShapeNet零件数据集上采用不同变换策略的无监督分割结果。度量为点的mIoU（%）。全局抽样局部抽样是说IsoAniso。IsoAniso。翻译79.8379.8880.0579.8579.90旋转80.2080.2980.8780.0280.35剪切81.8880.2881.8980.4881.13是说80.6480.1580.9480.1280.3980.53(a) 地面实况（b）DGCNN（c）RS-CNN（d）GraphTER图5. 点云部分分割与监督方法的视觉比较。我们的无监督GraphTER学习实现了与最先进的完全监督方法相当的结果(a) MAP-VAE(b) GraphTER图6. 点云零件分割与最先进的无监督方法MAP-VAE的视觉比较。我们实现了更准确的分割，即使在微小的部分和过渡区域。5.3.4消融研究与分类任务类似，我们分析了全局或局部采样下不同节点变换的有效性，如表1所示五、该模型在剪切变换下性能最好，平均比平移提高1.23%，而在旋转上为0.78%，这证明了GraphTER学习在复杂转换下的好处。此外，该模型在局部采样下平均实现了80.53%的mIoU，比全局采样高出0.14%。这是因为节点的局部采样更好地捕捉了图的局部结构，这在节点级3D点云分割任务中至关重要。6. 结论在本文中，我们提出了一种新的范式学习- ING图变换等变表示（Graph- TER）通过自动编码节点的方式在无监督的方式转换。我们允许它从全局或局部图中采样不同的节点组，然后各向同性或各向异性地执行节点变换，这使它能够在各种尺度上表征图的可变形结构。通过解码这些节点式变换，GraphTER强制编码器学习包含关于应用变换下的结构的足够信息的内在表示。我们将GraphTER模型应用于三维点云数据的图形分类和分割，实验结果表明Graph-TER模型优于现有的无监督方法，显著缩小了与完全监督方法的差距在未来的工作中，我们将把通用的GraphTER模型应用到更多的应用中，比如引文网络的节点分类。7171引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas Guibas.三维点云的学习表示与生成模型。第35届国际机器学习会议（ICML）论文集，第40-49页，2018年[2] Matan Atzmon，Haggai Maron，and Yaron Lipman.基于扩展算子的 点卷积神经网络。ACM Transactions onGraphics（TOG），37（4）：1[3] AleksandarBojch e vski ， OleksandrShchu r， DanielZügner，andStephanGünnemann. Netg an：通过随机游走生成图在第35届国际机器学习会议（ICML）的会议记录中，第609[4] Michael M Bronstein，Joan Bruna，Yann LeCun，ArthurSzlam，and Pierre Vandergheynst.几何深度学习：超越欧几里得数据。IEEE Signal Processing Magazine，34（4）：18[5] 曹绍生，卢伟，徐琼凯。深度神经网络-学习图形表示。在第三十届AAAI人工智能会议（AAAI），第1145-1152页[6] 塔可·科恩和麦克斯·威林群等变卷积网络。第33届国际机器学习会议（ICML）论文集，第2990-2999页，2016年[7] Nicola De Cao和Thomas Kipf。Molgan：小分子图的隐式生成模型。arXiv预印本arXiv：1805.11973，2018。[8] Sander Dieleman ， Jeffrey De Fauw ， and KorayKavukcuoglu.利用卷积神经网络中的循环对称性。第33届国际机器学习会议（ICML）集，第1889-1898页，2016年[9] Sander Dieleman，Kyle W Willett，and Joni Dambre.用于星系形态预测的旋转不变卷积神经网络。皇家天文学会，450（2）：1441[10] Je f fDonahue ， PhilippK raühenbühl ， 和 Tr ev 或Darrell 。 对 抗 性 特 征 学 习 。 国 际 学 习 表 征 会 议（ICLR），2017年。[11] Vincent Dumoulin 、 Ishmael Belghazi 、 Ben Poole 、Olivier Mastropietro 、 Alex Lamb 、 Martin Arjovsky 和Aaron Courville。逆向学习推理。国际学习表征会议（ICLR），2017年。[12] 罗伯特·根斯和佩德罗·多明戈斯。深层对称网络。神经信息处理系统进展（NIPS），第2537-2545页，2014年[13] Rohit Girdhar，David F Fouhey，Mikel Rodriguez，andAb-hinav Gupta.学习对象的可预测和生成矢量表示在欧洲计算机视觉会议中，第484-499页施普林格，2016年。[14] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统进展（NIPS），第2672- 2680页，2014年[15] Zhizhong Han ， Xiyang Wang ， Yu-Shen Liu ， andMatthias Zwicker.多角度点云阀：无监督特征通过联合自重构和半对半预测，从多个角度学习3D点云。在IEEE计算机视觉国际会议（ICCV）上，2019年10月[16] Geoffrey E Hinton，Alex Krizhevsky，and Sida D Wang.转换自动编码器。人工神经网络国际会议（ICANN），第44Springer，2011.[17] 杰弗里·E·辛顿和理查德·S·泽梅尔。自动编码器、最小描述长度与亥姆霍兹自由能。神经信息处理系统进展（NIPS），第3-10页，1994年[18] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。在国际学习代表会议（ICLR），2014年。[19] Thomas N Kipf和Max Welling变分图自动编码器。在2016年的贝叶斯深度学习NIPS研讨会上[20] Jyri J Kivinen和Christopher KI Williams。变换等变玻尔兹曼机。在人工神经网络国际会议（ICANN）上，第1-9页。Springer，2011.[21] 罗曼·克洛科夫和维克多·伦皮茨基逃离细胞：用于三维点云模型识别的深度kd网络。在IEEE计算机视觉国际会议（ICCV）的会议记录中，第863-872页[22] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统进展（NIPS），第1097-1105页，2012年[23] Karel Lenc和Andrea Vedaldi。通过测量它们的等方差和等价性来理解图像在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第991-999页[24] Jan Eric Lenssen、Matthias Fey和Pascal Libuschewski。分组等变胶囊网络。神经信息处理系统（NIPS）进展，第8844-8853页，2018年。[25] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen.Pointcnn：x变换点上的卷积神经信息处理系统进展（NIPS），第820-830页，2018年[26] Yujia Li，Oriol Vinyals，Chris Dyer，Razvan Pascanu，and Peter Battaglia.学习图形的深度生成模型。arXiv预印本arXiv：1803.03324，2018。[27] Xinhai Liu，Zhizhong Han，Xin Wen，Yu-Shen Liu，and Matthias Zwicker. L2g自动编码器：通过分层自关注局部到全局重建来理解点云。在第27届ACM国际多媒体会议（ACM MM）的会议记录中，第989- 997页。ACM，2019年。[28] Yongcheng Liu ， Bin Fan ， Shiming Xiang ， andChunhong Pan.用于点云分析的关系-形状卷积神经网络。在IEEE计算机视觉和模式识别会议（C