无监督图表示学习中的对称图卷积自编码器

Jiwoong Park1Minsik Lee2Hyung Jin Chang3Kyuewang Lee1Jin Young Choi1{ptywoong,kyuewang,jychoi}@snu.ac.kr, mleepaper@hanyang.ac.kr, h.j.chang@bham.ac.uk𝐻𝐴𝐻 =ҧ𝐴𝑋𝑊.𝐴𝑋𝑊1𝑊2𝑊3𝑊4𝐴65190用于无监督图表示学习的对称图卷积自编码器01 ASRI，ECE系，首尔国立大学 2 EE系，汉阳大学 3 计算机科学学院，伯明翰大学0摘要0我们提出了一种对称图卷积自编码器，它可以从图中生成低维潜在表示。与现有的具有非对称解码器部分的图自编码器不同，所提出的自编码器具有新设计的解码器，它构建了一个完全对称的自编码器形式。为了重建节点特征，解码器基于拉普拉斯锐化设计，作为编码器拉普拉斯平滑的对应部分，这允许在所提出的自编码器架构的整个过程中利用图结构。为了防止由拉普拉斯锐化引入的网络数值不稳定性，我们进一步提出了一种通过引入有符号图的新的数值稳定形式的拉普拉斯锐化。此外，还设计了一种新的成本函数，可以同时找到潜在表示和潜在相似性矩阵，以提高图像聚类任务的性能。聚类、链接预测和可视化任务的实验结果强烈支持所提出的模型稳定，并且优于各种最先进的算法。01. 引言0图由一组节点和边组成，是寻找数据几何结构的强大工具。在机器学习和数据挖掘领域中，使用图的各种应用，如节点聚类[26]，降维[1]，社交网络分析[15]，分子图的化学性质预测[7]和图像分割[30]。然而，传统的图分析方法存在一些问题，如由于特征分解或奇异值分解导致的计算效率低，或仅显示节点之间的浅层关系。近年来，出现了一种称为几何深度学习[2]的新兴领域，将深度神经网络模型推广到非欧几里得域，如网格、流形和图[14,24,20]。其中，使用自编码器框架找到图的几何结构的深层潜在表示引起了越来越多的关注。第一个尝试是VGAE[13]，它由图卷积网络（GCN）[14]编码器和矩阵外积解码器组成，如图1（a）所示。作为VGAE的变体，ARVGA[27]通过将对抗方法纳入VGAE提出。然而，VGAE和ARVGA旨在重建相似性矩阵A而不是节点特征矩阵X。因此，解码器部分无法学习，因此在解码器部分根本无法使用图形特征。这些事实可能降低图学习的能力。在此之后，提出了MGAE[35]，它使用具有线性激活函数的堆叠单层图自编码器和0� 1 � 2 → �(�� � ) → ��0�  →0编码器 解码器0(a) VGAE [13]0� → → �� �0单层自编码器0(b) MGAE [35]0编码器 解码器0→ ��0� →0(c) 提出的自编码器图1：现有图卷积自编码器和提出的自编码器的架构。A，X，H和W分别表示相似性矩阵（图的结构），节点属性，潜在表示和网络的可学习权重。0非欧几里得域，如网格、流形和图[14,24,20]中的几何结构的深层潜在表示引起了越来越多的关注。其中，使用自编码器框架找到图的几何结构的深层潜在表示引起了越来越多的关注。第一个尝试是VGAE[13]，它由图卷积网络（GCN）[14]编码器和矩阵外积解码器组成，如图1（a）所示。作为VGAE的变体，ARVGA[27]通过将对抗方法纳入VGAE提出。然而，VGAE和ARVGA旨在重建相似性矩阵A而不是节点特征矩阵X。因此，解码器部分无法学习，因此在解码器部分根本无法使用图形特征。这些事实可能降低图学习的能力。在此之后，提出了MGAE[35]，它使用具有线性激活函数的堆叠单层图自编码器和gθ ∗ x = UgθU T x,(1)is used as a building block of a convolution on graphs in [6].In the GCN [14], the Chebyshev approximation modelwas simplified by setting K = 1, λmax ≈ 2 and θ = θ′0 =−θ′1. This makes the spectral convolution simplified as fol-lows:gθ ∗ x ≈ θ(In + D− 12 AD−65200如图  1  (b)所示，MGAE通过边缘化过程重构节点的特征矩阵。然而，由于MGAE在没有隐藏层的情况下重构节点的特征矩阵，它无法改变潜在表示的维度并执行线性映射。这是在寻找清晰揭示图结构的潜在表示方面的一个明显限制。为了克服现有图卷积自编码器的局限性，在本文中，我们提出了一种新颖的图卷积自编码器框架，该框架具有对称的自编码器结构，并在编码和解码过程中同时使用图和节点属性，如图  1  (c)所示。我们设计解码器部分的动机来自于最近一篇论文中的分析结果[ 19 ]，即VGAE[ 13]的编码器可以被解释为拉普拉斯平滑[ 32]的一种特殊形式，它计算每个节点的新表示作为邻居和自身的加权局部平均值。这种解释启发我们设计一个解码器来执行拉普拉斯锐化，它是拉普拉斯平滑的对应物。为了实现一个执行拉普拉斯锐化的解码器，我们将拉普拉斯锐化表达为切比雪夫多项式的形式，并利用有符号图[ 18]以数值稳定的形式重新定义它。在计算机视觉领域，有一个常见的假设，即尽管图像数据集在环境空间中是高维的，但它们通常存在于多个低维子空间中[ 34]。因此，特别是对于图像聚类任务，我们将子空间聚类的概念应用于我们的图卷积自编码器框架中，该概念在其定义中对输入数据有这样的假设。具体而言，为了同时找到潜在表示和潜在亲和矩阵，我们将子空间聚类成本函数合并到自编码器的重构成本中。与传统的子空间聚类成本函数[ 11 ,  39]相反，我们可以得到一个计算效率高的成本函数。本文的主要贡献总结如下：0•我们提出了第一个完全对称的图卷积自编码器，通过整个编码-解码过程同时利用图的结构和节点属性。0•  我们推导出了一种新的数值稳定的解码器形式，防止神经网络的数值不稳定性。0•我们设计了一个计算效率高的子空间聚类成本函数，用于同时找到图像聚类任务的潜在表示和潜在亲和矩阵。0在实验中，通过对我们的架构和成本函数进行消融实验，验证了所提出组件的有效性。此外，通过与最先进的方法进行比较，验证了所提出方法的卓越性能。0通过我们的框架进行聚类的图形的可视化和与最先进方法的比较。02. 预备知识02.1. 图的基本符号0图被表示为  G  = ( V ,  E , A ) ，其中  V表示节点集合，其中  v i  ∈ V  且  |V|  =  n ，  E表示边集合，其中  ( v i , v j )  ∈ E ，  A  ∈  IR n × n表示一个亲和矩阵，它编码了节点之间的成对亲和性。  D∈  IR n × n 表示一个度矩阵，它是一个对角矩阵，其中  Dii  = �0和  L rw  =  I n  −  D − 1 A  分别，其中  I n  ∈  IR n × n表示单位矩阵。注意，  ∆ ，  L  和  L rw都是半正定矩阵。02.2. 图上的谱卷积0图上的谱卷积[ 31 ]是将输入信号  x  ∈  IR n与由傅里叶系数向量  θ  ∈  IR n 参数化的谱滤波器  g θ  =diag ( θ )  相乘，如下所示：0其中  U  是对称图拉普拉斯矩阵  L  =  U Λ U T的特征向量矩阵。  U T x  是输入  x  的图傅里叶变换，  gθ  是  L  的特征值的函数，即  g θ (Λ) ，其中  Λ  是  L的特征值的对角矩阵。然而，这种操作对于大规模图来说是不合适的，因为它需要进行特征分解来获取  L的特征值和特征向量。为了避免计算昂贵的操作，先前的工作中将谱滤波器  g θ (Λ)  近似为 K 阶切比雪夫多项式[ 10]。通过这样做，可以近似计算图上的谱卷积：0g_θ�x ≈ U0k=0 θ'_k^TT_k(˜Λ)U^T x =0k=0 θ'_k^T T_k(˜L)x,(2)0其中T_k(∙)和θ'分别表示切比雪夫多项式和切比雪夫系数的向量。˜Λ是20λ_maxΛ - I_n，λ_max表示L的最大特征值，˜L是U˜ΛU^T = 202)x. (3)02会导致神经网络中的数值不稳定，因为In + D− 12 AD− 12 → ˜D− 12 ˜A ˜D− 12 ,(4)j ˜Aij. Since adding self-cannot affect the spectralaplacian matrix [9], thisrenormalization trick can provide a numerically stable form(In + D− 12 AD−̸˜ − 12 ˜ ˜ −̸H(m+1) = ξ( ˜D− 12 ˜A ˜D−˜˜652102为2，当其谱半径为1时，切比雪夫多项式形成一个正交基。为了解决这个问题，GCN使用了重归一化技巧：0其中˜A = A + I_n，˜D_{ii} = λ_1 /(D_{ii} + 1) (4)02，同时保持每个元素的含义如下：02)_{ij} =0λ_1 = j A0D_{ii}D_{jj} i ≠ j (5)02)_{ij} =0λ_1 / (D_{ii} + 1) = j A_{ij} / λ_j0(D_{ii} + 1)(D_{jj} + 1) i ≠ j.(6)最后，GCN的前向路径可以表示为02 H(m)Θ(m)), (7)0其中H(m)是第m层的激活矩阵，H(0)是输入节点的特征矩阵X。ξ(∙)是一个非线性激活函数，如ReLU(∙) = max(0, ∙)，Θ(m)是一个可训练的权重矩阵。0是一个可训练的权重矩阵。GCN提供了一种计算效率高的卷积过程（在˜A稀疏的假设下），并通过同时使用节点特征和图的几何结构，在半监督节点分类任务中取得了比现有方法更高的准确性。02.3. Laplacian平滑0Li等人解释说，GCN是Laplacian平滑的一种特殊形式。Laplacian平滑是一个计算输入的新表示的过程，它是其邻居和自身的加权局部平均值。当我们在节点上添加自环时，相似性矩阵变为˜A = A + I_n，度矩阵变为˜D = D +I_n。然后，Laplacian平滑方程式如下所示：0x(m+1)_i = (1 - γ)x(m)_i +γ˜A_{ij}˜D_{ii}x(m)_j, (8)0j0X(m+1) = (1 -γ)X(m) +γ˜D^{-1}˜AX(m)0其中 x(m+1)_i 是 x(m)_i 的新表示，γ (0 < γ ≤ 1)是一个正则化参数，控制它与其邻居之间的重要性。我们可以将上述方程式以矩阵形式重写如下：0= X(m) - γ˜L_{rw}X(m).0= X(m) - γ (I_n - ˜D^{-1}˜A)X(m) (9)0= X(m) - γ˜L_{rw}X(m).02 X(m)，这个方程式与方程式7中的谱卷积的归一化版本相同。根据上述解释，Li等人解释说，GCN在半监督节点分类任务中的优越性能是由于Laplacian平滑使得同一聚类中的节点特征变得相似。03. 提出的方法0在本节中，我们提出了一种新颖的图卷积自编码器框架，名为GALA（使用Laplacian平滑和锐化的图卷积自编码器）。在GALA中，总共有M层，从第一层到第M层。02 + 1 到 M 层的解码器，其中 M是一个偶数。GALA的编码器部分设计为在图上执行计算效率高的谱卷积，并使用数值稳定的Laplacian平滑形式（方程式7）[14]。除此之外，它的解码器部分设计为一种特殊形式的Laplacian锐化[32]，不同于现有的VGAE相关算法。通过这个解码器部分，GALA直接重构节点的特征矩阵，而不像现有的VGAE相关算法那样产生一个相似性矩阵，其解码器部分是不完整的。此外，为了增强图像聚类的性能，我们设计了一个计算效率高的子空间聚类代价项，该项被添加到GALA的重构代价中。03.1. Laplacian锐化0由于编码器执行Laplacian平滑，使得每个节点的潜在表示与其邻居节点的表示类似，我们设计解码器部分来执行Laplacian锐化，作为Laplacian平滑的对应部分。Laplacian锐化是一种使得每个节点的重建特征远离其邻居的质心的过程，加速重建并受以下方程控制：0x (m +1) i = (1 + γ) x (m) i −γ �0A ij D ii x (m)j，(10)0其中 x (m +1) i 是 x (m) i 的新表示，γ是正则化参数，控制自身和邻居之间的重要性。Eq.(10)的矩阵形式如下：0X (m +1) = (1 + γ) X (m) − γD − 1 AX (m)0= X (m) + γ (I n − D − 1 A) X (m) (11)0= X (m) + γL rw X (m) .0与编码器类似，我们设置 γ = 1，并用 L 替换 L rw 。与Eq.(3)类似，我们可以通过以下矩阵形式表示Laplacian锐化：H(m+1) = ξ((2In − D− 12 AD−where H(m) is the matrix of the activation in the mth layer,2In − D− 12 AD− 12 is a special form of Laplacian sharpen-ing, ξ(·) is the nonlinear activation function like ReLU(·)= max(0, ·), and Θ(m) is a trainable weight matrix. How-and symmetric graph Laplacian ˆL = In − ˆD− 12 ˆA ˆD− 12of the signed graph. From Theorem 1 of [18], the rangeof the eigenvalue of ˆL is [0, 2], thus the spectral radius ofH(m+1) = ξ( ˆD− 12 ˆA ˆD−The remaining issue is to choose ˆA induced from A sothat ˆD− 12 ˆA ˆD− 12 maintains the meaning of each element of2In − D− 12 AD− 12 in Eq. (12). To achieve this, we map allweights of the unsigned A to negative weights and addinga self-loop with a weight value 2 to each node, that is,ˆA = 2In − A and ˆD = 2In + D. Then, each elementof ˆD− 12 ˆA ˆD−( ˆD− 12 ˆA ˆD−̸CoraCiteseerACCNMIARIACCNMIARI− 12−̸H(m+1) = ξ( ˆD− 12 ˆA ˆD−H(m+1) = ξ( ˜D− 12 ˜A ˜D−65220ening的形式，并使用 K = 1，λ max ≈ 2 和 θ = 1 2 θ ′ 0= θ ′ 1 进行简化。然后，解码器层可以表示为：02 ) H (m) Θ (m))，(12)02的值为3，重复应用此操作符可能导致数值不稳定。因此，正如GCN找到了Chebyshev多项式的数值稳定形式一样，我们必须找到一种数值稳定的Laplacian锐化形式，同时保持其含义。03.2. 数值稳定的Laplacian锐化0为了找到一个谱半径为1的Laplacian锐化的新表示，我们使用了一个带符号的图[18]。带符号的图用 Γ = (V, E, ˆ A)表示，它是由无符号图 G = (V, E, A) 引出的，其中 ˆ A中的每个元素与 A具有相同的绝对值，但其符号变为负号或保持正号。带符号图 Γ 的度矩阵用 ˆ D 表示，它是从 ˆ A获得的。在带符号图中，当按照传统方式计算度矩阵 ˆ D时，可能会取消求和中的混合符号权重，从而无法得到表示节点与其邻居连接性的度值。因此，根据带符号图的做法，我们通过以下方式计算每个节点的度：ˆ D ii = �0对于任意选择的 ˆ A ，2的值为1。根据这个结果，我们使用一个具有1的谱半径的数值稳定的Laplacian锐化形式，代替Eq. (12)，给出如下：02 H (m) Θ (m))。 (13)02 通过以下方式获得：02 ) ij =0� 2 / (D ii + 2) i = j − A ij / �0(D ii + 2)(D jj + 2) i � =j，(14)0表1：各种解码器的有效性0Eq. (7) 0.5628 0.4074 0.3289 0.5296 0.2588 0.2437 Eq. (12) 0.59990.4274 0.3775 0.5915 0.3177 0.3126 Eq. (16) 0.7459 0.5767 0.53150.6932 0.4411 0.44600与原始给定的相同含义的02 ) ij =0� 2 i = j − A ij / �0D ii D jj i � = j。从Eqs.(13)，(14)和(15)可以得到GALA的数值稳定解码器层的表达式如下：02 H (m) Θ (m))，(m = M02 , ..., M −1)，(16)0其中 ˆ A = 2 I n − A 且 ˆ D = 2 I n + D。GALA的编码器部分使用GCN [14]中的Eq. (7)构建，如下所示：02 H (m) Θ (m))，(m = 0 , ..., M02 − 1) ,(17)0其中 H (0) = X 是输入节点的特征矩阵，˜ A = I n + A 且 ˜D = I n + D 。传播函数Eq. (16)和Eq. (17)的复杂度都是 O(mpc)，其中 m 是图中边的基数，p是上一层的特征维度，c是当前层的特征维度。由于复杂度与图中边的数量成线性关系，所以提出的算法在计算上是高效的（假设 A是稀疏的）。此外，根据Eq.(17)，由于GALA使用图结构和节点特征来解码潜在表示，GALA的增强解码器可以帮助找到更加独特的潜在表示。在表1中，我们通过节点聚类实验展示了Laplacian平滑不适合解码器的原因以及数值稳定的Laplacian锐化的必要性（较高的值表示更正确的结果）。Laplacian平滑解码器（Eq.7）的性能最低，因为Laplacian平滑使得每个节点的表示与其邻居节点的表示类似，与重建成本的目的相冲突。数值不稳定的Laplacian锐化解码器（Eq.12）显示出比平滑解码器更高的性能，因为Laplacian锐化的作用与重建节点特征一致。提出的数值稳定的Laplacian锐化解码器（Eq.16）的性能明显高于其他解码器，因为它解决了神经网络的不稳定性问题，同时保持了原始Laplacian锐化的含义。GALA的基本成本函数如下：0min ¯ X 1/2 ∥ X - ¯ X ∥_F, (18)min¯X,H,AH65230(a) YALE0(c) MNIST 图2：三个图像数据集的样本图像0其中¯ X是节点的重构特征矩阵，¯X的列对应于节点输入特征的解码器输出，∥ ∙∥_F表示Frobenius范数。03.3. 图像聚类的子空间聚类成本0众所周知，图像数据集通常来自于多个低维子空间，尽管它们的数据维度很高。因此，子空间聚类在各种图像数据集上展现出了显著的聚类性能，因为它在自身定义中对输入数据有这样的假设。因此，在图像聚类任务中，我们将子空间聚类的元素添加到所提出的方法中。在各种子空间聚类模型中，我们添加了最小二乘回归（LSR）[22]模型以提高计算效率。然后，GALA的训练成本函数变为：01/2 ∥ X - ¯ X ∥_+ λ02 ∥ H - HA H ∥_F +µ02 ∥ A H0(19)其中H ∈ IR k ×n表示潜在表示（即编码器的输出），A H ∈ IR n ×n表示亲和矩阵，是子空间聚类的新的潜在变量，λ、µ是正则化参数。方程（19）的第二项旨在实现子空间聚类的自表达模型，方程（19）的第三项是为了正则化AH。如果我们只考虑最小化A H，问题变为：0min A H λ/2 ∥ H - HA H∥_F + µ02 ∥ A H ∥_F. (20)0我们可以通过LSR模型在变量A H上的二次项来轻松获得解析解A*H = (H^T H + µλI_n)^-1H^TH。通过使用这个解析解和奇异值分解，我们得到了一个计算效率高的子空间聚类成本函数，如下所示（详细信息请参见补充材料）：0min ¯ X,H 1/2 ∥ X - ¯ X∥_F + µλ02 tr((µI_k + λHH^T)^-1 HH^T),0其中tr(∙)表示矩阵的迹。上述问题可以通过k×k矩阵求逆来解决，而不是n×n矩阵求逆。由于潜在表示的维度(k)远小于节点数(n)，这种简化可以将计算负担从O(n^3)显著降低到O(k^3)。03.4. 训练0我们使用ADAM算法[12]来训练GALA，以最小化方程（18）。我们在每个训练周期中使用完整的批次来确定性地训练GALA，并在成本收敛时停止训练，因此每个数据集的训练周期数是不同的。需要注意的是，在基于图的谱卷积的神经网络中，使用完整的批次进行训练是一种常见的方法。具体来说，我们将学习率设置为1.0×10^-4进行训练，并且以无监督的方式训练GALA，不使用任何聚类标签。当将子空间聚类成本添加到图像聚类任务的重构成本中时，我们使用类似于[11]中的预训练和微调策略来训练GALA。首先，在预训练阶段，训练方法与最小化方程（18）相同。预训练后，我们使用ADAM对GALA进行微调，以最小化方程（21）。与预训练一样，我们在每个训练周期中使用完整的批次来确定性地训练GALA，并将微调阶段的训练周期数设置为50，适用于所有数据集。我们将学习率设置为1.0×10^-6进行微调。训练过程结束后，我们使用获得的潜在表示H*构建k近邻图。然后我们进行谱聚类[26]并获得聚类性能。在图像聚类的情况下，所有训练过程结束后，我们使用先前子节中的获得的潜在表示矩阵H*构建最优亲和矩阵A*H。0然后我们对相似度矩阵执行谱聚类[26]，并根据我们的成本函数得到最优的聚类结果。04. 实验04.1. 数据集0我们使用四个网络数据集（Cora、Citeseer、Wiki和Pubmed）和三个图像数据集（COIL20、YALE和MNIST）进行节点聚类和链路预测任务。每个网络数据集都有特征矩阵X和相似度矩阵A，每个图像数据集只有特征矩阵X。每个数据集的摘要见表3，详细信息在补充材料中报告。此外，每个图像数据集的样本图像在图2中描述。04.2. 实验设置0为了衡量节点聚类任务的性能，我们使用三个指标：准确率（ACC）、归一化互信息（NMI）和调整兰德指数（ARI）。CoraCiteseerWikiGALA0.74590.57670.53150.69320.44110.44600.54470.50360.388865240表2：节点聚类的实验结果0准确率（ACC） 归一化互信息（NMI） 调整兰德指数（ARI）0Kmeans[21] 0.4922 0.3210 0.2296 0.5401 0.3054 0.2786 0.4172 0.4402 0.15070Spectral[26] 0.3672 0.1267 0.0311 0.2389 0.0557 0.0100 0.2204 0.1817 0.0146 Big-Clam[38] 0.2718 0.0073 0.0011 0.2500 0.0357 0.0071 0.15630.0900 0.0070 DeepWalk[28] 0.4840 0.3270 0.2427 0.3365 0.0878 0.0922 0.3846 0.3238 0.1703 GraEnc[33] 0.3249 0.1093 0.0055 0.2252 0.03300.0100 0.2067 0.1207 0.0049 DNGR[3] 0.4191 0.3184 0.1422 0.3259 0.1802 0.0429 0.3758 0.3585 0.17970Circles[17] 0.6067 0.4042 0.3620 0.5716 0.3007 0.2930 0.4241 0.4180 0.2420 RTM[4] 0.4396 0.2301 0.1691 0.4509 0.2393 0.2026 0.43640.4495 0.1384 RMSC[36] 0.4066 0.2551 0.0895 0.2950 0.1387 0.0488 0.3976 0.4150 0.1116 TADW[37] 0.5603 0.4411 0.3320 0.4548 0.29140.2281 0.3096 0.2713 0.04540VGAE[13] 0.5020 0.3292 0.2547 0.4670 0.2605 0.2056 0.4509 0.4676 0.2634 MGAE[35] 0.6844 0.5111 0.4447 0.6607 0.4122 0.4137 0.51460.4852 0.3490 ARGA[27] 0.6400 0.4490 0.3520 0.5730 0.3500 0.3410 0.3805 0.3445 0.1122 ARVGA[27] 0.6380 0.4500 0.3740 0.5440 0.26100.2450 0.3867 0.3388 0.10690表3：数据集摘要0# 节点 维度 类别 # 边缘0Cora[29] 2708 1433 7 5429 Citeseer[29] 3312 3703 6 4732Wiki[37] 2405 4973 17 17981 Pubmed[29] 19717 500 3 44338COIL20[25] 1440 1024 20 − YALE[8] 5850 1200 10 − MNIST[16]10000 784 10 −0我们使用[35]中的归一化互信息（NMI）、调整兰德指数（ARI）和准确率（ACC）作为评估指标。我们报告每个算法在执行50次后的三个指标的平均值，较高的值意味着更正确的结果。对于链路预测任务，我们按照GAE[13]的工作对数据集进行划分，并报告了10个随机初始化的AUC和平均精度（AP）的平均分数和标准误差。超参数等实现细节在补充材料中报告。04.3. 方法比较0我们比较了15种算法的性能。比较的算法可以分为以下四组：0•  i) 仅使用特征。'Kmeans'[21]是基于数据特征的K均值聚类算法，是我们实验中的基准聚类算法。0•  ii) 仅使用网络结构。'Spectral'[26]是一种使用图拉普拉斯矩阵的特征分解的谱聚类算法。'Big-Clam'[38]是一种利用非负矩阵分解的变体的大规模社区检测算法。'DeepWalk'[28]通过神经网络使用局部信息学习节点的潜在社交表示。'GraEnc' [33]是一种从关系中派生的图编码神经网络。0在自动编码器和谱聚类之间进行比较。'DNGR' [3]通过使用图结构和堆叠去噪自动编码器为每个节点生成低维表示。0•  iii) 同时使用两者。'Circles' [17]是一种通过节点聚类算法发现社交圈子的算法。'RTM' [4]提出了一种关系主题模型，用于处理文档和文档之间的链接。'RMSC' [36]是一种鲁棒的多视图谱聚类算法，可以处理数据中的噪声，并通过低秩和稀疏分解恢复转移矩阵。'TADW' [37]从矩阵分解的角度解释了DeepWalk，并结合了节点的文本特征。0•  iv) 在图上同时使用谱卷积。'GAE' [13]是第一个将谱卷积应用于自动编码器框架的尝试。'VGAE'[13] 是GAE的变分版本。'MGAE' [35]是一种自动编码器，它将边缘化过程与图上的谱卷积相结合。'ARGA' [27]通过向VGAE的非概率变体添加对抗模型来学习潜在表示。'ARVGA' [27] 是一种将对抗模型添加到VGAE的算法。04.4. 节点聚类结果0节点聚类的实验结果如表2所示。可以观察到，对于每个数据集，同时使用特征和网络结构的方法比只使用其中之一的方法表现更好。此外，在同时使用特征和网络结构的方法中，利用谱卷积在图上的神经网络模型的算法表现出色。COIL20YALEMNISTACCNMIARIACCNMIARIACCNMIARIGALA0.80000.87710.75500.85300.94860.86470.73840.75060.6469GALA+SCC0.82290.88510.75790.99330.98600.98540.74260.75650.6675ACCNMIARIGALA0.69390.32730.3214min¯X,H12∥X − ¯X∥2F + γEH[log p( ˆA|H)].(22)65250表4：图像聚类的实验结果0Kmeans[21] 0.6118 0.7541 0.5545 0.7450 0.8715 0.7394 0.5628 0.5450 0.4213 Spectral[26] 0.6806 0.8324 0.6190 0.5793 0.7202 0.4600 0.64960.7204 0.5836 GAE[13] 0.6632 0.7420 0.5514 0.8520 0.8851 0.8122 0.7043 0.6535 0.5534 VGAE[13] 0.6847 0.7465 0.5627 0.9157 0.9358 0.88730.7163 0.7149 0.6154 MGAE[35] 0.6507 0.7889 0.6004 0.8203 0.8550 0.7636 0.5807 0.5820 0.4362 ARGA[27] 0.7271 0.7895 0.6183 0.93090.9394 0.8961 0.6672 0.6759 0.5552 ARVGA[27] 0.7222 0.7917 0.6240 0.8727 0.8803 0.7944 0.6328 0.6123 0.49090表5：Pubmed数据集上的实验结果0Kmeans[21] 0.5952 0.3152 0.2817 Spectral[26] 0.5282 0.09710.0620 GAE[13] 0.6861 0.2957 0.3046 VGAE[13] 0.6887 0.31080.3018 MGAE[35] 0.5932 0.2822 0.2483 ARGA[27] 0.68070.2757 0.2910 ARVGA[27] 0.5130 0.1169 0.07770由于它们可以学习节点之间更深层的关系，因此在每个实验中，GALA表现出优越的性能。特别是对于Cora数据集，GALA在ACC、NMI和ARI上的性能分别比第一个图卷积自动编码器框架VGAE高出约24.39%、24.75%和27.68%，比最先进的图卷积自动编码器算法MGAE高出约6.15%、6.56%和8.68%。GALA的更好性能来自于基于数值稳定的Laplaciansharpening的更好解码器设计，以及在整个自动编码器框架中充分利用图结构和节点属性。此外，我们在一个大型网络数据集（Pubmed）上进行了另一个节点聚类实验，结果如表5所示。我们可以观察到，GALA优于所有基线和最先进的图卷积算法。尽管基线算法Kmeans聚类在NMI和ARI上表现较好，但所提出的方法表现更好。04.5. 图像聚类结果0图4中呈现了图像聚类的实验结果。我们报告了GALA仅重构代价情况下的性能以及添加了子空间聚类代价的情况（GALA+SCC）。可以看到，在大多数情况下，GALA优于几种基线方法和最先进的图卷积算法。此外，对于每个数据集，我们还提供了GALA和其他方法的二维可视化结果。0在每种情况下，所提出的子空间聚类代价项都有助于提高图像聚类的性能。值得注意的是，在YALE数据集上，我们可以观察到所提出的子空间聚类代价项显著提高了图像聚类的性能，并实现了几乎完美的准确性。04.6. 消融研究0我们通过对三个图像数据集（COIL20、YALE和MNIST）进行图像聚类实验来验证所提出的稳定解码器和子空间聚类代价的有效性。如表6所示，有四种配置。我们想指出的是，仅重构代价（方程18）是子空间聚类代价（方程21）的一个子集，因此最后一种配置是完整的提出的方法。报告的数字是执行50次后的平均值。可以清楚地看到，数值稳定的拉普拉斯锐化和子空间聚类代价有助于找到能够准确反映图结构的潜在表示，并且使用这两个组件可以提高聚类的性能。此外，可以看到仅具有重构代价的稳定解码器在大多数情况下优于现有技术算法，因为GALA可以在自动编码器架构的整个过程中利用图结构。04.7. 链接预测结果0我们在Cite-seer数据集上进行了一些链接预测任务的结果。对于链接预测任务，我们最小化了下面的代价函数，该函数将GAE[13]的链接预测代价添加到重构代价中，其中H是潜在表示，ˆA =sigmoid(HHT)是重构的亲和矩阵，γ是正则化参数。0结果如表7所示，我们的模型在链接预测任务和节点聚类任务方面优于其他方法。COIL20YALEMNISTACCNMIARIACCNMIARIACCNMIARI10505101050510(a) Cora (raw)f10075502502550751001007550250255075100(b) Cora (GALA)f402002040402002040(c) Citeseer (raw)f60402002040606040200204060(d) Citeseer (GALA)f(e) YALE (raw)(f) YALE (VGAE)(g) YALE (MGAE)(h) YALE (ARGA)(i) YALE (GALA)AUCAPGAE[13]89.5 ± 0.0489.9 ± 0.05VGAE[13]90.8 ± 0.0292.0 ± 0.02ARGA[27]91.9 ± 0.00393.0 ± 0.003ARVGA[27]92.4 ± 0.00393.0 ± 0.003GALA94.4 ± 0.00994.8 ± 0.01065260表6：稳定解码器和子空间聚类代价的效果0不稳定解码器和重构损失（方程12和方程18） 0.5961 0.7986 0.5492 0.7205 0.9028 0.7530 0.6589 0.7397 0.59830不稳定解码器和子空间聚类代价（方程12和方程21） 0.7104 0.8074 0.6429 0.7810 0.8710 0.7130 0.6734 0.7211 0.60280仅稳定解码器和重构损失（方程16和方程18） 0.8000 0.8771 0.7550 0.8530 0.9486 0.8646 0.7384 0.7506 0.64690稳定解码器和子空间聚类代价（方程16和方程21） 0.8229 0.8851 0.7579 0.9933 0.9860 0.9854 0.7426 0.7565 0.66750f图3：展示了Cora、Citeseer和YALE的每个节点的原始特征和比较方法以及GALA的潜在表示的二维可视化结果。相同的颜色表示相同的簇。0表7：Citeseer上链接预测的实验结果04.8. 可视化0所提出的自动编码器的一个关键思想是编码器使每个节点的特征与其邻居相似，而解码器使用图的几何结构使每个节点的特征与其邻居可区分。为了验证所提出的模型，我们使用t-SNE [