多层网络节点嵌入方法MELL及其在链接预测中的优越性

12610MELL：多层网络的有效嵌入方法0Ryuta Matsuno 计算机科学系 计算机学院 东京工业大学目黑区 东京 日本 ryutamatsuno@net.c.titech.ac.jp0Tsuyoshi Murata 计算机科学系 计算机学院东京工业大学 目黑区 东京 日本 murata@c.titech.ac.jp0摘要0网络嵌入是一种将网络中的节点转换为低维向量的方法，保留其结构和节点之间的相似性。嵌入在许多应用中被广泛使用，例如社交网络分析和知识发现。由于其广泛的使用，已经提出了许多研究，如DeepWalk，LINE和node2vec。这些工作都是针对单层网络设计的，然而，现实世界的网络通常不仅具有一种连接，而是多种类型的连接。因此，将它们表示为多层网络更为合适，每个层代表一种关系类型。嵌入多层网络很困难，因为必须考虑所有层的结构。在本文中，我们提出了一种新的嵌入方法MELL，它采用了一种捕捉和描述每个层连接性的层向量的思想。该方法有效地利用了整体结构，并嵌入了有向和无向的多层网络，无论它们的层结构是相似还是互补。我们专注于链接预测任务，并使用来自不同领域的五个数据集测试了我们的方法和其他基准方法。结果表明，我们的方法在所有数据集上都优于所有基准方法。0CCS概念0• 计算方法学 → 无监督学习；学习潜在表示；• 计算理论 →社交网络；0关键词0多层网络，网络嵌入，链接预测，网络分析0ACM参考格式：Ryuta Matsuno和TsuyoshiMurata。2018。MELL：多层网络的有效嵌入方法。在WWW '18Companion：2018年万维网会议伴侣，2018年4月23日至27日，法国里昂。ACM，美国纽约，纽约，8页。https://doi.org/10.1145/3184558.319156501 引言0网络嵌入旨在将网络中的节点转换为较低维度的向量。嵌入向量是通过学习得到的0本文采用知识共享署名4.0国际许可协议（CC BY4.0）发布。作者保留在其个人和公司网站上传播作品的权利，并附上适当的归属。WWW'18 Companion，2018年4月23日至27日，法国里昂© 2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.31915650图1：无向多层网络的示例图。该多层网络有三个层，它们共享四个节点。连续线表示每个层中的边。由虚线连接的两个节点是相同的对应节点；它们是彼此的对应物。0为了保留一些特定的信息，如结构连接性、结构距离或节点之间的相似性[8]，需要对数据进行嵌入。由于其广泛的使用，最近提出了许多方法，如DeepWalk [13]，LINE [16]，node2vec [9]和APP[18]。测试嵌入方法的常见任务包括可视化、多类别标记和链接预测。链接预测对于许多应用非常有用，例如在线社交网络中的朋友推荐和语义网络中的知识发现。因此，本文重点研究链接预测任务。现有的嵌入方法主要用于单层网络，然而，现实世界中的网络通常被表示为多层网络[7]。多层网络是一个多层网络，各层共享相同的节点集合[14]。多层网络表示了同一组节点之间的不同类型的连接。例如，由同一组人使用的在线社交网络被表示为一个多层网络，其中每个层表示一个在线社交网络服务。在基因网络的情况下，基因之间的多种类型的相互作用被描述为一个多层网络。在多层网络中，层之间的连接会相互影响，这使得独立分析每个层变得困难。图1显示了一个无向多层网络的示例。该多层网络有三个层，这些层共享四个节点。第2层和第3层的结构几乎相同，因此在第3层中预测节点A和节点B之间的潜在链接是自然而然的。这个预测是容易和合理的，然而，没有0矿业属性网络WWW 2018，2018年4月23日至27日，法国里昂12620对于第2层，由于结构信息有限，很难预测该链接。因此，现有的单层网络嵌入方法对于多重网络不起作用。MTNE[17]是一种用于多重网络的现有嵌入方法。该方法通过强制额外的信息共享嵌入来联合学习每个层中每个节点的嵌入向量。它预测多重网络中的链接，但问题是他们的模型似乎只适用于层之间相似的多重网络。多重网络中的链接预测的另一种方法是生成模型。MULTITENSOR[4]是一种使用泊松分布分解多重网络的邻接张量的方法。基于分解，该方法重新生成邻接张量，并将张量用于链接预测。然而，并不总是泊松分布生成多重网络。在本文中，我们提出了MELL（M ultiplex network Embedding via L earning L ayervectors）的方法。它将每个层嵌入到较低维度的嵌入空间中，并强制这些嵌入彼此接近，以便在嵌入之间共享每个层的连接性。我们还结合了一种捕捉和描述每个层连接性的新颖层向量的思想。MELL同时使用所有层结构学习嵌入向量和层向量，并基于这些嵌入和层向量，该方法计算链接预测的边缘概率。由于强制和层向量，MELL在链接预测方面表现良好，无论层结构是相似还是互补。我们使用来自不同领域的五个数据集（社交、合著、交通、神经和遗传领域）对我们的方法和其他四种基准方法进行链接预测任务的测试。实验结果表明，我们的方法在所有数据集上优于所有基准方法。最高时，我们的方法的AUC分数比基准方法高出25%。02相关工作0在本节中，我们介绍相关工作：网络嵌入和生成模型。02.1网络嵌入0网络嵌入是一种通过将网络中的节点转换为嵌入空间中的向量，将网络嵌入到较低维度空间的方法。其中一种著名的方法是基于随机游走的方法[3]，例如DeepWalk[13]，LINE[16]，node2vec[9]和APP[18]。这些方法使用通过随机游走获得的采样路径来更新和优化嵌入向量。我们在实验中使用APP作为代表性的单层嵌入方法，因为APP是这些方法中最新的工作，也是最好的用于链接预测的方法。此外，APP可以嵌入无向和有向网络。对于多重网络，MTNE（Multi-TaskNetwork Embeddingmethod）[17]是代表性的方法之一。它将简单的嵌入方法扩展到多重网络，并通过强制额外的信息共享嵌入来联合学习多重网络中每个层的嵌入向量。MTNE的作者假设在不同层中，相同的节点将展示相似或互补的特征。强制信息共享。0嵌入是共享所有层的特征的方法。嵌入过程如下：i）MTNE将每个层嵌入到较低维度空间中，ii）计算信息共享嵌入，iii）使用信息共享嵌入优化嵌入向量，iv）重复步骤ii）和iii）直到嵌入向量收敛。作者提出了两种信息共享嵌入的方法：MTNE-C，共享一个公共嵌入，和MTNE-R，共享一个一致的嵌入。他们通过网络可视化、链接预测和多标签分类测试了MTNE方法。MTNE-R和MTNE-C比包括DeepWalk和LINE在内的其他方法效果更好。他们还表明，链接预测的最佳方法是“MTNE-R Consensus”（简称MTNE-RCons.），它是MTNE-R的一个变体。MTNE-R仅仅使用一致的嵌入来优化每个层的嵌入，并使用每个层的嵌入来预测每个层中的链接。另一方面，MTNE-RCons.使用一致的嵌入来预测所有层中的链接。一致的嵌入类似于所有层嵌入的平均嵌入，并且在实验中很好地预测链接。然而，MTNE-RCons.忽略了层之间的差异，因为它在所有层中使用完全相同的嵌入向量进行链接预测。对于层结构不同的多重网络，MTNE-RCons.效果不好。MTNE-C和MTNE-R也不起作用，因为信息共享嵌入不能改善整体嵌入。MTNE方法的问题在于它们假设层结构相似。确实，社交网络往往具有相似的层结构。因此，MTNE方法似乎对社交网络有效，但对于结构相似性不能保证的其他网络（例如交通网络和遗传网络）则不起作用。另一个问题是MTNE方法仅适用于无向多重网络，因此这些方法不能用于有向多重网络。02.2 生成模型0多重网络中的链接预测的另一种方法是生成模型。生成模型将多重网络的邻接矩阵视为一个张量。然后，模型试图找到生成该张量的隐藏参数，假设特定的概率分布。MULTITENSOR[4]是用于多重网络的生成模型。作者将混合成员随机块模型扩展到多重网络。他们假设各层共享潜在的共同社区结构，这些结构决定了所有层中的连接性。形式上，MULTITENSOR类似于泊松张量分解模型。MULTITENSOR将邻接张量分解为三个矩阵，两个成员矩阵和一个亲和矩阵。分解后，它重新生成邻接张量，并将张量用于诸如链接预测之类的任务。该方法可用于有向和无向网络。在三个真实网络上进行了链接预测实验，MULTITENSOR在实验中表现最好。然而，并不能保证任何多重网络中存在潜在的社区结构。同时也不能保证任何多重网络是基于泊松分布生成的。0Track：挖掘属性网络WWW 2018年4月23日至27日，法国里昂In this paper, we usev for nodes, lower case letters (i.e., x except forv) for scalar values, lower case roman-bold letters (i.e., x) for vectors,upper case roman-bold letters (i.e., X) for matrices or tensors, uppercase calligraphic letters (i.e., X) for sets. The notation ∥ · ∥F denotesthe Frobenius norm. A term a · b denotes the inner product of thevectors a and b. A term aT denotes the transpose of the vector a.−3.4MELLTrack: Mining Attributed Networks WWW 2018, April 23-27, 2018, Lyon, France12630本节中，我们解释我们的方法MELL。首先，我们定义符号和术语，然后解释单层网络的基本嵌入方法。之后，我们阐述我们的方法及其算法的思想。0我们的方法0在本文中，我们使用v表示节点，小写字母（即x，除了v之外）表示标量值，小写罗马粗体字母（即x）表示向量，大写罗马粗体字母（即X）表示矩阵或张量，大写花体字母（即X）表示集合。符号∥∙∥F表示Frobenius范数。术语a∙b表示向量a和b的内积。术语aT表示向量a的转置。03.1 符号03.2 术语定义0本文研究的网络都是多重网络。多重网络的定义如定义3.1所示。0定义3.1（多重网络）。多重网络由一组网络组成。每个网络称为一个“层”，所有层具有相同的节点集。具体而言，多重网络G ={G1，...，Gl，...，GL}，其中Gl=（Vl，El）表示G中的第l层。L是层数的总数。Vl表示节点集合，El表示第l层中的边集。换句话说，El � Vl × Vl，Vl ={vl1，...，vli，...，vlN}，其中vli表示第l层中的第i个节点。N表示节点的数量。对于vli，所有其他层中的第i个节点都是其对应节点，例如v1i，...，vLi彼此对应。我们用M表示所有现有边的总数，即M =∑Ll=1|El|。对于无向网络，0对于无向网络，(vli，vlj) = (vlj，vli)，而对于有向网络，(vli，vlj) ≠(vlj，vli)。我们将“头”用于有向边的起始节点，“尾”用于有向边的终止节点，例如对于(vli，vlj)，vli是头，vlj是尾。0在本文中，我们研究了一种在多重网络中预测缺失或潜在边的方法。该问题的定义如下。0定义3.2（多重网络中的链接预测问题）。给定一个多重网络G，“多重网络中的链接预测问题”旨在推断G中任意层中的缺失或潜在边。形式上，基于给定的多重网络G，目标是生成一个边概率函数p：Vl×Vl→[0，1]（l =1，...，L）。p的输出值显示输入节点之间形成边的可能性有多大。03.3 内积方法0我们介绍了单层网络的基本嵌入方法之一，即内积方法[12][17]，本文中的方法就是基于此方法。这种方法也被应用在MTNE中。在内积方法中，节点 v i 和 v j 之间存在边的概率计算如下：0p ( v i , v j )01 + exp (− v i T ∙ v j ) , (1)0其中 v i 和 v j 分别表示 v i 和 v j的嵌入向量。给定一个网络，连接节点对的输出值应该接近于1，未连接节点对的输出值应该接近于0。因此，该方法学习嵌入向量以最大化生成原始网络的可能性。可能性如下所示：0( v i , v j ) ∈E p ( v i , v j) �0( v i , v j ) ∈0� 1 − p ( v i , v j ) � , (2)0其中 E表示已存在的边集。通常为了方便计算，对数似然被用作损失函数，并且为嵌入向量添加了一个正则化项。最终的损失函数如下所示，应该最小化：0损失函数 ( E ; λ�0( v i , v j ) ∈E log p (v i , v j )0( v i , v j ) ∈ E log � 1 − p (v i , v j ) �0+ λ ∥ V ∥ 2 F , (3)0其中 V 表示嵌入向量的矩阵，V 的第 i 行是 v i 的嵌入向量，λ表示正则化系数。内积方法通过最小化公式(3)将给定单层网络中的所有节点嵌入到 d维嵌入空间中。在嵌入之后，该方法通过公式(1)计算 p ( v i , v j )来预测 v i 和 v j 之间是否会形成边。0我们提出了MELL，一种通过学习层向量进行多重网络嵌入的方法。MELL基于上述内积方法，并融入了以下新思想：0•MELL将每一层中的节点嵌入到一个d维空间中，并强制要求相同节点在不同层之间的嵌入向量彼此靠近，以便在嵌入中共享所有层的结构。•MELL学习表征层连接性的层向量，以区分每一层中的边概率。•对于无向多重网络，MELL对每个节点使用两个向量；一个作为头部的嵌入向量，另一个作为尾部的嵌入向量。0我们的方法的整体过程如图2所示。MELL将每一层的节点嵌入到学习层向量的低维空间中。在学习嵌入之后，它通过计算边概率来预测链接。第一个思想是将每一层嵌入到嵌入空间中并强制它们靠近。通过这种强制，嵌入向量不仅从一层的连接性中学习，还从所有其他层的连接性中学习。具体而言，MELL对每一层应用内积方法。标准内积E[V] = 1L+i + rl )T · vlj+H i + rl )T · vT ljTrack: Mining Attributed Networks WWW 2018, April 23-27, 2018, Lyon, France12640图2：MELL预测链接的整体过程。给定一个多重网络，MELL将每一层的节点嵌入到低维空间中，并学习层向量。在学习嵌入之后，通过公式(6)计算边概率来预测链接。0产品方法仅仅学习了一层中的结构连接。因此，为了利用每个嵌入的所有层的连接性，MELL强制要求相同节点的嵌入向量彼此靠近。MELL通过在损失函数中添加一个正则化项来实现这个想法。形式上，这个项被设计为嵌入向量的方差。强制项如下所示：0（强制项） = β V [ V ]，(4)0其中，V [ V ] =10l = 1 ∥ V [ l ] - E [V ] ∥ 2 F，0l = 1 V [l ]，0其中，β 表示正则化系数，V ∈ R L × N × d表示包含给定多重网络的所有嵌入向量的嵌入张量。V [l] 表示第 l层节点的 N × d 嵌入矩阵。L、N 和 d分别表示层数、节点数和嵌入空间的维度。E [V]计算了层之间的平均嵌入矩阵，V [V]计算了嵌入向量的方差。然而，即使多重网络中的层结构不同，强制性也会阻止嵌入向量的差异。这导致了较差的链接预测，因为即使某些层具有不同的结构，基于嵌入的方法也会以几乎相同的概率在所有层之间预测相同节点对之间的边。为了区分每个层中的边概率，我们引入了层向量的思想。层向量是一个向量，它确定了层中所有节点对的边概率。形式上，v l i 和 v l j 之间的边概率如下计算，使用层向量r l：0p ( v l i , v l j ) = 10� ，(5)0其中，v l i 和 v l j 分别表示 v l i 和 v l j 的嵌入向量。r l 表示第 l层的层向量。层向量实际上学习了层之间的连接关系。通过强制和等式(5)，如果层之间相似，层向量也相似；如果层之间不同，层向量也不同。因此，层向量捕捉并描述了每个层中的连接性，并将其与其他层结构进行比较。层向量的缺点是其不对称性。原始的内积方法适用于无向网络，因为等式 (1) 中的 p 是对称的，即 p ( v i , v j ) = p ( v j ,v i )。在等式 (5) 中，p ( v l i , v l j ) 不等于 p ( v l j , v l i)，因为层向量被添加到头部嵌入向量中。这种不对称性对于有向网络来说不是问题，因为它们需要不对称的边概率。为了使我们的方法也适用于无向网络，我们为每个节点引入两个向量，一个作为头部，另一个作为尾部。这个想法受到了 APP [18]的启发，它使用了类似等式 (5)的不对称边概率。由于需要使用两个嵌入向量来融合这个想法，我们重新定义了 p ( v l i , v l j ) 如下：0p ( v l i , v l j ) = 10� ，(6)0其中，v H l i 表示 v l i 的头部嵌入向量，v T l j 表示 v l j的尾部嵌入向量。在有向网络中，一个0向量作为头部和尾部始终相同，即 v H l i = v T l i 在任何 l 和任何 i中。考虑到这三个思想：强制性、融合层向量和在无向多重网络中使用两个向量，设计了用于优化嵌入向量和层向量的损失函数如下：Loss(Epos, Eneд; λ, β,γ ) = −�(vli ,vlj )∈Eposlogp(vli ,vlj )−�(vli ,vlj )neдlog�1 − p(vli ,vlj )�1https://comunelab.fbk.eu/data.phpTrack: Mining Attributed Networks WWW 2018, April 23-27, 2018, Lyon, France12650+ β(V[VH] + V[VT])0+ 0N(∥VH∥2F + ∥VT∥2F) +0其中V H，V T ∈ RL × N ×d表示头部和尾部的嵌入张量，其中包含所有头部和尾部的嵌入向量。R ∈ RL × d表示层向量。Epos表示给定多重网络中的所有现有边，即E pos = E1∪...∪EL。Eneд是负样本集。它们是从给定多重网络中的所有未连接节点对中均匀随机采样的。负样本的数量是k|Epos|，其中k是一个参数。第三项基本上是Eq.（4）中的强制项，但为了使用V H和VT进行修改。β表示这个强制项的正则化系数。λ和γ分别表示嵌入向量和层向量的正则化系数。第四项除以N以归一化λ的影响。为了最小化损失，我们的方法学习最优的V H，VT和R。学习后，我们使用Eq.（6）来预测边。由于层向量，我们的方法基本上适用于有向多重网络。因此，我们引入了额外的过程来处理无向网络；我们将一个无向边视为两个有向边。首先，为了学习嵌入向量，将E pos设置为E1∪...∪EL∪E′1∪...∪E′L，其中E′l = {(vlj, vli) |(vli, vlj) ∈ El}。其次，在学习嵌入向量之后，我们使用p(vli,vlj)的平均值和0学习嵌入向量时，我们使用p(vli, vlj)的平均值和0p(vlj, vli)用于预测边(vli,vlj)。我们的方法一共有五个参数：嵌入空间的维度d，负采样率k，嵌入向量的正则化系数λ，方差的正则化系数β和层向量的正则化系数γ。这些参数应该通过网格搜索来确定。我们使用Python和TensorFlow实现了我们的方法。我们使用Adam[10]进行快速优化，但也可以使用其他标准的优化方法，如梯度下降。学习V H，V T和R的整个MELL过程如算法1所示。03.5 复杂度分析0MELL的总时间复杂度为O(td(kM +NL))，其中t表示迭代次数，k表示负采样率，L，N，M分别表示给定多重网络中的层数、节点数和边数。04 实验0在本节中，我们解释了我们进行的实验。首先，我们解释了数据集的细节，实验设置，要比较的基准方法和评估指标。之后，我们展示了实验结果。我们还报告了我们方法的参数敏感性。0算法1 MELL算法0输入：多重网络G ={G1，...，GL}，嵌入空间的维度d，负采样率k，嵌入向量的正则化系数λ，方差的正则化系数β，层向量的正则化系数γ 输出：头部和尾部的嵌入张量V H，V T ∈ RL × N ×d，层张量R ∈ RL × d01: 函数MELL(G, d, k, λ, β, γ)02: 用随机值初始化V H，V T，R03: E pos ← E1∪...∪EL04: 当（未收敛）时执行05: E neд ← 负样本，|E neд| = k|E pos|06: 通过公式（7）计算损失函数（E pos，E07: 更新V H，V T，R08: 结束while循环09: 返回V H，V T，R010: 结束函数04.1 数据集0我们使用来自不同领域的五个数据集对我们的方法和基线方法进行测试：社交、合著、交通、神经和遗传领域。数据集的基本统计数据如表1所示。L，N，M分别表示层数、节点数和所有现有边的数量。所有数据集都来自CoMuNe实验室的网站1。数据集的解释如下：0•  CS-Aarhus [ 11 ]：这个无向多重社交网络由奥胡斯大学计算机科学系的员工之间的五种在线和离线关系（Face-book，Leisure，Work，Co-authorship，Lunch）组成。 •Pierre Auger Collaboration [ 5 ]：这个无向合著多重网络包含了Pierre AugerCollaboration内16种不同的工作任务。层代表中微子、探测器、增强和其他任务。该网络原本是加权的，但我们在实验中忽略了权重。 •  EU Air Transportation [ 1 ]：这个无向交通多重网络由37个不同的层组成，每个层对应欧洲的一家不同的航空公司。节点是机场，边是航线。 •  C.ElegansConnectome [ 2 ] [ 6 ]：这个定向神经多重网络，Caenorhabditis ElegansConnectome，由三种不同的突触连接组成：电突触、化学单态突触和多态突触。 •  Xenopus [ 15 ] [ 6 ]：这个定向遗传多重网络包含了五种不同的生物体相互作用：关联、直接相互作用、物理关联、共定位和抑制性遗传相互作用，由不等式定义。作者使用了生物通用相互作用数据集3.2.108（BioGRID，thebiogrid.org，更新于2014年1月1日）的Xenopuslaevis数据。12660表1：数据集的属性。L，N，M分别表示层数，节点数和所有现有边的总数。Type表示数据集的类型。0数据集 L N M 类型 定向0CS-Aarhus 5 61 620 社交 无向 Pierre Auger Collaboration 16 514 7153 合著 无向 EU AirTransportation 37 450 3588 交通 无向 C.Elegans Connectome 3 279 5863 神经 定向 Xenopus 5 461620 遗传 定向04.2 实验设置0给定一个来自数据集的多重网络，首先我们将所有现有的边随机分成五部分，每部分都有每层边的20%。我们在训练边的比例αt从20%到80%之间以20%的增量变化。根据αt，我们选择一个到四个分割边的部分，并将它们用作训练边。其他部分用作正测试边。这些正测试边与其他未连接的节点对隐藏在一起，以便方法无法区分测试边和真正未连接的节点对。对于测试，我们随机均匀地采样真正未连接的节点对作为负测试边。正测试边和负测试边的数量是相同的。我们同时使用正测试边和负测试边进行测试。我们均匀地更改训练边部分的选择组合五次，并将平均分数作为最终结果报告。当αt为20%时，这个实验设置与五折交叉验证相同。对于评估，我们使用AUC分数，这是一个用于链接预测任务的众所周知和标准的度量标准。04.3 基线方法0在这个实验中，我们测试了4种现有的方法和我们的方法：APP，MTNE-R，MTNE-RCons.，MULTITENSOR和MELL。除了MULTITENSOR不是嵌入方法外，我们为了公平比较，对于嵌入方法使用相同的维度 d =128。对于其他参数，如正则化系数，我们对每个数据集进行网格搜索以找到最佳参数。基线方法的解释如下：0• APP [18]:这种方法嵌入有向和无向的单层网络。在这个实验中，我们将这种方法天真地应用于每一层，因此这种方法只使用一个层，忽略其他层。• MTNE-R [17]:这种方法用于嵌入无向多重网络。它将每个层嵌入到嵌入空间中，然后计算一致性嵌入。使用一致性嵌入，它优化每个层的嵌入，并将每个嵌入用于每个层的链接预测。我们将所有未连接的节点对作为负样本进行学习。• MTNE-R Cons. [17]:这种方法是MTNE-R的变体。与MTNE-R不同，这种方法使用一致性嵌入来进行所有层的链接预测，忽略层之间的差异。•MULTITENSOR [4]:这是一种基于泊松分布的生成模型。它分解邻接张量0并使用获得的矩阵进行链接预测。原始方法仅使用部分层进行链接预测，但在这个实验中，为了公平比较，使用了所有层。04.4 结果0我们将αt设置为20％，40％，60％和80％。对于每个αt，我们测试基线方法和我们的方法使用所有数据集。实验结果显示在表2中。表中的值是AUC分数。对于MTNE-R和MTNE-R Cons.，C.ElegansConnectome和Xenopus的结果设置为“-”，因为它们是有向多重网络。首先，完全忽略其他层结构的APP在所有数据集中显示出最差的分数。对于EU AirTransportation网络，APP几乎是随机预测链接。另一方面，使用其他层的结构连接的其他方法比APP表现更好。MELL优于所有现有方法，包括APP，MTNE-R，MTNE-RCons.和MULTITENSOR。对于有向网络C.ElegansConnectome和Xenopus，与多重网络的一个基线方法相比，MELL显示出显著更高的AUC分数。特别是对于Xenopus数据集，MELL的AUC分数至少比MULTITENSOR高20％，在αt =80％时高25％。对于无向网络，MELL也显示出更高的AUC分数。这些结果表明，MELL有效地利用了多重网络中所有层的结构连接。我们预计MTNE模型在层结构与彼此不相似的多重网络上不起作用。正如我们预期的那样，MTNE-R和MTNE-RCons.在CS-Aarhus和Pierre AugerCollaboration上显示出可比较的AUC分数。它们分别是一个社交网络和一个合著网络。可能它们具有相似的层结构。另一方面，EU AirTransportation的AUC分数明显低于MULTITENSOR和MELL。这是因为运输网络与社交网络不同，它们的层结构是互补的。MTNE-RCons.在原始论文的实验中表现优于MTNE-R，但它的AUC分数与MTNE-R几乎相同，没有明显的差异。04.5 参数敏感性0我们改变MELL的参数，以测试参数的敏感性。MELL需要五个参数；嵌入空间的维度d，负采样率k，以及三个正则化系数：嵌入向量的λ，方差的β和层向量的γ。我们将d设置为128，k设置为4.0，λ设置为10.0，β设置为1.0，γ设置为1.0作为默认参数，并选择一个参数进行变化。0Track: Mining Attributed Networks WWW 2018, April 23-27, 2018, Lyon, FranceAPP0.54610.66300.73760.7757MTNE-R0.69770.77880.79210.8492CS-AarhusMTNE-R Cons.0.69430.76450.81890.8370MULTITENSOR0.66450.78270.88620.9071MELL0.81730.88770.92240.9417APP0.60600.79130.88940.9434MTNE-R0.92140.95250.97650.9873Pierre Auger CollaborationMTNE-R Cons.0.92170.95420.97750.9874MULTITENSOR0.94510.97050.98170.9893MELL0.98110.99180.99560.9979APP0.43640.49040.55360.5828MTNE-R0.55350.68910.74460.7817EU Air TransportationMTNE-R Cons.0.55500.70100.74400.7683MULTITENSOR0.85160.90410.93440.9463MELL0.98060.98970.99410.9944APP0.58750.68000.72870.7518MTNE-R----C.Elegans ConnectomeMTNE-R Cons.----MULTITENSOR0.71670.80190.84340.8836MELL0.83600.91440.94300.9701APP0.51350.52600.55360.5442MTNE-R----XenopusMTNE-R Cons.----MULTITENSOR0.54690.59210.64410.6664MELL0.75750.81590.88180.913012670表2：实验结果。表中的值是AUC分数。αt是训练边与所有现有边的比率。由于MTNE-R和MTNE-RCons.适用于无向多重网络，表中的分数设置为“-”。粗体是每个数据集中相同αt的最佳值。0训练速率  α t0数据集 方法 20% 40% 60% 80%0参数固定其他参数以检查参数对链接预测的影响。结果显示在图3中。在此实验中，训练速率αt固定为60%。与之前的实验一样，AUC分数是五次结果的平均值。与其他参数相比，嵌入维度d对AUC分数的影响不大。负采样率k影响Xenopus的AUC分数。Xenopus更喜欢较高的k，因为Xenopus是数据集中最稀疏的网络。因此，为了增加链接预测结果的真负样本，Xenopus需要更高的k。正则化系数λ极大地影响CS-Aarhus、C.ElegansConnectome和Xenopus的AUC分数。它们在λ分别为10、100和1.0时显示出最高的AUC分数。正则化系数β控制MELL在层之间强制嵌入向量接近的程度。过小的β使嵌入无法学习其他层结构，过大的β会阻止嵌入变得不同。结果显示β=1到β=100的AUC分数最高，并且在β=0.1和β=1000时显示较低的分数。正则化系数γ用于层向量，它对Xenopus的结果产生了显著影响。Xenopus在10时显示出最高的分数，但在100时分数大幅下降。然而，对于Pierre AugerCollaboration和EU AirTransportation，没有参数对AUC分数产生太大影响。它们的AUC分数0几乎为1.0，因此MELL可以稳定地预测它们的链接，而不受参数变化的影响。05 结论0在本文中，我们提出了一种新的多重网络嵌入方法，称为MELL，它采用了一种描述层间连接性的层向量的思想。MELL使用所有层结构将每个层中的节点嵌入到较低的嵌入空间中，并结合层向量来区分层中的边概率。我们使用来自不同领域的五个数据集对我们的方法进行了链接预测任务的测试。我们通过AUC分数评估我们的方法和基准方法。实验结果表明，我们的方法在所有数据集上都优于所有基准方法，这表明MELL比现有方法更有效地学习多重网络的整体结构。对于未来的工作，我们将扩展我们的方法用于可视化和多标签分类任务。0致谢0本工作得到了东京工业大学-富士施乐合作研究（项目代码KY260195）、JSPS科学研究补助金（B）（授予号码17H01785）和JSTCREST（授予号码JPMJCR1687）的支持。0矿山属性网络WWW 2018，2018年4月23日至27日，法国里昂12680[1]嵌入维度d0[2]负采样率k0[3]嵌入向量的正则化系数λ0[4]方差的正则化系数β0[5]层向量的正则化系数γ0图3：MELL的参数敏感性。这些图显示了使用不同参数d，k，λ，β，γ进行链接预测的AUC分数。默认参数为d = 128，k = 4.0，λ = 10.0，β= 1.0，γ = 1.0，我们改变一个参数，固定其他参数。0参考文献0[1] Alessio Cardillo，Jesús Gómez-Gardeñes，Massimiliano Zanin，MiguelRomance，David Papo，Francisco del Pozo和StefanoBoccaletti。2013年。多重性的网络特征的出现。科学报告3（2013年2月），1344。https: //doi.org/10.1038/srep01344 [2] Beth L. Chen，David H. Hall和Dmitri B.Chklovskii。2006年。优化布线可以关联神经元的结构和功能。美国国家科学院院刊103,12（2006年），4723-4728。https: //doi.org/10.1073/pnas.0506806103 [3] PengCui，Xiao Wang，Jian Pei和WenwuZhu。2017年。网络嵌入的调查。ArXiv电子打印（2017年11月）。arXiv:1711.08752 [4]Caterina De Bacco，Eleanor A. Power，Daniel B. Larremore和CristopherMoore。2017年。多层网络中的社区检测，链接预测和层间依赖关系。物理评论E95，文章042317（2017年4月），10页。第4期。https://doi.org/10.1103/PhysRevE.95.042317[5] Manlio De Domenico，Andrea Lancichinetti，Alex Arenas和MartinRosvall。2015年。通过多层网络识别模块化流揭示了相互连接系统中高度重叠的组织。物理评论X5，文章011027（2015年3月），11页。第1期。https://doi.org/10.1103/PhysRevX.5.011027 [6] Manlio De Domenico，Mason A. Porter和AlexArenas。2015年。MuxViz：多层网络分析和可视化工具。复杂网络杂志3（2015年），159-176。第2期。https://doi.org/10.1093/comnet/cnu038 [7] Manlio DeDomenico，Albert SolÃľ-Ribalta，Emanuele Cozzo，Mikko KivelÃď，YamirMoreno，Mason A. Porter，Sergio GÃşmez和AlexArenas。2013年。多层网络的数学形式化。物理评论X3，文章041022（2013年10月），15页。第4期。https://doi.org/10.1103/PhysRevX.3.041022 [8] Palash Goyal和EmilioFerrara。2017年。图嵌入技术，应用