没有合适的资源?快使用搜索试试~ 我知道了~
跟踪:挖掘属性网络WWW 2018,2018年4月23日至27日,法国里昂1243A3embed:属性关联感知网络嵌入李志焕亚马逊Alexa Brain Purdue University西雅图,华盛顿jihwl@amazon.com摘要网络嵌入旨在学习网络中节点的低维向量表示,以保持结构特征。 它已被证明,这种表示是有帮助的几个图挖掘任务,如节点分类,链接预测,和社区检测。最近的一些工作已经尝试将该方法扩展到属性网络,其中每个节点与一组属性值相关联。 他们通过强制具有相似属性值的节点获得相似的向量表示来关注同质性关系。这是不必要的限制性的,并且错过了利用由连接节点的属性值中的模式所揭示的其他类型的关系来学习有洞察力的关系的机会。在本文中,我们提出了一个新的网络属性嵌入框架称为A3embed是知道的属性关联。A3embed支持显著的属性关联,而不仅仅是同质性关系,这有助于其对不同属性向量和噪声链接的鲁棒性。在真实数据集上的实验结果表明,与现有模型相比,该框架在不同的图挖掘任务上实现了更好的性能。ACM参考格式:Jihwan Lee和Sunil Prabahkar。2018年。 A3embed:属性关联感知网络嵌入。 在WWW '18伴侣:2018年网络会议伴侣,2018年4月23日至27日,法国里 昂 。 ACM , NewYork , NY , USA , 9 页 。https://doi.org/10.1145/3184558.31915631介绍旨在从真实世界数据提取有见地信息的数据挖掘和机器学习任务必须越来越多地处理复杂的网络数据。然而,将标准机器学习模型直接应用于网络数据是不现实的,因为网络本身缺乏可以在节点和链路之间提供信息模式的富有成效的特征表示。为了克服这一挑战,研究人员提出了用于学习通常由低维连续向量表示的新网络表示的方法。连续特征空间中的这种向量以更抽象的形式表示节点,同时保持节点之间的结构接近性,因此更适合于各种数据挖掘和机器学习任务。虽然最近提出的网络嵌入算法在各种任务上显示出可接受的性能[2,3,13,15,18,20],但它们仅限于没有属性的网络。然而,越来越多本文在知识共享署名4.0国际(CC BY 4.0)许可下发布。作者保留在其个人和公司网站上以适当的归属方式传播作品的权利WWW©2018 IW3C2(国际万维网会议委员会),在知识共享CC BY 4.0许可下发布。ACM ISBN 978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.3191563印第安纳州西拉斐特sunil@purdue.edu普渡大学许多现实世界的对象和应用程序都是用属性网络建模的,并且将属性与网络结构一起分析变得越来越重要。例如,在使用属性值捕获用户简档信息的诸如Twitter和Facebook的社交网络中,具有相似属性的许多用户彼此不连接。 也就是说,结构接近度不足以解释网络中的节点是相似还是不相似。 在这种情况下,如果可用,节点属性可以给我们带来一个巨大的机会来捕捉节点的潜在相似性。最近已经提出了在网络嵌入中考虑节点属性值的替代方法[4,5]。它们基本上具有相同的动机,其中具有相似属性值的节点紧密地位于低维嵌入空间中。 这看起来很合理,因为许多以前的工作已经表明,网络中的节点倾向于根据它们的属性建立同质性关系[6,9,16]。然而,在现实世界的网络中实际上存在着更多样化的关系[7]。此外,即使这样的关系可能不像同质性关系那样频繁地被观察到,它们对于理解复杂网络中的各种动态可能更重要,并且可以通过考虑统计显著性来捕获[7]。不幸的是,属性关联的概念,定义为连接的节点之间的共同出现的属性值,以及它们的意义已被忽略了现有的网络嵌入方法,尽管其对网络嵌入的潜在影响。考虑一个属性网络,其中每个节点都与其属性值相关联。在连接的节点之间共同出现的节点属性值的模式可能是感兴趣的,因为它可以清楚地揭示节点之间的关系类型以及它们的结构接近度。随着属性数量的增加,单靠同质性关系不太可能在整个网络中占主导地位例如,在社交网络中,在Google工作的人可能会与同事建立许多链接,但他们可能有不同的母校(例如:Google 、Stanford之间的联系–此外,如果我们考虑其他属性,如国籍和专业,人们希望在谷歌员工之间的联系上观察到更多不同的共现属性值模式。也就是说,同质性关系可能不足以捕获网络中的节点之间的潜在相似性。 在这种情况下,很明显,为什么重要的是要考虑这样的模式,这被称为属性关联,并可能显着,以及属性相似性表示的同质性关系,成功的属性网络嵌入。即使在连接的节点之间经常观察到特定的属性关联,频率本身也不能告诉我们它有多有意义。它是否真正有意义,更多地取决于有多少节点持有与属性关联有关的属性向量,以及有多少节点相互连接。跟踪:挖掘属性网络WWW 2018,2018年4月23日至27日,法国里昂1244属性关联在这些节点的数量上的相对频率更多地指示具有属性关联的两个节点在低维嵌入空间中是否应该被认为是相似的,在本文中,我们研究了网络嵌入问题,特别是属性网络,并提出了一种新的嵌入方法,利用属性关联学习低维表示。我们实验评估我们提出的方法A3embed使用两个现实世界的属性网络,包括博客目录和Flickr。我们将A3embed的性能与最先进的网络嵌入方法进行了比较[3,4,18,20]。我们从实验中观察到的结果表明,A3embed学习的新网络表示可以更好地推广到各种预测和可视化任务。特别是,A3embed不仅优于一些基线,只使用网络结构,但也使用增强的属性信息,除了所有考虑的任务的结构信息。我们总结了我们提出的方法的贡献如下:我们提出了一种新的网络嵌入方法,称为A3embed(Atribute A sociation A ware network embed ding)。该方法的目的是获得新的表示的节点在一个属性网络中的结构和属性信息的网络,同时捕获属性关联联合建模我们展示了为什么在网络嵌入任务中考虑属性关联是很重要的我们经验性地展示了A3embed如何成功地在低维空间中学习新的网络表示,以及学习的表示对于不同现实世界属性网络上的下游机器学习任务的有效性。本文的结构如下。在第2节中,我们介绍了与我们的问题相关的先前工作,并讨论了我们的问题与它们的不同之处 在第3节中,我们定义了网络嵌入问题,并提供了基本的背景概念,然后介绍了一种新的方法来解决属性网络嵌入问题。在第4节中,我们在真实世界的数据集上对不同的网络嵌入方法进行了实验观察。最后,在第五章中对本文进行了总结。2相关工作数据挖掘和机器学习社区已经被吸引到网络嵌入的问题,旨在学习新的网络表示,由于其在各种应用中的实际重要性,如节点分类,链接预测,可视化,网络压缩和聚类。最近,许多研究人员开发了基于Skip-gram模型[10,11]的学习网络表示的方法,该模型旨在学习语料库中单词的连续特征表示。DeepWalk[15]是第一个通过将网络表示为文档来建立网络类比的工作。虽然文档包括字的序列,但是网络中的节点在它们之间不具有任何有序序列从网络中获取节点序列的想法是将一组短的截断随机游走视为其自己的语料库,并将节点视为其自己的单词。表1:基本符号符号意义G=(V,E,X)属性网络n数量的节点L数量的属性斯伊季边权eijyi节点vi的属性嵌入zi节点vi的结构嵌入hi节点viW1(k),b1(k)属性建模中的第k层权重和偏置W2(k),b2(k)结构建模中的第k层权重和偏差W3(k),b3(k)联合建模中的第k层权重和偏差m1,m2,m3每个建模组件的层数然后,可以将与用于Skip-gram模型的优化框架相同的优化框架应用于从重复随机游走获得的节点序列的集合在[3]中,作者提出了一种称为node2vec的新算法框架,用于使用有偏随机游走过程学习网络中节点的连续特征表示,该过程在广度优先搜索(BFS)和深度优先搜索(DFS)之间平滑插值。然而,这些模型在学习特征表示时仅采用网络结构,而不考虑任何其他信息,如节点属性。在引用网络的情况下,节点带有文本信息,这种辅助信息可以用于学习更丰富的表示。[22]提出了文本相关的DeepWalk(TADW),它将节点的文本特征纳入矩阵分解框架下的网络表示学习中TriDNR[14]是一种三方深度网络表示模型,基于耦合神经网络,该网络利用网络中的节点间关系、节点-内容相关性和节点-标签对应性来学习网络中每个节点的最佳表示。尽管TADW和TriDNR使用除了网络结构之外的丰富信息来学习网络表示,但文本信息本质上不同于节点属性,因为文本信息本身包括一系列单词,以便容易被基于Skip-gram模型的神经网络利用。虽然上面介绍的所有方法都只适用于没有节点属性的网络,但是[4,5]如果节点属性可用,则利用节点属性值来获得更丰富的网络表示。LANE[5]是一种半监督模型,它将节点标签纳入属性网络的嵌入表示学习中AANE[4]还基于属性亲和力的分解和连接节点之间的嵌入差异,以分布式方式在规模上学习低维表示。这两种方法联合建模的网络结构和节点属性,但他们是有限的属性相似性。也就是说,只有当节点的属性值相似时,节点才有机会具有相似的表示。相比之下,我们提出的模型考虑的更多共同出现的属性值的不同模式3感知属性关联的网络嵌入在本节中,我们首先定义网络嵌入问题,然后介绍我们提出的学习属性网络的网络表示的方法。 表1给出了我们在本文中使用的符号。···跟踪:挖掘属性网络WWW 2018,2018年4月23日至27日,法国里昂12453.1问题定义考虑由G=(V,E,X)表示的属性网络,其中由用于网络表示学习的属性关联表示的共现属性值的各种模式。模拟V={v1,v2,...,vn}是n个节点的集合,E={eij}n是通常,具有完全相同的两个节点并不总是正确的一组边,以及i,j=1X={x1,x2,...,xn}是属性向量的集合属性向量必须相似。即使多个节点与特定属性向量相关联,如果只有少数节点与特定属性向量相关联,则可以使用多个节点。每个节点与V中的节点相关联。属性向量保存L个不同属性的节点Vi的x1由L个数值的向量表示E中的边eij可以与其权重sij相关联,其表示两个单独的节点彼此连接如果vi和vj不通过边连接,则sij=0。在未加权网络的情况下,对于所有边eij,sij=1。网络嵌入旨在学习节点在低维特征空间中通过找到映射函数F:V›→Rd其中dn是维数。因为一个原始的它们彼此连接,很难说所有具有属性向量的节点都是相似的,并且应该紧密地位于嵌入空间中。因此,重要的是要考虑统计上显著的属性关联,以便进行更有洞察力的网络分析[7]。在本文中,我们不计算实际的统计意义的属性协会,但介绍了联合建模节点属性和网络结构的学习网络表示的任务的基本思想 也就是说,对于给定的x i和x j的属性关联,我们说它们之间的属性关联更多节点的表示太稀疏,很难观察到兴趣-通过直接应用标准的机器学习模型来学习模式,或获得有见地的知识。然而,通过网络嵌入学习的低维表示可以包含抽象形式的网络节点上的重要底层信息。实现属性网络的良好表示的关键点是保持节点的结构和属性接近度[4,5]。然而,属性空间的稀疏性和属性向量的多样性使得属性接近度不足以计算节点的实际相似性在3.2节中,我们将介绍属性关联的概念,并解释为什么在网络嵌入任务中需要考虑它。3.2属性关联我们首先定义一个属性关联如下,定义3.1. 给定两个节点vi和vj,它们之间的属性关联被定义为出现在对应的属性向量对x i = v j中的共现属性值的关系。[x1,x2,···x1]和xj=[x1,x2,···x1]。比xm和xn的另一个组合更重要如果与具有xm和xn的节点之间的连接相比,具有xi和xj的关联的节点彼此连接更密集。在嵌入空间中,具有更显著关联的这种节点应该比具有较不显著关联的节点彼此更接近。我们在3.3.1中解释了如何考虑显著性的概念。3.3A3embed我们现在提出了一种新的网络嵌入方法,称为A3embed,使用属性网络的属性关联。 A3embed由两部分组成:一部分用于属性关联建模,另一部分用于网络结构建模。这个想法很简单。如果两个节点共享相似的属性值和/或它们之间的属性关联是显著的,则它们应该在低维嵌入空间中彼此接近。同样,如果两个节点共享许多公共邻居,因此在结构上彼此相似,则它们应该靠近我我我j j j也通过这种方式,我们可以同时保持属性的接近性和每对节点都有其属性关联,因此如果V中的所有节点都有不同的属性向量,则属性关联与E中的边数一样多注意,xi和xj的属性关联不仅与节点vi和vj相 关联,而且与具有与xi和xj相同的属性向量的任何节点对相关联。 随着网络中属性数量的增加,属性向量的稀疏性将更高,并且节点更有可能具有不同的属性向量。然而,即使两个节点具有不同的属性向量,也不一定意味着它们不相似。这是因为一些不同的属性值也可能共享相似的主题或彼此相关。例如,在每个个体与他们的个人简档相关联的社交网络中,一些用户可以具有google、facebook、J.P Morgan、Goldman Sachs等作为属性雇主。就它们的上下文而言,互联网服务公司google和facebook彼此更接近而不是其他两家金融公司,并且反之亦然,并且因此预期在google(或J.P Morgan)工作的用户更可能与在facebook(或Goldman Sachs)工作的用户相关联,即使他们具有不同的属性值。换句话说,节点属性值的相异度可能不一定意味着节点的相异度。这促使我们考虑结构相似性,同时保持嵌入中的重要属性关联的模式。A3embed的整体框架如图1所示。3.3.1建模属性关联。我们基本上不仅要保持属性的相似性,但也采用显着的属性关联。首先,为了对网络节点之间的属性相似性进行建模,我们将深度自动编码器[ 1,17,20]应用于所有属性向量X的集合。由编码器和解码器组成的自动编码器神经网络是一种无监督学习算法,它应用反向传播,将目标值或输出设置为等于输入。换句话说,它试图学习恒等函数的近似,以便通过将xi编码为新表示yi的非线性函数和从y i重构x i的另一个非线性函数来输出类似于x i的x i。因此,在自动编码器的中间的学习的yi可以被认为是xi的压缩和潜在表示。如果我们有多层编码器和解码器,则潜在表示yi(k)被公式化跟踪:挖掘属性网络WWW 2018,2018年4月23日至27日,法国里昂1246.......2.2⊙[···]···(xi−x(i)⊙ti60010⋯ ⋯ ⋯独热矢量1010⋯ ⋯ ⋯0100⋯ ⋯ ⋯...1001⋯ ⋯ ⋯属性矩阵N&0010...001一...0000邻接矩阵图1:A3 embed的框架:对于每个节点,其属性向量和one-hot向量被馈送到深度模型中,然后其属性和结构信息被联合建模以预测其邻居。如下所示yi(k)=σ(W1(k)yi(k−1)+b1(k))=σ(W1(k)σ(W 1(k−1)yi(k−2)+b1(k−1))+b1(k))=σ(W1(k)(···σ(W1(1)xi+bl(1))···)+bl(k))(一)表示yi和yj相似,无论它们是否具有不相似的属性值。 注意,属性向量本身的频率可能并不重要。相比之下,如果有许多节点持有x i或x j,但只有少数节点连接,则我们使y i和y j彼 此远离。下面的目标函数处理与上述思想的属性关联其中〇是逐元素激活函数,诸如S形函数或整流线性单元。类似地,与xi具有相同形状的重建xi通过堆叠从yi映射Lass=ni,j=1sijyi−yj2(4)非线性函数的隐藏层以编码器的相反形状在yi的顶部上然后,训练自动编码器以最小化重构误差,表示为其中si,j是vi和vj之间的边权重,并且如果vi和vj之间没有边,则si,j=δ〇。<对于未连接的节点vi和vj,我们对其对应的la-1给出负的Lsim=L(x,x¨)=ni=1xi−x帐篷表示yi和yj使得它们不闭合。负惩罚项δ的效果保证了:1)即使具有相同属性向量的两个节点也可以是分开的,如果这样的属性向量是相同的。如[20]中所讨论的,如果输入向量(其在我们的设置是属性向量)非常稀疏,则自动编码器倾向于重构属性向量中的零值而不是非零值。我们通过如下对非零值的重构误差施加比零值的误差更高的惩罚来避免这种情况.nLsim=i=12关联在网络中是非常罕见的,以及2)如果具有不同属性向量的其他节点比通常更密集地连接,则即使具有不同属性向量的两个节点也可能是接近的δ的选择还控制A3embed如何积极地对属性关联进行建模。如果δ非常低,我们很少惩罚未连接节点之间出现的属性关联。因此,只有具有非常重要的属性关联的节点对将被映射到非常接近的位置其中t i= ti1,ti2,,til和tij =τ> 1,对于j= 1,,l,如果vi具有第j个属性的值,否则ti,j = 1。运算符在两个向量之间执行逐元素乘法。当我们将节点的属性向量重复地放入自动编码器中时,具有相似属性向量的节点必须具有相似的潜在表示y。然而,上述目标函数不足以对也存在于许多现实世界应用中的潜在重要属性关联进行使用显著属性关联的关键思想是,在给定属性关联的情况下,查看有多少节点具有与关联相关的属性向量,以及在节点之间的链接上相对地观察到关联的频率。也就是说,如果两个节点vi和vj与特定属性关联相关联,并且其属性向量xi和xj也在其他连接的节点上出现多次,则我们使相应的潜在考虑到同时保持一阶和二阶邻近度[18,20],我们集中于二阶邻近度,即,公共邻居结构 这是可以接受的,因为在对属性关联进行建模时,已经在一定程度上考虑了一阶邻近性。当然,即使两个节点直接连接,如果属性关联太弱,它们也可能不具有相似的低维表示。这听起来很合理,除非一对连接的节点必须在大多数属性上共享公共值。对于给定的a节点vi,我们使用其独热向量vi作为A3embed的输入。 它被前馈到多层感知器中,并且其潜在表示z i与另一潜在表示y i组合以产生网络结构和节点属性值两者的联合表示hi。然后,将联合表示h_i进一步前馈到以下隐藏层中,并且将最终的隐藏层102三五8479......这是什么?......…������…(用于属性关联建模)0011⋯ ⋯ ⋯010一........................(三)在嵌入空间中相互连接3.3.2建模结构接近度。虽然一些现有的作品跟踪:挖掘属性网络WWW 2018,2018年4月23日至27日,法国里昂1247NNiiN使用联合表示来预测节点Vi的邻居。每层的潜在表示的公式如下:zi(k)=σ(W2(k)zi(k−1)+b2(k))表2:数据集统计名称合成博客目录Flickr号节点1,0245,1967,575号边缘变化171,743239,738号属性1,0008,18912,047号标签变化69=σ(W2(k)(··σ(W2(1)vi+b2(1))···)+b2(k))hi(0)=[ω yi, zi]hi(k)=σ(W3(k)hi(k−1)+b3(k))(五)(六)4实验4.1数据集我们使用一个合成和三个真实世界的属性网络来评估我们提出的方法以及竞争对手。每个网络包含形成网络边缘的一组节点,并且其中ω是超参数,其在通过级联构造第一联合表示时控制来自建模节点属性的潜在表示上的权重最后,我们使用最终的联合表示hi来预测输入节点v的邻居。A3embed中的输出向量i应该接近指示相邻节点的邻接矩阵的行或列向量,因此它是一个多标签分类任务。i中的相邻节点的预测概率通过放置S形向量来独立地获得。 然后,输出向量N^i计算如下:N每个节点的关联属性向量表2显示了网络数据集的统计数据。合成属性网络我们生成了合成属性网络,以显示我们的模型对不同属性关联的鲁棒性,而不仅仅是同质性。使用随机块模型生成网络[12,21]。 我们首先生成几个不相交的连接分量,每个分量对应于表示具有相同类别标签的一组节点的社区,其中相同社区中的节点以p概率彼此连接,并且节点以q概率跨不同社区连接。每个节点都属于i=[p(v1|vi),p(v2|,p(v,n)|五(i)](七)相同的社区共享相同的属性向量。然后我们调整111将连接概率和扰动属性向量输入到=[1+e−u1·hi,1+e−u2·hi,···,1+e−un·hi]其中u,j是最后两层之间的权重矩阵的列向量,其对应于邻居v,j的上下文向量。然后,我们将损失函数构造为:.n产生相同社区中的节点之间的非同质属性关联以及噪声链路。 这种人为的属性网络的嵌入可以揭示模型如何能够从网络节点的噪声连接中捕获不同的属性关联以及潜在的节点相似性。详见第4.5节。L网 =−=−i=1.nlogp(v1,v2,···,vn|五(i).log p(vj|五(i)(八)BlogCatalog[4,5] BlogCatalog是一个博客平台,用户可以形成一个网络连接彼此。每个博客都有一个简短的描述,描述中的关键字被视为属性。用户可以为他们的博客指定一个类别,该类别代表i=1vj∈Ni基于邻居和包括属性相似性和重要属性关联的属性信息联合建模网络结构,我们提出的方法A3embed被训练,同时旨在找到以下最终目标函数中的最佳权重参数类标签。Flickr[4,5] Flickr是一个在线照片管理和共享网站,用户可以在这里与他人建立联系。对于属性,我们使用一组标签作为属性,这些标签描述了用户对他们的照片的特定兴趣。用户在平台中订阅的组被视为类标签。arg最小值3λi·R(fi)+αLsim+γLass+Lnet(九)4.2基线我们评估以下基线方法以及A3embedf1, f2, f3 i=1用于比较。所有基线都是最近发布的其中,fi是A3 embed的深度神经网络框架中的每个分量的权重矩阵和偏置的集合,R是正则-被称为网络嵌入的良好执行者他们被分成两组。node2vec、SDNE和LINE仅使用定义为R(fi)=1的分解函数。Mi W(k)网络结构信息,而AANE使用两种结构λi是正则化项。2k =1iF和属性信息。基线的简要说明如下:3.3.3优化。 我们的目标是找到最优的f1,f2和f3,使公式9中的目标函数最小化。 我们使用随机梯度下降来训练A3embed。具体来说,我们采用RMSProp [19],一种自适应学习率方法,在训练过程中更新梯度我们省略了每个损失函数的偏导数的数学公式,因为它很简单。node2vec [3] node2vec扩展了DeepWalk [15],是最先进的网络嵌入方法之一,它只使用结构信息。 它利用截断随机游走序列来获得给定节点的上下文节点,同时允许同质性和结构等价性之间的灵活性,然后通过最大化观察上下文节点的可能性来计算节点嵌入。跟踪:挖掘属性网络WWW 2018,2018年4月23日至27日,法国里昂1248联系我们--表3:BlogCatalog上不同方法在不同训练-测试分流比下的节点分类性能度量算法百分之十百分之二十百分之三十百分之四十百分之五十百分之六十百分之七十百分之八十百分之九十宏F1线node2vecSDNEAANEA3embed0.6560.5140.5510.7550.8370.6720.5410.6170.8580.8660.6860.6090.6510.8840.8810.6910.6240.6780.8850.8880.6840.6350.6790.8860.8880.6910.6410.6930.8830.8940.6790.6390.6840.8760.9010.6830.6490.6900.8890.9120.6890.6550.6920.8890.917微型F1线node2vecSDNEAANEA3embed0.6610.5210.5560.7830.8410.6760.5450.6200.8650.8680.6910.6140.6540.8890.8830.6960.6310.6820.8900.8910.6910.6420.6860.8900.8910.6970.6480.6980.8870.8970.6840.6460.6880.8790.9020.6890.6570.6970.8930.9130.7040.6690.7020.8920.915表4:Flickr上不同训练-测试分割比下不同方法的节点分类性能度量算法百分之十百分之二十百分之三十百分之四十百分之五十百分之六十百分之七十百分之八十百分之九十线0.5760.6010.6040.6100.6170.6210.6270.6260.624node2vec0.3580.4380.4700.4790.4970.5080.5140.5170.521宏F1SDNEAANE0.5060.7540.5590.7810.5820.8180.5920.8430.6000.8470.6090.8580.6090.8610.6100.8650.6090.872A3embed0.8160.8400.8490.8550.8560.8640.8650.8740.890线0.5850.6080.6110.6190.6260.6300.6380.6390.640node2vec0.3630.4440.4750.4860.5070.5180.5240.5290.533微型F1SDNEAANE0.5080.7810.5620.8060.5860.8310.5970.8500.6070.8550.6170.8630.6170.8650.6170.8690.6200.877A3embed0.8190.8430.8520.8560.8600.8670.8680.8770.894SDNE[20]该方法也仅使用结构信息,但关注节点之间的一阶和二阶接近度以保持网络结构。LINE[18]与SDNE中一样,LINE保留了一阶和二阶接近度,但它不会联合建模。 它们被单独考虑以学习每个的低维表示,然后连接。在我们的实验中,仅使用二阶接近度,因为就下游任务的有效性而言,它与关联表示没有太大差异。AANE[4]AANE建模并以分布式方式将节点属性接近度并入网络嵌入 它学习一个低维表示的基础上分解的attribute亲和力和连接节点之间的嵌入。与A3embed的关键区别在于,节点属性信息是在A3embed中学习的,允许属性值的隐式相似性和不同关系,而节点属性必须在AANE中显式相似。4.3实验装置所有实验都在具有Intel i5- 4690 K 3.50GHz CPU、32 GB内存和GTX Titan X GPU 、 运 行 64 位 Ubuntu 14.04 的 机 器 上 进 行A3embed在Python2.7中使用TensorFlow 1.2.11实现,并且对于所有基线的实现,我们使用来自作者的源代码。我们评估的所有方法都包括各种超参数,这些超参数可能会显着影响方法的性能,因此需要进行调整。我们基本上通过网格搜索来寻找最佳的超参数值,并使用多个时期运行每个基线算法,直到我们获得最佳结果。请注意,我们在下面的讨论中使用的所有符号都是来自原始论文的方法。对于AANE,我们使用已经在源代码中指定的参数值1https://www.tensorflow.org每个数据集的作者(λ1 e6,0。0425和ρ4、 5)。为node2vec,搜索策略参数p和q被设置为2,并且0.5,并且我们使用任何其他参数的典型值,例如随机游走的长度(l=80)和网络邻域的大小(k=10)。对于SDNE,我们也使用α=1,β= 5,γ= 5,并且其自动编码器结构的形状与其论文中描述的相同LINE中的所有参数都按照本文中的使用进行设置,只是我们改变了用于优化的样本数量以找到最佳性能。对于A3embed,我们发现以下参数设置最适合BlogCatalog和Flickr:α= 1,τ= 5,γ= 5,δ= 0。5,ω= 0。5,λ1=λ2=λ3=1,学习率设置为0.001。为了公平比较,对于BlogCatalog和Flickr,嵌入的维度设置为200,对于所有方法的合成网络,嵌入的维度设置为100。除了d = 200之外,不同嵌入维数的影响将在4.6节中讨论。4.4多标签分类网络数据中最常见的分析任务之一是节点分类,因此我们通过对真实世界数据集的多标签分类任务来评估从所考虑的网络嵌入算法获得的不同网络表示的有效性。网络数据中的每个节点与一个或多个标签相给定由网络嵌入算法生成的节点的一组低维表示,我们将它们随机地分成具有不同比率的训练集和测试集,并使用学习的表示作为特征在训练节点及其标签上训练分类模型然后,我们看到如何准确的模型预测标签的测试节点使用宏和微F1指标。在这里,对于分类模型,我们使用scikit-learn库2提供的one-vs-rest支持向量机分类器。2https://scikit-learn.org/跟踪:挖掘属性网络WWW 2018,2018年4月23日至27日,法国里昂1249A3embed AANE SDNE node2vec LINE联系我们表5:合成属性网络上的节点分类性能p= 0。3,q= 0。1,r=5p= 0。3,q= 0。3,r=5算法宏F1微型F1宏F1微型F1线0.9210.9240.0880.091node2vec0.9110.9120.0610.068SDNE0.9180.9200.0830.085AANE1.01.00.7010.712A3embed1.01.01.01.0表 3 和 表 4 显 示 了不 同 方 法 在 两 个真 实 世 界 的属 性 网 络BlogCatalog和Flickr上的分类结果。通过观察不同结构之间的性能差异-10的情况。90的情况。80的情况。70的情况。60的情况。50的情况。4 32 64128256嵌入尺寸d(a) 博客目录10的情况。90的情况。80的情况。70的情况。60的情况。50的情况。4 32 64128256嵌入尺寸d(b) Flickr虽然仅基于方法和联合模型,但很明显,如果可用,则使用属性信息对于学习更好的表示是至关重要的特别是,A3embed在不同的训练和测试样本分割比上几乎一致地优于所有其他竞争方法,这表明从我们提出的模型中学习的网络表示可以捕获网络节点的更有意义的底层特征。此外,A3embed对即使是小的训练样本量也非常鲁棒。随着我们减少训练集的大小,A3embed相对于基线方法的改进幅度增加。这一观察可以告诉我们,我们提出的方法更适合于许多不同的现实世界中的应用程序,只有少数节点实际上有标签。4.5捕获属性关联A3embed不仅考虑了属性的接近性,而且考虑了不同属性向量之间的不同属性关联,而现有的方法只考虑了属性之间的同构关系。这个属性意味着A3embed的表示学习更健壮,并且可以推广到节点之间的各种关系模式 为了强调A3embed与基线相比的稳健性,我们以这样一种方式生成合成属性网络,即我们可以通过改变链接概率和属性值来控制网络数据所持有的某些属性,如4.1所述。 我们从一个朴素网络开始,其中同一社区中的每个节点都被分配了相同的属性向量(r = 1),并且节点更有可能与同一社区中的其他节点链接(p> q)。然后,我们改变q,使得节点在不同的社区之间连接。我们还随机地将每个社区中的节点分成r个不相交的子集,并扰动节点的属性值,使得在同一社区中有r个不同的属性向量。这样,我们就有了多样的属性关联,而不仅仅是同质性关系。具有不同的p、q和r值,我们生成具有十个社区的各种合成属性网络,并通过使用学习的低维表示来预测测试集中的节点属于哪些社区。更改r的值根本不会影响LINE、node2vec和SDNE的行为,因为它仅保留结构邻近性,而不使用节点属性。如果r较低,也就是说,不同的属性关联很少,那么A3embed和AANE都以高准确度执行分类任务也就不足为奇了。表5示出了方法 当p = 0时。3,q = 0。1,并且r = 5,而LINE、node2vec和SDNE由于噪声链路而损失一些准确性,A3embed和AANE完美地分类每个节点。如果同一社区中的节点紧密图2:不同嵌入维度如果节点与一小部分噪声链路连接,则结构接近度可以是这样的节点在低维嵌入空间中保持接近的强信号,即使r很高。然而,这并不意味着AANE能够捕获不同的属性关联。 我们将在4.7节中讨论更多细节。 如果p = 0。3,q = 0。3,并且r = 5,则网络结构不再有帮助(解释LINE、node2vec和SDNE的性能差),并且能够捕获和建模属性关联变得非常重要。A3 embed仍然达到了100%的准确率,但AANE的性能由于缺乏对属性关联建模的能力而变得更差。4.6嵌入尺寸的影响我们研究了学习表示的分类性能如何d32, 64, 128, 256的变化。理想地,期望网络嵌入方法能够学习良好的表示,而不管嵌入维度如何。图2展示了使用BlogCatalog和Flickr数据集时嵌入维度对节点分类的影响。 我们在这里只报告宏观-F1,因为我们观察到宏观-F1和微观-F1在这个实验中有几乎相同的趋势。如图2所示,A3embed和AANE随着d的增加而工作得更好,而仅基于网络结构的其他方法在 一定 数 量的 维度 之 后饱 和 或恶 化。 由 于A3embed和AANE使用网络结构和节点属性进行联合建模,因此与其他三种方法相比,它们具有更大的嵌入潜在特征当d=128或256时,node2vec甚至更糟,这意味着过拟合。4.7可视化除了测量到目前为止我们讨论的不同下游任务的有效性之外,可视化网络也非常重要,因为这种可视化可以帮助我们更直观地了解网络节点是如何分布和相互交互的。由于不同的网络嵌入方法保留了网络的不同属性,因此它们具有不同的节点可视化能力和解释。我们 使 用 4.5 中 讨 论 的 具有不 同参数设置 的合成网络, 并使用A3embed,AANE和node2vec学习新的节点表示。对于可视化任务,我们省略了SDNE和LINE,因为它们基本上与node2vec没有太大区别,因为它们都是模型宏F1宏F1跟踪:挖掘属性网络WWW 2018,2018年4月23日至27日,法国里昂1250(a)node2vec,p=0。3,q= 0。(b)AANE,p= 0。3,q= 0。(c)A3embed,p= 0。3,q= 0。1,r= 1(d)node2vec,p=0。3,q= 0。(e)AANE,p= 0。3,q= 0。1,r = 3(f)A3embed,p= 0。3,q= 0。1,r= 3(g)node2vec,p=0。3,q= 0。3,r = 1(h)AANE,p= 0。3,q= 0。3,r = 1(i)A3embed,p= 0。3,q= 0。3,r= 1图3:合成属性网络的可视化。点的颜色表示其社区。(p:社区内链接概率,q:跨社区链接概率,r:社区中不同属性向量的数量只有网络结构。学习的表示用作t-SNE [8]的输入,其具有默认参数值。图3示出了各种合成属性网络的低维表示的可视化。合成属性网络是用不同的参数设置(p、q和r)构建的,它们都包括三个社区,每个社区都用颜色表示 当p = 0时。3,q = 0。1,并且r = 1,所有方法都产生了很好的可视化,其中每个社区都被很好地分离(图3a,3b和3c)。然而,如果每个社区中不同属性向量的数量增加(r= 3),因此存在不同的属性关联,则AANE无法使社区中的每个节点彼此靠近(图3e)。 由于AANE只基于同质性关系优化目标,因此在其可视化中为每个社区创建r个不相交的组。相比之下,A3embed捕获甚至不同属性向量之间的属性关联,并且相同社区中的节点比AANE更好地聚集在一起(图3f)。node2vec不受r变化的影响,因为它不能对节点属性建模(图3d)。 如果我们有大量的噪声链接(那些跨越不同社区的链接),那么从建模节点属性中受益一定是至关重要的。 虽然A3embed和AANE可以以完美的形状可视化网络(图3h和3i),但node2vec由于缺乏任何线索而无法正确地可视化节点。区分网络中的社区内链接和
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功