9450走向节点嵌入的解释0Ayushi Dalmia �0印度 IBM 研究院ayushidalmia@in.ibm.com0Ganesh J �0印度海得拉巴国际信息技术学院ganesh.j@research.iiit.ac.in0印度微软公司 ManishGuptagmanish@microsoft.com0摘要0最近，有大量研究使用低维度、邻域和社区感知的节点表示嵌入大规模信息网络。尽管这些嵌入模型的性能在图挖掘应用中优于传统方法，但我们对这些表示编码了什么，或者为什么特定的节点表示对某些任务效果更好，知之甚少。我们在这里提出的工作构成了解码节点向量嵌入黑盒的第一步，通过评估它们在编码节点的基本属性（如页面排名、度、接近中心性、聚类系数等）方面的有效性。我们相信，只有当节点表示编码了应用程序特定的节点基本属性时，节点表示才对应用程序有效。为了解开节点表示中编码的基本属性，我们评估了表示对于模拟每个属性的准确性。我们对三种最先进的节点表示模型（DeepWalk、node2vec 和LINE）在四个不同任务和六个不同图上的广泛研究结果表明，node2vec 和 LINE最好地编码了稀疏图和稠密图的网络属性。我们将基本属性预测任务的模型性能与高级下游应用（如链接预测和节点分类）进行相关联，并可视化每个模型的任务性能向量，以了解各种模型学习到的嵌入之间的语义相似性。我们对节点嵌入模型进行的首次研究表明，node2vec 和 DeepWalk分别对稀疏图和稠密图的异常检测进行了良好的识别。我们的分析突出了所提出的基本属性预测任务有助于发现给定节点嵌入模型在给定下游任务中表现良好的重要特征。这种理解将有助于选择适合给定下游任务的正确模型。0CCS 概念0• 计算方法学 → 知识表示和推理；神经网络；0关键词0图表示；模型可解释性；神经网络0本文发表在知识共享署名-非商业性使用-禁止演绎 4.0国际许可证下。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW'18 Companion，2018 年 4 月 23-27 日，法国里昂，© 2018IW3C2（国际万维网会议委员会），根据知识共享 CC BY-NC-ND 4.0 许可证发布。ACMISBN 978-1-4503-5640-4/18/04...$15.00 https://doi.org/10.1145/3184558.31915230ACM 参考格式：Ayushi Dalmia �，Ganesh J �，和 ManishGupta。2018。走向节点嵌入的解释。在 2018 年 Web 会议Companion，2018 年 4 月 23-27 日，法国里昂。ACM，纽约，美国，8页。https://doi.org/10. 1145/3184558.319152301 引言0图挖掘的研究最近在应用网络嵌入（或表示）模型方面出现了兴趣激增，用于节点分类[1-3]、链接预测[5]和推荐[4]等应用。尽管这些表示学习模型很难解释，但它们相对于传统模型具有几个优势：（1）它们在实践中表现良好，（2）它们减少了手动特征工程的工作量，有时会引入错误，（3）它们在不同领域中具有通用性，（4）它们通常适用于大型网络[2,5]。尽管表示学习在信息网络中取得了成功，但据我们所知，还没有关于解释这些节点表示的研究。我们的目标是理解为什么特定的嵌入模型对某些图挖掘任务效果更好。我们的工作是打开节点向量嵌入黑盒的第一步。本质上，我们回答了以下问题：“给定节点表示中编码的核心属性是什么，使其在给定的下游任务中表现良好？”传统的特征工程方法已经利用了节点的各种基本属性来进行高级下游任务。我们相信，只有当节点表示精心编码了应用程序特定的节点基本属性时，节点表示才对应用程序有效。为了解开节点表示中编码的基本属性，我们评估了表示对于模拟每个属性的准确性。这是通过为每个属性构建一个基本属性预测分类器来实现的，该分类器以节点表示作为输入，并输出属性值的预测。我们假设，如果基于节点表示的分类器预测属性的准确性较低，则该属性未被编码在表示中。这个想法受到了[6]的启发，该研究侧重于解释句子表示。在这项研究中，我们尝试理解由最先进的无监督网络嵌入模型生成的节点表示：DeepWalk [7]、LINE [2] 和 node2vec[5]。我们在六个图上进行了分析：词共现网络[5]、引用网络[2]、合著网络[2]和三个社交网络，BlogCatalog [17]、Flickr [17] 和YouTube[16]，用于四个下游任务：节点分类、聚类、链接预测和异常检测。具体而言，我们在三个层面上进行了分析。首先，我们确定了每个图的每个网络嵌入模型最好预测的基本节点属性。其次，我们考虑了给定下游任务的获胜模型0Track: 第三届大规模网络学习表示国际研讨会 (BigNet 2018) WWW 2018, 2018年4月23日至27日, 法国里昂Node RepresentationLinear (hidden)ReLULinear (hidden)DropoutSoftmaxCross entropy lossNode 1 RepresentationConcatenateReLULinear (hidden)DropoutSoftmaxCross entropy lossNode 2 Representation9460(a) 逐点0(b) 一对一0图1：基本属性预测任务分类器。只有隐藏的线性层（浅蓝色）是可学习的。0任务和图对，并将由获胜模型最佳预测的基本节点属性与文献中报告的相同下游任务的最佳性能特征进行相关分析。最后，我们通过可视化每个模型在所有图和下游任务上的任务性能向量来分析模型之间的关系。这项研究全面地突出了网络嵌入模型在给定高级应用中性能的原因。我们总结以下主要贡献。•我们首次以细粒度的方式解释节点嵌入。为此，我们提出了一组节点特定的基本属性预测任务，这些任务有助于理解不同节点表示的基本特征。•不同节点表示在预测此类属性方面的有效性，以及了解在学习传统特征工程模型时作为重要特征的属性的知识，有助于我们理解为什么某些节点表示对于这些应用是好的。•我们通过为四个不同应用和六个图构建了三个节点表示学习模型的属性预测模型，验证了我们的假设。我们首次对离群值检测任务的节点嵌入模型进行了分析。本文的组织如下。在第2节中，我们提出了一组网络特定的基本属性预测任务，以识别节点嵌入的特征。接下来，在第3节中，我们简要讨论了本研究中考虑的无监督节点表示学习模型的集合。在第4节中，我们介绍了我们的六个图数据集的详细信息。在第5节中，我们介绍了本研究中考虑的下游任务的详细信息。在第6节中，我们进行了将基本属性预测任务、节点表示和下游任务联系起来的实证分析。我们在第7节中以简要总结结束。02 基本属性预测任务0在本节中，我们提出了一组网络特定的基本属性预测任务，以识别节点嵌入的特征。这些属性对应于在多篇关于各种网络挖掘应用（如链接预测、聚类等）的特征工程论文中使用的最流行的特征。0等。我们使用基于神经网络的模型构建了基本属性预测任务分类器。我们提出了十五个基本属性预测任务，根据任务考虑的输入数量，将其分类为逐点和一对一任务。我们将在接下来讨论这些任务。02.1 逐点任务0如图1（a）所示，逐点任务的模型接受与单个节点相对应的表示作为输入。基本上，它衡量了给定节点表示捕捉到特定网络属性的程度。(a)度任务（DEG）：这衡量了节点与图中其他节点的连接程度。例如，在社交网络中，具有高度的节点对于广告机构的有效影响传播可能很有兴趣。给定节点嵌入，任务是预测节点连接到的节点数。(b)平均邻居度任务（AND）：节点的平均邻居度指示了节点的邻居之间的连接程度。给定节点嵌入，任务是预测节点邻居的平均度数。(c)度中心性任务（DEGCEN）：度中心性是识别图中最重要的顶点之一的方法之一。应用包括识别社交网络中最有影响力的人物、互联网或城市网络中的关键基础设施节点以及疾病的超级传播者。度中心性高的节点在网络中最具影响力。给定节点嵌入，任务是预测节点的度中心性。(d)入度任务（IDEG）：在有向网络的情况下，入度指示节点接收的流入量。例如，考虑一个交通网络，其中节点是道路上的交叉口，边表示交通流量。入度高的节点表示从其他源到该节点的交通流量很大。在这种情况下分析入度可以帮助城市规划。给定节点嵌入，任务是预测节点的入链数量。此任务仅适用于有向图。(e)出度任务（ODEG）：在有向网络的情况下，出度指示节点的流出量。高出度节点包括手册或产品列表页面等中心页面，它们是重要的信息交汇点。给定节点嵌入，任务是预测节点的出链数量。与入度任务类似，此任务仅适用于有向图。(f)聚类系数任务（CLCO）：聚类系数是衡量图中节点倾向于聚集在一起的程度的指标。给定节点嵌入，任务是预测节点的聚类系数。(g)社区计数任务（COC）：节点所属的社区数量反映了节点的语义特性。例如，在像Facebook这样的社交网络中，节点是网络的用户，社区是网络中的群组，具有高社区计数的节点表示一个非常社交的人，而低社区计数表示一个内向的人。给定节点嵌入，任务是预测节点的成员资格（或社区）计数。此任务仅适用于0Track: 第三届大型网络学习表示国际研讨会 (BigNet 2018) WWW 2018, 2018年4月23-27日, 法国里昂3NODE REPRESENTATION LEARNINGMODELS9470适用于至少有一些节点属于多个社区的图。 (h) Page Rank 任务(PAGRK)：节点的PageRank是图中捕捉有影响力节点的另一种度量。给定一个节点嵌入，任务是预测节点的Page Rank分数。 (i) 中心度任务(CLCEN)：节点的中心度是衡量节点在图中与其他节点的中心性的度量。它被计算为节点与图中所有其他节点之间最短路径的长度之和。因此，节点越中心，它与所有其他节点的距离越近。给定一个节点嵌入，任务是预测节点的中心度。02.2 一对一任务0如图1(b)所示，一对一任务的模型基于一对节点的两个表示作为输入。模型中的后续层使用串联作为组合技术来组合输入。本质上，该任务通过相应的两个节点表示的交互来衡量特定网络属性的捕捉程度。(j) 边权重任务(EDGWT)：节点的边权重指示两个节点之间的连接强度。给定两个节点的嵌入，任务是预测连接它们的链接的强度。此任务仅适用于加权图。 (k) 是否为一度任务(IFDEG)：一度邻居指的是一个节点的一跳邻居。给定两个节点的嵌入，任务是预测节点是否是彼此的邻居。为了生成这个二元分类任务的负实例，我们生成一对不直接相邻的随机节点。 (l)是否为二度任务(ISDEG)：二度邻居用于指示二度邻居。给定两个节点的嵌入，任务是预测节点是否是彼此的二度邻居。为了生成这个二元分类任务的负实例，我们生成一对不是2跳邻居的随机节点。 (m)是否属于同一社区任务(ISCO)：该度量指示两个节点之间的语义相似性。如果两个节点属于同一个社区，那么它们在语义上是相关的。给定两个节点的嵌入，任务是预测节点是否属于同一个社区。为了生成这个二元分类任务的负实例，我们生成一对属于不同社区的随机节点。 (n)Jaccard系数任务(JC)：Jaccard系数衡量两个节点在它们共同邻居方面的相似性。一个例子应用是衡量基因相互作用网络中两个基因的相似性。给定两个节点的嵌入，任务是预测节点之间的Jaccard系数。 (o)最短路径长度任务(SPL)：最短路径长度任务指示从一个节点到另一个节点所需的最小跳数。这个特征在城市规划中是有用的。在道路网络中，如果两个地点之间有一条0最短路径长度非常大，规划者应该采取主动措施增强节点之间的连通性，比如建造立交桥。给定两个节点的嵌入，任务是预测两个节点之间的最短路径长度。注意，所有的预测任务（不包括任务（g），（h）和（i））都是在对输入进行分箱后作为多类分类问题提出的。具体来说，我们使用等频分箱来得到变量范围内合理平衡的箱子。0在本节中，我们简要讨论了本研究中考虑的一组无监督节点表示学习模型。DeepWalk[7]：DeepWalk模型通过探索节点的局部邻域使用截断的随机游走来学习节点嵌入。由于随机游走的策略是均匀的（也是深度优先搜索（DFS）风格），它对探索的邻域没有任何控制。此外，该模型仅适用于无权重、无向图。我们按照作者的建议考虑DeepWalk的参数设置。LINE[2]：LINE模型通过两个独立的阶段学习一个d维特征表示。第一阶段通过广度优先搜索（BFS）风格的模拟学习d/2维度，该模拟是在节点的直接邻居上进行的；然后通过从源节点严格采样2跳距离的节点学习另外d/2维度。这样的探索策略在进一步深入探索节点时没有灵活性。与DeepWalk不同，该模型适用于所有类型的图。我们考虑LINE的三种配置：“LINE-1st”、“LINE-2nd”和“LINE-both”，其中我们分别考虑通过1跳、2跳和两者学习的维度。node2vec（n2v）[5]：node2vec模型通过设计一种采样策略，允许我们在BFS和DFS之间平滑插值，来探索多样化的网络邻域，通过两个参数p和q。参数p控制在游走中立即重新访问节点的可能性，而参数q允许搜索区分“内部”和“外部”节点。核心假设是BFS和DFS是适用于结构等价性（节点共享相似角色）和同质性（来自样本网络社区的节点）的极端采样范式。node2vec的采样策略适应了这种等价性观念不是竞争或互斥的事实，并且现实世界的网络通常同时展现了这两种等价性的混合。为了找到最佳模型，我们按照作者的建议在搜索空间中进行了网格搜索，以找到最佳的p和q值。04个图0在本节中，我们介绍了本研究中考虑的图的详细信息。图的统计数据如表1所示。WIKIPEDIA[5]：这是从维基百科转储的前一百万字节中提取的词共现网络。标签表示使用斯坦福POS标注器推断的词性标签。该密集图的下游任务是对单词进行词性标注以及预测两个单词是否会共现。0跟踪：第三届大型网络学习表示国际研讨会（BigNet 2018）WWW 2018，2018年4月23日至27日，法国里昂00.10.20.30.40.50.60.70.8ANDCLCOCOCDEGCENDEGEDGWTISCOPAGRKCLCEN00.10.20.30.40.50.60.70.8ANDCLCODEGCENDEGJCPAGRKCLCENIDEGODEG00.10.20.30.40.50.60.7ANDCLCODEGCENDEGISCOJCPAGRKSPLCLCEN00.10.20.30.40.50.60.70.80.91ANDCLCO DEGCENDEGIFDEGISDEGISCOJCPAGRKSPLCLCEN00.10.20.30.40.50.60.70.80.91ANDCLCO DEGCENDEGIFDEGISDEGISCOJCPAGRKSPLCLCEN00.10.20.30.40.50.60.70.80.9ANDCLCOCOCDEGCENDEGIFDEGISDEGISCOJCPAGRKSPLCLCENANDCLCOCOCDEGCENDEGEDGWTISCOPAGRKCLCEN9480名称 WIKIPEDIA PAPERCITATION COAUTHORSHIP BLOGCATALOG FLICKR YOUTUBE0节点类型 词 文档 作者 博主 用户 用户0有向？� � � � � �0加权？� � � � � �0#节点 4,777 7,08,497 4,73,638 10,312 80,513 11,38,4990#边 1,84,812 11,66,376 14,59,085 3,33,983 58,99,882 29,90,4430平均度数 38 3 6 64 146 50网络密度 1.62 × 10^(-2) 4.6 × 10^(-6) 1 × 10^(-5) 6.3 × 10^(-3) 1.8 × 10^(-3) 4.6 × 10^(-6)0#标签 40 24 24 39 195 470标签 斯坦福POS标签 CS领域 CS领域兴趣组 组0表1：图数据集的统计信息0（a）WIKIPEDIA图0（b）PAPERCITATION图0（c）COAUTHORSHIP图0（d）BLOGCATALOG图0（e）FLICKR图0（f）YOUTUBE图0DeepWalk LINE-1st LINE-2nd LINE-both node2vec0图2：节点表示模型在基本属性预测任务中的性能比较0PAPERCITATION[8]：这是一个引文图，其中节点表示研究论文（或文章），有向边表示引文关系。每篇论文都标有24个计算机科学领域之一。这个稀疏图的下游任务包括论文分类、预测两篇论文之间的链接、对所有论文进行聚类和异常检测。COAUTHORSHIP[8]：这是一个合著关系图，其中节点表示作者。如果两个作者至少合著一篇研究文章，则它们相互连接。每个作者可以属于一个或多个计算机科学领域，在这些领域中发表论文。这个稀疏图的下游任务包括作者分类、预测两个作者是否会合作、对所有作者进行聚类和异常检测。BLOGCATALOG[17]：这是一个社交网络，其中节点表示博主，边定义了他们的社交关系。每个博主与她的兴趣相关联的一个或多个主题类别。这个图的下游任务包括根据博主的兴趣对博主进行分类，以及预测两个博主是否相互连接。FLICKR[17]：在这个社交网络中，每个用户都标有她订阅的兴趣组。这个社交网络的下游任务包括根据用户的兴趣组对用户进行分类。0群组，并预测两个用户在图中是否相互连接。YOUTUBE[16]：这是一个非常大的网络，来自YouTube，其中节点表示用户，边定义了他们的社交关系。标签指示用户喜欢的视频类型。这个受欢迎的网络的下游任务包括根据用户感兴趣的视频类型对用户进行分类，以及预测两个用户是否相互连接。05个下游任务0在本节中，我们介绍了本研究中考虑的下游任务的详细信息。我们使用在每个图上训练模型后获得的节点嵌入作为输入特征。多标签分类：在现实世界的网络中，我们并没有所有节点的标签信息。此外，当一个新节点出现时，预测标签可能具有重要的价值。例如，在用户-呼叫者网络的情况下，电信公司渴望将新用户分类为高价值客户与否。因此，我们将节点分类[20]问题视为下游应用之一。在这个任务中，我们预测0Track：第三届大型网络学习表示国际研讨会（BigNet 2018）WWW 2018年4月23日至27日，法国里昂9490使用一对多的逻辑回归分类器对节点标签进行分类。我们在70%的节点上进行训练，然后在30%的实例上进行测试，报告平均的微观和宏观F1得分。链接预测：推断缺失的链接[13]或预测两个节点之间是否存在链接是一个有趣的任务，用于推断图中节点之间的新交互。我们将此任务作为一个二元分类问题，预测给定两个节点之间是否存在链接（或边）。我们使用Hadamard运算符（如[5]所建议的）基于两个节点的嵌入来计算边特征。然后，我们将边特征输入到带有L2正则化的逻辑回归分类器2中，并报告准确率得分。聚类：图中的聚类[9]是一个流行的问题，它允许通过查看单个聚类来分析大规模网络。我们仅对具有非重叠聚类的图执行此分析。对于这个任务，我们使用节点嵌入作为数据点，并在COAUTHORSHIP和PAPERCITATION图上运行k-means，其中k为24，并报告归一化互信息得分。我们将k设置为24，因为这两个图具有24个标签。异常检测：检测异常是一个重要的任务，在安全、金融和医疗保健领域有许多高影响力的应用。尽管异常检测是一个经过深入研究的问题，但在图中进行异常检测是一个最近的研究热点[18]。图中的异常值可以在各种粒度级别上进行检测-节点、边、子图、立方体和图。我们的工作是首次分析和解释节点嵌入在异常检测中的使用。当我们解释节点嵌入时，我们专注于不同图中基于节点的异常检测。我们将图中的每个节点视为在使用节点嵌入表示的n维空间中的一个点。我们使用局部离群因子（LOF）[19]来量化节点的异常性。接下来，我们根据LOF得分对这些节点进行排名。为了了解不同节点嵌入模型的性能，我们使用使用不同嵌入获得的LOF得分排名前五个节点进行定性分析。我们在第6节展示了不同的案例研究。06分析0在本节中，我们进行实证分析以回答以下问题。0•我们能否确定最能编码特定网络属性的节点嵌入模型？•我们能否将下游任务的模型性能与其最佳编码的网络属性集相关联？•我们能否通过给定任务和图对的可视化技术来理解模型之间的关系？0我们在本节中总结了从这项工作中获得的有用见解。01 https://github.com/phanein/deepwalk/blob/master/example_graphs/scoring.py 2http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html06.1分析节点嵌入模型的基本属性0我们现在介绍不同节点嵌入模型（在第3节中讨论）在编码各种基本属性（在第2节中讨论）方面的性能。结果如图2所示。平均邻居度任务（AND）：我们发现节点嵌入模型的行为随网络密度而变化。对于像WIKIPEDIA这样的稠密图，我们观察到LINE-both能够执行广度优先遍历并捕获邻域以获得最佳性能。对于像BLOGCATALOG和FLICKR这样的中等密度图，我们发现DeepWalk获得的节点嵌入效果最好。最后，对于像PAPERCITATION和YOUTUBE这样的稀疏图，我们发现node2vec能够通过其灵活的图探索能力捕获平均邻居度。聚类系数任务（CLCO）：对于CLCO属性，我们发现随着图的密度增加，我们需要从node2vec转向基于LINE的节点嵌入。对于像WIKIPEDIA和FLICKR这样的稠密和中等密度图，LINE表现最佳。然而，对于像PAPERCITATION这样的稀疏图，node2vec表现最佳。我们发现DeepWalk无法捕获任何这些图的此属性。此外，对于BLOGCATALOG和YOUTUBE，所有节点嵌入的性能几乎相似。社区计数任务（COC）：我们发现对于稠密的WIKIPEDIA图，使用基于LINE的模型的性能最佳。对于稀疏的YOUTUBE网络，node2vec和DeepWalk都具有类似的性能。对于BLOGCATALOG，FLICKR和COAU-THORSHIP图，不同模型的节点嵌入性能相似。对于PAPERCITATION图，此属性不适用，因为每个节点只与一个社区相关联。度中心性任务（DEGCEN）和度（DEG）：DEGCEN和DEG是相似的属性，因为DEGCEN是标准化的DEG。我们发现对于平均度较低的图，如YOUTUBE，AUTHOR和PAPER，node2vec表现良好，而基于LINE的节点嵌入在具有高平均度的图，如BLOGCATALOG，FLICKR和WIKIPEDIA上表现最佳。DeepWalk在任何图中都没有比其他模型更好的性能。页面排名任务（PAGRK）：对于此属性，我们发现node2vec探索邻域的能力对于稠密图来说是过剩的。我们发现node2vec在稀疏和中等密度的图，如COAUTHORSHIP，PAPERCITATION和YOUTUBE上表现最佳。另一方面，对于像BLOGCATALOG，FLICKR和WIKIPEDIA这样的稠密图，LINE-both是最佳模型的选择。更深入地研究，我们发现当稠密图的平均度较高时，LINE-both表现良好。这在BLOG-CATALOG和FLICKR的情况下观察到，LINE-both是最佳性能的模型。在WIKIPEDIA的情况下，LINE-1st略胜于LINE-both。此外，我们经验性地发现对于此属性，对一跳邻居进行建模是有益的。这在所有六个图中都得到了验证，LINE-1st胜过LINE-2nd。0研讨会：第三届大网络学习表示国际研讨会（BigNet 2018）WWW 2018年4月23日至27日，法国里昂00.10.20.30.40.50.6WIKIPEDIAPAPERCITATIONCOAUTHORSHIPBLOGCATALOGFLICKRYOUTUBE00.050.10.150.20.250.30.350.40.450.5WIKIPEDIAPAPERCITATIONCOAUTHORSHIPBLOGCATALOGFLICKRYOUTUBE00.10.20.30.40.50.60.70.80.91WIKIPEDIAPAPERCITATIONCOAUTHORSHIPBLOGCATALOGFLICKRYOUTUBE00.050.10.150.20.250.3DeepWalkLINE-1stLINE-2ndLINE-bothnode2vecPAPERCITATIONCOAUTHORSHIPANDCLCOCOCDEGCENDEGEDGWTISCOPAGRKCLCEN9500(a) 分类（微F1）0(b) 分类（宏F1）0(c) 链接预测0(d) 聚类0DeepWalk LINE-1st LINE-2nd LINE-both node2vec0图3：节点表示学习模型在下游任务中的性能比较0接近中心性任务（CLCEN）：我们发现LINE在COAUTHORSHIP、WIKIPEDIA、BLOGCATALOG和FLICKR等密集图形上表现良好。node2vec在YOUTUBE和PAPERCITATION等稀疏图形上表现良好。入度任务（IDEG）和出度任务（ODEG）：我们分析了PAPERCITATION图的这两个属性，并发现在这个稀疏图形中，node2vec击败了所有其他模型。DeepWalk能够击败LINE，这意味着LINE采用的严格探索策略对于捕捉这两个属性来说是次优的。同一社区任务（ISCO）：由于基于DFS的随机游走，DeepWalk能够很好地捕捉到节点的社区信息。DeepWalk在我们的所有图形中的性能都是最好的，除了COAUTHORSHIP。在COAUTHORSHIP图中，我们假设更重要的是给予邻域信息更多的重视，因为具有相似邻域结构的作者在相似的研究领域工作。对于PAPERCITATION图，所有模型的表现都很好。边权重任务（EDGWT）：所有节点嵌入模型在捕捉这个特征方面几乎相似。一度任务（IFDEG）和二度任务（ISDEG）：由于node2vec的灵活探索能力，该模型能够在所有图形上竞争性地执行这两个特征。Jaccard系数任务（JC）：JC需要理解节点的邻域信息。由于LINE被认为能够捕捉邻域信息，我们发现LINE生成的节点嵌入在所有图形中表现最好。最短路径长度任务（SPL）：我们发现DeepWalk能够很好地捕捉到BLOGCATALOG、FLICKR和WIKIPEDIA等密集图形的这个属性。在COAUTHORSHIP、PAPERCITATION和YOUTUBE等中等密度和稀疏图形中，我们发现LINE-1st是最佳模型。DeepWalk和LINE-1st都利用了基于DFS的图形探索，有助于很好地捕捉到这个属性。06.2 将观察结果与下游任务联系起来0在确定了节点表示模型最佳编码的基本网络属性后，我们现在试图解释特定模型在应用和图形对中的优越性能的原因。为此，我们在图3中展示了多个下游任务（除了异常检测）的各种节点表示的准确性。此外，我们考虑了0对于每个下游任务，我们找到了最佳模型，并将其最佳性能特征（以编码的属性为准）与文献中报告的相同下游任务的最佳性能特征进行了相关性分析。节点分类：我们分析了不同类型图形的最佳分类模型，并确定了这些模型中最佳编码的特征。对于PAPERCITATION和YOUTUBE等稀疏图形，LINE和node2vec模型分别优于其他模型，因为它们最好地捕捉到了DEG和DEGCEN等重要的任务特定属性。对于COAUTHORSHIP等中等密度图形，node2vec是唯一能够捕捉到所有相关属性（如CLCO，DEGCEN，DEG，PAGRK和CLCEN）的模型，因此优于其他无法捕捉到这些属性的模型。LINE-2nd在WIKIPEDIA上击败其他模型，因为它是唯一能够非常准确地捕捉到CLCO和SPL特征的模型。DeepWalk在BLOGCATALOG和FLICKR等密集图形上很好地捕捉到这些特征，这解释了为什么DeepWalk在节点分类方面表现最佳。我们的观察结果得到了[21,22]的支持，这些作者声称这些特征对于节点分类任务的重要性。链接预测：链接预测在监督设置下得到了广泛研究[12,13]，其中使用了图中节点的手工制作的拓扑特征。我们发现这些作品中提出的特征与该任务的最佳模型最好捕捉到的特征相关。与前一个任务类似，LINE和node2vec模型在PAPERCITATION和YOUTUBE等稀疏图形上优于其他模型，因为它们能够最好地捕捉到ISCO（链接预测的重要特征）。对于COAUTHORSHIP等中等密度图形，LINE-both最好地捕捉到了AND，CLCO，JC和CLCEN等相关特征。对于BLOGCATALOG和FLICKR等密集图形，LINE-both最好地捕捉到了CLCO，IFDN和ISDN等最重要的特征，从而使其击败了其他模型。这可以归因于LINE的训练目标，它直接优化其表示以捕捉观察到和未观察到的链接。聚类：我们在PAPERCITATION上执行了聚类任务。0和COAUTHORSHIP图3。我们发现对于像PAPERCITATION这样的稀疏图，度和基于社区的特征如IFDN、ISDN和ISCO很重要，而LINE-1st是唯一的模型03WIKIPEDIA、BLOGCATALOG、FLICKR和YOUTUBE等图形具有重叠的聚类标签，因此我们在这个应用中忽略它们。0Track：第三届大型网络学习表示国际研讨会（BigNet 2018）WWW 2018年4月23日至27日，法国里昂[1] J. Tang, M. Qu, and Q. Mei, “PTE: predictive text embedding through large-scaleheterogeneous text networks,” in KDD, 2015, pp. 1165–1174.[2] J. Tang, M. Qu, M. Wang, M. Zhang, J. Yan, and Q. Mei, “LINE: large-scale infor-mation network embedding,” in WWW, 2015, pp. 1067–1077.[3] S. Wang, J. Tang, C. C. Aggarwal, and H. Liu, “Linked Document Embedding forClassification,” in CIKM, 2016, pp. 115–124.[4] M. Xie, H. Yin, H. Wang, F. Xu, W. Chen, and S. Wang, “Learning Graph-basedPOI Embedding for Location-based Recommendation,” in CIKM, 2016, pp. 15–24.[5] A. Grover and J. Leskovec, “node2vec: Scalable Feature Learning for Networks,”in KDD, 2016, pp. 855–864.[6] Y. Adi, E. Kermany, Y. Belinkov, O. Lavi, and Y. Goldberg, “Fine-grained Analysisof Sentence Embeddings Using Auxiliary Prediction Tasks,” ICLR, 2017.[7] B. Perozzi, R. Al-Rfou, and S. Skiena, “DeepWalk: Online Learning of SocialRepresentations,” in KDD, 2014, pp. 701–710.[8] T. Chakraborty, S. Sikdar, V. Tammana, N. Ganguly, and A. Mukherjee, “ComputerScience Fields as Ground-truth Communities: Their Impact, Rise and Fall,” inASONAM, 2013, pp. 426–433.[9] S. E. Schaeffer, “Graph Clustering,” Computer Science Review, vol. 1, no. 1, pp.27–64, 2007.[10] S. Bhagat, G. Cormode, and S. Muthukrishnan, “Node Classification in SocialNetworks,” in Social Network Data Analytics.Springer, 2011, pp. 115–148.Track: Third International Workshop on Learning Representations for Big Networks (BigNet 2018) WWW 2018, April 23-27, 2018, Lyon, France9510编码所有这些特征。对于稀疏图，建模节点的一跳邻域对于生成聚类是重要的。另一方面，对于中等密度的COAUTHORSHIP图，我们发现基于中心性的度量如CLCO、DEGCEN、DEG、PR和CLCEN有助于node2vec实现最佳性能。由于该图的边数较多，这些基于中心性的度量在执行聚类时给出了积极的信号。异常检测：我们仅对PAPERCI-TATION和COAUTHORSHIP图执行异常检测任务，因为与其余图形对应的数据集中缺少节点ID到名称的信息。COAUTHORSHIP图的异常值通常对应于发表文章很少或在许多不同的计算机科学领域发表文章的作者。对于像COAUTHORSHIP这样的密集图（如表2所示），我们发现DeepWalk在排名异常值方面比其他模型更精确。对于PAPERCITATION图，被认为是异常值的是引用量异常高或异常低的论文。对于像PA-PERCITATION这样的稀疏图（如表3所示），我们发现在检查前五个结果时，node2vec更精确。我们发现，这些模型对于相应图形捕捉到的基本属性对于异常检测是重要的，如调查报告[18]中所讨论的。06.3 可视化相似性能模型0为了理解各种模型学习到的嵌入之间的语义相似性，我们比较了所有模型在每个实例上的性能。我们假设对于给定的任务和图形对，相似的模型在相同的测试实例上应该表现相似。我们将节点嵌入模型表示为一个向量，其中向量的每个位置包含模型在不同测试实例上的性能。我们对除了异常检测任务（非定量任务）之外的所有下游任务进行了这种分析，对于给定模型的每个维度，如果模型对于测试实例的预测是正确的，则将其设置为1，否则设置为0。为了辅助可视化，我们使用主成分分析对模型性能向量集合进行了二维投影（如图4、5和6所示）。对于节点分类，我们发现所有的LINE方法表现相似。这种性能在不同的图形上是一致的，因为性能是基于节点的，因此与图形的密度无关。对于链接预测，我们发现node2vec在COAUTHORSHIP图上的表现与LINE-both和DeepWalk在PAPERCITATION图上的表现相似。与节点分类不同，LINE方法的行为不同，因为性能是基于边的，图的密度确实很重要。因此，性能在WIKIPEDIA图上与PAPERCITATION或COAUTHORSHIP图不同。对于聚类任务，情况也是类似的，结果在不同的图形上是不同的，因为该
