使用图摘要扩展R-GCN训练：可扩展性和计算效率的研究

1073→使用图汇总扩展R-GCN训练AlessandroGeneraleVrijeUniversiteitAmsterdam荷兰蒂尔·布鲁姆Ernst Young GmbHWPGde.ey.com迈克尔·科切斯阿姆斯特丹自由大学爱思唯尔探索实验室荷兰阿姆斯特丹m.cochez@vu.nl摘要关系图卷积网络（R-GCN）的训练是一项记忆密集型任务。在训练真实世界的图时，需要存储的梯度信息量对于大多数GPU上可用的内存量来说在这项工作中，我们尝试使用图形摘要技术来压缩图形，从而减少所需的内存在图摘要上训练R-GCN后，我们将权重转移回原始图并尝试对其进行推理。我们在AIFB，MUTAG和AM数据集上获得了合理的结果。 我们的实验表明，在图摘要上训练可以产生与原始图上训练相当或更高的准确性。此外，如果我们花时间计算公式中的摘要，我们观察到用图摘要方法获得的较小的图表示减少了计算开销。然而，还需要进一步的实验来评估额外的图形摘要模型，以及我们的发现是否也适用于非常大的图形。CCS概念• 计算方法学;机器学习算法;语义网络。关键词图神经网络，可扩展性，图摘要ACM参考格式：Alessandro Generale，Till Blume，and Michael Cochez. 2022.使用图汇总扩展R-GCN训练。 在网络会议2022（WWW '22同伴）的同伴程序，2022年4月25日至29日，虚拟活动，里昂，法国。ACM，美国纽约州纽约市，10页。https://doi.org/10.1145/3487553.35247191引言知识图（KG）作为一种抽象出现，用于表示和利用复杂数据，并简化可访问性[11]。因此，存储在幼儿园中的大量数据现在可以公开使用，这激发了人们对研究新技术的兴趣，本文是第一作者的论文工作成果本作品采用Creative Commons Attribution-NoDerivsInternational许可协议4.0许可证。WWW©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9130-6/22/04。https://doi.org/10.1145/3487553.3524719目的是构建和分析这些数据。然而，KG，包括著名的如DBpedia和WikiData [1]，仍然不完整。 在可用数据的数量与其充分覆盖（完整性）之间存在明显的权衡[3]。预测KG中的缺失信息，例如，预测缺失的链接，是统计关系学习的主要焦点[29]。然而，这些方法受到大量数据和KG未知结构的挑战，损害了应用程序的可扩展性[24]。已经开发了几种技术来处理这些较大的图，同时仍然保留它们的结构。首先，GCN的训练可以通过开发内存优化实现或将计算分布在多个GPU上来扩展[22]。第二，一些技术尝试与保持图的原始结构的KG的压缩表示一起工作例如，Salha etal.[26]建议使用原始图中的高密度Deng和他的合著者[10]建议创建一个融合图，该图嵌入原始图的拓扑结构，并通过多次迭代递归粗化为较小的图。 这些方法已被证明可以提高分类精度并加速图嵌入过程[10]。在这项工作中，我们建议使用图形摘要技术来创建KG的压缩表示，即。例如，图摘要。在我们的方法中，我们在图摘要上训练R-GCN，然后将获得的权重转移到基于原始KG的 R-GCN最后，我们评估了后来的R-GCN，然后研究了它在进一步训练时的性能表现，与基于完整KG的R-GCN相比，它没有预先训练总结。从我们的实验中，我们观察到在图摘要上训练可以产生与在原始图上训练相当或更高的准确性。此外，我们表明，较小的图形表示与图形summarization方法，如果我们不纳入所需的时间的总结，减少了计算开销。2关系图卷积网络图卷积网络（GCN）激发了人们对使用图实体进行机器学习的GCN将图作为输入，可能具有节点的输入特征，并输出每个节点的嵌入。GCN使用消息传递算法，这意味着相邻信息会影响节点的嵌入表示。然而，GCN的一个缺点是，它对待异构图中的所有关系都是相同的。因此，提出了R-GCN，它能够将关系信息包含到图神经网络中（最初由Schlichtkrull等人提出）。 [29]并由Thanapalasingam等人进行了广泛的分析。[30]）。WWWAlessandro Generale、Till Blume和Michael Cochez1074我（）下一页----（）下一页Zr∈Rj∈Nrci，r| |JLR-GCN被定义为在多关系图的上下文中执行消息传递的卷积。在该图神经网络的消息传递步骤l +1之后，节点i的更新状态如下：hi（l+1）=σlI. .我Wr（l）h（l）+W0（l）hi（l）\I（一）该状态是在先前消息传递步骤1之后的相邻节点的状态和节点本身的先前状态在公式中，我们对R中的所有关系类型r求和，然后对与节点i（Nr）有关系r的所有邻居j这些节点的状态使用特定于关系矩阵Wr（l）（在层l处的关系r的权重矩阵）。 R-GCN在更新节点的表示时添加自连接，并且学习专用权重矩阵W0（1）以将节点投影到其自身上。最后，将状态设置为在应用非线性激活函数之后该和的值经过几个消息传递步骤后的状态形成了图中每个节点这些表示可以用于节点分类或其他下游机器学习任务。R-GCN模型存在过度参数化的问题。Schlichtkrull等人。[29]使用基分解来减少权重矩阵的数量。通过矩阵分解，每个关系都必须学习关系系数来缩放单个投影矩阵。或者，可以使用块对角分解来减少参数[29]。3图形汇总将数据表示为图越来越受欢迎，因为与关系数据库相比，图允许更有效和更灵活地实现某些应用程序[12，16]。关系数据库在表格数据模型上运行，并采用严格的数据模式[15]。图数据库使用标记的节点来表示实体，如人或地点，标记的边来表示实体之间的关系[16]。 节点标签和边标签的组合可以被认为是图数据库的模式[25]。在本文中，我们定义我们的（知识）图如下，并注意到该定义包括RDF图1作为特例。定义1（GrA ph）。（定义见[7]第15页）。设V是一组节点，L是一组标签。有向标记边的集合被定义为A {（x，α，y）|（x，y）∈ V2，α ∈ L}. 图g元组G =（V，A，IV），其中IV：V L是节点标记函数。在RDF Web图的上下文中，通常的做法是将图视为一组三元组x，α，y。这样的三元组具有头或源节点x，其与目的地节点y（也称为目标或对象节点）具有直接关系α。图1显示了一个小的KG示例。 集合 的 节点V1、V2、V3、V4、V5是实体节点。节点集这个图中的一个三元组的例子如下：v1，title，“Book1”。在[7]之后，我们定义一个属性为边的标签。在这种情况下，与节点v1和文本节点“Book1”相关的属性是title。1https://www.w3.org/TR/rdf11-concepts/图1：KG的碎片。实体是节点v1到v5，并且边具有属性，例如，“wrote”、“title”和“friends”。绿色节点是文字。这样的知识图允许灵活地添加新的节点标签和边标签，即。例如，适应新的实体和关系[11]。这种关于数据模式的灵活性意味着数据的固有结构最初可能不清楚，或者在图形数据库的生命周期中不断演变 图形汇总有助于识别数据图中的含义和结构[14，21]。因此，除了其他应用之外，可以使用图摘要来发现现有图数据库的数据模式[8]。当我们描述图摘要技术时，我们通常用三个维度来表征它[7]：（I）图的大小，（II）图摘要的大小，（III）图的异质性对图摘要的影响。当我们提到图的大小时，我们通常将其定义为组成图的边A的数量[7]。图摘要的第四维是文字节点的作用通常，计算摘要时会考虑文字节点，但它们的内容被抽象掉了。结果，压缩率增加，因为在计算摘要时忽略了图中的例如，回顾图1，连接到文本节点“Book1”和“Book2”的三元组被剥离，然后计算汇总直观地说，图摘要是图的压缩表示，使得图摘要的一组选定特征等同于原始图中的特征[5]。 为了实现这一点，结构图基于等价子图总结分区节点。为了确定等效子图，使用诸如该子图中的标签的特定组合的特征我们称之为节点模式。当一个图的标号和结构不一致时，它被认为是异质的。例如，在一个实施例中，用于描述实体及其关系的模式有很多种[7]。图表越是异构，创建简明精确的摘要就越复杂。简洁是指摘要的大小，而精确则涉及实体结构的保留。在实践中，合理的摘要通常小于原始图[28]。下面，我们讨论两类图摘要：近似图摘要和精确图摘要。3.1近似图形汇总近似图摘要利用形成节点的本地信息的数据例如，一个节点有传入和传出边，这些边具有不同的标签，也称为属性[7]。边的方向在“Book1”写道标写道朋友写道标“Book2”1使用图汇总扩展R-GCN训练WWW1075⊆×--−1−1图的结构一个节点与一个对象节点有一个一对多的rdf：type关系，定义了一个节点的特定属性上述节点的局部信息被组合以产生原始图的不同分区。信息的组合定义概括关系。分区，有任何向外的边缘。在我们的示例中，字符串文字'Book1'和'Book2'映射到同一个空的汇总节点。对应于汇总节点的节点的集合基于汇总关系产生属于同一分区的节点是聚集的。朋友写道标题门控和相应的映射本文的这一部分讨论了几种近似的图形汇总方法，如属性汇总、IO汇总和传入属性汇总。3.1.1属性总结。属性总结在之前的文献[6，7]中定义为近似图总结。在KG的上下文中，每个实体节点都具有不同属性的零到多关系。计算每个节点的属性集，并将具有等效属性集的实体划分在一起。 每个分区都被视为一个唯一的摘要节点。 每个原始实体节点都被映射到一个分区，因此如果它至少有一个传出边并且不是文字节点，则它是一个汇总节点。重要的是要注意，所讨论的汇总方法将具有较少边的节点聚合到与具有更多边的另一节点相同的分区中，如果它们具有等效的属性集。因此，不考虑节点具有的关系的数量。不具有任何传出边的节点（通常是KG中的文字节点）被聚合到相同的分区或摘要节点。在执行以下摘要技术时，文字节点信息被抽象掉。图2显示了图1中KG片段的属性汇总结果。图2：属性摘要图，生成了从原始节点到摘要节点的映射。由空集符号标记的绿色节点抽象了Literal节点的内容。V Wav1，v2s2v3，v4s1v5s 3表1：该表指示了在Ra（V，W a）下由属性摘要从原始节点∈ V到摘要节点∈ Wa产生的映射。3.1.2IO摘要。输入-输出汇总与属性汇总类似。事实上，定义3的结构几乎是相同的。然而，在这种情况下，对于图中的每个节点，它创建两个集，定义为传入属性集和传出属性集。具有等效传入和传出属性集的所有节点都插入到同一分区中。De FinnI tI on 2 （SU mmA rI zA tI on RELAtI onRa）。（定义De FinnI tI on 3 （SU mmA rI zA tI on RELAtI onRio）。（定义[7]第48页。设G =（V，A，lV）和Sa =（Wa，Ba，lW）是两个图. G指[7]第48-49页）。设G =（V，A，1V）和Sio =（Wio，Bio，1Wio）是两个图. G指到原来的图表。S一a指汇总图。该组到原来的图表。 sio指的是汇总图。该组节点Wio包含与属性节点Wa包含与图中的属性的幂集一样多的元素。因此，根据如下定义的概括关系RaV Wa，S a对应于G的属性概括：Ra ={（u，x）∈ V <$Va |attributes（u）= attributes（x）}这意味着，如果包含节点属性的集合相同，则将节点放置在同一分区请注意，当我们将三元组存储到集合，不会添加重复的三元组，并且根据定义，集合不包含重复的项。计算此关系并为每个parti-tion分配一个新标签，我们获得表1中的映射。我们不能使用此映射将图1中的运行示例总结为图2中的图。例如，节点v1和v2属于同一分区，因为它们共享相同的属性集标题，因此它们被汇总到接收标签s2的同一节点中。上面描述的汇总关系将没有任何外出边的节点映射到空汇总节点，我们给出标签。通常情况下，nodereep代表字面上的nodes，因为它们不在图表中。因此，Sa根据如下定义的汇总关系R io_V × W io对应于G的传入传出属性汇总：Rio ={（u，x）∈ V <$Vio|属性（u）=attributes（x）{attributes（u）=attributes（x）}函数属性和属性-1分别计算负指数表示逆运算。因此，它不是计算传出边的属性集，而是计算传入边的属性集。 具有与节点x相等的传入和传出属性集的节点u示出了节点u和x属于汇总关系Rio下的分区。3.1.3传入属性摘要。传入属性汇总是属性汇总的逆操作。以下代码基于传入属性集对每个节点进行分区。将具有等效传入属性集的两个节点插入到同一分区中。定义4具有与先前提到的其他概括技术类似的结构。1076{}∈（）（）×（）∈WWWDe FinnI tI on 4 （SU mmA rI zA tI on RelA tI onRia）。（定义由节点{s3，s1，s2}划分，这些节点形成先前的[7]第50页）。设G =（V，A，1V）和Sia =（Wia，Bia，1Wia）是两个图. G表示原始图形。Sia指的是汇总图。节点集Wia包含与图中的属性的幂集一样多的元素。因此，根据如下定义的汇总关系R iaV × W a，S ia对应于G的传入属性汇总：Ria ={（u，x）∈ V <$Via |attributes−1（u）=attributes−1（x）}函数attribute-1将原始节点作为输入，并根据节点的传入边上形成因此，具有与节点x等价的传入边划分的节点u表明节点u和x属于相同的汇总关系Ria。3.2精确的图形摘要仅基于节点的局部子图模式结构划分节点具有某些缺点。与这种近似图摘要相反，精确图摘要计算考虑多跳上的相邻节点的节点模式[9，18]。类似地，基于本地和相邻信息聚合节点的概念在处理图实体的现代机器学习模型中也是共享的。图摘要的一般目的是反映原始图的结构，同时保持较小的大小。精确的图摘要被认为是一种更严格的方法，因为摘要关系更复杂，并且需要考虑来自原始图的更多信息。为了使两个节点属于同一个分区，相邻的节点也必须共享同一个模式。当无法从原始图形中辨别时，图形摘要被认为是精确的[7]。 摘要图可能没有实体图中存在的路径，但由于图同态，实体图的整体结构被保留[7]。此外，原始图的结构保留在摘要中，但相反可能不成立。比较表1中的映射，不存在总是重建原始KG的唯一方式。定义5（精密度等级）。（定义见[7]第41页）。设G = V，E，R和S = W，B，LW是两个图. 图S是图G根据概括关系R的概括VW.设p=x1，α1，x2B..xn，αn，xn+1B是路径，其中（x1，..，xn+1）∈ W n+1.让设置u1，..，un+1是一个概要路径实例ui V。因此，当p在原始实体图中形成关于p中的边的路径。<$∈ [1，n]<$（ui，αi，un+1）∈E定义5指出，如果可以在原始图中找到可以在摘要图中形成的所有路径，则图摘要是完全精确的原始图可以保存图摘要中不存在的路径查看图2中生成的图形摘要示例，存在不存在于原始图中，例如路径（v5，v3，v2）。这样的路径可以在概要图中形成为节点{v5，v3，v2}利用汇总节点的相同子集，可以创建包含在原始图中的路径例如路径（v5，v4，v2）。3.2.1互模拟在图的上下文中，互模拟背后的直觉是将图数据解释为转换系统，以发现结构上等效的部分[6，27]。如果两个节点的状态变化遵循等价边关系，则它们的状态是双相似的[ 6 ]. 互模拟是一种二元关系，当KG本身及其逆是模拟时，它将KG中的两个任意节点联系起来[7]。例如，考虑两个节点u和v，一个模拟关系表明，从u出发并指向任意节点x的类型为α的边意味着存在从v指向任意节点y的类型为α的边，使得x和y是模拟。如果两个节点共享相同的传出路径，则它们是双相似的，这一点很有用。互模拟的概念更严格，因为它是一种对称等价关系，确保每个节点可以相互替换。3.2.2（k）-前向互模拟。（k）-前向互模拟是许多图汇总技术的一个示例，其基于多跳上的邻居模式来聚集节点在[6]中，它也被定义为分层互模拟，这是一种限制于k-边的最大路径长度的概括关系。提出在k跳上进行双模拟的其他汇总技术也考虑边缘方向[27]。这些被称为前向、后向和前向/后向互模拟[17]。 在本文中，我们使用FLUID框架[4]，它允许我们创建前向（k）互模拟摘要。图3a表示KG的小片段在这个小实体图上执行具有链接参数k = 3的前向（k）互模拟。图3b中示出了所得到的汇总图以及从原始节点到汇总节点的一对一映射。4方法在这项工作中，我们专注于多标签分类的类型的节点。因此，R-GCN使用原始实体图的汇总版本，并推断每个原始节点的rdf：type关系。 我们期望图的汇总版本保留实体图的足够结构，有助于推广到不同节点中的复杂类型层次结构。 通过存储原始图中的节点和图摘要中的节点之间的链接，可以将摘要节点的参数传输回原始节点。 这使我们能够评估仅在图摘要上训练的模型的性能，并可能继续在原始图上训练。 作为基线，我们只在原始图上训练R-GCN。 所有使用的R-GCN模型都遵循[29]中提出的架构。然而，我们工作中的模型使用二进制交叉熵损失，并在输出上应用sigmoid激活函数来预测多个标签。Bloem等人提出的问题[3]是数据集中标记节点的最低数量在测试实际性能时，这是一个明显的问题为了解决这个问题，我们捕获了一个存在于大多数节点中的特定关系，并将其值用作标签。我们使用rdf：type关系来表示使用图汇总扩展R-GCN训练WWW1077--关于我们(a) KG的分数(b) （k）-互模拟图摘要图3：图3a显示了原始KG片段。图3b示出了利用链接参数k=3产生的（k）互模拟图概要。节点（一个节点可以有多种类型），并将这些类型用作节点的类 这在第4.2节中有更详细的解释。本工作中使用的R-GCN模型是使用Python实现的使用PyTorch几何[13]框架的3.9.0。4.1数据预处理汇总生成实验的第一步是创建原始节点到其标签的映射有几种方法可以获得这些标签。它们可能不存在于图中，而是从外部源检索的。或者，它们是从图[33]中可用的一组选定属性中获得的在这两种情况下，节点可以属于单个或多个类。然而，只有少数数据集配备了合理数量的标记节点[3]。因此，对于我们的实验，我们通过考虑rdf：type关系并从原始图中删除这些三元组来获得标签。KG内节点的其他属性用于训练模型。去除rdf：type三元组的图用作两个汇总框架的输入，以计算属性汇总（参见第3.1.1节）和具有链接参数k = 3的前向（k）互模拟（参见第3.2.2节）。为了计算属性摘要，我们使用Campinas [7]开发的SPARQL查询和稍微修改的版本，该版本也为我们提供了映射。 为了计算前向（k）互模拟，我们使用FLUID框架[4，5]。然后，我们还生成从汇总节点到原始节点的然后，我们通过迭代原始图中的边来创建摘要图。对于每条边，我们应用映射函数在源节点和目的节点上，并使用结果和关系类型来形成我们的汇总图的新边。在这一步中，我们还过滤掉了文字节点，并删除了包含Campinas [7]建议的Web本体语言属性的三元组。4.2摘要节点标签摘要技术可以将具有不同rdf：type值的多个节点映射到相同的分区或摘要节点。因此，同一个汇总节点有多个标签。我们通过获取分区中每种类型的相对频率为每个摘要节点创建加权多标签（即，映射到概要节点的所有节点图4显示了摘要和原始节点的标记示例节点s1和s2是分别表示原始节点v1、v2和v3、v4的两个摘要节点节点v1有一个rdf：type关系，并被标记为type2。类似地，v3有两个rdf：type关系，因此标记为类型1和类型4。通过对摘要节点的划分，我们可以获得摘要节点的标签节点s2表示节点v3和v4，对于类型1，其标记为0.5，因为只有一个节点具有该关系。类型4被标记为1.0，因为两个节点都指向类型4。使用摘要表示训练的机器学习模型使用这些加权标签。迁移学习模型和基准模型（我们的基线）对二进制值进行训练，以预测节点的类型。4.3机器学习模型：R-GCN为了进行实验，我们建立了三个不同的R-GCN模型，一个模型在图摘要上学习，第二个模型的参数从图摘要模型转移，最后，一个模型遵循正常的初始化作为基线。第二模型的初始化通过从使用从原始节点到摘要节点的映射在图形摘要上学习的模型传输嵌入参数来执行如前所述，为了适应多标签分类任务的目的，模型进行了轻微修改二进制交叉熵损失函数[23]用于计算训练期间的损失。假设属于一个类的元素不会影响同一元素属于另一个类的概率。以下损失函数要求目标值介于0和1之间。如第4.2所述，创建汇总和原始节点的目标值。标记过程根据应用于分区内原始节点的标签的频率为标签提供值sigmoid激活函数将所有模型的输出限制在0和1之间，对应于标签的概率然后将模型的输出四舍五入到最接近的整数，以匹配原始节点标签。需要考虑的参数是两个R-GCN卷积之间的隐藏单元的数量。根据文献[19，29]，我们将所有使用的R-GCN模型的隐藏值数量设置为16 正如[19]中所提出的，我们也不使用正则化子。亚当优化器[23]与学习WWWAlessandro Generale、Till Blume和Michael Cochez1078∗∗类型_1类型类型类型2类型类型_3类型类型类型_4标签原始节点=> [0，1，0，0]=> [0，0，1，0]=> [1，0，0，1]=> [0，0，0，1]LABLES摘要节点=> [0，0.5，0.5，0]=> [0.5，0，0，1]图4：显示原始节点和摘要节点标记过程的图表率为1. 0 10 −2，重量衰减为5。0 10 −4的应用如[29]中所建议的。 我们不使用基分解。在总结图上学习的模型首先被训练总共51个epoch。该模型的参数通过由摘要技术产生的映射被传递到第二R-GCN。可以设置额外的训练参数，其包括冻结一个或多个层中的层，使得权重在训练期间不更新建议在已转移权重的模型上进行此操作，以运行更快的训练。如果迁移学习模型的第一卷积层被冻结，则从图形摘要中传输的嵌入参数在反向传递中不会更新R-GCN的参数详见附录A。标记的实例分为80%用于训练，20%用于测试。图5：显示在数据集AIFB上执行的属性汇总的性能的图表。迁移学习模型（红线）从早期迭代开始以比基线（绿线）更高的准确度进行预测，并收敛到更好的最优解。5数据集根据现有的研究工作[3，29]，我们在AIFB，MUTAG和AM数据集上进行了这些数据集的统计数据见表2。表2：研究中常用的RDF格式数据集统计实体AIFB8,285AIFB23,644BGS333,845是1,666,764关系4523103133边缘类29,0432674,227113916,19915,988,321216实验结果我们对几个结果感兴趣首先，我们想知道使用汇总模型的参数初始化的传输模型如何执行。其次，我们想知道如果我们对这个转移模型进行更多的训练，它的性能如何随着最后，我们必须将这些性能与未初始化的R-GCN进行比较，该R-GCN与汇总模型无关（即，基线）。在我们的图表中，我们显示了两条性能曲线。第一个是迁移学习模型。在第零个时期，这显示了没有任何额外训练的性能在此之后，它显示了额外训练的性能第二条曲线显示了随机初始化的标准R-GCN的性能随训练时期的变化。在我们的图中，我们还包括相应损失函数的值。图5显示了在属性摘要上训练的迁移学习模型相对于AIFB数据集上单次运行的基线的性能 表3显示了平均起始和收敛精度。通过执行k倍交叉验证计算平均值，其中k设置为5。红线表示汇总模型的嵌入参数要传输到的模型。绿线表示原始模型，权重随机初始化。迁移学习模型（红线）在最初几个时期的准确率相当高，为81.7%。迁移学习的准确性使用图汇总扩展R-GCN训练WWW1079属性总结（3）-前向互模拟基线没有培训50个纪元没有培训50个纪元没有培训50个纪元数据集AIFB82. 52± 3。9392. 54± 2。42七十七。53±4。7291. 30± 2。0358. 03± 14。1587岁98± 2。13MUTAG0。21 ±0。41三十五07± 9。7015个。94±1347三十六。56±8。5624岁77±163328岁77± 2。00是62岁36± 3。61八十。14± 2。1761岁。75±3。8372. 63± 5。3113岁90±110278岁63± 3。21表3：具有（k）倍交叉验证的实验结果，其中k设定为5。请注意，由于计算成本，未对AM数据集执行此交叉验证;每个模型仅报告两次运行。50个周期后模型稳定增长，达到91.06%相比之下，原始模型（绿线）的准确度从57.9%的较低准确度开始，并在87.82%的较低准确度处收敛。在（k）-前向互模拟上训练的迁移学习模型的结果可以在图6中找到。 与在属性摘要上训练的迁移学习模型相比，在（k）-前向互模拟摘要上训练的迁移学习模型在所有训练时期内始终优于基线模型。该迁移学习模型以77.53%的准确率开始，并在50个训练时期后收敛到91.30%的最终准确率。数据集AIFB包含8，285个实体，其中类型信息已被剥离。属性摘要将AIFBKG上的边总数的大小减少了63.7% 在这个实验中，与基线模型相比，迁移学习模型需要更少的训练时间才能以相当好的准确度进行预测。此外，我们观察到，当训练相同数量的epoch时，迁移学习模型MUTAG数据集提供了类似的见解（单次运行见附录C然而，总结的积极作用并没有那么大。在20到25个时期之后，基线模型赶上了总结模型。 我们认为这种差异与两种摘要技术都提供了非常简洁的数据集摘要有关。这意味着模型在原始图的微小版本上学习属性摘要和（k）-前向互模拟的压缩率分别为93.1%和85.4%。除此之外，在数据预处理步骤中生成训练和测试节点时，还发现了113个不同的标签，这使得这项任务变得更加困难。在以前的工作中，在MUTAG数据集上进行节点分类时只考虑了2个类[30]。最后，我们看看最大的KG，AM数据集（参见附录D的单次运行）。我们注意到，传输模型在开始时显示出比基线模型更好的结果，但过了一段时间，基线模型的性能就会赶上，变得大致相同。我们在实验中使用的图摘要也考虑了与文字节点的关系（见第3节）。作为一种消融，我们进行了实验，在计算摘要时不考虑文字节点AIFB和MUTAG数据集的单次运行结果见附录E。我们注意到的是，迁移学习模型的性能变得不那么一致，经常低于基线。因此，考虑文字信息对于在图摘要上训练的迁移学习模型的性能至关重要。7结论和今后的工作我们介绍了一种使用图摘要在KG上高效地训练R-GCN模型的方法。在我们的实验中，在图摘要上训练的R-GCN模型通常优于基线模型，并且通常在第一个训练时期之前以更高的初始精度开始。唯一的例外是在MUTAG数据集上的前向（k）互模拟总结上训练的模型，在50个训练时期后，其准确度比基线低4%。在所有其他情况下，迁移学习模型都优于基线。我们所确定的是，转移从图汇总模型中学习到的参数这支持了图摘要方法的重要性和相关性，其较小的图表示缩小并减少了处理大型KG的新型机器学习模型所涉及的计算开销然而，由于分类任务的复杂性，准确性的变化仍然很大。摘要关系（k）-正向互模拟和属性摘要在AIFB和AM数据集的训练行为中表现相似。对于未来的工作，我们计划扩展实验与额外的任务。也许可以包括一项基线研究，将结果与以前报告的单类预测性能进行此外，虽然我们使用的图在异构图神经网络文献中很常见使用更大图的实验是必要的。另一个需要进一步实验的方面是（k）-前向互模拟的超参数k。在我们的实验中，参数k固定为3。研究图摘要中的最优超参数k与R-GCN中的最优层数之间的可能关系仍然是开放的。除此之外，使用图摘要训练的模型只能学习映射的节点许多节点被丢弃，因为在生成图形摘要时没有映射这些实体，因此它们的嵌入最初是随机的。可以通过增加k或使用更复杂的汇总方法来减少丢弃节点的数量最后，还可以研究这些摘要技术是否也可以用于R-GCN模型之外的其他图神经网络，例如CompGCN [32]。在这项工作中，我们建立了一个框架，使用图摘要来高效地训练R-GCN来预测节点的标签。针对AIFB和AM数据集观察和报告的两种总结方法的模型性能表明，总结可以用于扩展训练，而不会损害性能，甚至提高性能。WWWAlessandro Generale、Till Blume和Michael Cochez1080致谢我们使用DAS 5系统[2]来训练机器学习模型。这项研究的一部分是由爱思唯尔的发现实验室资助的引用[1] Sören Auer 、 Christian Bizer 、 Georgi Kobilarov 、 Jens Lehmann 、 RichardCyganiak和Zachary Ives。2007. DBpedia：开放数据网络的核心。In TheSemantic Web ， Karl Aberer ， Key-Sun Choi ， Natasha Noy ， DeanAllemang，Kyung- Il Lee，Lyndon Nixon，Jennifer Golbeck，Peter Mika，Diana Maynard，Riichiro Mizoguchi，Guus Schreiber，and Philippe Cudré-Mauroux（Eds.）.施普林格柏林海德堡，柏林，海德堡，722-735.[2] H. Bal，D.埃佩马角德拉特河van Nieuwpoort，J.Escherin，F.塞萨洛尼基角Snoek和H. 威肖夫2016年。计算机科学研究的中等规模分布式系统：长期基础设施Computer49，05（May2016），54https://doi.org/10.1109/MC.2016.127[3] 彼得·布洛姆，山德·威尔克，卢卡斯·范·伯克尔，维克多·德·波尔。2021年kgbench：一个用于评估关系和多模态机器学习的知识图数据集集合。InThe Semantic Web，Ruben Verborgh，Katja Hose，Heiko Paulheim ，Pierre-Antoine Champin ， Maria Maleshkova ， Oscar Corcho ， PetarRistoski，and Mehwish Alam.施普林格国际出版社，查姆，614-630。 https://openreview.net/forum? id=yeK_9wxRDbA[4] Till Blume，David Richerby，and Ansgar Scherp.2020年。进化图结构图和的增量并行计算。第29届ACM信息知识管理国际会议（虚拟活动，爱尔兰）（ CIKM 计 算 机 协 会 ， 纽 约 ， 纽 约 ， 美 国 ， 75-84 。https://doi.org/10.1145/3340531.3411878[5] Till Blume，David Richerby，and Ansgar Scherp.2021年FLUID：基于等价关系的语义结构图摘要的通用模型。Theor.Comput. Sci. 854（2021），136-158. https://doi.org/10.1016/j.tcs.2020.12.019[6] Till Blume，David Richerby，and Ansgar Scherp.2021年FLUID：一个基于等价关系的语义结构图摘要通用模型。理论计算机科学854（2021年1月），136 https://doi.org/10.1016/j.tcs。2020.12.019 - 09 - 01[7] 斯蒂芬·坎皮纳斯2016年。Web数据的图形摘要：结构化表示的数据驱动生成。博士D. 论文。爱尔兰国立高威大学http://hdl.handle.net/10379/6495[8] Šejla Čebirić ， François Goasdoué ， Haridimos Kondylakis ， DimitrisKotzinos， Ioana Manolescu ， Georgia Troullinou， and Mussab Zneika.2019年。 总结语义图：一个调查。International Journal on Very Large Data Bases（VLDB Journal）28，3（2019），295https://doi.org/10.1007/s00778-018-0528-3[9] Qun Chen，Andrew Lim，and Kian Win Ong. 2003. D（k）-Index：AnAdaptiveStructuralSummaryforGraph-StructuredData. 在 2003 年ACMSIGMOD数据管理国际会议（加利福尼亚州圣地亚哥）（SIGMOD'03）的会议记录中。计算机协会，纽约州纽约市，USA，134-144. https://doi.org/10.1145/872757.872776[10] Chenhui Deng，Zhiqiang Zhao，Yongyu Wang，Zhiru Zhang，and ZhuoFeng. 2020. GraphZoom：一种用于精确和可扩展图嵌入的多级谱方法arXiv：1910.02370[cs.LG][11] DieterFensel、Umutcan Jumimirek、Kevin Angele、Elwin Huaman、EliasKärle 、 Olek-sandra Panasiuk 、 Ioan Toma 、 Jürgen Umbrich 和 AlexanderWahler 。 2020 年 。 简 介 ： 什 么 是 知 识 图 谱 ？ Springer InternationalPublishing，Cham，1-10. https://doi.org/10.1007/978-3-030-37439-6_1[12] 迪奥戈·费尔南德斯和豪尔赫·贝尔纳迪诺。2018年图形数据库比较：AllegroGraph，ArangoDB，InfiniteGraph，Neo4J和OrientDB。数据科学、技术与应用国际会议（International Conference on Data Science，Technology andApplications，DATA）SciTePress，373-380.https://doi.org/10.5220/0006910203730380[13] Matthias Fey和Jan E.Lenssen. 2019年。使用PyTorch Geometric进行快速图形表示学习，在ICLR关于图形和流形表示学习的研讨会上。arXiv预印本arXiv：1903.02428。[14] François Goasdoué，Pawel Guzewicz，and Ioana Manolescu.2020年。 用于第一视角结构发现的RDF图摘要。 VLDB Journal 29，5（2020年4月），1191-1218。https://doi.org/10.1007/s00778-020-00611-y[15] 简·L·哈林顿。2016年。关系数据库设计与实现。摩根·考夫曼[16] Aidan Hogan，Eva Blomqvist，Michael Cochez，Claudia d'Amato，Gerardde Melo，Claudio Gutiérrez，José Emilio Labra Gayo，Sabrina Kirrane，Sebastian Neumaier，Axel Polleres，Robert