分布式结构化数据隐私保护的图神经网络局部差异隐私框架

+v：mala2277获取更多论文分布式结构图美国伊利诺伊大学芝加哥分校（University of Illinois atChicago）2Samsung Research America，Inc.hjin25@uic.edu，xun. samsung.com摘要结构化数据，特别是图形数据之间的相似性学习 除 了 像 图 核 这 样 的 方 法 之 外 ， Gromov-Wasserstein（GW）距离最近引起了很大的关注，因为它可以灵活地捕获拓扑和特征特征，以及处理排列不变性。然而，结构化数据广泛分布于不同的数据挖掘和机器学习应用中。由于隐私问题，访问分散的数据仅限于单个客户端或不同的筒仓。为了解决这些问题，本文提出了一个隐私保护框架，分析了图神经网络局部学习到的节点嵌入的GW差异，并基于多比特编码器显式地放置局部差异隐私（LDP）来保护敏感信息。实验结果表明，在ε-LDP算法的强隐私保护下，该框架不仅在图学习中保护了隐私，图1：框架内核[Borgwardt和Kriegel，2005;Vishwanathan等人，，2010]，但主要集中在拓扑信息。图神经网络（GNNs，Kipf和Welling[2016];Hamiltonet al.[2017]）是学习节点嵌入的最先进模型之一。然而，它需要额外的读出层来匹配图形大小的维度，并且它缺乏捕获图形上最近，Gromov-Wasserstein（GW）距离还提出了一个噪声结构下的度量GW[M e'moli，2011;P e yr e'etal. ，2016]提供了一种几何形状-距离，从而在分类和聚类任务中具有可比甚至更好的性能。此外，我们的理由背后的LDP为基础的GW距离分析和经验。1介绍机器学习中的许多应用广泛使用成对矩阵或内核来执行预测或回归任务。像RBF核和协方差矩阵这样的例子通常用于支持向量机分类Changet al.[2010]在欧几里得空间中。然而，对于图中呈现的非欧几里德域，例如社会网络[F anet al. ，2019]，推荐系统[Wuet al. ，2020]，欺诈检测[Lietal. ，2020 b]和生化数据[Coleyet al. ，2019]和拓扑感知物联网应用[Abusnainaet al. ，2019年]，涉及到研究的关系之间的特征对象。为了测量图的相似性，各种图联系作者基于度量来测量从一个结构对象到另一个结构对象的最佳运输。GW在度量-测度空间上操作，即，一个Borel概率测度在其紧度量空间的集合上。换句话说，它对在每个域内计算的点对之间的距离进行操作，并测量该距离如何与其他域中的距离进行比较。具体而言，全对最短路径（APSP）是常用的测地线措施之一这样，就需要根据两个域之间的距离来计算两个域之间的交通量，从而将距离问题从线性优化问题转化为二次优化问题。 它扩展了拓扑和特征信息（称为FGW [Titouanet al. ，2019]），使得相似性问题与节点特征很好地合作。注意到GW与图匹配问题高度相关，编码结构信息以比较图，并且在图像识别中已经成功采用了很长时间[Peyre'et al. ，2016]，生物领域采用[Demetciet al. ，2020]和点云数据对齐[M e′ moliand Sapiro，2006]。应用GW距离的关键优势之一是arXiv：2202.00808v1 [cs.LG] 2022年2+v：mala2277获取更多论文GGV E结构之间的等距性质。所有以前的工作都假设所有结构化数据总是可用和可访问的，这在现实中往往是不正确的。许多应用程序中的结构化数据要么包含敏感和私有信息（如支付交易和社交连接），要么通常分布在不同的客户端上[Liao等人，，2021;Tanget al. ，2020]。一方面，由于全球强制执行的隐私法规（如GDPR法规[2018]和CCPA [Bukaty，2019]），数据所有者仅限于共享原始数据。 另一方面，在许多应用程序中，必须处理无法立即处理的非常大的数据集。因此，由尺度参数参数化的输入的嵌套分区由输入数据的度量结构产生。1.1问题公式化在本文中，我们工作的问题GW距离之间的分布图，同时有隐私的限制。两个关键假设被放置在底层这样的系统中：1）每个图在本地保持其拓扑信息、具有特征和标签的节点; 2）服务器不能全局地访问原始数据，同时必须从图到图进行区分因此，需要解决两个主要问题：第一，在不同的图上训练全局模型，同时保护本地数据的隐私;第二，即使在置换不变和大小变化的情况下也要比较图为了克服这两个问题，我们把联邦学习模式作为我们的主要框架，以及一个基于几何的度量，名为Gromov-Wasserstein差异[Peyre 'et al. ，2016]来学习跨图的相似性/不相似性。Gromov-W asser stein距离[Me′moli，2011]提供了一个度量标准来测量从一个结构对象到另一个结构对象的最佳拟议框架如图1所示。总而言之：1）同步垂直联合学习首先从私有结构数据（A，X）更新局部参数W以学习局部图嵌入H; 2）然后，代替从客户端拉取原始图数据，提出的框架采用FL模型中学习的局部图嵌入，并显式地应用局部差分隐私（LDP），将多比特编码器从向量空间扩展到矩阵场景，保护敏感信息; 3）获得编码后的图嵌入后，框架在服务器上计算相似性度量（GW距离），并服务于下游任务，如聚类、分类和匹配问题。总的来说，我们强调我们的核心贡献，• 在传统的联邦学习算法基础上，设计了图嵌入的保证ε-LDP算法，以显式地保护图信息。值得一提的是，由于GNN的脆弱性，拓扑上的LDP不适用，并且节点或边缘上的扰动导致非平滑函数。• 此外，我们采用Gromov-Wasserstein差异作为服务器上的可学习结构度量，从客户端协同LDP编码的图嵌入。• 有趣的是，我们观察到，图嵌入上的LDP不仅保护隐私，而且有助于逃避 GW优化中的鞍点我们解释说，这在很大程度上是由于GW差异的非凸性• 在具有噪声输入的GW差异的情况下，我们对图分类和聚类问题的性能进行了据我们所知，这是第一个工作，学习结构度量与局部差分隐私下的分布式设置。该框架可以灵活地学习节点嵌入，并且可以与各种GNN组合，用于各种不同的任务，包括图分类，聚类等。1.2符号我们用大写字母和小写字母粗体分别表示矩阵和向量。图（A，X）具有作为结构信息的邻接矩阵A和作为特征信息的节点特征X此外，、分别是图中的节点集和边集。H是检索到的节点表示，矩阵的每一行表示图上的单个节点。上面的字母（i）表示第i个图，而下面的字母i表示矩阵的第i行2相关工作我们提出的方法的最终目标是保护结构化数据的隐私，同时建立GW距离图之间的相似性。自然，联邦学习（FL）[McMahanet al. ，2017;Smithet al. ，2017]是一个新兴的协作学习框架，可以在本地训练多个客户端，同时 在 服 务 器 上 维 护 全 局 模 型 。 与 共 享 参 数 服 务 器Lietal.[2014]不同，联邦学习的一个重要成果是隐私保护，每个客户端本地保存其原始数据，只有共享参数/梯度将与服务器交换具体而言，在垂直FL设置中，模型在所有客户端之间共享，并且客户端使用其标签在本地训练模型，而服务器通过聚合本地客户端模型来学习全局最近，提出了一组不同的方法来构建具有联邦设置的GNN模型。与图分类的任务，他等。[2021]为图神经网络设计一个联邦学习系统和基准测试。 该框架是基于FedML构建的[Heet al. ，2020]研究列表，使得能够使用非IID图形数据集有效地运行各种GNN模型，这是图像域中的类似方法。有趣的是，FL-AGCNS [Wanget al. ，2021]提出利用联邦学习加速图卷积网络的神经结构搜索任务。具体地说，他们采用联邦超网优化来选择随机的GCN结构，并采用联邦进化优化来使用GCN超网进行评估。然而，上述所有工作都训练了具有监督/半监督学习任务的共享模型而且，在学习模型时，没有一个工作讨论图的微分性质。不像我们提议的框架-+v：mala2277获取更多论文ΣΣ∈×∈×G·Σ+.+nE N我ΣΣ最近，局部私有图神经网络的一项工作[Sajadmanesh和Gatica-Perez，2020]立即在客户端上构建特征和标签差分私有，而将整个训练过程留在服务器端。保护隐私的另一种方法是差别隐私。更具体地说，对于分布式图，我们主要关注每个图的局部差分隐私。给定一个图（A，X），应用LDP的目的是保护私有信息不受拓扑A和节点特征的影响X. 一种简单的方法是直接添加LDP噪声两个测量的相似性矩阵（C，p）之间的Wasserstein差异Rn×nn和（D，q）Rm×mm如下GW（C，D，p，q）= min1 （ Ci ， k ， Dj ，l）Ti，jTk，l，（1）T∈Cp，qi，j，k，l其中C和D是表示图中节点之间的相似性或距离的矩阵 l（）是欧几里得范数或KL-发散的损失函数[Peyre'etal. ，2016]。p∈R+：pi=1是直方图的单形到A和X。然而，我们认为，这种方法它的局限性。对于拓扑LDP，假设我们将随机扰动添加到图的拓扑，即，添加或删除图形上的边但是，像Nettack Pro-有n个仓，T是两个空间之间的耦合，其中定义了相似性矩阵具体地说，Cp，q=. T∈Rn×m，T1=p，T1=q，Zügneretal. [2018]，发现即使是很小的扰动也可能导致图中节点的错误分类。此外，随机扰动可能导致在这里，我们表示T∈Rn×m，T1=p，TT1=qdomainEn：=N=R×m。相同的图，但对原始图是置换不变的此外，我们可以在库普曼斯中重写这个问题-贝克曼表[Koopmans和Beckmann，1957]：也就是说，A′=n（A），其中A′是扰动图[Niuet2 2al. ，2020]。 对于功能LDP，在功能上添加LDP是GW（C，D，p，q）=<$C<$F+<$D<$F−2 maxtr（CTDTT）.在Sajadmanesh和Gatica-Perez的作品中，[2020]，但缺乏对结构信息的保护。n2m2T∈Cp，q（二）此外，研究图扩散Wasserstein距离[Barbeet al. ，2020]表明噪声特征将使融合GW主要取决于结构。因此，向拓扑或特征添加小的随机扰动并不能保证在联邦学习设置中保护隐私。2.1Gromov-Wasserstein差异图神经网络依赖于对结构化数据的训练来完成各种与图相关的任务。然而，一个共同的局限性是它难以解释图数据中的同构。图的相似性识别是图学习领域的一个基本问题。在这些领域中，图同构问题被称为精确图匹配[Xuet al. ，2019 b]，这是在多项式时间内不可解的，也不是NP完全的。如果两个图的节点之间存在保持它们的邻接的映射，则认为这两个图是同构的 图同构测试用于广泛的应用中，例如化合物的识别[Demetciet al. ，2020]，化学数据集中分子图的生成[Titouanet al. ，2019]，以及具有布局和布线操作的电子设计自动化（EDA）[Chanet al. ，2000年]。图同构网络（GIN）[Xuet al. ，2018年]最近提出实现Weisfeiler-Lehman（WL）图同构测试[Shervashidzeet al. ，2011]。然而，这种方法只处理相同大小的图，而难以区分任意大小的图之间的差异最近，最佳运输（OT）与他们的Gromov-Wasserstein（GW）差异相关[Peyre 'et al. ，2016]，它扩展了Grom ov-W asserstein距离[Me'moli，2011]，已经成为结构化数据之间的有效传输距离，通过对齐关系内几何形状来缓解不同结构之间的不可比性问题。GW距离是等距的，这意味着在旋转、平移和置换下的相似性不变。Peyre 'et al. [2016]第一次见面注 意 ， GW 距 离 是 非 凸 的 ， 并 且 与 二 次 分 配 问 题（QAP）高度相关因此，给定相似性矩阵C和D，我们用（2）中的二次迹形式在. GW差异问题可以通过条件梯度法迭代求解[Peyre'et al. ，2016]和近点算法[Xuet al. ，2019a]。在下一节中，我们将讨论我们提出的关于图嵌入的ε-LDP的细节，并在GW度量下进行合作3框架为了突出我们的框架，它编码来自客户端的节点表示，同时在服务器端构建结构度量。在建立节点表示方面，我们在节点分类任务中训练模型，通过使用节点标签进行局部训练。传统的联邦学习框架非常适合这种设置（在Ap-pendix E中有详细描述）。为了简化，我们采用FedAvg作为聚集算法，无需另行通知。此外，在将图形信息传输到服务器之前，我们采用多位编码器将节点表示为LDP利用受保护节点表示，服务器相应地计算几何度量GW。3.1基于图嵌入的多比特编码ε-LDP受特征局部差异隐私的启发，我们采用了Sajadmanesh和Gatica-Perez[2020]的多位编码器，而他们的方法将编码的特征和标签直接发送到服务器，并在服务器端训练单个模型。与特征编码不同，我们在节点表示上采用编码器，利用从GNN学习的拓扑和特征的特性。算法1较详细地描述了节点嵌入的LDP算法. 我们基本上是在向量上扩展一位编码器+v：mala2277获取更多论文×∈−··|V|1+Hij−α·eε/（mn）−1因此，我们假设最优m=max（1，min（d，i）），在2-D维度中，将空间分配给多比特编码器，同时保留所保证的隐私。直观地，编码器首先均匀地采样n h维度中的m，而不进行替换。然后，对于每个行维，我们采用伯努利分布来决定掩码后的映射编码。对于每个隐藏特征维，概率编码由图（n）和采样掩码（m）。这是一个复杂度为O（mn）的一次编码。算法1LDPG（·，ε）：多位编码器输入：节点嵌入H[α，β]n×h，ε输出：编码嵌入H1：设S是从[n]× [n]均匀采样的m个值的集合。模型指标来源蛋白MUTAGIBMD-BSPK一n/a82.95 ±8.1955.80 ±2.93GCNAX69.03 ±3.5980.05 ±3.21n/aSVMGWA/FGWAX74.55 ±2.7483.26 ±10.363.8 ±3.49SVMGWH（GCN）72.31 ±4.6180.3 ±9.7553.69 ±4.31SVMGWH（GCN）71.19 ±3.9279.57 ±6.7354.01 ±4.90SVMGWH（GIN）75.53 ±2.0193.08 ±3.3574.4 ±1.11SVMGWH（GIN）76.89 ±3.9091.17 ±4.2173.6 ±3.23表1：图形分类此 外 ， 该 框 架 需 要 在 服 务 器 上 优 化 Gromov-Wasserstein差异，并且在FL学习的稳定全局模型之后只能检索一次ε- LDP编码的图嵌入。然而，考虑到客户的意外下降，图形嵌入-[小时]2：foriinndo3：forjinhdo4：如果S ij =，则s ij= 1。1elsesij=05：tIJeε/（mn）+1β−α伯努利如果需要，可以周期性地检索DING。因此，与vanillaFL设置相比，发送嵌入H的编码图将不会在通信中引入开销。eε/（mn）+16：Hij=sij（2tij1）7：结束8：结束定理1算法1中提出的多比特编码器对每个图表示都满足ε-局部差分保密性。定理1提供了理论上有保证的隐表示隐私保护附录B中提供了详细的证明。3.2图嵌入中具有LDP的GW距离除了建立全局模型的工作外，我们还增强了服务器端构造成对相似度的能力4实验数据集我们将执行两个任务，一个是通过GW在联邦学习下进行图分类，其中我们从TUDataset [Morriset al. ，2020]。另一个任务是使用从单个大图生成的子图进行图聚类，其中我们采用来自Planetoid的引用基准数据集[Yanget al. ，2016]。数据集的详细统计数据和超参数设置见附录C。图分类关于集中设置下的图分类任务，我们采用使用不定核矩阵 e−γFGW作为 图之间距离的SVM [Titouanetal. ，2019年]，在培训，价值-矩阵C∈Rn×n。具体来说，CH（i） ∈Rn（i）×n（i）验证，测试集以7：2：1的比例分割。对于所有使用SVM的方法，我们交叉验证参数表示编码节点嵌入（一）C∈. 10−7，10−6，···，107π和γ ∈ 2−10，2−9，···，210。从第i个客户端，即H（i）∈Rn×h，其中n（i）是对于分散设置，我们将图分成10个第i个图中的节点数，h是隐藏维数。因此，我们可以明确地将C中节点u和v之间的距离矩阵表示为：CH<$（u，v）=d（H<$u，H<$v），<$u，v∈V，（3）其中d（，）是应用的距离函数。由于它的欧氏空间在H∞的实数上，我们可以简单地取每个节点嵌入之间的欧氏距离来构建内部距离。 当然，它可以很容易地扩展到其他领域。距离度量，例如余弦相似性和相关性。注意，在取从隐藏表示引入的距离之后，CH是从原始图（没有ε-LDP编码）导出的度量空间。即使节点上的不平衡概率度量也是适用的[Titouanet al. ，2019]，我们将P视为节点之间的均匀分布，即，pu=1，<$u∈ V.此外，由于H是联邦学习后的图形表示，因此嵌入本身对结构（A）和特征（X）信息进行编码，这与通常仅应用测地线距离的传统计算C来自Dirichlet分布的客户端[Wanget al. ，2020年]，每个客户分别有20%和10%用于验证和测试。 我们在表1中报告了分类精度。PROTEINS和MUTAG都具有节点特征，其中我们采用FGW作为基本度量。虽然IMDB-B在节点上没有任何功能，但我们只将GW（仅拓扑）作为基本度量。SPKBorgwardt和Kriegel[2005]是原始数据的最短路径核方法。GCN表示隐藏维度为16的双层图卷积层，然后是平均池化方法。GIN表示隐藏维数为64的五个图同构层，随后是两个线性感知层。比较原始数据的结果（基于 A，X），我们可以看到基于GW差异的基于核的SVM比基本GCN和SPK模型表现得更好对于FL设置，我们使用GCN和GIN定义了共享模型。H是没有隐私保护的图嵌入，H是ε-LDP图嵌入。如果没有进一步的不-ε二、18Sajadmanesh和Gatica-Perez[2020]，d是数字Σ+v：mala2277获取更多论文±∗∗OOCIBB± ±±|V|类的节点。我们在softmax层之后精确节点嵌入，留下α=0，β=1。默认值为ε=1，该值因图形而异。直觉，这基本|MV|这意味着累积量将是根据节点数n进行归一化。从FL的有效性来看，FL下的GCN模型在原始数据上的表现略差于SVM。然而，与原始数据的vanilla SVM相比，GIN（强模型）下的FL提高了近10%。更重要的我们的框架适合无监督学习和联邦学习。 这是很常见的可以看到每个节点的标签都是平凡的，但对于子图（社区）却不是。对于具有单个图的数据，我们通过多跳邻居将大图分解为小的子图以进行简化。此外，对于这种数据集，我们可能没有分裂子图的地面真实标签。因此，我们将中心节点的标签作为其伪标签。值得注意的是，我们将看到不同客户端中的节点重叠，这是各种应用程序中的典型场景，例如物联网（IoT）设备，社区连接和推荐系统。在联邦环境中部署了一个具有节点分类任务的共享2层GCN模型，每个客户端构建节点嵌入。我们检索节点嵌入后，固定数量的200轮更新共享模型。图2显示了来自citeseer数据集的500个具有不同ε的1跳子图的KMeans聚类的t-SNE图。GW距离下的KMeans不同于欧氏距离下的KMeans，每个聚类的质心由一个度量矩阵表示。为了简化，我们通过集群内的平均节点数来固定质心的维度。注意，ε=0意味着没有LDP被引入到图嵌入中，我们假设簇的数量等于标签从节点。直观地说，引文网络中的数据有每篇论文的标签，而导出的子图是中心节点引用的引文。为了查看GW距离在聚类中的影响，比较图2中的第一和第二曲线图表明，即使没有LDP编码器，具有GW距离的K均值聚类性能也优于来自中心节点的朴素标记。由于GW距离的属性，它提供了更好的相似性度量，特别是具有预先学习的图嵌入。为了看到LDP在聚类中的影响，与原始图嵌入相比，具有小ε的编码的H_∞ 然而，更大的隐私强度（ε=1）引入了更多的非标号子图的偏差。这也与分类问题中的观察结果一致。附录C中提供了2-hop子图和其他数据集的其他结果。 在下一个子-第节，我们将仔细研究GW距离计算中的隐私强度ε4.1基于嵌入的LDP隐私分析知道ε是隐私保护和下游任务的关键因素，我们投资隐私预算ε在LDP分类下。在图3之后，为了消除GNN模型中超参数的影响，我们通过在MUTAG数据集上对ε进行交叉验证，报告了使用基于GWH∞的正如我们在k=5，20的两个设置中所看到的，模型相对稳定，只是一个小的扰动，即，ε1，随着隐私保护强度，较大的ε将损害整体性能。 更有趣的是，通过引入ε-LDP，它不仅有助于保护隐私，而且潜在地有助于具有适当ε的下游任务的性能。此外，我们研究了相似性度量GW距离相对于ε的变化的细节。对于聚类任务，我们从Citeseer数据集中提取了五个子图（子图结构请参见附录D），并在图4中显示了当LDP应用于不同ε时GW差异的结果。我们考虑两个隐私预算ε=0。一，一来比较。 GWH表示没有LDP的距离，也就是说，ε=0，GW差异的基线统计量为2。38 2. 22岁GW_H表示具有三个不同隐私预算ε = 1，0的编码LDP下的距离。1，1，和二、42二、三十三，二。43二、三，五，三。253.第三章。09、D|iVs测试|统计数据Tips，分别。从图4中可以看出，隐私预算，我们可以看到基于GW的成对距离几乎没有差异。换句话说，从应用的角度来看，LDP对节点嵌入的聚类/分类任务影响不大。从算法的角度来看，GW距离 在结 构不 变量 的意 义上 是定 量稳 定 的 [M e'moli ，2011]。此外，在分布式训练中，图是完全非独立同分布的。分布，这表明ε可以因客户端而异。因此，我们的默认ε设置为1/，这也符合我们的算法1的设计，基于节点数进行采样。在与附录D中的其他图相似性度量进行比较时，我们还提供了4.2GW与ε-LDP编码器我们进一步解释为什么H由于GW离散的非凸性，这涉及二次问题，来自不同对的距离的绝对误差不能具有保证的边界来告诉它们之间的接近度尽管找到精确的全局最小值是一个挑战，但一个有效的方法是在非凸流形上逃离鞍点，这可以防止最优解卡在局部最小值。在 许 多 针 对 逃 逸 鞍 点 的 作 品 中 ， 扰 动 梯 度 下 降（PGD）Jinet al. [2017]是解决这一问题的一种简单实用的方法。元算法被描述为xt<$xt+nt，xt+1<$xt−ntf（xt）（4）其中εt（ε）是小球内输入空间上的小扰动。注意，当d是欧几里德距离函数时，Hu=H+（ε）和Cu ，v=d（Hu，Hv）=d（Hu，Hv）+（ε）。有趣的是，我们可以把LDP作为节点嵌入上的小扰动，其最终是GW优化问题的噪声输入。缺乏对噪声影响的精确跟踪+v：mala2277获取更多论文不大于0.0GWH0.0 2.5GWH*（=0.1）0.0 2.546pseudolabel= 1/|V|图2：基于GW的子图聚类。伪标签来自中心节点。10500.0 0.51.07.55.02.50.00.0 0.5 1.0图3：使用KNN模型对ε进行交叉验证（左：k=5，右：k=20）。图5：随ε增加的平均GW差异（最佳函数值）。左：从1跳邻居导出的图右：从2跳邻居导出的图。更复杂（2跳邻居）。80 0624 242 4080 0624 242 408实验结果与我们对非凸优化的摄动方法的理解相吻合.但是，一个钻机-关于LDP与非凸性的关系，特别是关于私有预算与约束扰动域之间的关系的理论分析还不清楚。我们2将这个问题留给我们进一步的工作。5结论10在本文中，我们提出了一个新的框架，以保护8个分布式结构图，通过将局部差分隐私引入图嵌入，并通过采用Gromov-Wasserstein分布来处理置换不变性问题四是进一步做好下游工作。有保证的ε-图嵌入的LDP编码，我们的实验表明，隐私预算不仅有助于分布式隐私保护学习，而且图4：GW度量的节点嵌入LDP演示。最后，我们实证检验了GW的平均产量随ε的增加而增加。图5显示了通过增加数据集Citeseer上的隐私预算ε计算出的平均GW差异。我们固定初始点和其他超参数（阈值，最大值等）。在优化中，唯一的差别是ε。蓝色实线表示平均GW差异（最佳函数值），橙色虚线表示无任何扰动的基线。虽然隐私预算ε的增加最终导致预期的更高的GW差异的均值和方差，但是来自LDP的轻微扰动（当ε小时）有助于获得更低的GW差异（来自蓝色曲线的更小的最优函数值），特别是当图下游的任务。我们还研究了其背后的原因，由于GW距离的非凸性，LDP中的考虑到该框架的灵活性，一个有趣的扩展是查看大型异构图上的性能，其中子图表示社交网络中的小社区、交易网络中的欺诈行为以及推荐系统中的浏览日志。引用ZeinaAbu-Aisheh ， RomainRaveaux ， Jean-YvesRamel，and Patrick Martineau.解模式识别问题的精确图编辑距离算法。见ICPRAM，2015年。AhmedAbusnaina ， AminollahKhormali ， HishamAlasmary ， Jeman Park ， Afsah Anwar ， and AzizMohaisen.对抗者-= 0.1= 1.0GWH*（=1/|V|）0.0 2.5GWH*（=1）0.0 2.5GWH*GWH*0+v：mala2277获取更多论文对基于图的IoT恶意软件检测系统的人工学习攻击。见ICDCS，第1296-1305页。IEEE，2019年。David Alvarez-Melis 和 Tommi Jaakkola 词 嵌 入 空 间 的Gromo v- Wasserstein对齐。在2018年自然语言处理上，第1881-1890页Am e'lieBarbe ， MarcSebban ， PauloGon ccampaal v es ，PierreBo r gnat和R e' miGribo nv al。图dif融合wasserstein距离。在ECML，2020。Keith Bonawitz、Vladimir Ivanov、Ben Kreuter、AntonioMarcedone 、 H Brendan McMahan 、 Sarvar Patel 、Daniel Ramage、Aaron Segal和Karn Seth。在用户持有的数据上进行联邦学习的实用安全聚集。arXiv预印本arXiv：1611.04482，2016。Karsten M Borgwardt和Hans-Peter Kriegel。图上的最短路径核。在ICDM，第8页-pp。IEEE，2005年。普雷斯顿·布卡蒂加州消费者隐私法（CCPA）：实施指南。IT治理出版，2019年。Tony F Chan，Jason Cong，Tianming Kong，and JosephR Shinnerl.大规模电路布局的多级优化。载于国际CAD中心，第171-176页。IEEE，2000年。张银文，谢卓瑞，张凯威，林志仁。用线性支持向量机训练和测试低次多项式数据映射。JMLR，11（4），2010.Connor W Coley，Wengong Jin，Luke Rogers，TimothyF Jamison ， Tommi S Jaakkola ， William H Green ，Regina Barzilay，and Klavs F Jensen.一种用于化学反应 性 预 测 的 图 卷 积 神 经 网 络 模 型 化 学 科 学 ， 10（2）：370Pinar Demetci ， Rebecca Santorella ， Bjorn Sandstede ，William Stafford Noble和Ritambhara Singh。单细胞多组学数据的最佳传输。BioRxiv，2020年。Cynthia Dwork ， Aaron Roth ， et al. The algorithmicfoundations of differential privacy. FTTCS，9（3-4）：211-407，2014。Wenqi Fan，Yao Ma，Qing Li，Yuan He，Eric Zhao，Jiliang Tang，and Dawei Yin.用于社交推荐的图形神经网络。在万维网会议上，第417-426页William L Hamilton，Rex Ying和Jure Leskovec。大图上的归纳表示学习。在NeurIPS，第1025-1035页Chaoyang He，Songze Li，Jinhyun So，Xiao Zeng，MiZhang ， Hongyi Wang ， Xiaoyang Wang ， PraneethVepakomma ， Abhishek Singh ， Hang Qiu ， et al.Fedml：A research library and benchmark for federatedmachine learning.Arxiv，2020年。Chaoyang He，Keshav Balasubramanian，Emir Ce yani，Yu Rong ， Peilin Zhao ， Junzhou Huang ， MuraliAnnavaram，and Salman Avestimehr.Fedgraphnn：一个用于图神经网络的联邦arXiv，2021年。Chi Jin ， Rong Ge ， Praneeth Netrapalli ， Sham MKakade，and Michael I Jordan.如何有效地逃离鞍点。在ICML，第1724-1732页。PMLR，2017年。Shiva Prasad Kasiviswanathan ， Homin K Lee ， KobbiNissim，Sofya Raskhodnova，and Adam Smith.我们私下 能 学 到 什 么 ？ SIAM Journal on Computing ， 40（3）：793Thomas N Kipf和Max Welling。图卷积网络的半监督分类。ArXiv，2016.Tjalling C Koopmans和Martin Beckmann。分配问题与经济活动的选址。计量经济学：计量经济学会杂志，第53Mu Li，David G Andersen，Jun Woo Park，Alexander JSmola，Amr Ahmed，Vanja Josifovski，James Long，Eugene J Shekita，and Bor-Yiing Su.使用参数服务器扩展分布式机器学习。参见OSDI，第583- 598页李丽萍，徐伟，陈天一，Georgios B Giannakis和QingLing。RSA：Byzantine-robust随机聚合方法用于异构数据集的分布式学习。在AAAI会议论文集上，第33卷，第1544-1551页Tian Li ， Anit Kumar Sahu ， Manzil Zaheer ， MaziarSanjabi，Ameet Talwalkar，and Virginia Smith.异构网络中的联邦MLSys，2：429Xiangfeng Li，Shenghua Liu，Zifeng Li，Xiaotian Han，Chuan Shi ， Bryan Hooi ， He Huang ， and XueqiCheng.Flowscope：根据图表发现洗钱。在AISTATS，第34卷，第4731-4738页廖培 源， 赵涵 ，徐克 如， 托米·贾科 拉， 葛offrey JGordon，Stefanie Jegelka，和Ruslan Salakhut- dinov.图神经网络的信息混淆。国际机器学习会议，第6600-6610页。PMLR，2021年。Wei Liu，Li Chen，Yunfei Chen，and Wenyi Zhang.通过动量梯度下降实现联邦学习。IEEE Transactions onParallel and Distributed Systems，31（8）：1754Brendan McMahan，Eider Moore，Daniel Ramage，SethHampson，and Blaise Aguera y Arcas.通信-从分散的数据中高效学习深度网络。在AISTATS，第1273-1282页。PMLR，2017年。法昆多·梅莫利和吉列尔莫·萨皮罗。计算点云数据。在统计和形状分析，第201-229页施普林格，2006年。我 来 了 。Gromov-wasserstein 计 算 数 学 基 础 ， 11（4）：417Christopher Morris ， Nils M Kriege ， Franka Bause ，Kristian Kersting，Petra Mutzel，and Marion Neumann.Tu- dataset：一组用于图学习的基准数据集。Arxiv，2020年。+v：mala2277获取更多论文Chenhao Niu ， Yang Song ， Jiaming Song ， ShengjiaZhao，Aditya Grover，and Stefano Ermon.通过基于分数的生成建模的置换不变图生成。在AISTATS，第4474-4484页。PMLR，2020年。加布里埃尔·皮耶尔，马可·库图里和贾斯汀·所罗门。核矩阵与距离矩阵的Gromov-ICML，第2664-2672页。PMLR，2016.一般数据保护条例。一般数据保护条例（gdpr）。Intersoft Consulting，24（1），2018.Sina Sajadmanesh和Daniel Gatica-Perez局部私有图神经网络。arXiv预印本arXiv：2006.05535，2020。尼诺舍瓦希泽，Pascal施韦策，Erik杨·范·勒文 ， 库 尔 特 · 梅 尔 霍 恩 ， 卡 斯 滕 ·M· 博 格 - 沃 德 .Weisfeiler-Lehman图核。Journal of Machine LearningResearch，12（9），2011.Virginia Smith，Chao-Kai Chiang，Maziar Sanjabi，andAmeet Talwalkar.联邦多任务学习。在AIS-TATS，第4427-4437页Jin h yunSo，Ba s akGuéler，andASalmanAvestimehr. 拜占庭弹性安全联邦学习。IEEE Jour-nal on Selected Areas inCommunications，2020。Weizhao Tang ， Weina Wang ， Giulia Fanti ， andSewoong Oh. 通过支付渠道网络路由加密货币的隐私效用权衡POMACS，4（2）：1VayerTitouan ， NicolasCourty ， RomainTavenard ， andRe'miFlamary.结构化数据的最优传输及其在图上的应用。在ICML中，第6275-6284页。PMLR，2019年。S Vichy N Vishwanathan ， Nicol N Schraudolph ， RisiKon- dor和Karsten M Borgwardt。图内核。JMLR，11：1201Binghui Wang