基于查询的图神经网络对抗性攻击研究

+v：mala2277获取更多论文CLUSTER ATTACK：基于查询的对抗性攻击王正义1，3，郝忠凯1，王子乔1，苏航1，2，3，朱军1，2，31清华大学2彭城实验室3清华大学-中国移动通信集团有限公司联合研究所{wang-zy21，hzj21，ziqiao-w20} @ mails.tsinghua.edu.cn，{suhangss，dcszj} @tsinghua.edu.cn摘要虽然深度神经网络在图分析方面取得了很大的成功，但最近的研究表明，它们很容易受到对抗性攻击。由于图的邻接矩阵的离散性和不可微性，与图像分类的对抗性攻击相比，对图进行对抗性攻击更具挑战性在这项工作中，我们提出了集群攻击-一个图注入攻击（GIA）的节点分类，它in-dismissing假节点到原始图，图神经网络（GNNs）的性能退化的某些受害者节点，而影响其他节点尽可能少。我们证明了GIA问题可以等价地表示为图聚类问题，因此，离散的最优解可以表示为图聚类问题。邻接矩阵的分解问题可以在图聚类的上下文中特别地，我们提出了一种对抗脆弱性度量方法来度量受害节点之间的相似性，该度量方法与受害节点如何受到注入的假节点的影响有关，并据此对受害节点进行聚类。我们的攻击是在一个实际的和不引人注意的基于查询的黑盒的方式，只有少数节点上的图，可以访问。理论分析和大量的实验表明，该方法可以用少量的查询欺骗节点分类器。1介绍图神经网络（GNN）在各种应用中获得了有前途的性能 ， 以 图 形 数 据 [Yinget al. ， 2018;Qiuet al. ， 2018;Chenet al. ，2019]。 最近的研究表明，GNN与其他类型的深度学习模型一样，也容易受到对抗性攻击[Daietal. ，2018;Zügneretal. ，2018]。然而，在大多数现有的攻击设置和实践之间仍然存在差距，其中攻击者的能力是有限的。而不是直接修改原始图（也就是，图形修改攻击，*通讯作者。图1：部分信息的基于查询的图注入攻击的说明。GMA）[Yang和Long，2021]，我们专注于更实用的设置，将额外的假节点注入原始图（又名，图注入攻击（Graph Injection Attack，GIA）[Zouet al. ，2021]。我们执行基于查询的攻击，这表明攻击者对受害者模型没有任何知识，但可以通过有限数量的查询访问模型。作为图1中的示例，社交网络中的高质量用户在与欺诈用户连接之后可能被误分类为低质量用户，该欺诈用户的特征（可能是账户的Meta数据）是利用来自目标模型的查询信息精心制作的。与 对 图 像 分 类 的 对 抗 性 攻 击 相 比 [Chenet al. ，2017;Ilyaset al. ，2018;Donget al. ，2018]，对图数据进行基于查询的对抗性攻击的研究 仍处于早期阶段。 现有的尝试包括培训使用查询结果的代理模型[Wanetal. ， 2021] ，a 基 于 强 化 学 习 的 方 法 [Maet al. ，2021]、无导数优化[Yang和Long，2021]和基于梯度的方法[Muet al. ，2021]。然而，现有的攻击大多简单地采用了其他领域的优化方法，如图像对抗攻击，而没有利用图数据丰富的结构，这具有实现更高性能攻击的潜力。arXiv：2109.13069v2 [cs.LG] 2022年6月+v：mala2277获取更多论文⊆L≤与大多数以前的工作不同，我们只允许对手访问一小部分节点的信息，因为它通常是不可能观察到整个图，特别是在实际情况下的大型网络此外，我们执行黑盒攻击，这不允许对手访问模型结构或参数。攻击者对受害者模型只有有限数量的关于某些节点的预测得分的查询，这更实用。还注意到，由于非i.i.d.图数据的性质，将受害节点连接到假节点可能会对受害节点的邻居的准确性产生副作用，这不是我们的目的。据我们所知，这是第一次尝试将影响限制在一定范围内的受害者节点，并同时保护其他节点不被错误分类。我们提出了一个统一的框架，基于查询的adversar-ial攻击图，其中包括现有的方法。通常，攻击者将当前扰动确定为历史查询结果和当前图状态的条件分布。在此框架下，我们提出了一种新的攻击方法命名为集群攻击，它考虑了图依赖的先验知识，更好地利用图的独特特别地，我们试图找到一个等价的离散优化问题。我们首先证明，GIA问题可以制定为一个等价的图聚类问题。由于离散优化问题的广告矩阵可以解决的上下文中的图聚类，我们防止查询低效搜索在非欧空间。由此产生的集群作为一个图形相关的先验的相邻矩阵，它利用了本地结构的脆弱性其次，图聚类的关键挑战是定义节点之间的相似性度量。我们提出了一个度量受害者节点相似性的指标，称为Ad- versarial Vulnerability;这与受害者节点将如何受到注入的假节点的影响有关，并且我们相应地对受害者节点进行对抗性漏洞仅与图的局部结构相关，因此可以在仅观察图的一部分的情况下进行处理。我们的贡献概述如下：• 我们提出了一个统一的框架，基于查询的对抗性攻击的图形，制定了当前的扰动作为一个条件分布的历史查询结果和当前的图形状态。• 我们提出了集群攻击，一个注入对抗攻击的图，它制定了一个GIA问题作为一个等价的图聚类问题，从而解决了离散优化的相邻矩阵的背景下聚类。• 在提供了我们的方法的理论界限后，我们根据经验表明，我们的方法在非常严格的设置下的攻击成功率方面达到了很高的性能，其中查询数量有限，并且只观察到图的一部分。2背景在本节中，我们介绍了最近关于图上的节点分类和对抗性攻击的工作2.1图的节点分类图上的节点分类是一项重要的任务，具有广泛的应用，例如金融网络中的用户分类。 它旨在通过聚合来自相邻节 点 的 信 息 来 进 行 分 类 [Kipf 和 Welling ，2017;Hamiltonetal. ，2017; Veli ckovi c′etal. ，2017]。最近的工作使用图卷积网络（GCN）进行节点分类[Kipfand Welling，2017]，这是最具代表性的GNN之一。具体地说，设一个图为G=（A，X），其中A和X分别表示邻接矩阵和特征矩阵。给定图中标记节点的子集，GCN的目标是预测图中剩余未标记节点的标签，如f（G）=f（A，X）=softmax.A<$σ（A<$XW（0））W（1）<$，（1）其中A是归一化邻接矩阵;W（0）和W（1）是参数矩阵; σ是激活函数; f（G）是对应于每个节点的预测。2.2图对抗攻击已经开发了许多方法来执行adversar- ial攻击图。早期的工作集中在修改原始图（即，图修改攻击）[Daiet al. ，2018;Zügneret al. ， 2018] ， 而 最 近 的 一 些 工 作 [Zouetal. ，2021;Tao等人，2021]已经集中于更实际的设置以将额外的伪节点注入到原始图中（即，图注入攻击）。对于基于查询的图对抗攻击，如表1所示，已经做出了各种努力。一些人专注于攻击节点分类的任务[Yang和Long，2021]，而也有人努力攻击图分类[Wanet al. ，2021; Maetal. ，2021;Muet al. ，2021]，基于梯 度的[Muet al. ，2021]或无梯度方法[Yang 和Long，2021; Wanet al. ，2021;Maet al. ，2021]。然而，现有的攻击大多只是采用其他领域的优化方法（特别是图像对抗攻击），而忽略了图数据的独特结构在这项工作中，我们提出了利用图的固有结构，以特定于图的方式进行攻击。3一个统一的基于查询的图对抗攻击框架我们现在提出了一个统一的框架，用于基于查询的对抗性攻击以及威胁模型和损失函数。3.1图注入攻击给定图中的一小部分受害节点ΦAΦ，图注入攻击的目标是对图G=（A，X）进行轻微扰动，导致G+=（A+，X+），使得ΦA中的受害节点的预测标签变为目标标签。该目标通常通过在如下约束下优化广告损失L（·）来实现：min（G+）s. t. dist（G，G+），（2）G+其中dist（G，G+）表示扰动的幅度，并且必须在对抗预算内。在本节中，它+v：mala2277获取更多论文Xfak e+δXijΣΣΣ.{|}LΣQN1µ假聚类先验X假+σZiσni=1方法优化步骤目标任务RandomGRandom-GRABNELG=argminLsur（G+G）图的分类[Wan et al. ，2021]GHG（GMA+GIA）DFO [Yang and Long，2021] <$G = F（G，δ）− G，δ <$DFONode Classification（GMA）[Mu et al. ，2021]p（A）=1<$Qsgn（p（A+μuq）−p（A）uq），uq <$高斯图分类（GMA）R ew att[Maetal. ，2021年]李嘉诚（·|强化学习Agent图分类（ReinforcementLearningAgentGraphClassification，GMA）Xfak e=I（L（A+，X+）>L（A+，<$X<$））·δXij集群攻击（我们的）中国大陆EL（A+，X+）=1<$nZiL（A+，X节点分类（GIA）表1：现有的基于查询的图对抗攻击方法。可以指定为|Φfa ke|≤φfa k e且u∈Φfa ked（u）≤其中d（u）是节点u的度。在图注入攻击中，我们有增强的相邻攻击受害者节点，我们同时旨在保持非目标节点的标签不变，使我们的扰动不引人注目。在我们的设置中，我们试图保护Nk（ΦA），矩阵A+=A BTBA假的增强的特征是，是k跳内受害节点的邻居。部分信息。 实际上可以假设，在-X+=XX假- 是的 我们进一步使用Φ+= Φ<$Φ假的tacker在进行攻击时只能访问部分图。如上所述，我们采用了非常严格表示G+的节点集。特别地，Xfake对应于伪节点的特征;B表示伪节点与原始节点之间的连接，并且Afake表示伪节点之间的相互连接。恶意攻击者操纵假A、假B和假X，导致ΦA上尽可能低的分类精度。在对图的基于查询的对抗性攻击中，我们统一地将图在时间t的更新公式化为G（t）|{f（Gi）|i=1，2，...，qt}，Gt），（3）其中f（G i）i = 1，2，.，Qt表示来自目标模型的历史中的总Qt查询的反馈（硬标签或预测值）。 当前基于查询的图对抗攻击的精选列表如表1所示。一般来说，时间步长t中的扰动f ∈G（t）以查询结果{f（Gi）}的历史为条件。|i=1，2，...，qt}和当前图形状态设置，以便我们只能观察被观察节点的特征和连接，定义为Φo= ΦA<$Nk（ΦA）<$Φfake.（四）有限责任公司在实际场景中，我们对受害者模型的查询数量有限，而不是任意多个选择的输入的完整输出。在我们的设置中，我们总共最多可以查询K次观察节点的预测得分攻击者不知道受害者模型的结构和3.3损失函数我们的目标是使分类器在ΦA的受害者集中错误分类尽可能多的节点。由于目标是离散的，直接优化误分类节点的数量是不平凡的，因此我们选择优化代理损失函数：G. 以前的工作集中在使用不同的优化方法，包括强化学习[Maet al. ，2021]和基于梯度的优化[Muet al. #20201;决定。min（G+），G+v∈ΦAl（G+，v）+λv∈Nk（ΦA）lN（G+，v），在不显式地利用图结构的情况下，3.2威胁模型粘附能力。我们极大地限制了攻击者假节点之间不能建立连接，因为连接的恶意假节点更容易S.T. dist（G，G+）≤n，（5）其中I（G+，v）和I（G+，v）分别表示每个受害节点和受保护节点的损失函数。较小的l（G+，v）意味着节点v更有可能被受害者模型f错误分类;相比之下，较小的lN（G+，v）意味着节点v的预测标签较小。供探测器定位。新边的数量为受害节点边缘 设置可能会在我们的攻击中改变特别是，我们设计我们的损失是以C W损失的方式[卡利尼和瓦格纳，ΦA，这意味着每个受害者节点仅由一条新边连接。受保护节点。 如上所述，由于非i.i.d图形数据的性质，攻击受害者节点可能具有对相邻节点的意外副作用而2017]，并定义：l（G+，v）=σ。max（[f（A+，X+）]不）−[f（A+，X+）]（6）yiyv，ytv，yi+v：mala2277获取更多论文ΣΣ||∪∈--⊆.图2：集群攻击的示意图我们首先计算每个受害者节点的对抗性脆弱性与有限数量的查询，然后，我们聚类的受害者节点，并相应地注入假节点，最后我们优化假节点其中yt代表节点v的目标标签，并且攻击者仅在节点v被错误分类为yt时才成功。σ（x）=给定B，其中ΦA=i jBij，我们从下式导出聚类C：max（x，0）. [f（G+）]表示类v，yi是的。对于受保护节点，我们定义：v.∈Ci，如果Bij=1。（十）lN（G+，v）=∈/Ci，如果Bij=0σ。max [f（A+，X+）]）−[f（A+，X+）]（7）我们会的|Ci|=ijBij=|ΦA|.yi/=ygv，yiv，yg在我们的设置中，每个受害者节点只连接到一个假节点，这表明其中yg是受害者模型中v的真实值标签吉卜伊杰=1，vj∈ΦA .（十一）4基于图依赖先验的4.1集群打击我在这种情况下，每个聚类彼此C i<$C j= N，N 1 ≤ i，j ≤ N假。（十二）组合优化问题（5）由于相邻矩阵的非欧几里德性质而难以求解，然后我们得到Ci∈CCi =ΦAC是有效除法神经网络的复杂结构。为了解决这个问题，我们试图找到一个等价的组合优化问题，并将我们的GIA问题转化为一个良好的研究。在这里，我们指出，每一个相邻矩阵的选择有一个等价的受害者节点划分成集群的表示因此，我们得到了一个关键的见解，即这个离散优化问题可以转化为一个等价的图聚类问题，这是一个研究得很好的离散优化问题[Schaeffer，2007]。命题1（GIA/图聚类等价性）。给定图G和一个节点集ΦAΦ，对于将牺牲节点ΦA划分为N个簇C=C1，C2，…，CNfake ，CiCC i= ΦA，则存在对应的B，反之亦然。证据我们提供了簇C和相邻矩阵B之间的一对一映射。具体来说，给定C=因为Afake=0在我们的设置中是固定的，所以我们将我们的图注入攻击问题制定为等价的图聚类问题。因此，邻接矩阵的非平凡离散优化问题可以在图聚类的背景下得到解决所得到的聚类作为相邻矩阵B的图相关先验，这防止了在非欧几里德离散空间中的低效搜索对于图聚类，主要关注的是受害者节点之间的相似性度量。为了研究假节点如何影响某个节点的性能，我们提出了对抗性脆弱性作为图聚类的相似性度量。受害者节点的对抗脆弱性反映了其我们发现受害者节点共享相似的敌手-{C1，C2，...，CN假 }，<$Ci∈CCi=ΦA，则B由重要漏洞更有可能同时受到影响当它们连接到同一个假节点时。我们有Bij =1，若vj∈Ci.（八）0，否则定义1（对抗性脆弱性）。 对于受害者节点vΦ，其对抗性脆弱性定义为AV（v）=argminL（G+），（13）边缘=ΣΣBij=Σ|Ci|为|ΦA|.（九）其中xJ∈+v：mala2277获取更多论文xu表示连接到节点的伪节点u的特征i j i因此，我们的结果B在我们的设置中是有效的。uv.对于伪节点本身，对抗性漏洞被定义为它自己的特征。+v：mala2277获取更多论文∀∈∈2ΣΣL是Σ1ΣΣ我我i=1≤|ΦA|，li（·）满足阶2的Lips chitz条件。在我|Ci|M||X - X轴||2 ≤ l（x）− l（x）≤M||X-x||第二章，（十九）CCCi∈Cv∈C ii=1我我2X我 我我2我 我我 我我 我我2在这里，我们采用欧几里得定义2（对抗距离度量）。v，uΦ+，定义了节点v和u之间的对抗距离度量由伪节点引起的邻居以及连接到至少2跳甚至更远的其他受害者节点的在等式中的第i个受害者节点viΦA上的损失函数因此，可以将（5）看作是伪节点的特征的函数我们有如d（v，u）= ||AV（v）− AV（u）||二、在计算对抗性脆弱性之后，聚类算法的目标是最小化以下各项L（G）=vi∈ΦAl（G+，vi）=|ΦA|i=1li（xi），（18）聚类距离为minC（v，ci），（14）其中X1表示连接到受害者节点V1的伪节点从理论上讲，我们在某些光滑条件下提供了我们的边界，这些条件适用于许多神经网络。Ci∈Cv∈Ci其中集群中心C1是对应的伪节点，集群Ci，以及定义3（W-条件）。我们说一个函数（G）=Σ| ΦA|l i（x i）满足W-条件，当且仅当AV（c）=1AV（v）。（十五）v∈Ci4.2优化为了近似对抗脆弱性，我们采用零阶优化[Chenet al. ，2017]，这类似于对图像分类的基于查询的攻击，以更好地利用有限的查询。对于具有离散特征的图，Eq.（13）可以Xfake=在这个案子里，当r e 0≤mi≤Mi为常数且1≤i≤|ΦA|. x∈i是li（·）的最小值。注意，M存在，因为损失函数在W条件下满足2阶Lipschitz条件;并且它还包括m，因为m= 0总是满足等式（1）。（十九）、在W-条件下，我们推导出我们的结果与最佳对抗示例之间的对抗损失差异的界限.正+ +.+XΣΣΣ反对意见2。 如果L（·）在等式（18）满足W-条件，IL（A），X）>L一 ，X假+δXij·δXij，（十六）G m是Eq. （2）G'是最优的由Eq的集群攻击给出。（十四）、然后，我们有其中δXij表示维度j中的张力扰动L（G'）− L（G m）≤ |M − m|最小值d（v，ci），（20）Ci∈Cv∈C 我第只有当试探性扰动减小对抗性的损失对于连续特征空间，我们采用NES [Ilyasetal. ，2018]用于梯度估计，其中M = max1≤i≤|ΦA|M i且m = min1≤i≤|ΦA证据 我们有|m i.XfakeEL（A+，X+）=L（G）− L（G）nσni=1ZiL.A+，X假+σZi假，（十七）|ΦA|=i=1li（x′i）−|ΦA|i=1li（xm）其中σ>0是标准方差，n是NES的大小|ΦA||ΦA|人口和Zi<$N（0，IN假×D）是扰动，=（li（xi′）−li（xi））−（li（xm）−li（xi））X假的在梯度估计之后，可以采用基于梯度的优化方法在这里，我们使用投影梯度i=1|ΦA|i=1|Φ A|下降（PGD）[Madryet al. ，2018]优化X假。≤μMi||x′i−xi||2−mi||xm−xi||2我们的方法如图2所示。与由此产生的广告，对抗性的脆弱性，我们解决了Eq的优化。（十四）i=1|Φ A|2i2i=1|Φ A|K-Means聚类然后，分析了伪节点的特征，≤M||x′− x||2 − m ²||x m− x||2初始化为方程中的聚类中心。（15），优化使用方程。（16）Eq. （十七）、我们的算法的更多细节推迟到附录。我我2i=1i=1我我2|Φ A|=M min d（v，c i）− m||x m− x||2将伪节点连接到原始图会给受害者节点带来（1）一个1跳邻居（连接到它的伪节点）;Σ我是第i个节点的特征的函数，并且I（·）是指示符函数。4.3理论分析+v：mala2277获取更多论文CCΣ≤Mmind（v，ci）−mmind（v，ci）(2)通过这个假节点连接的距离较远的邻居;（3）连接到其他受害者节点的假节点，Ci∈Cv∈Ci=|M−m|mincid（v，ci），Ci∈Cv∈Ci至少有两跳远注意，1跳邻居通常占主导地位。在这里，我们忽略了更远的影响CCi∈Cv∈Ci（二十一）+v：mala2277获取更多论文·|| ·|N||||2||名称节点边要素类科拉2708 542914337CiteSeer3327 473237026Reddit232965 11606919 60241奥格本阿尔西夫169343 1157799 12840表2：数据集的统计。其中xm和x′是连接到的伪节点的特征，在上述基线中，TDGIA在连续特征空间中执行，而NETTACK和假节点攻击在离散特征空间中执行。5.2定量评价不失一般性，我们统一设置N fake= 4，并让受害节点的数量变化，以查看不同N fake下的性能：|ΦA|.具有离散特征的小数据集上的性能我我第i个受害者节点，由等式（2）和Eq.（14）分别。命题2表明，我们的结果和最佳对抗性示例之间的对抗性损失差异受等式中的最小聚类距离的限制。（14）以及每个li（·）如何线性地||xi−xi||二、5实验5.1实验装置数据集。我们在Cora和Citeseer上做实验[Senet al. ，2008]，这是两个具有离散节点特征的基准小型引用网络，以及Reddit [Hamiltonet al. 、我们首先评估集群攻击的性能以及Cora和Citeseer上具有离散特征的其他基线查询的数量K被设置为K= ΦAKt+N fakeK f，其中K t=K f=D（特征维度）。结果示于表3中。 我们的算法在成功率方面优于所有基线。这是因为我们的方法避免了低效地搜索相邻矩阵的非欧空间，并且更好地利用了有限的查询来搜索欧几里德特征空间。 结果还表明，对抗性脆弱性是一个很好的度量聚类受害者节点。具有连续要素的大型数据集上的性能在本节中，我们将评估群集的性能2017]和ogbn-arxiv [Huet al. ，2020]，这是两个具有连续节点特征的大型网络。的统计攻击Reddit（1500 ΦAobgn-arxiv（与| + 750N假查询）和数据集见表2。参数对于每个实验设置，我们运行实验100次，并报告平均结果。在每一轮中，我们随机抽取ΦA节点作为受害者节点。我们在k（ΦA）中设置k= 1，这意味着我们的目标是保护受害节点的1跳邻居。在没有指定的情况下，我们将我们的方法与基线进行比较，其中在等式中将权衡参数设置为λ= 0（五）、比较方法。由于这项研究是第一个对节点分类进行基于查询的注入攻击的研究，因此大多数以前关于图注入攻击的基线都不能很容易地适应我们的问题。我们包括以下基线：随机攻击，随机决定伪节点的特征以及伪节点与原始节点之间的联系.NETTACK是最有效的攻击之一，它首先添加几个节点，然后在假节点和原始节点之间添加许多边[Zu？gneretal. ，2018]。NETTACK - Sequential，它是NET-TA CK的一个变体[Z u？gner etal. ，2018]通过顺序地添加F个节点。假节点攻击，在白盒攻击场景中添加假节点[Wangetal. ，2018]。G-NIA，一种白盒图注入攻击[Taoet al. ，2021]。我们参考Citeseer报告的结果。TDGIA，一种黑盒GIA方法，在图注入攻击的KDDCup 20201我们主要比较了我们的方法和这种方法。请注意，TDGIA不是基于查询的[Zouet al. ，2021]。1https：//www.kdd.org/kdd2020/kdd-cup4000 ΦA+ 2000N假查询），两大具有连续特征的网络，其受害节点具有较高的平均度。我们将我们的方法与最先进的方法进行比较，该方法具有优于其他基线的性能。在这些具有挑战性的数据集中，我们执行无目标攻击，这意味着当受害者节点的预测标签发生变化时，攻击者成功。结果示于表4中。我们的算法在成功率方面优于基线。这是因为，通过相邻矩阵的聚类先验另一个原因是因为对抗性脆弱性的良好度量，它提供了适当的聚类先验。5.3消融研究不同折衷参数λ下的性能在本节中，我们检查了在Cora数据集中的假节点和受保护节点之间具有不同权衡参数λ的我们一致地设置Nfake=4，ΦA= 10。我们选择两个有竞争力的基线，并调整其损失函数，以适应我们的权衡格式。结果如图3所示。从图3中可以看出，当λ增加时（这意味着我们对受保护节点付出更多的注意力），在攻击期间标签保持不变的受保护节点的百分比也会增加。这是因为我们试图保护受保护节点的标签不被改变，在我们的损失函数中的权衡（五）、此外，我们的权衡公式可以推广到其他基线，如图3所示。这是因为我们在等式中设计了损失函数。（5）具有独立于攻击方法的可推广性。+v：mala2277获取更多论文·≥||方法T= 3科拉T= 5T = 7T= 10T= 3CiteSeerT= 5T = 7T= 10随机0.070.080.040.050.040.020.030.03网钉0.610.570.550.530.750.710.660.61NETTACK -顺序0.680.730.720.700.760.740.720.67伪节点攻击0.610.580.540.520.760.680.620.60G-NIA----0.860.760.700.65集群打击0.990.930.840.721.000.890.800.70表3：集群攻击的成功率以及其他具有离散特征空间的基线。T表示受害者节点的数量。0.70.60.50.40.30.2表4：集群攻击的成功率以及其他具有连续特征的基线。T表示受害者节点的数量。0.10.01.00.80.60.40.20.00.700.650.600.550.500.450.400.35集群攻击NETTACK -顺序假节点攻击0 0.1 101001.000.980.960.940.920.900.880.86集群攻击NETTACK -顺序假节点攻击0 0.1 10 100图4：Cora和Citeseer中不同查询数量的集群攻击成功率。集这一结果证明了我们的对抗脆弱性的有效性。6结论(a)（b）未改变的支持者受保护节点在本文中，我们为图上基于查询的对抗性攻击提供了一个统一的框架在此框架下，我们提出了基于查询的黑盒图注入的集群攻击图3：Cora中不同λ的集群攻击。使用不同数量的电缆时的在本节中，我们将研究具有不同查询数量的集群攻击的性能。我们设置Kt=Kf=α D，并在Cora和Citeseer数据集上考察了不同α下的性能。我们一致地设置Nfake=4，ΦA= 10，其中λ= 0和λ= 1。结果如图4所示。集群攻击的成功率随着查询数量的下降而下降。我们的算法仍然表现良好，当查询的数量略有下降，特别是当α0。四、这表明，我们的集群攻击可以在一个查询效率的方式. 这是因为聚类算法为相邻矩阵提供了图相关的先验信息，从而防止了低效的搜索。 在欧几里得特征空间中搜索更有效。我们在附录中提供了额外的实验实验结果表明，节点度越低，越容易被攻击误分类.此外，当假节点的数量增加时，攻击的成功率也会增加，这与我们的直观理解一致。我们提供了一个消融研究的集群度量的对抗性脆弱性。我们发现，原始的集群攻击性能优于没有对抗漏洞的集群攻击，即，受害节点的对抗性漏洞是随机的用部分信息攻击我们证明，图注入攻击可以制定为一个等价的聚类问题。因此，在聚类的背景下，可以解决困难的离散优化问题的相邻矩阵在提供了我们的方法的理论界限后，我们empiri- cally表明，我们的方法具有很强的性能方面的攻击的成功率。道德声明人工智能的安全性和鲁棒性越来越受到人们的在这项工作中，我们提出了一种对抗性攻击的方法。 我们希望我们的工作在一定程度上揭示了当前图神经网络的潜在弱点，更重要的是启发未来的工作，以开发更强大的图神经网络。致谢这项工作得到了中国国家重点研究和发展计划（Nos.2020AAA0104304、2017YFA0700904）、国家自然科学基金项目（编号： 62061136001，61621136008 、 62076147 、 U19B2034 、 U19A2081 、U1811461），PCL重大攻关项目（编号：PCL 2021 A12）、清华-阿里巴巴联合研究计划、清华-OPPO联合研究中心、清华大学高性能计算中心。科拉与=零科拉与= 1个Citeseer与=零Citeseer与= 1个攻击成功率攻击成功率未更改的受保护节点方法奥格布纳T= 12RxivT= 16RedditT= 12T = 16TDGIA0.450.380.090.07集群打击0.670.590.150.12+v：mala2277获取更多论文引用[Carlini 和 Wagner ， 2017] Nicholas Carlini 和 DavidWagner。对神经网络鲁棒性的评估2017年IEEE安全与隐私研讨会（SP），第39-57页IEEE，2017年。[Chen et al. 陈品玉，张欢，Yash Sharma，Jinfeng Yi和Cho-Jui Hsieh。Zoo：基于零阶优化的黑盒攻击深度神经网络，无需训练替代模型。在第10届ACM人工智能和安全研讨会的会议记录中，AISec'17，第15-26页，美国纽约州纽约市，2017年。计算机协会。[Chen et al. ， 2019] Weijian Chen ， Yulong Gu ，Zhaochun Ren ， Xiangnan He ， Hongtao Xie ， TongGuo，Dawei Yin，and Yongdong Zhang.半监督用户分析与异构图注意力网络。在IJCAI，第19卷，第2116-2122页[Dai et al. Hanjun Dai，Hui Li，Tian Tian，Xin Huang，Lin Wang，Jun Zhu，and Le Song.图结构数据的对抗性攻击。《国际机器学习会议》，第1115-1124页。PMLR，2018年。[Dong et al. ， 2018] Yinpeng Dong ， Fangzhou Liao ，Tanyu Pang ， Hang Su ， Jun Zhu ， Xiaolin Hu ， andJianguo Li.用动量增强对抗性攻击。在IEEE计算机视觉和模式识别会议（CVPR）上，2018年。[Hamilton et al. 2017] Will Hamilton，Zhitao Ying，andJure Leskovec. 大图上的归纳表示学习神经信息处理系统的进展，30，2017。[Hu et al. Weihua Hu，Matthias Fey ，Marinka Zitnik，Yuxiao Dong ， Hongyu Ren ， Bowen Liu ， MicheleCatasta，and Jure Leskovec. Open graph benchmark：用于图上机器学习的数据集神经信息处理系统的进展，33：22118[Ilyas et al. Andrew Ilyas ， Logan Engstrom ， AnishAthalye，and Daughy Lin.查询和信息有限的黑盒对抗攻 击 在 第 35 届 机 器 学 习 国 际 会 议 论 文 集 ， ICML2018，2018年7月。[Kipf and Welling，2017] Thomas N. Kipf和Max Welling图卷积网络的半监督分类。在第五届国际学习表征会议集，ICLR[Ma et al. Yao Ma，Suhang Wang，Tyler Derr，LingfeiWu，and Jiliang Tang.通过重新布线图对抗攻击第27届ACM SIGKDD 知 识 发 现 数 据 挖 掘 会 议 论 文 集 ，KDD'21，第1161-1169页，纽约，纽约，美国，2021年。计算机协会。[Madry et al. Aleksander Madry，Aleksandar Makelov，Ludwig Schmidt，Dimitris Tsipras，and Adrian Vladu.深度学习模型抵抗对抗性攻击。2018年，在ICLR[Mu et al. Jiaming Mu ， Binghui Wang ， Qi Li ， KunSun，Xu Xu，and Zhuotao Liu.一种针对图神经网络的硬标签黑盒对抗攻击.在2021年ACM SIGSAC计算机和通信安全会议的会议记录中，CCS计算机协会[Qiu et al. ，2018] Jiezhong Qiu，Jian Tang，Hao Ma，Yuxiao Dong，Kuansan Wang，and Jie Tang.Deepinf：使用深度学习进行社会在第24届ACM SIGKDD知识发现数据挖掘国际会议论文集，第2110-2119页[Schaeffer，2007] Satu Elisa Schaeffer.图聚类。计算机科学评论，1（1）：27[Sen et al. Prithviraj Sen ， Galileo Namata ， MustafaBilgic，Lise Getoor，Brian Galligher，and Tina Eliassi-Rad.网络数据的集体分类。AI Magazine，29（3）：93，Sep. 2008年[Tao et al. Shuchang Tao，Qi Cao，Huawei Shen，Jun- jieHuang Huang，Yunfan Wu，and Xueqi Cheng.图神经网络的单节点注入攻击。第30届ACM信息与知识管理国际会议论文集，2021年10月。[Velickovic'etal.，2017]PetarVelickovic'，GuillemCucurull，ArantxaCasanova，AdrianaRomero ， PietroLio` ， andYoonge Bengio.图注意力网络。InICLR 18，2017.[Wan et al. Wan Xingchen，Henry Kenlay，Robin Ru，Arno Blaas，Michael A Osborne，and Xiaowen Dong.通过baidu优化对图分类器进行广告攻击。神经信息处理系统进展，第34卷，第6983-6996页，2021年[Wang et al. Xiaoyun Wang，Minhao Cheng，Joe Eaton，Cho-Jui Hsieh，and Felix Wu.通过添加假节点攻击图卷积网络。arXiv预印本arXiv：1810.10751，2018。【杨和龙，2021】杨润泽和腾龙。图卷积网络的无导数优化对抗攻击。PeerJ Computer Science，7：e693，2021。[Ying et al. Rex Ying，Ruining He，Kaifeng Chen，PongEksombatchai，William L Hamilton，and Jure Leskovec.用于网络规模推荐系统的图卷积神经网络。第24届ACM SIGKDD知识发现数据挖掘国际会议论文集，第974-983页，2018年[Zou et al. Xu Zou，Qinkai Zheng，Yuxiao Dong，XinyuGuan ， Evgeny Kharlamov ， Jialiang Lu ， and JieTang.Tdgia：对图神经网络的有效注入攻击第27届ACM SIGKDD知识发现和数据挖掘会议论文集，2021年8月。[Zügner等人，DanielZügner，AmirAkbarnejad，and StephanGünnemann. 对图数据神经网络的自适应攻击第24届ACM SIGKDD知识发现数据挖掘国际会议论文集- KDD+v：mala2277获取更多论文--∈∈∗||∗||← −||∗←n←− − ∗∗||一集群攻击我们提供了有关如何在离散特征空间（如算法1所示）和连续特征空间（如算法2所示）的有限查询下近似对抗性脆弱性的详细信息。算法1：具有离散特征的对抗脆弱性的近似输入：图G+=（A+，X+）。受害者节点v.查询次数Kt。输出：v的近似对抗漏洞AV（v）。1：初始化选择一个伪节点u并将其连接到且仅连接到v，随机初始化伪节点隔离其他假节点。2：从1，2，.，长度为K t。D是节点特征的维数算法3：集群攻击输入：图G+=（A+，X+）。牺牲节点集ΦA。伪节点数Nfake。数量的查询K= K tΦA+ K