分裂联邦学习中的模型反演攻击与ResSFL的应对

1019412ResSFL：一种用于防御分裂联邦学习李京涛1，Adnan Siraj Rakin1，陈兴1，何哲智2，范德良1，Chaitali Chakrabarti11亚利桑那州立大学电气计算机与能源工程学院，亚利桑那州坦佩2上海交通大学计算机科学与工程系，上海{jingtao1，asrakin，xchen382，dfan，chaitali}@ asu.edu;{zhezhi.he}@ sjtu.edu.cn摘要这项工作的目的是解决分裂联邦学习（SFL）的模型反演（MI）攻击SFL是最近的分布式训练方案，其中多个客户端发送中间激活（即，特征图）而不是原始数据传送到中心服务器。虽然这样的方案有助于减少客户端的计算负载，但它本身对服务器从中间激活中恢复原始数据是开放的现有的保护SFL的工作只考虑推理，不处理训练过程中的攻击。因此，我们提出了ResSFL，一个分裂的联合学习框架，旨在在训练期间抵抗MI。它基于通过攻击者感知训练导出抵抗特征提取器这种方法有助于降低由于在客户端对抗训练中使用强反演模型以及在早期训练时期发起的攻击的脆弱性在CIFAR-100数据集上，我们提出的框架成功地减轻了对VGG-11模型的MI攻击，具有由基线系统获得的0.050至0.005的高重建均方误差。该框架实现了67.5%的准确率（只有1%的准确率下降）与非常低的计算开销。代码发布于：https://github.com/zlijingtao/ResSFL。1. 介绍协作训练方案在保护数据隐私非常重要的应用中已经变得流行。一个代表性的例子是联邦学习[13]，它已被广泛用于涉及私人数据的计算机视觉任务，例如人脸识别。分裂联合学习（SFL）[18]是最近的一种合作训练方案，结合了分裂学习（SL）[6]和联合学习（FL）的优点它在减少计算量和内存私人输入激活我grad的t损失客户端模型服务器端模型(a) SFL培训流程激活的t 我输入输出查询客户端模型训练反演模型重构输入(b) 服务器执行MI攻击步骤2：转移SFL格式源数据集服务器客户抗MI第1步：预训练(c) 我们提出的ResSFL两步框架图1. ResSFL概述。(a)多客户SFL培训过程。(b)服务器执行MI攻击。通过查询客户端模型建立反演模型，利用客户端的中间活动重构私有数据。(c)ResSFL框架的高级视图，包括预训练步骤和电阻转移步骤。与FL [7，13]相比，使用率更高，与原始SL方案的兼容性更快。在SFL中，神经网络模型被分成客户端模型和服务器端模型。多个客户端使用它们的客户端模型对它们的私有输入进行操作，并将中间激活传递给服务器。然后服务器在更昂贵的服务器端模型上进行计算，并将梯度传递回客户端。一个时代之后，10195不不不客户端模型的cal副本类似于FL进行平均。图1（a）中描述了这种方案因此，SFL避免了客户端不幸的是，据报道，SFL容易受到模型反演（MI）攻击[9，21]。在这里，诚实但好奇的[17]服务器表现得像攻击者。如图所示在图1（b）中，通过训练客户端模型的反转模型，服务器可以从它在SFL训练期间接收的中间激活中重建客户端先前的工作通过保护中间激活[9，19-然而，训练时的MI阻力明显更难。虽然推理时间防御只需要使最终模型抵抗MI攻击，但训练时间防御必须在SFL训练过程中的任何时候抵抗MI攻击这是因为诚实但好奇的服务器可以访问所有中间激活，并可以随时发起攻击。为了在训练过程中防御MI攻击，并实现客户端的低计算能力，我们提出了ResSFL，一个两步分裂学习框架，是抵抗MI攻击。第一步使用攻击者感知训练来开发抗MI特征提取器，第二步使用此提取器在标准的基于SFL的训练之前初始化客户端训练我们提出的框架的概述如图1（c）所示。攻击者感知训练使用强反演模型模拟强攻击者，并向反演模型添加瓶颈层[2]以减少特征空间。为了降低在客户端侧的这样的过程的计算复杂度并且解决早期训练时期中的脆弱性问题，在专家设备上实现攻击者感知训练方案，并且使用MI抵抗模型来初始化客户端侧模型。然后，客户端实施精简版攻击感知培训，以在新任务上实现良好的准确性，同时保持专家的抵抗力。我们的贡献可归纳如下：• 两步抗性SFL框架。我们提出了一种新的两步抵抗SFL框架的基础上提出的攻击感知训练和阻力转移。据我们所知，这是第一个成功减轻训练时MI攻击，同时在SFL中实现良好准确性的工作。• 攻击者感知训练法。我们使用（i）强反演模型来模拟MI攻击行为和（ii）瓶颈层来缩小大的特征空间，从而获得良好的MI抵抗力和准确性。迁移学习以保护攻击者感知训练的早期脆弱性，以及降低具有复杂版本内模型的客户端训练的高计算成本。2. 背景2.1. 分裂学习Split Learning [6]是一种协作训练方案，适用于使用低端边缘设备进行训练通过将神经网络模型分为客户端模型和服务器端模型，可以将大部分计算加载到服务器。我们使用切割层来表示分裂位置。图1（a）显示了一个SL方案，其cut-layer为4，这意味着客户端模型有4层。在 SL 的 最 先 进 的 变 体 中 ， 称 为 分 裂 联 邦 学 习（SFL）[18]，多个客户端并行参与客户端parallelism使其比原始方案[6]快得多，在原始方案中，一次只能有一个客户端进行训练，并以循环方式将最新的客户端模型传递给下一个我们在[18]中专门考虑SFL-V2方案，并在本文的其余部分将其称为SFL。2.2. 威胁模型在SFL方案中，每个客户端具有客户端i的客户端侧模型的本地副本，表示为Ci;服务器侧模型表示为S。训练过程总共执行T个epoch，其中客户端模型通过以下方式同步：在服务器处对每个时期开始时的本地副本进行平均;同步的中央副本被表示为C。在时期t（t >0）来自客户端i的所有训练数据的中间激活被表示为Ai。服务器使用MI攻击[3]来重建原始输入。我们只考虑基于训练的MI攻击[3，25]，其中需要具有类似数据分布的辅助数据集。另一种基于优化的MI攻击[1，9]性能较弱，仅包含在参考资料中。为了执行MI攻击，在时期t，攻击者使用将Ai的特征空间映射到输入空间的反演模型G模型G被训练以最小化地面实况图像和重建图像之间的均方误差（MSE）损失。我们假设服务器使用验证数据集作为辅助数据集xaux。G的优化过程为：G= arg minMSE（G（C（xaux）），xaux）（1）G然后，使用训练的反演模型G来重构由客户端i发送的中间激活Ai，以揭示• 通过阻力转移保护训练。 我们使用它的私人训练数据。10196不D第四章 =G（Ai）（2）用于在推理过程中保护置信度得分免受MI攻击[24]。这里使用反演模型来训练假设岛HBC条件。我们假设服务器是诚实但好奇的（HBC）[17]，也就是说，它正确地遵循协议并返回计算正确的结果。但是，它记录了i发送的所有中间激活A“净化器”，修改置信度得分以欺骗MI攻击。虽然这种方法可以在SFL训练期间使用，但反演模型需要访问地面实况数据，这意味着由客户端不I. 我们排除了恶意的条件[？]自从反演模型必须本地保存在客户端。模拟使用低端L0或L1反演来计算弱攻击者恶意服务器可以使任何可能的防御无效。假设二。白盒假设服务器端对客户端模型C++具有完全的查询访问权限和白盒假设，训练算法包括防御方法、体系结构信息和模型参数。的假设是可行的，因为服务器也可以充当具有其自己的私有数据的参与客户端。假设三。增加了反转模型的强度我们假设服务器可以尝试不同的模型架构来实例化MI攻击的反转模型。与之前使用单一架构（通常非常简单）的作品[19，21，25]不同，我们允许服务器使用复杂度增加的反演模型，如表1所示。请注意，由于服务器不缺乏计算资源，因此它可以轻松支持高复杂度的模型。表1.描述复杂度增加的反演模型L0→L3。深度宽度FLOPs*L0 2× Conv2D + Conv2D转置16通道3.6ML1 2× BasicBlocks + Conv2DTranspose 16通道5.1ML2 4× BasicBlocks + Conv2DTranspose 32通道18.7ML3 6× BasicBlocks + Conv2DTranspose 64通道76.2M*：使用大小为[1，128，8，8]的输入测量FLOP，其对应于切割层为2的VGG-11模型的中间激活相比之下，客户端模型具有21.5 M FLOP。架构细节在补充材料中提供。2.3. 耐药性定义与先前关于MI攻击的工作类似[23，25]，我们将MI抵抗定义为地面实况图像xpriv与使用反演模型G生成的重建图像xppriv之间的MSE。我们选择反演模型，表1，实现最佳性能。根据经验，我们将MSE值设置为0.02作为阻力目标。3. 动机3.1. 计算量大攻击者感知训练是防御对抗性攻击时采用的一种流行的防御方法[5，8]。也是训练过程中的模型是精细的，但并不能帮助抵御强大的攻击者（如图4所示）。另一方面，模拟一个强大的攻击者有很高的计算成本。例如，使用L3解码器的成本为76.2M FLOPs，比客户端模型（21.5M FLOPs）高出3倍以上。这样的方法显然是不能接受的SFL，它是为资源有限的客户端设计的3.2. 早期脆弱性我们注意到，即使有适当的防御，训练过程的早期阶段也可能是脆弱的。对我们提出的攻击者感知训练的评估表明，虽然系统能够在训练过程结束时建立足够的抵抗力，但早期阶段显示出非常低的抵抗力（如图5所示）。这是因为阻力的建立是一个缓慢的渐进过程，类似于准确性。因此，在早期训练阶段，模型具有可用于MI攻击的脆弱接口。4. 防御框架为了解决在客户端实现强反演模型的高计算成本和早期脆弱性问题，我们构建了一个称为ResSFL的两步框架。它包括一个预训练步骤，在那里我们建立了一个具有强MI抗性的特征提取器，和一个后续的阻力转移步骤，其中抗性特征提取器用于初始化SFL方案的客户端模型。图2描述了所提出的方案。具体地说，一个具有高计算预算的专家（即一个强大的客户端或第三方）处理源任务（任务1）上的预训练步骤预训练步骤利用攻击者感知训练（A1）和瓶颈层（A2）。然后，抗性特征提取器被用作SFL方案在新任务（任务2）上的初始化。使用低复杂度的攻击感知微调方法（B1）来更新客户端模型，以高精度适应新任务，同时保持MI抵抗力。4.1. 攻击者感知培训所提出的攻击者感知训练包括针对客户端i由W i参数化的反演模型D i。 D itakes中间激活Ai作为输入，并生成重构图像xi，类似于真实攻击者使用Di的攻击者感知训练采用Min-Max优化形式：10197服务器初始化服务器端模型标签激活的t我N`NL9：Ai=Ci（xi）W不CCWi，WCWiDi=1CNi=1CDt激活的t专家客户端服务器A1：攻击者感知训练A2：瓶颈层B1：攻击者感知微调源数据集输入cx- sy阻力传递A2目标数据集客户端输入SSIMSSIMA1A2L3倒位1/F重构L0反转重构输入模型(A) 预训练步骤标签输入B1模型(B) 电阻转移步骤图2.建议的ResSFL计划。专家在步骤（A）中使用攻击者感知训练来构建抗MI客户端模型这之后是电阻转移步骤（B），其通过重新使用在（A）中获得的客户端侧模型来解决新任务注：（A1）由算法1中的两个训练步骤组成，（B1）在第4.2节中描述。minC最大值CE（S（WS;Ci（Wi;xi），yi）+S算法1攻击者感知训练要求：对于N个客户端（在预训练步骤中N =1），为1，2，...，N，我“交叉Entpy损失”x（3）服务器端模型S.λ是反演的强度得分λ×εR（Di（Wi;Ci（Wi;xi）），xi）一曰： 函数TRAIN（Xi，Yi）i=1其中Wi，W SD CIn versinobonobonScorex2： 初始化Ci、Di、S3：forepocht←1tonumepochsdo5：对于客户端i，并行地执行←1到N服务器端模型。 xi，yi是计算的在客户机iR是评价与地面实况图像相比的重建图像的质量的评分函数。λ是控制反转分数的强度的常数从等式3中，我们看到计算反转分数需要访问私有图像X1，这意味着第二优化必须在SFL方案中在客户端侧本 地完 成。 我们 使用 R 函数 的结 构相 似性 指数（SSIM）得分[26]来评估图像重建的质量。与MSE相比，SSIM与人类感知的图像质量具有更好的相关性，并且被广泛用于图像恢复任务。算法1给出了在SFL方案上应用攻击感知训练的详细过程. N个客户端并行计算（第7行），客户端模型同步（第4行）在每个epoch开始时完成。 我们采用与[4]中相同的策略来解决Min-Max优化问题。 每个客户端i在每个时期t中经历两个训练步骤（对应于行11和行13）。第一个训练步骤（第11行）通过保持C固定来最大化得分R来调整反演模型D i。 第二训练步骤（第13行）是标准训练过程，其中更新W i和W S以最小化交叉熵损失。在这里，我们添加反演模型6：Ci←C7：对于步骤s←1到num批次，8：图像批次（xi，yi）←（Xi，Yi）不10：分数=R（Di（Wi;Ai），xi）11：maxi（分数）D12：损失=LCE（S（WS;Ai），yi）13：最小Wi，WS（损失+λ评分）14：结束15：结束16：结束十七： end function由λ控制。增加瓶颈层：上面概述的攻击者感知训练的准确性和抵抗性能并不好，如图4所示。中间激活的大特征空间使其更容易受到MI攻击。事实上，在[14]中已经表明，攻击中间激活而不是置信度得分可以导致更好的MI攻击性能。因此，我们的方法是通过使用瓶颈层来减少中间激活的维度，term. 我们将正则化效应限制为W i通过保持在[ 2 ]中引入。 我们使用一对[4][5][6][7][8][9][10][11][12][13][14][15][16][17][18][19]正则化的强度为客户端模型Ci，局部反演模型D和表示客户端的参数，4：C=1CiN10198Conv2D层的lin和lout。Lin具有与中间激活的原始信道大小相同的输入信道大小10199并且输出通道大小为C，而lout具有输入通道大小为C并且输出通道大小与lin的输入通道大小相同。这两个层的内核大小都为3。为了简单起见，我们使用Cx-Sy来表示具有通道大小基线-L0（Accu）基线-L3（Accu）%基线-L0（MSE）基线-L3（MSE）804000.10.050x和y的步幅。虽然使用瓶颈层来减轻MI攻击是可行的，0 0.3 0.5λ0.8 1.2 2新的，仅使用瓶颈层并不能提高性能，如后面的表4所示。然而，攻击感知训练和瓶颈层的组合在抵抗力和准确性方面为我们提供了更好的因此，我们提出了具有瓶颈层的攻击者感知训练作为建立模型抵抗力的方法。4.2. 攻击者感知微调通常在迁移学习中，复杂的任务被转移到简单的任务，因此域转移可以通过冻结客户端模型和微调服务器端模型来完成。然而，冻结客户端模型可能会导致准确性显著下降。另一种选择是允许小的学习率，这导致电阻性能受损。为了平衡准确性和抵抗力，我们允许初始模型是可调的，并提出了一种更便宜的攻击者感知训练版本，具有低学习率，称为攻击者感知微调，以保持抵抗力。我们在客户端模型上仅允许0.005的低学习率（与模型的其余部分的0.02的学习率相比），并使用最简单的L0反演模型应用攻击者感知训练。此外，我们将反演模型训练的频率（算法1中的第11行）减少到每5个训练步骤（f=5）一次，以减少在客户端训练反演模型的开销。5. 实验设置. 为了模拟多客户端SFL，我们随机平均分配训练数据集，为每个客户端创建训练数据集（私有数据）。服务器使用验证数据集来验证模型以及执行MI攻击。我们对客户端模型和服务器端模型使用随机梯度下降（SGD），并将学习率设置为0.05伴随着适当的学习率衰减。我们使用学习率为0.001的Adam optimizer [10]来训练执行MI攻击以及攻击者感知训练的反演模型。每个模型训练200个epoch。我们的方案有两个超参数：用于攻击者感知训练的反演得分强度参数λ和用于瓶颈层的Cx-Sy我们将基线方法称为在SFL中从头开始应用攻击者感知训练的方法，而不是两步ResSFL方法。在本节中，我们将模型架构固定为VGG-11，切割层设置为2图3.基线攻击感知训练方法，具有L0（弱）和L3（强）反演模型，不添加瓶颈层，在VGG-11上，CIFAR-100数据集上的切割层为2。5.1. 构建抗MI模型（预训练）反演模型复杂度。图3显示了在基线攻击感知训练中使用弱反演模型（没有瓶颈层）会遇到低阻力（低MSE）。我们发现，弱内版本模型的反演得分停留在非常低的值，这意味着不好的重建，这转化为不好的反演能力。相比之下，使用强反演模型（L3）紧密地模拟攻击者，并且对于大λ提供高MI抵抗。如图3所示，当λ = 1时，反演模型L3的电阻显著提高。2、准确性下降明显。添加瓶颈层。 对于预训练步骤，我们将所提出的攻击者感知训练与瓶颈层一起应用，并训练切割层为2的VGG-11模型。我们改变等式3中的瓶颈设置和正则化强度λ，并在图4中显示相应的结果。显然，瓶颈设置（C12-S1和C8-S1）比没有瓶颈设置（无）获得更好的阻力.在CIFAR-10& CIFAR-100上，具有C8-S1狭窄瓶颈设置的攻击感知训练可以将MSE增加到0.02以上，同时仍然保持超过90%的准确性。5.2. 转移MI阻力（SFL训练）不同的转移策略。我们将预训练的抵抗模型从两个源任务CIFAR-10和CIFAR-100转移到不同的目标任务CIFAR-100/CIFAR-10 [11]，Facescrub [16]，SVHN [15]和MNIST [12]。对于FaceScrub和MNIST，我们将原始图像缩放为32x32x3，以便可以将其馈送到与在CIFAR- 10/CIFAR-100上预训练的客户端模型相同。电阻转移性能如表3所示。与简单策略（例如冻结和简单微调）相比，所提出的攻击者感知微调在准确性和抵抗力之间实现了良好的平衡，并且具有较小的学习率（设置为0.005）。例如，在CIFAR-100上，与简单的微调相比，我们提出的攻击者感知微调仅降低了0.4%的准确度，MSE提高了0.028。在SVHN上，我们提出的方法几乎没有降低精度，精度MSE10200−%λ=0.3 λ=0.5 λ=0.891908988无C12-S1C8-S1(a) CIFAR-10%λ=0.3 λ=0.5 λ=0.86866646260无C12-S1 C8-S1(b) CIFAR-1000.030.020.0100.080.060.040.020表2.从CIFAR-10到SVHN和VGG-cut 2模型的CIFAR-100数据集的CIFAR-100Accu MSE Accu MSE2 96.0 0.045 67.5 0.0505 95.8 0.041 66.9 0.05010 95.5 0.041 66.6 0.05020 95.5 0.041 66.6 0.048100a95.4 0.040 65.8 0.046a每轮抽样率为10%。S1瓶颈层。图5显示了基线方法和ResSFL在不同条件下对MI攻击的性能。图4.针对CIFAR-10/CIFAR-100数据集，在切割层为2的VGG-11上应用攻击者感知训练。Cx Sy代表通道大小x和步幅y。MSE仅比冷冻低0.004。将性能转移到不同的数据集。从CIFAR-10 转换到CIFAR-100 时 ， 电 阻 转 换 性 能 非 常 出 色 。 例 如 ，CIFAR 10到CIFAR-100的传输实现了0.050的非常高的MSE，而精度仅下降1%。 这是因为CIFAR-10更难实现阻力，而CIFAR-100更容易实现阻力，如图4所示。因此，对CIFAR-10耐药的模型仍应对CIFAR-100耐药。SVHN数据集也是如此，我们成功地达到了0.045，几乎没有精度下降。然而，当将简单任务转移到硬任务时，阻力转移失败。例如，在CIFAR-100到CIFAR-10中，即使我们只冻结客户端模型，CIFAR-10上的MSE也非常低，为0.006当从具有多个输入通道的源数据集转移到具有单个输入通道的目标数据集（即MNIST）时，抵抗性能减弱。我们计划在不久的将来对此进行调查。推广到多个客户端。 我们将实验从两个客户推广到多个客户。如表2所示，当客户端数量增加到20时，所提出的方案实现了类似的电阻性能，但精度略有下降。使用客户端抽样技术，我们可以扩展到100个客户端。5.3. 训练时间阻力性能为了展示我们的框架如何基于阻力转移解决训练时间MI攻击，我们在SFL训练期间的不同时期执行MI攻击。我们使用VGG-cut 2模型作为我们的ResSFL框架的代表模型为了进行比较，我们使用了两种λ = 0的基线方法。3有和没有C8-当前时期（t = 1，5，.，200）。ResSFL框架在训练期间具有稳定的MI阻力，并且持续优于0.02 MSE的目标阻力（红色虚线）。ResSFL基线（无BN）基线（有BN）0.080.06零点零四分0.0201 5 10 20 50 200时代图5. ResSFL和两种基线方法（有和没有瓶颈层）对训练时间MI攻击的抵抗性能作为历元数的函数。5.4. 对现有方法现有的在SFL上保护MI的方法使用基于扰动的方法和基于正则化的方法来保护中间激活基于扰动的方法包括拉普拉斯噪声[19]、dropout [9]、[25]中描述的topk-prune和对抗噪声[23]。[19]中的方法将噪声添加到中间激活，其中噪声遵循由尺度b参数化的拉普拉斯分布（位置参数μ保持为0）。[9]使用一个掩码（每个元素取0，概率为p，否则为1），并将其与中间激活元素相乘Topk-prune保留前k个百分比的元素，而将其他元素设置为零。[23]在代理反演模型上使用FGSM[5]制造对抗性噪声（我们使用L3反演模型）并将其添加到中间激活中，我们使用递归来缩放梯度另一系列工作应用基于正则化的方法来构建模型基于信息相关性的作品，如[22]和[21]，使用互信息和距离相关性来正则化训练。然而，[22]不适合SFL，因为它需要大量的局部计算，所以我们只精度精度MSEMSEMSE10201表3.预训练的VGG-11模型在双客户端SFL方案上的转移阻力，切割层为2最后三列显示了使用精简版攻击感知培训微调客户端模型的结果源任务目标任务基线精度简单微调攻击者感知微调表4.在CIFAR-100数据集上，与先前的针对VGG-11的MI攻击的防御进行了比较，其中切割层为2，在两个客户端SFL方案中任何防御）。所有以前的方法都不能得到超过0.02 MSE的值，同时保持精度下降小于5%。相比之下，我们提出的ResSFL实现了0.050 MSE，只有1%的精度下降。准确度MSEMSE准确度MSEMSE64.4 0.008 0.0080.020 0.013k=7050.40.0080.005c4-s158.00.0320.020ResSFLλ0.3-c8-s167.50.0720.050包括在表4中[21]。我们为每种方法改变超参数设置，并将精度保持在合理的范围内。除了直接应用于训练模型的基于扰动的方法外，我们重新训练模型并测试推理过程中的MI抵抗力。如表4所示，所有以前的防御方法都不能在MI攻击中使用L0 和最佳反演模型实现超过0.02的MSE，准确度下降小于5%。距离相关法在简单的L0反演模型下表现良好，但在使用最佳反演模型的强MI攻击下表现不佳。5.5. 成本分析表 6 列 出 了 不 同 方 案 的 参 数 数 量 和 浮 动 点 操 作（FLOP）。反演模型训练的计算开销取决于其复杂度和更新频率。使用提议的攻击者感知微调，ResSFL的与原始SFL方案相比，使用27% FLOP和20%参数的计算开销，与流行FL方案相比，使用0.01%参数和0.17%FLOP [13]。6. 消融研究拓扑结构的选择。我们将ResSFL框架扩展到其他拓扑（具有不同的架构和不同的切割层设置）。表5中的第二列显示了切割层为1和2的VGG-11架构，切割层为2、3和4的ResNet-20架构，以及提出了具有2、3和4切割层的MobileNet-V2体系结构。我们作为专家，调整瓶颈的通道大小/步长和反演得分强度λ，以在CIFAR-10数据集上训练客户端模型达到0.02 MSE的阻力目标。例如，对于切割层为3的ResNet20架构，目标电阻在C1-S1瓶颈和λ=0.3的情况下实现的冻结AccuMSEAccuMSEAccuMSECIFAR-10SVHN96.192.20.04995.90.03796.00.045CIFAR-10CIFAR-10068.562.40.07767.90.02267.50.050CIFAR-10面部磨砂82.263.50.02168.10.01565.20.021CIFAR-10MNIST99.699.60.00399.60.00299.40.003CIFAR-100SVHN96.193.60.05096.00.02395.80.039CIFAR-100面部磨砂82.265.00.01969.10.01567.80.021CIFAR-100CIFAR-1091.989.50.00691.50.00490.80.005CIFAR-100MNIST99.699.60.00399.60.00299.40.003（L0）（最佳）（L0）（最佳）b = 0。0565.40.0090.006G = 0。0565.80.0120.007拉普拉斯算子[19]b = 0。0862.20.0120.008[23]第二十三话G = 0。0864.60.0260.012b = 0。1058.40.0160.011G = 0。1062.00.0370.018p = 0。1564.20.0100.006α = 1。063.60.0140.009辍学[9]p = 0。2061.60.0110.007[21]第二十一话α = 1。563.20.0360.014k=5065.40.0070.004瓶颈 c16-s1TopkPrune [25]k=6061.10.0070.004层[2] c8-s110202CIFAR-100地面实况MIA on SFLMSE：0.005关于ResSFLMSE：0.050表5.在双客户端SFL方案上，具有不同架构的预训练模型从源任务CIFAR-10到目标任务CIFAR-100的传输阻力我们包括FLOP（通过馈送单个图像来测量）和两个流行的图像质量指标SSIM和峰值信噪比（PSNR）（使用最佳反演模型）;更高意味着更好的图像质量。拓扑ResSFLFLOPsOriginalResSFLMSE SSIM PSNR表6. VGG-11上的竞争方案与CIFAR-100上的切割层2的成本分析。方案参数FLOPs电阻FL9.8M（1.00x）153.7M（1.00x）高SFL76.0K（0.01x）20.9M（0.14x）低ResSFL91.5K（0.01x）26.5M（0.17x）高表5中的右三列示出了使用不同拓扑的电阻转移在CIFAR-100数据集上获得的电阻我们注意到，对于相同的架构，增加切割层可以获得更好的准确性，并且在 大 多 数 情 况 下 具 有 更 好 在 各 种 架 构 选 择 中 ，MobileNet-V2通常表现良好。在MobilNet-V2上应用ResSFL，切割层为2，有助于实现非常好的准确性以及极高的MSE和极少量的FLOP。VGG-11架构还可以实现非常好的电阻，精度下降仅为1%。因此，不同的拓扑结构具有不同的计算复杂度，精度和电阻权衡，拓扑设计空间需要进一步研究。7. 结论我们提出了ResSFL，一个两步SFL框架，包括一个攻击者意识的培训，实现高MI电阻的专家，然后转移阻力的客户端，以提高他们的MI电阻在SFL培训。我们表明，攻击者意识的训练与复杂的反演模型和瓶颈层的模型，帮助专家建立强大的MI阻力相结合。将这种阻力转移到客户端不仅减少了客户端的计算需求，而且还解决了由于早期训练时期的攻击而造成的漏洞。我们使用攻击者感知Fine，调谐可以在精度和电阻之间实现更好的平衡我们还表明，该框架可以支持多个客户端，并可以推广到不同的架构-切割层配置。最后，我们证明了ResSFL应用于CIFAR-100数据集上的VGG 11模型，0.050 MSE，相比之下，通过基线方案获得的0.005MSE仅具有1%的准确度下降;相应的重建面部非常嘈杂，如图6所示，并且证明了所提出的ResSFL方案的能力。面部磨砂地面实况MIA on SFLMSE：0.005关于ResSFLMSE：0.021SVHN地面实况MIA on SFLMSE：0.007关于ResSFLMSE：0.045图6. MI发作重建图像的可视化。模型架构为VGG-11，切割层为2。设置精度精度VGG-cut1λ0.5-c1-s12.1M68.552.30.0410.55314.4VGG-cut2λ0.3-c8-s121.5M68.567.50.0500.54714.2VGG-cut3λ0.3-c12-s141.6M68.567.80.0380.53915.3Res-cut2λ2.0-c1-s25.3M67.855.20.0520.55413.6Res-cut3λ0.3-c1-s110.2M67.862.00.0480.55613.9Res-cut4λ0.5-c2-s115.1M67.865.60.0430.71915.6Mob-cut2λ0.5-c1-s13.7M71.467.30.0200.78717.6Mob-cut3λ0.5-c2-s118.7M71.470.90.0370.71715.6Mob-cut4λ0.3-c4-s131.6M71.470.80.0620.53813.310203引用[1] Alexey Dosovitskiy和Thomas Brox用卷积网络反转视觉在IEEE计算机视觉和模式识别会议论文集，第4829-4837页，2016年。2[2] Amir Erfan Eshratifar ， Amirhossein Esmaili ， andMassoud Pedram.瓶颈：智能移动云计算服务的深度学习架构。2019年IEEE/ACM国际低功率电子与设计研讨会（ISLPED），第1-6页。IEEE，2019。二四七[3] Matt Fredrikson Somesh Jha和Thomas Ristenpart。利用置信信息的模型反演攻击和基本对策。在Proceedings ofthe 22nd ACM SIGSAC Conference on Computer andCommunications curity，pages 13222[4] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统进展，第2672-2680页，2014年。4[5] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv ：1412.6572，2014。三、六[6] 奥特克里斯特·古普塔和拉梅什·拉斯卡深度神经网络在多个代理上的分布式学习。网络与计算机应用杂志，116：1-8，2018。一、二[7] ChaoyangHe ， MuraliAnnavaram ， andSalmanAvestimehr.小组知识转移：边缘大型CNN的联邦学习。神经信息处理系统的进展，33：14068-14080，2020。1[8] Zhezhi He ， Adnan Siraj Rakin ， and Deliang Fan.Parametric noise injection：可训练的随机性，以提高深度神经网络对对抗性攻击的鲁棒性在IEEE计算机视觉和模式识别会议上，第588-597页，2019年3[9] Zecheng He，Tianwei Zhang，and Ruby B Lee.在边缘云协同推理系统中攻击和保护数据隐私IEEE Internet ofThings Journal，8（12）：9706二六七[10] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[11] Alex Krizhevsky，Geoffrey Hinton等人，从微小图像中学习多层特征。2009. 5[12] 杨乐存。 MNIST手写数字数据库。http：//yann. 乐村1998年。5[13] Brendan McMahan，Eider Moore，Daniel Ramage，SethHampson，and Blaise Aguera y Arcas.通信-从分散的数据中有效地学习深度网络。在人工智能和统计，第1273PMLR，2017年。1、7[14] 莫康华，黄腾，项小雨查询lit-tle是足够的：模型反演攻击通过潜在的信息.机器学习网络安全国际会议，第583-591页。Springer，2020年。4[15] Yuval Netzer ， Tao Wang ， Adam Coates ， AlessandroBis-sacco，Bo Wu，and Andrew Y Ng.使用无监督特征学习读取自然图像中的数字。2011. 5[16] Hong-Wei Ng和Stefan Winkler。一种数据驱动的清理大型人脸数据集的方法在2014年IEEE图像处理国际，第343-347页IEEE，2014。5[17] AJ Paverd，Andrew Martin和Ian Brown。为诚实但好奇的对手建模并自动分析隐私属性。Tech. Rep，2014.二、三[18] ChandraThapa，MahawagaArachchigePathumChamikara，Seyit Camtepe，and Lichao Sun.Splitfed：当federated learning遇到split learning。arXiv预印本arXiv：2004.12088，2020。一、二[19] Tom Titcombe ， Adam J Hall ， Pavlos Papadopoulos 和Daniele Romanini。分裂神经网络模型反版本攻击的实用防御。arXiv预印本arXiv：2104.05743，2021。二三六七[20] Praneeth Vepakomma、Otkrist Gupta、Abhimanyu Dubey和Ramesh Raskar。减少分布式深度学习中敏感健康数据的泄漏。arXiv预印本arXiv：1812.00564，2019。2[21] Praneeth Vepakomma，Abhishek Singh，Otkrist Gupta，and Ramesh Raskar. Nopeek：分布式深度学习中减少信息 泄 漏 以 共 享 激 活 。 2020 年 国 际 数 据 挖 掘 研 讨 会（ICDMW），第933-942页。IEEE，2020年。二三六七[22] 王天豪，张宇恒，贾若曦。通过互信息正则化提高对模型反演攻击的鲁棒性。在AAAI人工智能会议论文集，第35卷，第11666-11673页，2021年。二、六[23] Jing Wen，Siu-Ming Yiu，and Lucas CK Hui.用对抗性例子防御模型反演攻击。2021年IEEE网络安全和弹性国际会议（CSR），第551-556页。IEEE，2021。二三六七[24] 杨子琪，邵斌，宣博涵，张义谦，张凡。通过预测纯化防御模型反演和隶属度干扰攻击。arXiv预印本arXiv：2005.03915，2020。二、三[25] Ziqi Yang