没有合适的资源?快使用搜索试试~ 我知道了~
669→→→××N()并非所有特征都是平等的:发现保护预测隐私的基本特征Fatemehsadat Mireshghallah Mohammadkazem TaramAliJalali<$Ahmed Taha ElthakebDean Tullsen Hadi Esmaeilzadeh{fmireshg,mtaram}@eng. ucsd。edu,ajjalali@amazon. com,ahmed. t. althakeb@gmail. com,{tullsen,hadi}@eng.ucsd。edu加州大学圣地亚哥分校†Amazon.com,Inc.三星电子摘要当从云接收机器学习服务时,提供者不需要接收所有特征;事实上目标预测任务仅需要识别这个子集是这项工作的关键问题。我们制定这个问题作为一个基于梯度的扰动最大化方法,发现这个子集在输入特征空间中的功能,由供应商使用的预测模型。在确定子集之后,我们的框架Cloak使用通过单独的基于梯度的优化过程发现的效用保持常数值来抑制其余的特征。我们表明,斗篷并不一定需要合作,从服务提供商超出其正常的服务,并可以应用在场景中,我们只有黑盒访问服务提供商的模型。我们从理论上保证Cloak的优化降低了发送的数据和筛选表示之间的互信息(MI)的上限。实验结果表明,Cloak将输入和筛选表示之间的互信息减少了85.01%,而效用仅减少了1.42%。此外,我们表明,隐形衣大大削弱了对手的能力,学习和推断非有益的功能。CCS概念• 安全和隐私隐私保护;安全和隐私的可用性;·计算方法学神经网络;计算机视觉任务;·计算数学信息理论。关键词隐私保护机器学习,深度学习,公平ACM参考格式:Fatemehsadat Mireshghallah Mohammadkazem Taram Ali Jalali†和AhmedTaha Elthakeb Dean Tullsen Hadi Esmaeilzadeh。2021.并非所有的特征都是平等的:发现保护预测隐私的基本特征在2021年网络会议(WWW '21)的会议记录23,2021,卢布尔雅那,斯洛文尼亚。ACM,纽约州纽约市,美国,12页。http://doi. org/10. 1145/3442381。3449965本作品采用知识共享署名国际4.0许可协议进行许可。WWW©2021 IW 3C 2(国际万维网大会委员会),在知识共享CC-BY 4.0许可下发布。ACM ISBN 978-1-4503-8312-7/21/04。网址://doi. org/10. 1145/3442381。34499651引言机器学习(ML)模型的计算复杂性已经将其执行推到了云端。用户端的边缘设备捕获数据并将其发送到云端以提供预测服务。一方面,这种数据交换服务已经变得普遍,因为提供商可以通过潜在地使用数据来改善其服务来增强用户体验[68],在许多情况下,这些数据是免费提供的。另一方面,一旦数据被发送到云,它可能被云提供商滥用,或通过安全漏洞泄漏,即使云提供商是可信的[35,43,59,80,81]。本文的观点是,很大一部分数据与预测服务无关,可以在发送数据之前进行筛选,从而能够以更大的隐私访问服务。 因此,我们提出了斗篷,一个正交的方法,现有的技术,主要依赖于密码解决方案,并施加禁止延迟和计算成本。表1总结了大多数最先进的基于加密的方法及其与GPU上未加密的执行相比的运行时间如图所示,这些技术施加了318到14,000的减速。图像分类推断在几秒钟内执行,这与用户和云提供商之间的服务级别协议相差一个数量级,根据MLPerf行业措施,这在10到100毫秒之间[55,69]。这样的减速将导致与需要接近实时响应的服务(例如,家庭自动化摄像机)。Cloak提供了一个中间地带,在那里有一个可证明的隐私程度,而预测延迟基本上不受影响。为此,Cloak只发送提供商执行所请求服务所必需的功能 现有的隐私技术适用于可以容忍较长延迟的场景,但是目前不适合于依赖于交互式预测服务的消费者应用。然而,没有隐私保护也是不可取的。为此,本文介绍了Cloak,一个框架,根据数据与目标预测任务的相关性筛选数据的特征。为了解决这个问题,我们将目标定义为一个基于梯度的优化问题,它生成输入的筛选表示. 直觉是,如果一个特征可以始终容忍噪声的增加而不降低效用,则该特征不利于分类任务。因此,我们用噪声分布(σ i)的缩放加法来增强每个特征i。 0,1)并学习尺度(σi s)。为了学习尺度,我们从具有已知参数的预先训练的分类器开始,并驱动关于尺度的损失函数,而公式包括模型作为WWWMireshghallah等人670D表1:加密技术与Titan Xp和Cloak上的传统GPU执行密码释放DNN数据集预测时间(秒)减慢技术年加密常规斗篷[85]第二十五话DELPHI[54]20202020VGG-16ResNet-32ImageNetCIFAR-10012.963.50.01450.01120.01480.0113906×[22]第二十二话2019ResNet-18ImageNet 8.30 0.0121 0.0123318×691×Gazelle[30]2018ResNet-32CIFAR-10082.00 0.01120.0113 7,454 ×MiniONN[45]2017LeNet-5MNIST 9.32 0.0007 0.000714,121 ×头发眼镜性别微笑重叠原始图像图1:Cloak彩色特征有助于完成任务。针对每个任务描绘的3组特征对应于不同的抑制比(SR)。AL表示由抑制施加的精度损失的范围已知的解析函数。尺度越大,可以添加到相应特征的噪声就越大,并且特征的有益性就越小。因此,学习的尺度被阈值化以将非有益特征抑制为恒定值,这产生输入的筛选表示。通过删除这些功能,Cloak保证了消费者发送的筛选表示中无法学习或推断出有关它们的任何信息图1显示了Cloak发现的多个任务的有益特征的示例以及示例图像的相应筛选表示。我们的可微公式找到的尺度之间的互信息(MI)的上限最小化不相关的功能和筛选的表示(最大化pri-vacy),而最大化的相关功能和生成的表示之间的MI的下限(保持效用)。对UTKFace[87],CIFAR-100 [37]和MNIST [40]的真实世界模型的实验评估表明,Cloak可以将输入图像和公开表示之间的互信息减少85。01%,精度损失仅为1. 百分之四十二此外,本发明还提供了一种方法,我们评估了Cloak对试图从CelebA数据集的筛选表示中推断数据属性的对手提供的保护[47]。我们如何筛选为“微笑检测”生成的代表作为目标任务,有效地防止对手推断有关头发颜色和/或眼镜的信息。我们表明,即使在黑盒设置中,我们不能访问服务提供商的模型参数或架构,Cloak也可以提供这些保护。此外,我们表明Cloak优于Shredder[52],Shredder是最近在预测隐私方面的一项工作,它在运行时对加性噪声进行随机采样和重新排序,以模仿预先收集的模式。 我们进一步表明,斗篷可以提高分类器的公平性。所提出的方法的代码可在https://github上获得。com/mireshghallah/cloak-www-21,附录中提供了实验装置和用于评价的超参数的细节。第二章序言在本节中,我们将讨论本文其余部分中使用的符号和基本概念,从我们的威胁模型开始威胁模型。 我们假设远程预测服务设置,其中对输入数据执行特定的目标预测任务。 我们的目标是创建输入数据x的表示x s,该表示x s仅具有对目标任务至关重要的特征,并抑制输入中的过度特征。然后我们将这个x发送给服务提供商。对于我们的理论和实证评估,我们采用监督分类任务作为我们的目标。我们假设对目标分类器fθ的两种访问模式:白盒和黑盒。 在白盒设置中,我们假设可以访问目标分类器的架构和参数θ。在黑盒设置中,我们无法访问目标分类器,也无法访问它训练的数据在这两种情况下,我们都需要来自数据分布的标记训练数据,即目标分类器的训练数据。然而,我们不需要访问完全相同的训练数据,也不需要服务提供商的任何额外协作,例如基础设施或模型参数的更改。特征空间。我们假设每个给定的输入x是一个集合的特征,并根据这些特征对目标分类器fθ的决策的重要性对这些特征进行分组。我们定义了两个不相交的特征组,即有益特征c和非有益特征u,有益特征c是与目标任务相关且对fθ重 要 的 特征,非有益特征u是不太相关的特征。我们的目标是找到有利的功能,只保留它们。相互信息。原始数据x1和要公开的表示xs之间的互信息量是在文献[16,33,42]中广泛使用的隐私度量,筛选SR=93%-96%SR=85%-90%SR=70%-75%代表性AL=5.2%-10.3% AL=0.5%-1.5% AL=0.0%-0.5%并非所有特征都是平等的:发现保护预测隐私的基本特征WWW671()下一页NH().我.2()下一页||H(| )()下一页|()下一页||()下一页 |N()()≤()2.σ))(4)(λi+σ2)。通过将其代入等式3,并简化Q.另一个优化问题,找到μs,使得交叉熵损失,⊆⊆Sk=1kθK并表示为Ix;xs。 Cloak的目标是学习表示x s,减少这种互信息,同时保持目标分类任务的准确性。形式上,Cloak试图最小化I(x s; u),同时最大化I(x s; c)。第3章斗篷最优化问题本节形式化地描述了优化问题,ProoF. 这个定理的引理和伴随的证明在附录中。□3.3损失函数现在我们有了上界和下界,我们可以将问题简化为以下优化,其中我们最小化上界(等式4)并最大化下界(等式5):一种计算上易于处理的方法来解决它。设x∈Rn为min1日志2n.n1λi我.日志(六)一个输入,并且c x和u x是两个不相交的导电集合,相对于我们的目标分类器(fθ)的非有益特征我们σ,q2((πe)(+σ2))+λ(−ci, xciq(ci|(xci))构造噪声表示x c =x+r,其中rμ、μ和μ is对角协方差矩阵,因为我们将噪声的元素设置为独立的。这种噪声表示有助于找到有益的特征,并用于创建发送给服务提供商的最终抑制表示x s。目标是构造x c,使得x c和u之间的互信息最小化(用于隐私),而x c和c之间的互信息最大化(用于效用)。 将写为以下软约束优化问题:我们从等式5的下限中省略了c,因为它是一个常数我们还将期望值以所有可能的表示和有益特征的总和的形式写入同一等式中。 为了使这种求和易于处理,在我们的损失函数中,我们将这部分公式替换为目标分类器在所有训练示例中的经验交叉熵损失。换句话说,保留有益特征的损失由那些特征的分类损失代替。我们还通过重写第一项来进一步放松优化由于最小化该项等于-minXCI(xc;u)−λI(xc;c)(1)为了最大化噪声的标准差,我们将分数变为减法。我们的最终损失函数变为:直观的解决方案是设置xc=c。但是,直接找到c是,在大多数情况下,由于分类器的高复杂性而不容易处理到为了解决这个问题,我们将优化问题的条件L=−log 1Nni=0Kσ2+λEr<$N(μ,σ2),x<$D−Kyklog(fθ(x+r))k.(七)1、求一个常数,求一个常数,求一个常数。为此目的,我们找到I(xc;u)的上界和I(xc;c)的下界。3.1Ixc;u的上界因为u是x的子集,所以以下成立:I(xc;u)≤I(xc;x)=H(xc)−H(xc|x)=H(xc)−1log((2πe)n|Σ|)(二更)其中xc x是添加的高斯噪声的熵这里,λ表示协方差矩阵的行列式。然后通过应用定理A.1(来自附录),它给出了熵的上限,对于x c,我们可以写:I(xc; u)≤ 1log((2 πe)n|覆盖率(xc)|(三)=第二项是在噪声和数据实例的随机性变量μ是噪声分布的平均值变量K是目标任务的类的数量,并且yk是确定给定示例是否属于类k的指示变量。更直观地说,第一项增加了每个特征的噪声,并提供了隐私。 第二项减小了分类误差,保持了分类精度. 参数λ是提供这两者之间的折衷的旋钮。3.4抑制表示在找到噪声表示xc之后,我们使用它来生成最终的抑制表示xs。通过应用截止阈值T在σ上,我们生成二进制掩码b,使得如果σi≥T,则bi=1,并且2| Σ|否则,bi = 0。我们创建表示xs=(x+r)b+µs,其中由于x和r是自变量,且xc=x+r,我们有Covxc=Covx+ r。此外,由于协方差矩阵是半正定的,我们可以得到Covx的特征分解为QΛQT,其中对角矩阵Λ具有特征值。以来.矩阵也是对角矩阵,|Cov(x)+x|为|Q(Λ+σ2)QT|为n我们得到了Cr 0、σ和µs为常数值,用于替换非导电特性。根据数据处理不等式[7],I x c; u的上界对于x s也成立,因为I x s; u I x c; u。同样的不等式也意味着I(xc;c)的下界不一定对xs成立。为了解决这个问题,我们写i=1iI(x;u)如下:i.e,mi nµ.Kylog(f(xs))被最小化。解决这个问题I(xc;u)≤1 log(( 2πe)n3.2I(xc;c)的下界ni=1λi+2我等式5的下限对于I(xs;c)也成立。4斗篷框架本节将更详细地描述CloakCloak包括两个阶段:第一,离线阶段,我们解决定理3.1. I(xc; c)的下界为:H(c)+max Exc,c[log q(c)|(五)其中q表示该条件概率的可能分布族的所有成员优化问题,以找到特征的传导性和抑制常数值。第二,在线预测阶段,其中抑制给定输入中的非有益特征,并且将数据的筛选和抑制表示发送到远程目标服务提供商以进行预测。本节我们11(672D–N()◦2DD()下一页[L](())]WWW讨论这两个阶段的细节,从离线阶段的细节开始。4.1为了解决第3节的优化问题,Cloak的方法是将噪声分布参数转换为可训练的可以使用传统的基于梯度的算法1扰动训练1:输入: ,y,fθ,m,λ2:初始化μ=0,ρ=10和M03:重复4:从D中选择训练批次x5:样本eN(0, 1)6:设σ=1。0 + tanh(ρ)(M)方法. 为了能够定义均值和方差的梯度27:设r=σe+μ因此,我们将噪声采样重写为r = σ e+ µ,而不是r μ,σ2,其中e0, 1。符号表示σ和e的元素的元素乘法。这种重新定义使我们能够将问题公式化为一个分析函数,我们可以计算梯度。我们还需要重新参数化σ,以限制每个特征的标准差(σ)的范围。如果它是通过基于梯度的优化学习的,它可以取任何值,而我们知道方差不能为负。此外,我们也不希望σs超过给定的最大值M。我们对分布施加了这个额外的约束,以限制σs无限增长(以减少损失),从其他特征的标准差中获得增长最后,我们定义8:对方程中的μ,ρ进行梯度步长(七)9:直到算法收敛10点整: 返回:µ,σ算法2抑制值训练1:输入: ,y,fθ,σ,µ,b2:初始化µs=µ3:重复4:从D中选择训练批次x可训练参数ρ写为σ=1 .一、0 +tanh(ρ)M,在那里,5:样本r<$N(0,σ2)6:设xs=(x+r)b+µs函数用来约束σs的取值范围,加1是为了保证方差的正性4.2Cloak的扰动训练工作流算法1显示了Cloak的优化过程的步骤。该算法采用训练数据(),标签(y),一个预先训练的模型(fθ)和隐私效用旋钮(λ)作为输入,并计算噪声分布参数的优化张量。在初始化步骤中,算法将均值(μ)的可训练张量设置为0,并将替代可训练张量(ρ)设置为大负数。这将生成标准差的初始值零在优化的每一步中,该算法计算一批训练数据的损失函数,并通过应用反向传播计算损失相对于μ和ρ的梯度由于损失(公式7)包含了噪声样本的期望值,Cloak使用蒙特卡洛采样[34]和足够大数量的噪声样本来计算损失。这意味着,为了对可训练参数应用单个更新,Cloak在整个分类器上运行多个前向通道,在每个通道中为噪声张量绘制新样本(其元素是独立绘制的),并对损失进行平均,并使用平均值应用更新。然而,在实践中,如果使用小批量训练,则每次更新只有单个噪声样本可以产生期望的结果,因为每个小批量都采样了新的噪声张量。 一旦训练完成,优化的均值和标准差张量将被收集并传递到下一阶段。4.3特征筛选和抑制为了筛选特征,我们使用训练的标准偏差张量(σ),我们称之为“噪声图”。特征在噪波贴图中的值越高,表明该特征的重要性越低通过更改隐私实用程序旋钮(λ)创建不同的噪声映射 我们使用截止阈值T1来将噪声图的连续谱值映射到二进制值(b)。在选择截止阈值时,7:从ErCEfθ对µ s进行梯度步进 xs,y8:直到算法收敛九: 返回:µs(T)取决于隐私-效用权衡,在实践中,找到T的最佳值并不具有挑战性。这是因为经过训练的σs很容易被筛选,因为它们被推到频谱的任一侧它们要么具有非常大的值(接近M),要么具有非常小的值(接近0)。更多详情请参见第5.6为了抑制非有益特征,一种简单的方法是发送噪声表示,即将来自μ,σ 2的噪声添加到输入以获得发送用于预测的x c表示。然而,这种方法有两个缺点:第一,它没有直接抑制和删除的功能,这可能会留下数据泄漏的可能性。其次,由于噪声的高标准偏差,在某些情况下,生成的表示可能在目标分类器的域之外,这可能对效用产生负面影响。另一种抑制非有益特征的方法是将它们替换为零(例如图像中的黑色像素)。 该方案还存在潜在的精度下降,因为我们用于抑制的值(即,零)可能不匹配分类器期望的数据分布。为了解决这个问题,我们找到了一个抑制的表示(3.4节),即,我们训练需要替换非有益特征的恒定抑制值。直觉上,这些学习的值揭示了目标分类器在训练集的所有输入中感知到的共同点,以及它期望看到的东西。算法2示出了该训练过程的步骤该算法找到µs,即值我们用它来替换那些不好的特征。唯一的目标这个训练过程的目的是提高准确率,因此我们使用交叉熵损失作为损失函数。并非所有特征都是平等的:发现保护预测隐私的基本特征WWW673N()×× ×4.4在线预测预测(推断)阶段是我们保护的不可见测试输入被发送到远程服务提供者进行分类的时候。 这个过程在计算上是有效的;它只增加了噪声采样,掩蔽,除了正常的传统预测过程cess。首先,将从优化分布0,σ 2采样的噪声张量添加到输入,然后将二进制掩码b应用于有噪声的输入图像。最后,µs被添加到x,得到的筛选表示被发送到服务提供者。作为一个例子,图1的最后一行示出了Cloak使用来自第三行的噪声图为不同任务生成的表示 如图所示,非导电特征被移除并替换为µs。然而,有利的特征是可见的。5实验结果为了评估Cloak,我们在四个深度神经网络(DNN)上使用了四个真实世界的数据集。也就是说,我们在CelebA[47]上使用VGG-16 [76]和ResNet-18 [26],在CIFAR-100 [37]上使用AlexNet [ 38 ],在UTKFace [ 87 ]上使用VGG-16模型的修改版本,在MNIST[40]上使用LeNet-5 [39]。本节中报告的互信息数是使用Python ITE工具箱[79]提供的Shannon Mutual Information estimator在测试集上估计的对于旨在将Cloak与以前的工作Shredder [52]进行比较的实验,为了创建类似的设置,我们将Cloak应用于DNN的最后一个卷积层,并创建筛选的中间表示,然后将其发送到目标分类器。 在其他实验中,Cloak直接应用于输入图像。附录中提供了每个实验中使用的超参数的代码和信息。5.1详细的实验设置在本节中,我们详细介绍了我们的实验设置的细节这包括数据集规范,硬件和操作系统规范,神经网络架构,最后,互信息估计。5.1.1数据集规格。在我们的评估中使用了四个数据集:CelebA[47],CIFAR-100 [37],UTKFace[87]和MNIST[40]。我们分别将这些数据集用于VGG-16 [76],ResNet-18 [26],AlexNet[38],VGG-16(修改后)和LeNet-5 [39]神经网络。我们在这些数据集上定义了一组目标预测任务。具体来说,我们在CelebA上使用微笑检测、黑发颜色分类和肤色检测,在CIFAR-100上使用20个超类分类,在UTKFace上使用性别检测对于MNIST,我们使用一个分类器来检测输入是否大于5,另一个分类器对输入的数字进行分类。本节中报告的准确度数字都是在一个保持的测试集上,在神经网络的训练过程中没有看到对于Cloak结果,由于输出不是确定性的,我们在测试集上重复运行预测十次,批量大小为1,并报告平均准确度。由于准确度数字的标准偏差很小(始终小于1。0%),置信条在图上不可见CelebA、CIFAR的输入图像大小100,UTKFace和MNIST分别为224×224×3、32×32×3、32×32×3,分别为32×32此外,在我们的实验中,输入都是标准化为1。所有实验都是使用Python 3.6和PyTorch 1.3.1进行的我们使用Adam优化器进行扰动训练。5.1.2实验硬件和操作系统。 我们已经在NvidiaRTX 2080TiGPU上运行了CelebA数据集的实验,具有11 GB VRAM,与10个具有64GB内存的Intel Core i9- 9820 X处理器配对。其余的实验都是在CPU 上进行的系统运行Ubuntu 18.04 操作系统,CUDA 版本V10.2.89。5.1.3神经网络架构。所有型号的代码可在补充材料中找到。用于UTKFace的VGG-16与传统的VGG-16不同之处在于最后3个完全连接层的大小。它们是(512,256)、(256,256)和(256,2)。该网络用于微笑检测、超类分类、性别检测和大于5检测的预训练准确率为91。8%,55. 7%,87. 87%,99。百分之二十九5.1.4互信息估计 使用ITE [79]工具箱的Shannon互信息估计器在测试集图像上估计输入图像及其噪声表示之间的互信息。对于MNIST图像,我们的数据集具有大小的输入32 32像素,我们展平到1024个元素向量,用于估计互信息。对于其他数据集,由于图像较大(32 32 3),因此存在更多维度,并且互信息估计不准确。因此,我们逐个通道地计算互信息(即, 我们估计图像的红色通道与其噪声表示之间的互信息,然后是绿色通道,然后是蓝色),并且我们对所有通道进行平均。5.2中报告的数字为互信息损失百分比,即公开图像与原始图像之间损失的互信息除以原始图像中的信息量。这个信息内容估计使用自我信息(香农信息),使用相同的工具箱。5.2隐私-准确性权衡图2显示了使用筛选表示的DNN分类器的准确性损失,相互信息的损失 这是原始图像与其噪声表示之间的互信息损失,除以原始图像中的比特信息量。 目标任务是CIFAR-100的20个超类分类,MNIST的> 5分类和UTKFace的性别分类。 在这个实验中,我们将Cloak与向图像的所有像素添加均值为零的高斯扰动和不同的标准差进行比较。 为了公平的比较,我们选择Cloak的噪声表示抑制。 对于MNIST和UTKFace,Cloak显著减少了输入中的信息(93%和85%的恢复),而精度损失很小(0。5%和2. 7%)。在CIFAR-100中,准确性对互信息损失稍微更敏感。这是由于分类任务的不同MNIST和UTKFace的任务只有两个类,而对于CIFAR-100,分类器需要区分20个类。对于所有三个数据集,我们看到与高斯扰动相比,Cloak在互信息损失相同的情况下实现了显着更高的准确性这是因为Cloak向不相关的特征添加了更多的噪声,而向相关的特征添加了更少的噪声,而高斯扰动在整个输入中均匀地添加我们在这里不呈现CelebA数据集的互信息结果,因为输入图像具有非常大量的特征,WWWMireshghallah等人674方法斗篷高斯扰动方法斗篷高斯扰动准确度损失(%)准确度损失(%)40 40 4030 30 3020 20 2010 10 10010 20 30 4050交互信息损失(%)(a) CIFAR-100085.0 87.5 90.0 92.5 95.0 97.5交互信息损失(%)(b) MNIST080 85 90 95交互信息损失(%)(c) UTKFace图2:CIFAR-100、MNIST和UTKFace数据集的隐私-准确性权衡互信息估计器工具不能准确地估计互信息。5.3重视推断信息为了进一步评估Cloak生成的表示的有效性,我们设计了一个实验,在这个实验中,对手试图使用DNN分类器来推断筛选后的表示的属性。我们在这里假设两个对手模型首先,对手可以访问来自筛选表示的无限数量的样本,因此她可以重新训练她的分类器以重新获得筛选表示的准确性。第二,一个模型,其中对手的访问筛选表示是有限的0.9500.9250.9000.8750.8500.8250.8000.7750.7500.5 0.6 0.70.8其他任务(头发颜色/眼镜)0.91.0无法根据筛选后的表征重新训练她的分类器在这个实验中,我们选择微笑检测作为目标预测任务,Cloak生成表示。然后,我们对试图从筛选的表示中发现两个属性的对手进行建模:图像中的人是否戴眼镜以及他们的头发是否是黑色的。对手已经为这两项任务预先训练了分类器。分类器是VGG-16 DNN,准确率为96。4%,88。2%的眼镜和头发颜色分类,分别。图3显示了该实验的结果此图中的每个点都是使用噪声图生成的,图中注明了抑制比(SR)。SR越高意味着抑制的特征越多当对手不重新训练他们的模型时,使用95. 6%的抑制率使对手几乎完全失去推 断 眼 镜 或 头 发 颜 色 的能力, 并 达 到 随 机 分 类 器 准 确 率(50%)。 这是实现的,而目标微笑检测任务只损失5。准确率16% 当对手重新训练他们的模型时,使用具有略高抑制率的表示(98。3%,达到了同样的目的。 但这一次,目标任务的准确率下降到78。百分之九。在相同的抑制比下,试图推断头发颜色的对手比试图推断眼镜的对手损失更多的准确性这是因为,如图1所示,微笑的有益特征与头发的有益特征的重叠比与眼镜的有益特征的重叠少。5.4黑盒访问模式为了说明Cloak的适用性,我们展示了Cloak即使在我们对目标模型的访问受限的情况下也可以保护用户的隐私。我们考虑了一个假设隐形衣对目标模型的结构一无所知图3:Cloak斗篷民主党斗篷EO原始民主党原始EO基线精度90.087.585.082.580.077.575.00.04 0.06 0.08 0.10 0.12 0.14公平性度量值图4:隐形衣对公平性的影响100999897969565707580859095 100交互信息损失(%)图5:与Shredder的比较[52]方法斗篷高斯扰动= 3.7= 2.0= 3.0= 0.0= 4.8= 4.5= 4.9任务头发颜色检测头发颜色检测w/再训练眼镜检测眼镜检测w/再训练毛发颜色检测基线眼镜检测基线微笑检测基线随机预测器SR=46%SR=85%SR=96%SR=77%SR=92%更加公平百分之十八点四方法隐形衣粉碎机准确度损失(%)目标任务的准确性(微笑检测)目标任务的准确性(头发颜色分类)准确度(%)更准确并非所有特征都是平等的:发现保护预测隐私的基本特征WWW675或者它的参数,并且只允许发送请求和获取响应。在这个设置中,我们首先训练一个替代模型,帮助我们训练Cloak请注意,在对抗性示例[49,63]和推理攻击[28,75]的背景下,训练黑盒设置的替代模型是一种行之有效的做法主要的挑战是生成训练替代模型所需的训练数据。然而,这已经在以前的工作中得到了解决,我们遵循与Shokri等人描述的方法学相似的方法。[75]. 我们将原始数据集(CelebA)分成两个大小相等的不相交训练集,一个用于目标模型,另一个用于替代模型。 我们假设一个目标服务提供商部署了两个ResNet18 [26] DNN,一个用于黑色头发颜色分类,一个用于微笑检测。 由于我们假设不知道模型架构,Cloak用另一种架构(即两个VGG-16 DNN)替代目标分类器。 斗篷替代模型的头发和微笑的任务有84的准确性。9%和90。9%,目标模型的准确率为87。3%,91。8%。在训练替代模型之后,我们将Cloak应用于它们,以找到噪声映射和抑制表示。图6c和6d显示了这些实验的结果斗篷在白盒和黑盒设置中以及对于头发颜色分类和微笑检测任务都执行类似的有效性原因是已知相同任务的DNN分类器学习相似的模式和决策边界[3,63]。对于微笑检测,我们可以看到,在抑制率为33%的情况下,The Cloak黑盒生成的表示可以获得91. 3%,甚至高于产生它的分类器的基线预测精度 这是因为所生成的表示被馈送到目标分类器,其具有比替代模型更高的基线准确度。5.5隐形衣对公平性的事后影响通过去除额外的特征,Cloak不仅有利于隐私,而且还可以消除分类器的无意偏见,从而实现更公平的分类。在许多情况下,偏向分类器的特征与Cloak发现的非有益特征高度重叠。因此,应用Cloak可以产生更公平的预测,而无需更改分类器。本小节通过采用与Kairouz等人类似的设置来评估Cloak的这种积极副作用[31 ]第30段。我们使用筛选的表示来衡量黑发颜色分类器的公平性,同时考虑性别是一个敏感的变量,可能会导致偏见。我们在实验中使用了两个指标,即人口学平价差异(DemP )和机会均等差异(EEO)。 有关指标和测量的更多详细信息,请参见补充材料。图4显示,由于Cloak抑制了更多的非有益特性,公平性指标得到了显著改善。我们看到0。由于删除了与性别相关的不利特征,这两个指标都有所降低值得注意的是,头发颜色分类器中的偏置特征不一定是图1中所示的性别特征。 这些特征显示了性别分类器用来做出决定的内容。5.6镇压,镇压机制,并与碎纸机比较对阈值的敏感性图6a示出了不同阈值(T)值对微笑检测(在CelebA/VGG-16上)的特征抑制率的影响。不同的系列显示了不同的噪声图,这些噪声图是通过不同的λ值获得的。σ <$表示噪声图的平均标准偏差,并且将第4.1节的参数M(最大标准偏差)设置为5。该图显示,T的选择并不重要,也不是一个简单的任务,因为它对被抑制的特征子集几乎没有影响。 这是因为在扰动参数的训练期间,标准偏差被推到频谱的任一侧(接近0或接近M)。不同的抑制方案。图6 b显示了第4.3节中描述的三种抑制方案在微笑检测任务(CelebA/VGG-16)上的准确性。 在不同的方案中,使用训练值的抑制对于相同的抑制比产生更好的准确性,因为它捕获分类器期望接收的内容。噪声抑制(发送噪声表示)的性能比训练稍差,这主要是由于噪声带来的不确定性。与Shredder比较图5比较了MNIST数据集上的Cloak和Shred- der[52],使用LeNet进行数字分类的目标任务。为了创建一个公平的设置,我们将Cloak部署到LeNet最后一个卷积层的输出,类似于Shredder。对于相同水平的MI损失,Cloak实现了显著更高的精度,这表明Cloak在中间表示空间中的有效性 对于精度几乎没有损失的初始点,Cloak达到了18。4%的信息丢失。 这种更好的性能部分是由于直接学习每个特征的重要性,而不是生成类似于产生高准确性的集合的模式。这也部分是由于Cloak在学习恒定抑制值时采取的额外步骤,这确保了生成的表示在分类器的域中。6相关工作本节回顾了Web服务隐私的相关工作本节首先简要讨论了一般Web应用程序的隐私,然后更深入地讨论了机器学习环境中的隐私。6.1Web应用程序隐私尽管存在隐私问题,但不幸的是,在网络上分享个人内容仍然很常见。因此,研究人员花费大量精力进行研究,使这种共享安全,安全和私密[4,17]。Mannan等人[51]提出了一种方法,专注于在任何用户选择的Web服务器中共享隐私增强的Web内容。也有一个机构的工作,进行纵向研究删除的网页内容及其随后的信息泄漏[6,57]。该领域的研究重点是通过社交媒体[73,88],发布信息的博客服务[83]或网络数据聚合[66]的数据泄漏。然而,Cloak专注于推理即服务设置,其中可能包含敏感信息的私有查询被发送到Web服务以运行机器学习推理。WWWMireshghallah等人6761009590858075703.64.54.84.9电话:+86-0510 - 8888888传真:+86-0510 - 8888888阈值1009080706050889092949698 100抑制率(%)1009080706050方法白盒斗篷黑盒斗篷0 20 40 60 80100抑制率(%)1009080706050方法白盒斗篷黑盒斗篷0 20 40 60 80100抑制率(%)(a) 阈值灵敏度(b) 限制方案(c) 黑盒微笑检测(d) 黑盒发色图6:(a)显示了不同阈值对抑制率的影响(b)比较不同的抑制方法。(c)和(d)展示隐形衣在黑盒环境中的性能6.2机器学习隐私隐私保护机器学习研究可以根据他们关注的阶段进行广泛的分类,即,训练vs预测这些研究中的大多数都属于训练范畴[53],他们试图保护贡献者的私人数据不会嵌入到训练的ML模型中[ 1,13,14,29,62,74,78 ]或发布在公共数据集中[ 19 - 21 ]。然而,预测(推断)隐私的迫切重要性导致了最近在这一方向的研究工作的出现[18,27,41,60,61,86]。 还有一小部分工作集中在模型架构和参数的隐私上[11,36],这超出了本文的范围。下面,更详细地讨论更多相关的工作。训练阶段。对于训练,文献中有大量使用噪声添加作为随机化机制以保护隐私的研究[1,13,14,21,62,64,74]。最值得注意的是,差分隐私[20],一个量化隐私的数学框架,催生了大量关于噪声添加机制的研究例如,它已被应用于许多机器学习算法,如逻辑回归[12],统计风险最小化[13],主成分分析[14,29]和深度学习[1,62,64,72,74],仅举几例。这些研究中的许多都将差分隐私应用于训练环境,他们关注的是通过机器学习模型泄露还有一些工作集中在使用加密协议对机器学习模型进行安全训练[2,2,25,56,70,71]。最后,还有几种隐私增强机制,例如联邦学习[32,46]和分裂学习[65,77],它们使用梯度或数据的抽象表示代替原始输入来训练ML模型并增强隐私。这些方法已经与差分隐私[5,10,67]或信息理论相结合[84]第84话保护隐私预测/推理隐私。 只有少数研究通过在数据中添加噪音来解决预测的隐私问题。Osia等人[60]在将信息发送到不可信的云服务之前,采用降维技术来减少信息量Wang等人[86]提出了一个噪声注入框架,随机无效输入元素的私人推理,但他们的方法需要重新训练整个网络。Leroux等人[41]提出了一个自动编码器来随机化数据,但他们的混淆强度太小,不可能不可逆,正如他们所说的那样。Liu等人 [44]提出了DEEProtect,一种信息理论方法,提供了两种用于保护隐私的使用模式。一其中它假定不能访问隐私敏感的推断标签,以及其中它假定可以访问隐私敏感的标签。Deeprotect将敏感推理纳入后一种使用模式的公式中。最近的一项工作Shredder [52]提出,基于DNN可以容忍的先前收集的加性张量(抗对抗模式),在运行时对加性噪声进行随机采样和重新排序。相比之下,Cloak的方法是通过学习有益的特征并使用学习到的常量值抑制有害的特征来直接减少信息。我们还通过实验表明,斗篷优于这一先前的工作。更重要的是,这项先前的工作依赖于在边缘侧执行网络的部分,并将结果发送到云端。然而,这种分离并不总是可能的,因为服务提供商可能不愿意共享模型参数或更改其基础设施以适应这种方法。此外,在某些情况下,边缘设备可能无法运行神经网络的第一卷积层。相比之下,我们表明,斗篷可以在黑盒设置中同样有效地执行,而无需服务提供商的协作。卸载计算的隐私也可以通过密码工具提供,例如同态加密和/或安全多方计算(SMC)
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![xlsm](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)