属性推断攻击对隐私保护机器学习的影响与防御措施

1569本作品采用知识共享署名国际4.0许可协议进行许可。属性推断攻击只是归因吗？摘要BargavJayaramanUniversity ofVirginiaCharlottesville，VA，USAbj4nq@virginia.edu美国弗吉尼亚州夏洛茨维尔evans@virginia.edu大卫·埃文斯大学1介绍模型可以暴露有关其训练数据的敏感信息在属性推断攻击中，攻击者对一些训练记录具有部分知识，并且可以访问在这些记录上训练的模型，并且推断出这些记录的敏感特征的未知值。 我们研究了一个细粒度的属性推断的变体，我们称之为敏感值推断，对手的目标是以高置信度识别一些记录从候选集的未知属性具有特定的敏感值。 我们明确地比较属性推断与数据填补，捕获的训练分布统计数据，在各种假设下的训练数据提供给对手。 我们的主要结论是：（1）以前的属性推理方法并没有比对手在没有访问训练模型的情况下推断出的更多关于模型的训练数据，但是具有与训练属性推理攻击所需的相同的底层分布知识;（2）黑盒属性推理攻击很少学习没有模型就无法学习的任何东西;但是（3）白盒攻击可以可靠地识别出某些具有敏感值属性的记录，而这些属性在没有模型的情况下是无法预测的。此外，我们表明，提出的防御措施，如差异化私人培训和从培训中删除易受攻击的记录，并不能减轻这种隐私风险。我们的实验代码可以在github.com/bargavj/EvaluatingDPML上找到。CCS概念• 安全和隐私→隐私保护协议;·计算方法→机器学习。关键词属性推理，数据填补，隐私保护机器学习，差分隐私ACM参考格式：Bargav Jayaraman和David Evans。2022年。 属性推断攻击只是插补吗？ 在2022年ACM SIGSAC计算机和通信安全会议（CCS '22）的会议记录中，2022年11月7日至11日，美国加利福尼亚州洛杉矶。ACM，纽约州纽约市，美国，14页。https：/doi.org/10.1145/3548606.3560663CCS©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9450-5/22/11。doi.org/10.1145/3548606.3560663使用机器学习训练的模型已被证明易受推理攻击，这些攻击会揭示有关模型训练数据的敏感信息我们专注于属性推断，假设对手对一些训练记录有部分了解，并希望使用从训练模型中获得的信息来推断这些记录的未知敏感属性属性推断的目标与数据填补的目标相同，其任务是在给定部分数据记录的情况下填充数据的未知部分不同之处在于，属性推断对手还利用了对在目标记录上训练的模型的访问，而插补仅基于数据分布的知识来完成。我们发现，大多数属性推理攻击实际上是通过使用模型显示的训练分布信息进行插补，并且训练和非训练记录的推理风险是相同因此，主要的隐私风险来自模型揭示的训练分布，而不是训练数据集。 在研究界，这种分布推断攻击通常被认为是“科学”，因此不被认为是隐私风险[25]，但只有当对手已经完全了解分布时才会出现这种情况。正如Graham Cormode [ 10 ]之前所指出的，如果基于模型的“群体推断”允许对个体进行更准确的个人信息推断，则应将其视为隐私风险，而无论其是否包含在训练数据中。然而，在理解风险时，重要的是要区分数据插补中通常不可避免的风险和由于个人将自己的数据贡献给训练数据集而可能避免的风险。几篇论文已经报道了属性推断的证据[13，26，37]，但正如我们在实验中所示（总结在表2中），这些先前的属性推断攻击实际上似乎并没有比在不访问模型的情况下通过插补学到的更多因此，在这种情况下，隐私泄露不是由于个人贡献数据，而是由于模型学习和揭示训练数据分布中的统计相关性。然而，这并不足以得出不存在属性推断隐私威胁的结论，因为这些攻击可能不会从模型中提取所有可用信息例如，Yeom等人中的属性推断对手。[37]使用成员推理预言机作为黑盒。 我们探讨属性推理攻击，充分利用访问模型。此外，以前的作品不考虑的情况下，对手开始与有限的信息的训练分布。我们表明，在设置的基础分布本身是不完全知道的对手，即使是一个准确的估算基础上，1570∼∼D×|MCITD一D一CITDCIMMD一一个D|CCSAdvertisement插补0.62± 0.050.39 0.03± 0.24± 0.01黑盒攻击0.60± 0.040.420.33± 0.04白盒攻击0.64± 0.040.510.50± 0.02表1：比较推理对手。 结果是前100个候选记录的阳性预测值（PPV），用于预测来自德克萨斯州的西班牙裔种族-100 X（第6.1节），对手可以从训练分布中获得不同数量的数据。在5000条记录上训练的插补优于最好的黑盒和白盒攻击。然而，当先验信息有限时，白盒攻击泄漏了关于训练分布的有用信息。该模型泄露的分布式信息可能会带来严重的隐私风险。捐款. 为了更好地理解属性推断风险，我们考虑了威胁模型，其中对手对训练分布的先验知识有限（第3.1节），并研究了属性推断的细粒度概念，该概念考虑了以高置信度从候选集中识别具有特定敏感属性值的个体的隐私风险（第3.2节）。我们提出了一种新的白盒攻击，它可以识别模型中与目标属性的敏感值最相关的神经元（第5节）。我们对两个大型现实世界数据集进行了广泛的实验评估敏感值推断，包括插补和黑盒属性推断攻击（第7节）以及我们的新白盒攻击（第8节）。主要调查结果。我们的实验表明，经过训练的模型泄漏了关于底层训练分布的重要信息，这些信息可以用来推断个体的敏感属性。虽然先验属性推断攻击不会从模型中学习任何没有它就无法学习的东西，但我们的白盒攻击能够自信地推断敏感值记录，即使在对手具有有限先验分布信息的情况下。表1总结了我们实验的一些结果，这些结果代表了我们在第7节和第8节中报告的两个数据集和各种设置的结果。 结果一致表明，在对手对训练分布的先验知识有限的情况下，访问该模型可以大大提高对手的推理成功率。2灌输与推理本节总结了以前的工作数据填补和属性推理，并提供实验结果，以激发需要研究敏感值推理。记法。我们将X Y表示为数据点的分布，其中X是属性域，Y是类标签域。另外，每个数据点z =（v，t）由敏感特征t和非敏感特征v组成，使得（v，t）X，并且具有相关联的类标签y Y。t的支撑表示为：T. π（z）=v和π（z）=t是具有域X的投影函数，使得它们映射到分别记录z 我们将从分布D中采样由n个数据点组成的数据集S表示为SDn。2.1数据插补在处理真实世界的数据时，经常会遇到缺少字段或属性的情况。数据插补是一个长期存在的问题，即为缺失数据插补值，传统上不被认为是隐私问题，自20世纪70年代以来一直由调查研究界进行研究[29- 31 ]。一个简单的策略是用给定属性的平均值或中值填充缺失值，或者从附近的记录中复制值（如美国人口普查所做的那样）。通过考虑先验概率和属性之间的相关性等因素，可以执行更准确的插补。机器学习可以通过使用具有已知属性的属性来帮助找到合适的值。例如，期望最大化算法[23，32]可以在给定剩余属性的值的情况下找到缺失属性的最可能值。 或者，k-最近邻[5]、线性回归或神经网络模型[2，15]也可以用于预测缺失的属性值。这些方法通过自动化插补工具实现，例如Amelia II [17]和MICE [7]。Gautam和Ravi [14]和Bertsimas等人。 [6]提供了关于数据填补的机器学习方法的详细文献综述。在对抗性属性推断的上下文中，未知的敏感属性可以被视为缺失值进行估算。更正式地说，考虑一个具有数据分布知识的估算对手，他知道一组候选记录Cm的非敏感属性值（C），并希望以推断C中的每个候选记录z的敏感属性值t = π（z）。记录z的敏感属性t的插补可以用条件概率Pr[t（z）]表示 假设t的支持度为T，则估算对手输出具有最大条件概率的值ti ∈ T：<$（z），，T）= arg max Pr[ti ii i（z）]（ 1）ti∈T虽然有许多插补方法旨在最大化上述条件概率，但基于神经网络的插补[15，28，33]已被证明在许多现实环境中实现了最先进的性能，例如插补乳腺癌数据[21]，甲状腺疾病数据库[33]和人口普查数据[28]中的缺失值。因此，我们在实验中使用这种方法。2.2属性推断在属性推断攻击中，攻击者可以访问数据分布，知道一组候选记录C S的非敏感属性值T（C），并使用在Sn上训练的模型S来推断C中每个候选记录z的敏感属性值t=π（z）。与归责对手的关键区别在于，属性推断对手可以访问在S上训练的模型，并使用从模型中获得的附加信息来推断敏感属性值。以前的属性推理工作[13，26，37]只探索了黑盒（API）攻击设置，其中对手查询模型S并获得预测的类标签或置信向量。对于一个给定的带有相关类标签y的部分记录n（z），一般的方法是插入所有可能的值ti∈T，属性推断攻击只是归因吗？CCS1571···Ot∈Ti∈Ot∈Tit∈Ti普查19得克萨斯州-100倍性别种族性别族裔预测最常见0.52 0.78 0.62 0.72插补（公式1）0.590.820.660.72YeomAttack（Eq. （3） 0.570.650.570.58CAI（方程式4）0.630.060.620.64WCAI（方程式5）0.640.830.680.74CSMIA[26]（方程式6） 0.630.060.590.60表2：比较属性推断攻击的预测准确性。报告的结果是五次试验的平均值。所有报告值的标准偏差均小于0.01注意虽然上述公式可以支持任何成员推理攻击作为一个预言，预言MI Yeom等人。取模型置信度向量V =（V0，V1，V1），并使用关于正确类别标签Vy的 模 型 置 信 度 的 阈 值来预测成员资格。Yeom等人的攻击还嵌入了一个强烈的假设，即属性是相互独立的。我们改进了Yeom et al.的攻击，而不是直接使用正确的类标签Vy的 模 型 置 信 度进行属性推断。 我们将由此产生的黑盒攻击称为基于置信度的属性推断（CAI），并使用以下等式描述它：在许多情况下，属性推断攻击比A（（z），D，M，T）=argmaxV（四）天真地预测最常见的属性值。敏感属性，以获得完整的记录，zi，对手用它来查询模型然后，对手使用模型的输出来推断潜在的敏感属性值t。接下来，我们将描述以前的属性推断攻击，并在表2中比较它们的有效性（有关更多详细信息，请参见第2.3节）。弗雷德里克森攻击。 Fredrikson等人[13]在他们的工作中研究了两种不同的推理攻击在第一种攻击中，称为模型反演，对手查询人脸识别模型，目的是检索模型训练中使用的实际人脸图像在第二种攻击中，称为属性推断，对手拥有关于训练记录的部分信息，并旨在通过查询模型来推断未知的敏感属性。 我们在这里考虑后一种攻击。在这种攻击中，对手为敏感属性插入不同的值ti∈T，并获得查询记录zi，然后将其输入到模型MS中以获得Syti∈T将上述攻击与敏感属性的条件概率相结合，产生加权CAI（WCAI）攻击：A（z），D，MS，T）= arg max Pr[ti |V（z）]·Vy（5）Yeom等人的这些修改版本的攻击优于原来的攻击方程。 3（如表2所示），并且稍后用于我们的黑盒敏感值推断攻击。Mehnaz攻击。 Mehnaz等人 [26]最近提出了一种基于置信度分数的模 型 反 演 攻 击 （ CSMIA ） ， 并 根据经 验 表 明 它 超 过 了Fredrikson等人的攻击。[13 ]第10段。在他们的攻击中，对手查询具有敏感属性ti∈T的不同值的记录zi的模型MS，并获得对应的预测类标签yi ′和预测标签Vy′的模型置信度。然后，对手使用这些信息来预测i敏感值如下：ti∈T|y′=y，如果tj≠i，y′≠y对应的预测类标签yi′。对手表演吉吉以这种方式进行多个查询，以创建混淆矩阵：C [y，y′]= Pr[MS（z）= y′ |y是真正的类标签]A∈（z），D，MS，T）=∑arg minti∈TVyi′，如果ti∈T，yi′∈yargmaxti∈TVyi′，i∈T，yi′= y（六）然后，对手将其与敏感属性Pr[t]的边缘先验相结合，并推断出缺失属性的值，该值使组合值最大化。A（z），D，MS，T）=arg max Pr[ti]·C[y，yi′]（2）Fredrikson等人 [13]假设属性是相互独立的，这是一个非常强的假设。在现实的设置中，属性通常是相关的，并且在这种情况下，等式中的Pr[ti]。 2应替换为条件概率Pr[ti|（z）]。廉攻。Yeom等人[37]提出了一种依赖于对成员推理预言机的黑盒访问的属性推理在他们的攻击中，对手尝试未知敏感属性的所有 可 能 值 tiT ， 并 使 用 相 应 的 记 录 zi 查 询 成 员 关 系 推 断oracleMI。预言机输出二元成员资格决策，指示记录zi是否是模型训练集的一部分然后，对手在通过成员资格测试的值中选择具有最高先验概率的值ti。攻击可以用这个等式来描述Am（m（z），D，MS，T）=arg max Pr[ti]· OMI（MS，zi）（3）我们注意到，上述攻击没有考虑敏感属性的先验边缘或条件概率，因此类似于来自Eq. 四、2.3实证分析先前关于属性推断的实验结果没有区分成功的推断是由于模型泄漏还是由于推断捕获的属性之间存在的相关性。 表2总结了我们在Census 19和Texas-100 X数据集上比较现有最新属性推断攻击与插补的预测准确性的实验结果（第6.1节提供了这些数据集的详细信息，我们将其创建为标准基准的扩展版本，以进行更广泛的实验）。对于Census19数据集，我们选择性别和种族作为敏感属性，对于Texas-100 X数据集，我们选择性别和种族。 为了我们的比较，我们包括Yeom等人的成员预言攻击。[37] Yeom攻击（YeomAttack）及其修改版本（CAI和WCAI），直接使用模型置信度，而不是依赖于成员关系预言。我们还包括Mehnaz等人的CSMIA攻击[26]它使用模型的信心，并显示优于CCSBargav Jayaraman和David Evans1572莫△MDDD一一MMMAACITD||||DDDDFredrikson等人[13] I'm sorry.[1]作为参考，我们还包括了一个朴素基线的预测准确性，它总是预测敏感属性的最常见值。请注意，这个愚蠢的基线在四种设置中的三种设置中已经优于三种属性推断攻击（Yeom，CAI和CSMIA），并且仅被WCAI持续优于。插补的性能优于Yeom攻击、CAI和CSMIA，CAI和WCAI之间的准确率差距表明，推理的成功主要是由于插补。此外，WCAI的准确性与插补的准确性相似因此，除了在这些环境中对这些指标进行归因之外，黑盒攻击似乎不会造成重大的隐私风险。这促使我们开发更有意义的指标来评估推理攻击（我们在3.2节中介绍并在后面的实验中使用），并探索从模型中提取更有意义信息的白盒攻击（第5节）。2.4理论成果虽然上述三个工作经验探索属性推理攻击，其他作品从理论上探讨了属性推理的有效性。Yeom等人[37]将属性推理问题归结为查询一个成员推理预言机，并证明了属性推理攻击的成功率受成员推理成功率的限制。Zhao等人[39]还得出结论，当成员关系推理失败时，属性推理失败因此，这些作品的一般观点是，属性推断攻击不构成对差异私有模型的威胁，是无懈可击的成员推断攻击。这一结论是基于Yeom等人提出的属性优势度量。 [37]这限制了对手在训练和非训练输入之间的推理准确性，并且被证明是由差分隐私限制的。 我们通过测量记录子集的攻击精度来评估对手在推断属性方面的成功（见第9节），而不管它们是否出现在训练集中。因此，我们的优势度量对应于在使用（“属性推断”）和不使用（“插补”）访问训练模型的情况下可以实现的攻击的成功是由于模型揭示了关于分布的信息，而这并没有通过差分隐私来减轻，其中个人数据记录是隐私的单位我们的研究结果证实了吴等人的说法。 [36]差异隐私不会削弱对手推断属性的能力，即使它可以限制训练和非训练记录的准确性之间的差距。3威胁模型前面部分中的预测准确性实验对应于属性推断的先验概念，假设对手可以访问从训练数据集的相同分布中采样的大量记录，并评估目标敏感属性的所有值的均匀隐私风险在测试集中的所有记录中进行平均这些假设都不适用于属性推断重要的现实场景，因此我们开发了一个扩展的威胁模型，该模型考虑了对手可用数据的不同可能性（第3.1节），1CSMIA的作者没有发布他们攻击的参考实现因此，我们根据他们的论文[26]中的描述实现了我们自己的攻击版本，并确认它的性能与他们报告的结果相似。分布的相似性数据集的大小（|多|）大小大小无访问插补黑盒子·△白盒△ △ △表3：本文考虑的威胁模型。列描述了攻击者我们观察到的推理攻击明显优于插补的情况用表示。 以前的属性推理工作[13，26，37]只考虑可以从训练分布中访问大型数据集的对手，以及对模型的黑盒访问（·）。更现实的攻击目标，其中对手试图以高置信度识别具有敏感属性的个体（第3.2节）。3.1数据可用性对数据的访问是任何属性推断或估算攻击的关键组成部分在我们的威胁模型中，我们根据表3中总结的对手可用的辅助信息来考虑一系列对手。该信息由两部分组成：（i）访问在敏感数据上训练的模型，以及（ii）数据知识。我们使用Maux来表示对手对训练模型S的访问，S从最高到最低变化为：（a）对S具有白盒访问权限，（b）对S具有黑盒访问权限，以及（c）无法访问S。最后一种情况对应于模型不需要存在的情况，并进行推理adversary（）相当于一个归责对手（<$）。对手在最好的情况下，对手可以访问与训练模型（D aux）相同的分布（但没有重叠的记录）;在 更 现 实 的 情 况 下 ， 他 们 可 以 访 问 不 同 的 分 布 （ Daux），该分布可能或多或少与训练分布相似。 所有的先验属性推断工作都假设对手知道训练分布。可用于对手的数据Daux可以基于从对手已知的分布采样的对手的样本集大小（D aux）来进一步 这决定了对手拥有多少关于分布（或 分布）的信息，与模型无关。较大的Daux表明对手对潜在分布有更准确的信息。当我们在不同的设置中比较插补和属性推断攻击的有效性时，改变Daux在对手有足够的信息来准确地模拟训练分布的情况下，我们发现，一个插补对手是足够准确的，很少有额外的信息可以从访问一个训练模型。属性推断带来的严重隐私风险仅限于训练分布本身不可公开使用的情况，因此攻击者能够通过访问进行更好的预测属性推断攻击只是归因吗？CCS15730，否则（7）一一∈A.A.∼DM···AM00，否则∼Daux·一与仅从有限或倾斜的可用数据中进行估算相比，他们更容易将其应用于在该分布上训练的模型3.2敏感值推断统一的平均准确性度量不能很好地捕捉现实场景中的属性推断风险，其中属性的某些值比其他值更常见，并且具有敏感属性的少数值的记录可能具有最高的关联隐私风险。 对于隐私风险来说，最重要的不是整个候选集上的推断的平均准确度，而是是否有可能对候选集中的某些记录预测出具有高置信度的少数值。 为了更真实地捕捉属性推理的风险，我们提出了一个替代定义，我们称之为敏感值推理。 我们的定义捕捉了推断敏感值的风险的不对称性，并强调了对手能够对某些候选记录进行高置信度预测的威胁。与属性推断威胁模型类似，敏感值推断对手知道非敏感属性值通过将阈值分数设置为：A （z ），Daux，Maux，tn ）=n1，如果score（z∈=（t ∈（z），t∈））≥φ这里，t是属性t的敏感属性值，φ是得分度量的阈值。 如实验3.1中所述，攻击者接收一组部分候选记录，并运行敏感值推断（公式3.1）。7）独立地针对候选集合中的每个部分记录n（z）。注意，攻击成功取决于阈值φ。 为了在得分度量上找到合适的阈值φ，攻击者可以基于候选记录的得分对候选记录进行排序，并选择使攻击精度最大化的阈值。我们在可视化中使用的另一种思考方法是，通过按得分对候选记录进行排序，对手可以选择k个候选记录，这些记录最有可能具有针对任何k值的属性值t。在C=C（C）的一组候选项CS。Theadversar y在以下各节中，我们将展示如何使用上述过程目标是从C推断候选记录的子集，其中t=t，其中t是目标敏感值。 我们正式的敏感值推理攻击使用下面的对抗游戏的启发Yeom等人的属性推理游戏。[37]第37段。用于构造不同的敏感值推断攻击。4黑箱攻击在黑盒攻击中，对手可以无限访问实验3.1（感官评价）。让D成为模型，并能够提交查询以获得输出预测分布在训练数据点（z，y）上，其中（v，t）=zX是属性，yY是类标签。设（Daux，Maux，taux）是想要推断属性t的敏感值taux的敏感值推断对手，并且具有关于数据Daux和模型访问Maux的辅助信息。敏感值推断实验如下进行：(1) 对训练集S进行采样， 训练一个S模型(2) 从S中抽取候选者C的子集。(3) 输出1[A（z），Daux，Maux，taux）=πt<$（z）]，<$z∈C.其中1是指示函数，πt（z）是投影函数，如果记录z具有敏感属性值t=t，则输出1，否则输出0。敏感值推断对手（Daux，Maux， t）获取部分候选记录i（C），并为每个候选记录zC输出二元判决，表示z是否具有敏感值t。接下来，我们提供了一种直接的方法，可以从任何基于分数的属性推断攻击中获得敏感值推断攻击，例如第2.2节中讨论的攻击。将AI攻击转换为敏感的价值推断。考虑基于分数的属性推断攻击，其推断敏感的它想要的任何输入的置信向量我们既考虑了只使用已发布模型的纯黑盒推理攻击，也考虑了将基于底层分布知识的估算与来自模型的黑盒推理相结合的组合攻击。虽然我们可以使用2.2节中讨论的任何黑盒属性推断攻击，但我们选择Yeom等人的修改版本。 [37]攻击，CAI（方程。 4）和WCAI（Eq. 5），对于我们的实验，因为这些在已知的黑盒攻击中表现最好。模型置信度攻击（BB）。如等式4、CAI攻击利用模型对正确类标签的置信度作为得分度量来推断敏感属性值。 我们可以将这个分数度量代入等式。7得到相应的敏感值推断攻击。对于具有对应类别标签y的给定部分候选记录f（z），敏感值推断对手查询具有记录zf=（f（z），tf）的模型S，并获得模型置信度向量V=（V0，V1，V1）。对手然后使用Vy来推断记录z是否具有敏感值t：A（z），Daux，Maux，tn）=n1，如果Vy≥φ（8）通过选择如下给出的使得分最大化的值来计算查询记录z的属性值t（ti∈T第2.2中讨论的先前攻击假设可以访问训练分布（即，D）和黑盒访问模型MS. 因此，这些攻击被表示为A（（z），D，MS，T）。这里在我们的实验中，我们将上述黑盒攻击称为BB为简洁起见，除非另有说明，否则我们将Vy称为本文其余部分的模型置信度加权模型置信度攻击（BB IP）。 类似于上面的BB攻击，我们将WCAI攻击从Eq. 5对相应的敏感值推断攻击如下：我们保留了一个更通用的符号<$（z），Daux，Maux，T）来表示更广泛的属性推断攻击类，并使用此符号A（z），Daux，Maux，tn）=n1，如果Pr[t]| ψ (z)] ·Vy≥φ（九）在论文的其余部分都是一致的我们可以把上面的00，否则一CCSBargav Jayaraman和David Evans1574一o·||±00，否则±±）=一一∈A00，否则♢00，否则我们将上述攻击命名为BB·IP，因为它通过将模型置信度Vy乘以敏感值Pr[t]的条件概率来将BB攻击与填补相结合|（z）]。决策树模型置信度攻击（BB IP）。 虽然BB IP将模型置信度和插补输出相乘，但还有其他方法可以组合来自这两种方法的信息。一种有效的方式是训练机器学习模型，该机器学习模型采用模型置信度和插补输出两者，并且输出反映查询记录具有敏感值t的可能性的组合置信度得分。为了获得这样的模型，对手首先基于辅助数据知识Daux获得完整记录的已知集合U。那么对手1 .一、00的情况。80的情况。60的情况。40的情况。20的情况。0100 101102神经元1 .一、00的情况。80的情况。60的情况。40的情况。20的情况。0获取模型置信度Vy和插补输出Pr[t（z）]对于U中的每个记录z。然后使用这些来训练模型f以输出0和1之间的置信度分数f（Pr[t（z）]，Vy），使得具有敏感值t=t的记录的分数高，并且U中的其余记录的分数低。我们使用决策树，因为它是一个易于解释的非线性模型。在测试阶段，A使用f来推断候选记录的敏感值我们将这种攻击称为BB攻击IP，并将其定义为：图1：神经元激活与属性的相关性。该图显示了与德克萨斯州的西班牙裔种族相关的神经网络模型的神经元的缩放激活（平均std）-100 X，以相关值的降序排序。显示了与记录相关的神经元的激活（使用分位数信息均匀缩放到0A（z），Daux，Maux，tn）=nnnn1，如果f（Pr [t|φ（z）]，V（y）≥φ5白盒攻击（十）德克萨斯州的西班牙裔-100倍（见第6.1节），按相关性值降序排列。 最相关的神经元为0。390. 04五次运行的Pearson相关系数，相关值缓慢下降至0。我们找到了前十名如第2.2节所述，以前关于属性推断的研究主要集中在黑盒攻击[13，26，37]。 目前还没有开发利用模型权重的实用白盒属性推理攻击的工作，尽管其他推理攻击的工作[8，9，16，22]表明，深度神经网络可能会将额外的信息泄露给考虑其内部参数和激活的攻击。 虽然有一些白盒模型反演攻击[27，38]使用图像识别模型的权重来推断与训练数据中的人脸图像相似的人脸图像，但它们针对不同的问题设置，并且不适用于属性推断。 我们提出了一种新的白盒攻击，利用神经网络模型中的神经元激活值。这种攻击的直觉是，神经网络中的神经元子集往往是相关的神经元的数量超过0。270. 01相关值。我们发现类似的相关性与其他数据集和敏感属性。在我们的攻击实验中，我们使用了这10个最相关的神经元。 虽然这个选择看起来很有启发性，而且可能会从其他神经元中收集到更多信息，但我们发现，这10个神经元为我们的白盒攻击提供了强烈的信号。事实上，在我们最初的实验中，我们在两个数据集上改变了前k个神经元，在1、2、5、10和100之间，并找到前10个神经元以给出最佳结果。 我们使用神经元相关值作为权重，通过取前10个神经元的缩放激活值的加权平均值来获得聚合神经元输出op。op值在0和1之间，并且可以被认为是白盒攻击在预测敏感的值我们称这种攻击为WB，并将其定义为：输入记录的不同属性值因此，白盒攻击者可以从识别与敏感值相关的神经元中我们测试了这个假设，发现我们可以识别出具有更高激活值的神经元A（z），Daux，Maux，taux2001年，如果op≥φ（11）00，否则用于匹配敏感属性值的输入神经元输出攻击（WB）。在这种攻击中，对手有一个训练记录集U，他们知道敏感属性值。这可以由对手根据以下内容获得：加权神经元输出攻击（WB·IP）。类似于BB·IP攻击，WB·IP攻击将聚合神经元输出op与条件概率Pr[t]相乘|（z）]：辅助知识Daux. 对于每个记录ziU，其中tit，将其值ti翻转为t，并保持其他记录相同。然后识别平均具有较高激活值的神经元A（z），Daux，Maux，tn）=n1，如果Pr [t]|n（z）]·op≥φ（十二）对于具有敏感值t的记录，具有较低的激活值，并且对于原始具有tt的记录，具有较低的激活值。我们通过计算每个神经元的皮尔逊相关系数来做到这一点，并将它们按递减基于树的神经元输出攻击（WB IP）。我们还评估了基于决策树的聚合神经元输出和插补置信度的组合，类似于BB BRIP攻击：秩序Pearson相关系数介于-1和1之间，其中1表示强正相关。例如，图1A（z），Daux，Maux，tn）=n1，如果f（Pr [t|φ（z）]，o p）≥φ（十三）西班牙裔非西班牙裔Pearson相关缩放神经元输出相关值属性推断攻击只是归因吗？CCS1575DD6实验设计在本节中，我们将介绍所使用的数据集，并描述敏感值推断攻击实验的模型训练过程和评估方法。6.1数据集现实属性推断攻击实验需要表格数据集，这些数据集是敏感用户信息的代理，例如患者健康记录或人口普查数据，这些数据包括敏感属性，如性别，医疗状况，种族和民族。由于之前的推理实验中使用的数据集要么是图像数据集，要么是小规模的玩具数据集，因此我们创建了两个大型数据集，并将其公开[18，35]。德克萨斯州-100倍。Texas-100 X数据集是Shokri等人的Texas-100医院数据集的扩展版本。[34 ]第30段。 每个记录包括患者的人口统计学信息，例如年龄、性别、种族和民族，以及医疗信息，例如住院时间、入院类型、入院来源、入院诊断、患者状态、医疗费用和主要外科手术。任务是根据病人的健康记录预测100种外科手术中的一种原始的Texas-100数据集由60000条记录和6000个匿名二进制属性组成，因此不适合我们的问题设置。我们从用于创建Texas-100的相同公共源文件2中整理了一个新的数据集。我们的新数据集Texas-100 X包含从441家医院收集的925128例患者记录，并以非匿名形式保留了原始的10个人口统计和医疗属性。 这使我们能够在评估攻击时针对敏感特征，例如种族。我们发现种族属性与种族高度相关，因此我们将种族从模型训练中删除。人口普查19. Census19数据集来自2019年美国人口普查局数据库3，类似于广泛使用的成人人口普查数据集[3]（来自1994年人口普查数据）。成人数据集由大约48000条记录组成，具有14个特征，其中一些是重复的或与其他特征高度相关。 我们从2019年的公共使用微数据样本（Public Use Microdata Sample，CNAS）文件中获得了类似的人口普查数据集。这些记录是根据公共使用微数据区（Public Use Microdata Areas，缩写为CAA）进行地理分组的，这些微数据区是各州内唯一的非重叠区域，每个区域至少有10万人。我们整理的数据集有来自2351个CNAS的记录，尽管这些CNAS标识符仅用于采样数据，而不是用作模型训练或推理的属性。由此产生的普查数据集19包括1676013个记录，其中12个特征表示美国个人的个人和人口统计信息。这些特征包括年龄、性别、种族、婚姻状况、教育、职业、工作时间和原籍国，以及与认知、行走、视力和听力残疾有关的属性。分类任务是预测个人年收入是否超过9万美元，类似于成人数据集的传统任务（使用5万美元作为收入门槛，我们从1994年到2019年进行了通货膨胀调整）。2德克萨斯州医院住院患者出院公共使用数据文件，[2006年第1、2、3和4]。得克萨斯州卫生服务部，得克萨斯州奥斯汀3美国社区调查（ACS）公共使用微数据样本（ACDS）。联合美 国 人 口 普 查 局 。 [2019 年 ] 。 网 址 ： https ： /www.census.gov/programs-surveys/acs/microdata/access.html。6.2模型训练对于我们使用Texas-100 X和Census 19的实验，我们随机选择50，000条记录来形成训练集，并使用它来训练双层神经网络模型。我们还从剩余的数据中随机抽取25，000个额外的记录来形成测试集，这样训练集和测试集是互斥的。神经网络由两个隐藏层组成，每个隐藏层有256个神经元，具有ReLU激活功能。输出层是一个softmax层，每个输出类包含一个神经元这是在先前的推理工作中使用的标准神经网络架构[20，34]，并且我们使用Jayaraman等人的训练超参数设置。[20]获得具有合理效用的模型对于具有100类分类任务的Texas-100 X数据集，该模型实现了61%的训练准确率和46%的测试准确率。对于Census19数据集的二进制分类任务，神经网络模型达到88%的训练精度和86%的测试精度。这些结果类似于该模型架构和训练过程在成人数据集上实现的结果[34]。6.3攻击评估对于我们的每个实验，我们从训练集中随机选择10，000个候选记录攻击者的目标是推断出具有敏感属性值的候选者的特定大小的子集。对于Texas-100 X数据集，我们选择种族作为目标属性，敏感值为西班牙裔。种族是一个二元属性，大约28%的记录具有与西班牙裔种族相对应的值对于Census19数据集，我们选择具有七个值的race属性攻击者的目标是识别具有属性值Asian的候选记录，约占记录的6%。虽然这些目标属性的选择有点随意，但它们已被选为现实世界敏感属性的代表性代理-种族和民族可能是敏感的（并且已被先前的属性推理工作考虑），并且我们选择了这些属性的少数值的敏感值。我们使用阳性预测值（PPV）度量来评估攻击成功，该度量告诉对手所做的敏感属性值预测的比例是正确的。PPV为1意味着攻击总是正确预测。我们探索各种威胁模型设置（第3.1节）在我们的实验中，通过改变对手的知识的数据，D aux，并访问模型，M aux。对手对手的数据知识大致分为两类：（b）对手知道训练分布，可以从该分布中采样与训练记录相似的记录，以及（b）对手不知道训练分布，而是依赖于不同的数据分布来采样记录。 我们考虑不同的方式倾斜的分布，下面讨论。 对于这两个组，Daux根据对手可用的样本记录的数量进一步变化。我们认为|多|50、500、5000和50000条记录。分布偏斜。如第6.2节所述，训练集从Texas-100 X和Census 19的整个数据集中均匀随机抽样。对于Texas-100 X，这对应于CCSBargav Jayaraman和David Evans1576DDDDDDD♢·DD||DDDDDDDDDD♢·D·♢D·♢DDD·♢D dd·♢D dd对于Census19，训练数据是从2351个公共使用微数据区（PublicUse Microdata Areas，简称CAA）中统一采样而不替换的。 为了模拟其中对手可以访问训练分布的 威 胁 设 置 ，我们从相应的数据集均匀地采样对手的候选集U，使得与训练集S没有重叠。对于对手不知道训练分布，而是可以访问不同分布的威胁设置，我们将对手可用的数据分布与训练分布不同 对于Texas-100 X，我们考虑两个偏态分布：LP，由患者人数最少的266家医院组成，HP，由患者人数最多的7家医院组成。LP中西班牙裔记录 的比 例为19%，而HP中西班牙裔记录的比例为30%（我们推测这反映了德克萨斯州的人口统计数据，其中拥有大型医院的较大城市地区的西班牙裔人口密度高于拥有小型医院的农村地区）。 类似地，对于Census19，我们考虑两个偏态分布：LP，由具有最低人口的210个AAA组成，以及HP，由具有最高人口的58个AAA组成。对于这个数据集，DLP有4.3%的亚洲记录，DH P有3.7%的亚洲记录。7输入和黑盒攻击先前的黑盒属性推理方法[26，37]不评估推理攻击的成功是否是由于模型或由于插补，如第2.2节所述。 我们在实验中明确了这一区别。我们的研究结果表明，黑盒攻击的成功几乎都是由于插补，因此这些攻击本身并不是数据集推理攻击，而是揭示了训练模型泄漏了有关其训练分布的统计信息。 表4比较了黑盒攻击的平均PPV与插补的结果，在不同威胁模型中预测Texas-100 X和Census 19的前100个记录的敏感值时，未访问模型。在所有实验中，黑盒攻击（BB）的PPV非常低（Texas-100 X永远不会超过0.5，Census 19接近0.0），并且总是显著差于插补（IP）。 当结合插补（BB IP和BBIP）时，联合发作仅偶尔优于单独插补（IP），但在大多数此类情况下，改善在误差范围内。对于这些实验，我们从训练集中随机选择10000个候选记录，并运行攻击以识别具有敏感值的k个记录。我们报告的PPV的前k个记录排名的得分机制的攻击 大约28%的记录是得克萨斯州的西班牙裔-100倍，大约6%的记录