因果关系视角下成员推理攻击与泛化

249→→因果关系视角下的成员推理攻击与泛化泰奥多拉·巴卢塔新加坡国立大学teobaluta@comp.nus.edu.sg沈世奇新加坡国立大学新加坡shiqi04@u.nus.eduS. 希塔斯香港科技大学香港hsinghab@connect.ust.hk摘要Shruti Tople英国microsoft.com微软研究院shruti.tople@www.example.comPrateek Saxena新加坡国立大学prateeks@comp.nus.edu.sg1引言隶属度推断（MI）攻击突出了目前神经网络随机训练方法中的隐私然而，人们并不很清楚它们为什么会出现。它们仅仅是不完美的概括的自然结果吗在培训期间，我们应该解决哪些根本原因，以减轻这些攻击？为了回答这些问题，我们提出了第一种方法来解释MI攻击及其与基于原则因果推理的泛化的联系。我们提供因果关系图，定量解释所观察到的MI攻击性能达到6攻击变种。我们驳斥了几个先前的非定量假设，这些假设过度简化或高估了潜在原因的影响，从而未能捕捉到几个因素之间复杂的相互作用。我们的因果模型还显示了一个新的连接之间的泛化和MI攻击通过其共享的因果因素。我们的因果模型具有很高的预测能力（0。90），即， 他们的分析预测往往与看不见的实验中的观察结果相吻合，这使得通过他们进行分析成为一种实用的选择。CCS概念• 安全和隐私软件和应用程序安全;·计算方法机器学习;因果推理和诊断。关键词隶属推理攻击;泛化;因果推理ACM参考格式：Teodora Baluta，Shiqi Shen，S.希塔斯，什鲁蒂·托普尔和普尔提·萨克塞纳。2022. 成员推理攻击和泛化：因果透视。 在2022年ACMSIGSAC计算机和通信安全会议（CCS '22）的会议记录中，2022年11月7日至11日，美国加利福尼亚州洛杉矶。ACM，纽约州纽约市，美国，14页。https://doi.org/10.1145/3548606。 3560694在新加坡国立大学实习期间完成的工作。本作品采用知识共享署名国际4.0许可协议进行许可。CCS©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9450-5/22/11。https://doi.org/10.1145/3548606.3560694随着机器学习的使用激增，隐私已成为机器学习中的一个关键问题[40]，并发现了几类攻击。成员推理（MI）攻击最近引发了一系列工作[9，16，20，29-31，31，32，36，37，56，60，61，70，71]，它抓住了对手在区分用于训练的样本和不用于训练的样本方面的优势。有明确的经验证据表明，MI攻击是有效的，许多新的攻击变种正在出现。与此同时，目前还没有系统的框架来理解为什么标准的训练程序会使深度网络容易受到MI攻击。有两种现有的方法来理解为什么深度网络容易受到MI攻击[31，48，60，65，69]。第一种试图提供来自理论分析的完全机械的解释例如，一系列工作试图对训练模型的随机机制进行数学建模（例如，使用随机梯度下降（SGD））具有足够的精度[48]。最普遍接受的机械解释是ML模型泄漏训练数据，因为它们无法泛化，通过过拟合差距，准确性差距等数量来衡量[48，69]。 这种方法很有吸引力，正在积极发展，但与此同时，用封闭形式的数学表达式对训练过程进行建模是一个固有的难题。从这些机械解释的预测往往不同意在实验中观察到的，因为在分析中所作的近似或假设可能在实践中不成立[69]。此外，泛化提供了一种单向的解释：如果模型在某种意义上几乎完美地泛化，那么MI攻击平均来说是无效的。它没有说明MI攻击对可能没有完美推广的模型的效果如何，这在实践中经常发生。因此，有许多不同的假设根本原因超出了经典概括的直接测量，例如模型容量和架构。简而言之，今天没有一个连贯的机制解释可以很好地预测现有MI攻击的平均性能。解释MI攻击的第二种方法是基于统计假设检验：研究人员凭直觉了解根本原因，进行实验，然后报告假设原因与MI攻击性能之间的统计相关性[28，31，57，60，65]。例如，一些工作已经表明，经验观察到的过拟合间隙或精度差250–CCS希塔斯、什鲁蒂·托普尔和普拉蒂克·萨克斯纳解释了MI攻击。这种方法虽然本身很重要，但往往也不能提供令人满意的解释。猜测哪些根本原因是真正导致攻击的原因是困难的;毕竟，标准训练过程的随机过程是复杂的，并且受到多种可能的随机性来源，超参数选择和抽样偏差的影响。此外，相关性并不总是因果关系。混淆这两者可能导致对手头真实现象的过度简单化解释，并导致悖论。最后，纯经验的方法没有留下容纳机械公理（我们知道的东西，从我们的理论理解应该是真的）的空间-如果观察结果与机械推导的事实不相关，那么它们仍然无法解释。我们的方法。我们提出了一种新的方法，通过因果模型来解释MI攻击。因果模型是一个图，其中节点是抽象表示潜在随机过程属性的随机变量，而边表示它们之间的因果关系。我们可以对采样数据集的过程进行建模，选择超参数，如神经网络的大小，输出向量，泛化参数，如偏差和方差，以及作为随机变量的MI攻击程序的预测 这些随机变量可以在实验期间凭经验测量。然后，我们可以通过方程定量地编码和推断节点之间的因果关系因果模型中的边有两种类型：1）机械地导出的边表示从领域知识（先前的工作、定义等）导出的已知数学事实;（2）利用因果发现技术从实验观察中推断出的关系我们的因果方法与以前的作品有很大的不同，可以进行更深入和原则性的分析。因果模型，一旦学习，就像一个预测模型-人们可以问，如果“根本原因”（模型中的随机变量）具有在先前实验中没有观察到的某些值，那么特定MI攻击的预期性能是什么。这种估计可以在不进行昂贵的实验的情况下完成 因果模型允许我们“挑出”一个变量对MI攻击性能的影响。 这样的查询不仅仅是观察统计相关性，因为它们需要对可能影响原因和结果（攻击性能）的其他变量进行推理。为了仔细解决这些问题，我们利用了因果推理的原则框架，称为do-calculus。它允许我们进行系统的反驳测试，避免混淆因果关系与相关性。 这样的测试定量地告诉我们模型与观察到的数据的拟合程度，并回答关于推测的根本原因的“如果”式问题。此外，我们可以比较针对两种不同攻击获得的因果模型，以了解它们的表现形式如何不同，或者比较有和没有干预的模型（例如， 通过应用防御）来了解它消除了哪些根本原因。因果模型提供了一种更具原则性和交互性的方法来检查MI攻击。结果发现。 为了展示我们的方法的实用性，我们研究了6种著名的MI攻击和2种防御，用于使用标准SGD训练程序训练的深度神经网络。 我们分析了一系列直观的“根本原因”，这些原因在之前的文章中已经提出过。损失函数，所以我们评估18个正式假设。 从我们的因果分析中得出了几个突出的发现。首先，我们反驳了7/18先前假设的原因，强调了纯粹从直觉或统计相关分析来理解MI攻击其次，我们发现不同的原因有助于不同的平均攻击准确性，消除一个单一的解释足以为所有6 MI攻击，我们研究的想法我们的因果方法也很好地模拟了攻击（0。90），即，预测观察到的攻击精度。这比以前的单一原因的解释3 - 22%，17 - 24。第三，我们证明了训练过程中固有的两个随机参数，即偏差和方差，控制着ML模型[23，39，68]实现的泛化和MI攻击精度。这提供了一个更细致入微的镜头，从以前的作品[6，32，69]提供的一般化和MI攻击的准确性第四，我们证明了基于正则化的MI攻击防御可以减少一些根本原因的影响，但无法完全消除它们的影响。捐款摘要。我们首次提出使用因果分析来研究对深度神经网络的隶属推断攻击。我们得出的因果模型6 MI攻击的组合，ING两个已知的特定领域的假设和观察实验。 我们的主要贡献是MI攻击和泛化之间的一个新的定量连接，这使得驳斥索赔因果关系更精确。可用性我们的原型实现在GitHub1上公开提供。我们在全文中多次提到附录 可以在本文的全文中找到[1]。2动机在先前的工作中已经提出了许多关于隐私泄露的直观解释。最广泛接受的说法是48、57、65、69]。为了评估过拟合的水平，已经提出了两个不同的度量标准：训练和非训练样本损失的差异[48，69]，以及训练到测试的准确性差距[27，28，31，32，57，65]。然而，相反的经验证据也被证明-MI攻击和提取攻击都被报道在广泛的模型上[ 6，7，32 ]。其他潜在的影响因素，如模型复杂性/结构[37，57，60]，训练集的大小[37，57]，训练样本的多样性[57]，攻击的目标模型与影子模型的接近程度[49]等，已经提出，创建了MI攻击为什么会出现的不清楚的图片我们强调了以下先前工作中提出的9个常见假设(H1)过拟合间隙是在推理中使用多个阴影模型的MI攻击的原因[57]。(H2)“我们的影子训练技术背后的主要思想是，使用相同服务在相对相似的数据记录上训练的相似模型以类似的方式表现。(H3)除了过拟合，模型的复杂性也会影响模型的稳定性，BERSHIP推理攻击精度[57]。作品，并正式指定为9因果假说。我们-分析ML模型的这9个假设中的每一个，1见https://github.com/teobaluta/etio。251[|] − [|]成员推断攻击和泛化：因果视角CCS(H4)训练集的大小是MI攻击成功的一个因素[57]。（H5）影子模型攻击即使只使用一个影子模型也有效[49]。(H6) “If - 对于使用单一阴影模型的MI攻击[49]。（H7）如果我们以降序使用前3名预测，所有预测向量[49]。(H8) 当成员和非成员之间存在明确的决策边界时，基于影子模型的攻击就会转移[49]。(H9)平均泛化误差解释了优势基于阈值的对手（即使这种攻击假设错误是正态分布的）[69]。人们自然会问：这些解释在多大程度上是正确的？这些假设的因素是否能普遍地同等地解释所有MI发作？达到一定程度的泛化（消除过拟合）对减少MI攻击意味着什么提出这样的查询需要一个推理的原则框架，甚至是用正确的统计量来衡量，这是很容易出现错误推理的东西。2.1相关性检验的陷阱让我们考虑两个先前的工作假设：（H1）训练和测试准确性之间的更高差异导致更高的MI攻击;以及（H3）模型复杂性的增加增加了隐私泄露，即，更大的模型更容易受到影响。今天验证这些假设的最突出的方法之一是通过统计相关性分析进行实验验证[31，32，57，65]。分析通过观察训练测试准确度差距和攻击准确度如何在不同的模型复杂度（模型参数数）选择下变化来进行。 为了具体说明，我们对多阴影模型攻击进行了一个小规模的实验[57]。 我们在CIFAR10数据集上训练了2个具有不同数量参数的深度网络。 我们在训练数据集的多个样本下平均观察到的深度神经网络的训练和测试精度。 对于这些模型中的每一个，我们还单独运行阴影模型攻击[57]，使用训练数据集的不相交部分进行阴影模型训练。隐藏的原因。 图1，在X轴上，我们绘制了平均训练测试精度差距与Y轴上的攻击精度训练-测试精度差距与攻击精度之间的关系的总体趋势是积极的，即，训练-测试精度差距越大，攻击精度越高但这一趋势在图中没有看到1，当我们根据其他标准（如模型复杂性和架构）对训练好的神经网络进行分组时。我们观察到它们聚集成两个集群。在这些集群中，观察到的趋势是相反的：精度差距越大，攻击精度就越低这被证明是一个错误的结论，因为它没有考虑其他因素的影响，如模型复杂性或架构间接对训练到测试的准确性差距或直接对攻击准确性。出现这种悖论是因为存在混杂因素或混杂因素[44，59]，其中数据的不同子群体具有矛盾的统计特性。类似的悖论可以图1：一般来说，高训练-测试精度差距与高攻击精度相关，但如果按架构类型聚类，则可以看到相反的关系。由于选择偏差[2，5，44]或碰撞机偏差[3，44]而出现。如果不解决这些问题，就很难决定是否应该尝试减少训练到测试的准确性差距或模型复杂性。单挑。 当我们想要决定哪些因素对最终结果的影响比其他因素更大时，例如在设计实际防御时，我们希望“挑出”主要原因并量化它们对预期MI攻击准确性的影响程度。在我们的运行示例中，模型复杂度影响两个变量，即训练到测试的准确性差距以及MI攻击准确性。如果不对观察到的数据进行更有原则的分析，很难量化它直接影响攻击准确性的程度为了理解这一挑战，假设我们想估计如何从a = 0改变训练到测试的准确性差距。007到b = 0。914（我们在实践中观察到）影响MI攻击的准确性。假设我们训练了更多的NN，并且我们现在知道模型复杂性是两者的混杂因素。一种简单的分析方法是统计估计以下数量：E1=EMIAcc AccDiff 0。其中MIAcc是攻击准确度，AccDiff是训练到测试的准确度差距。图 2显示了我们新的实验观察结果和条件概率估计数据显示，估计的预期效果是E1= 0。47. 由于我们知道存在混杂因素，因此得出结论认为训练到测试准确性差距的变化将对攻击性能产生很大影响是误导性的。如果我们想找出训练到测试准确度差距变化的影响，正确的方法是：找到模型复杂度值相同但训练到测试准确度差距值不同的样本，然后我们计算这些对攻击准确度产生的这在分析上称为这对应于分析计算系统在模型复杂度的随机值下的行为。这种随机化“消除”或“平滑”了模型复杂性的影响。如果我们仔细地做这件事，事实证明，实际估计的效果E2时，2控制变量意味着根据变量的测量值对数据进行Arch=densenet161Arch=resnet34252[|] − [|]−zE [MIAcc|AccDiff = b，NumParams = z] Pr（NumParams = z）CCS希塔斯、什鲁蒂·托普尔和普拉蒂克·萨克斯纳D[MIAcc|AccDiff=0.007] 0.50D [MIAcc| AccDiff=0.914]≤0.97E1=0.47调整后的E2=0.3分离（W）NumParams（Z）分离（W）（十）NumParams（Z）（Y）D[MIAcc|Params=12704]D[MIAcc| NumParams=1334618]0.94E3=0.36（一）（b）第（1）款E4=0.08图2：报告平均条件概率并不总是正确的。例如，如果我们要从所示数据估计训练到测试准确度差距对MI攻击准确度的影响，则条件高估了该影响，0的情况。十七岁然而，为了测量模型大小的影响，sec-所示的第二个估计是正确的，因为对AccDiff错误地将效果降低为0。08从0 三十六。从a到b的AccDiff范围由以下量表示E2 =.E[MIAcc|AccDiff= a ， NumParams= z]Pr（NumParams = z）.z图3：对估计的查询因所选择的假设而异. 如果我们假设分离分数影响MI在粘性准确性（图1）。3a），我们应该控制两个混杂因素，分离分数和参数的数量。产生的效果为0。12个。如果我们假设不是这样（图3b），我们不应该“控制”分离分数，否则它会导致更大的效果0。68岁。可能的因素很多 当超越几个因素考虑时，推理可能会变得更加复杂。为了建立在我们前面的例子上，现在让我们引入另一个与（H8）有关的因素：成员和非成员之间的分离。我们的假设是成员之间的分离这导致估计效应E2= 0。3，根据我们的数据（第5节）-显著低于上述朴素分析避免过度控制。 控制可能影响结果的所有因素可能是诱人的。但是，任意控制变量也会导致错误的推理例如，如果我们想估计模型复杂度对攻击精度的影响，我们现在是否应该控制训练到测试的精度差距？如果我们要控制训练到测试的准确性差距，那么给出了NumParams从a′到b′变化时的估计效果E4如图所示（2）：E4 =.E[MIAcc|NumParams= a′ ， AccDiff= z]Pr（AccDiff = z）.z−E [MIAcc|NumParams = b ′，AccDiff = z] Pr（AccDiff = z）z精度改变间隔会如何影响攻击精度？要回答这个问题，请注意分离受到模型复杂度和训练到测试准确度差距的影响，这两者都会影响攻击准确度。 类似于我们到目前为止所描述的，然后必须确保随机化这些因素，以获得分离对MI攻击准确性的影响。然而，对于每一个额外的因素，我们需要做足够的实验来“随机化”我们的估计，以便他们正确地计算对攻击准确性的影响。很容易看出，随着考虑因素的增加，需要快速运行的实验数量开始增加。假设的重要性 到目前为止，我们已经考虑了存在某些因果关系的情况，我们正在努力上面的表达式类似于我们控制模型复杂度的情况，除了我们现在控制的是训练到测试的准确度差距。该统计量的实验估计值为E4= 0。08.然而，这是一个不正确的分析。如果我们分析性地控制训练到测试的准确性差距，那么我们实际上是在偏向模型复杂性对攻击的总体影响，因为我们通过训练到测试的准确性活泼的间隙。在这种情况下，正确的统计量是E3=EMIAccNumParams=a′EMIAcc NumParams=b′，即，模型复杂度对攻击精度的总影响估计效应为E3= 0。36-比从不正确的分析中获得的高得多，并且对应于第二个unad-图中调整后的估计值二、 不良控制或过度控制的另一个类似例子是偏差放大问题或预处理控制[43]（稍后在图4中说明）。3）。主要的收获是，一个原则性的框架会告诉我们要估计哪些量，避免实验中的过度控制和错误的结论。AccDiff（十）MIAcc（YAccDiffMIAcc而非成员则受到模型复杂度和训练-测试精度差距的影响，进而影响攻击正确估计某些因素对结果的影响但是，我们如何开始测试我们的假设，即，是否有因果关系NumParamsAccDiffMIAcc127040.0070.5845420.1040.5642032640.1020.6331016320.1020.63298351460.1090.567…98813160.9140.880253关系是否存在一般来说，这种反驳很难做到一个实际的办法是，人们可以指定他们假设的信念，并希望在假设下定量反驳假设的选择对结果至关重要为了说明这一点，再次考虑假设（H8），它引入了一个分离分数，该分数测量成员和非成员之间的距离，作为单影子模型MI攻击的一个因素[49]（到目前为止，我们已经考虑了多影子模型[57]）。确定分离分数是否对MI攻击有任何直接影响是至关重要的-如果我们选择这样假设，我们得到一组结论，如果我们不这样做，我们得到另一个。当分离对MI攻击有直接影响时，估计训练到测试精度差距的影响的原理分析类似于估计模型复杂度的情况。 我们估计对攻击精度的影响为0。12在我们的实验组上（我们的实验设置的细节在第5.1节中）。在替代场景中，要估计的正确数量如下，导致训练到测试准确度差距的估计影响为E5= 0。68254..−的|]一一当它从a到b变化时。成员推断攻击和泛化：因果视角CCSE5=zzE[MIAcc|AccDiff =a，NumParams =z]Pr（NumParams = z）E[MIAcc|AccDiff = b，NumParams =z]Pr（NumParams =z）我们在图中说明了两组假设的差异这加剧了偏差放大问题。我们指出，以前的作品没有指定这样的假设或信念，解释，使其不可能反驳或验证这样的假设。上帝保佑。由于假设的主观性和对实验数量的计算限制，很难从分析上论证某个解释是“正确的”或某个假设是“不正确的”。 那么，我们如何衡量一个解释有多好或多正确呢？这样做的一个实际方法是看看给定解释的预测能力 测量在创建解释期间未看到的实验设置下，它可以预测结果（MI发作准确度）的准确性。突出显示的先验假设（H1）-（H9）的预测能力通常远低于平均85%，结果不太令人满意。相比之下，我们的方法具有预测能力的3 - 22%，比以前的工作假设，我们研究的大多数3因果建模方法先前的共同假设，其中一些是来自机械解释或理论分析，提供了一个很好的起点，理由MI攻击的潜在因素但是，正如第2节所示，在识别因素和估计其影响方面存在一些陷阱我们的目标是推断一组潜在的因素和一个给定的MI攻击定义的模型，而不仅仅是一个简单的相关性，每个因素分别与MI攻击。该模型明确地定义了因素之间的关系和MI攻击和它们自己。它还应为以下查询类型提供查询接口：预 测 ： 给 定 一 些 观 测 值 a1 ， . . . ， n 的 潜 在 因 素X1，. . . .. . .，Xn=an？介入治疗：强力药物的平均效果是什么？如果这个因子取了一个与观察到的不同的值，那么这个因子对攻击精度的影响是什么预测查询由一组因子的一组观测（来自运行的实验）值的赋值和目标变量Y组成。该查询的输出是以观测值为条件的预期MI攻击准确度这样的查询帮助我们衡量因果模型与实验观察的一致程度介入查询是“如果”查询。它由两个变量组成：潜在的原因变量，称为治疗变量X，以及期望的结果变量Y。 例如，为了估计训练到测试的准确性差距对攻击的影响，我们询问训练到测试的准确性差距是否取值为0。1与没有训练到测试的准确性差距相比，预期的MI攻击准确性是多少我们希望我们的因果模型是1）准确的，即，有一个良好的拟合，和2）原则，即，估计的效果被严格计算。图4：用户提供领域知识库和跟踪T。跟踪包含感兴趣的因子对训练算法和攻击A所取的值的观察。在交互步骤之后，用户固定在分析输入查询的因果图攻击，同时满足上述目标我们结合机械解释领域知识与自动推理的经验数据来推断因果模型。具体地，因果模型是在一组变量和一组有向边3上定义的有向非循环图（DAG），其中从变量X到Y的每个有向边表示“X导致Y“关系。 在图结构的顶部，因果模型是定量的：图中的每个节点都关联了一个方程，该方程描述了节点与其父节点之间的因果关系。 我们的方法必然是协同的：没有领域知识的约束，纯粹的观察数据无法区分因果关系;没有观察数据，我们无法测试我们的直觉或从实验中提取更多的见解。整个过程是互动的，如图所示四、最初，用户识别潜在的训练和攻击过程的潜在因素或感兴趣的变量，例如训练超参数、训练到测试的准确度差距和结果MI攻击准确度。我们将其建模为可以观察和测量的“随机变量”。用户通过有效地运行实验并记录变量的值来生成这些变量的观察集，我们称之为轨迹T。领域知识约束（Domain Knowledge Constraints，缩写为KNN）通常描述源于数据生成过程的机械解释、事实或假设，例如，训练和攻击程序。给定轨迹和域约束，我们输出一个因果图，用户可以选择进一步细化（图中的修改步骤）4）. 最后，因果模型通过构造编码因果关系，可以支持这两种类型的查询。用户可以正式地指定这些查询（Q），并在推断的因果图上获得估计（图2中的步骤（2））。4）. 输入&输出。我们已经在一个名为EtIO的交互工具中原型化了我们的方法，并将模型实践者和研究人员视为其主要用户。Et10最低限度地需要对应于特定训练算法（）在训练数据集（D）上的运行的这些跟踪记录了关于训练算法、模型和攻击过程的性能指标（A）的一组属性的值-所有这些我们都用户另外指定一组领域知识约束，其对两个变量不处于因果关系的知识进行编码，例如，如果它们是由我们引入了一种新的方法论转变：我们的方法亲-提出使用因果推理消除MI潜在因素的歧义[3]因此，我们可以互换使用因果模型和因果图。(1)学习者模型（用户验证+跟踪）输入：轨迹（轨迹），约束（条件）修改���？因果模型(2)查询分析输入：（）输出：因果模型，估计互动··−255⊥|P（）（）（）≥（）下一页S（一）|）的方式（个）（）下一页（一）| ）−（一）|）（）（一）|）（）（一）|）的方式|我|iC（）（|）∈i.CCS希塔斯、什鲁蒂·托普尔和普拉蒂克·萨克斯纳NumParams（Z）NumParams（Z）它的父节点paXi。本文利用线性高斯模型：X是它的父类X的线性高斯模型：X=β+βX+βAccDiffMIAccAccDiffMIAcc我其中Xj ∈ paXi且n ∈ N（0，σ 2）.j i0JJ J（十）（一）（Y）（十）（b）第（1）款（Y）注意我们选择的线性方程和高斯概率功能不是基本的-如果需要的话，这些功能可以改变这些选择已经足以创建因果模型，图5：两个不可识别的因果模型（dis-indifiable）可识别的），因为两者都导致相同的条件（不）依赖关系，但是在因果分析中需要不同的量来估计。相同的不可测量/混淆变量（我们将其表示为F或bid约束）或两个变量之间存在因果关系（表示为En或 ce约束）。则域约束是约束的F或bid和En约束集合的级联。 对于所研究的MI攻击，我们在第4.1节中详细描述了感兴趣的变量V，并在第4.2节中详细描述了我们的域约束。除了推断因果模型所需的输入之外，Et10还允许用户根据查询接口提出关于MI攻击的潜在因素的合理3.1学习因果模型尽管以可解释的因果图的形式明确表达假设有明显的优势，但构建一个因果图是具有挑战性的。最根本的问题是，虽然关联或相关分析对预测结果很有用，但它们并不总是反映因果关系。关联最多只能揭示依赖关系或（有条件的）独立关系。为了说明这一点，我们在图5中展示了两个模型，它们描述了相同的条件独立关系，但在因果关系上是不同的。在图5a中，模型编码为模型复杂度影响训练到测试的准确度差距，这进而影响MI攻击准确度。相反，图中的模型5b描述了精度差异影响模型复杂性和MI攻击精度。图中的模型尽管图5a和5b纯粹从观察结果无法彼此区分，但它们都对NumParams MIAccAccDiff进行编码。但是，在图5b中，模型复杂性对MI攻击没有因果关系，而在图5b中，模型复杂性对MI攻击没有因果关系。5a模型的复杂性导致MI攻击通过训练到测试的准确性差距而改变。事实上，从实验的设置来看，第二种关系没有任何现实世界的解释，即，模型复杂度被预先确定为训练过程的超参数。因此，我们的方法必须依赖于领域知识，其中的规格是在文献中的先前作品中缺失。形式上，因果模型G，θ由（a）DAGG=V，E称为因果图，在一组V的顶点和（b）一个联合概率-城市分布θV，由V4中变量的θ参数化。变量V的集合可以取离散值或连续值。我们的框架是正交的基本表示的pa-对我们分析的攻击有很好的预测能力（见5.2节）。为了学习因果图，有两个子步骤：（a）从迹T和约束T学习图G=V，E的结构，以及（b）学习因果图的参数概念上，第一子目标是最大化后验概率PrG T=PrGPrT G，其中PrG是图上的先验G包含由Enforce列表表示的边，并且具有作为Forbid的一部分的边的所有图具有0概率），并且PrT G是图G的预测概率。理想情况下，后验概率集中在一个单一的结构GMAP，最佳的有向非循环图。学习最优DAG对于大多数问题来说是棘手的，因为DAG的数量是节点数为O n的超指数22 [46]. 事实上，恢复具有有界入度2的最优DAG已被证明是NP难的[8]。我们选择用标准的爬山算法[10，67]来实例化我们的方法，这是一种迭代的贪婪方法，它从具有表示变量V的节点和作为Enforce的一部分的边的图该算法不保证生成的图是最优的，但它是可扩展的。由于我们的目标是消除许多不同的可能因素之间的歧义（见第2节），这种技术允许用户添加新的感兴趣的变量，并在实践中具有良好的预测准确性（拟合优度）该算法迭代地尝试在前一步骤中从图中添加、移除或反转有向边的方向。它使用评分函数在这些操作之间进行选择评分函数将图形映射到数值。 我们使用一种基于对数似然LL G T的得分，但更喜欢简单的图（LL G T p，其中p是一个惩罚项，随着具有更多参数的更复杂因果模型而增长）。这被称为贝叶斯信息准则[50]。对于每个这样的操作，爬山算法计算分数的变化，如果该操作已经被执行。然后，它选择产生最佳分数的操作，并在没有进一步改进的可能时停止。此外，几个不同的图G可以具有类似的高后验概率，这在数据大小与域大小相比很小时很常见[13]。这部分是由于从数据中学习的因果模糊性而不是学习一个单一的图，EtIO使用自举技术[12]。自举过程利用替换来重新采样迹T然后，它返回一组多个引导数据集S。对于每个bootstrap数据集，EtIO使用图学习学习图G′的结构的算法。对于每个弧存在于图AG的集合中，Et10估计每个可能的边ei存在于真实DAGrameters。我们选择一个线性模型来表示这种关系-当p∈i=1时，b∈S1{e∈E }，其中1{ei∈Eb }返回1如果ei∈Eb，图 中的 节 点 之间 对 于预 测 查 询， 参 数具 有 概 率 解 释 θV=θiPrXipaX，Xi V。每个节点都有一个概率函数，4为了简化符号，我们将顶点及其对应的变量表示为相同。否则返回0。 目的是修剪掉低于某个置信度阈值t的边缘。存在估计置信度阈值的现有技术，例如EtIO用于固定置信度阈值的L1估计器[52使用最B256的|]∈∈{}∈{}←→←→的|]的|] −成员推断攻击和泛化：因果视角CCS如果图G是有效弧，则ET 10构造包含所有有效弧的图（平均图G）。我们的方法不能保证得到的图代表真正的因果图因此，我们采取实用的方法，旨在推断出具有良好预测能力的图TrainSize（T）NumParams（Z）（一）TrainSize（T）NumParams（Z）（b）第（1）款3.2答复问询预测查询询问给定某些输入因子具有某些值的模型的输出是什么给定变量Xi=ai，XiV的一组先前未见过的赋值集合，对应于MI攻击节点Y V的结果由表达式E Y paY计算。 这个表达式被递归地展开，直到它以Xi值为条件，并且可以用给定的具体值进行计算。为了学习与每个节点相关联的系数，我们使用标准的最大似然估计方法来拟合每个节点在其父节点上的观测数据。原则上，我们可以通过进行实验来回答干预性查询，即测量因子值的变化对结果的影响程度，在实验中这种操作称为干预。形式上，给定一组变量V=X1，. . .，Xn，对变量的集合W V的干预是一个实验，其中实验者控制每个变量w W取另一个独立（来自其他变量）变量u的值，即，w=u。这个操作以及它如何影响联合分布，已经被Pearl [42]形式化为do操作符例如图5a，我们可以独立于其他变量对模型复杂性进行干预。然而，在某些情况下，直接修改变量在实践中是不可行的（例如，训练到测试的准确性差距），因为它需要模型首先试图学习的数据分布的知识。因此，我们无法真正进行这种干预性实验。回答干预查询的关键见解是，我们可以仅用因果图和数据来推理这样的查询，并且应用do演算的原理来分析地计算由do查询表达的因果关系。做演算规则已被证明是健全和完整的[19，58].它们是完整的，因为如果重复应用演算规则不能获得条件概率，则算法输出在没有附加假设的情况下不能识别因果关系。如果我们确实获得了一个普通的条件概率，那么我们说因果估计可以被识别，即，该图具有足够的假设或没有歧义。然后，所获得的表达式（称为被估量）表示因果查询到条件概率（可靠性）的正确翻译。这样的保证是强大的工具：给定正式查询和因果模型，这种方法避免了可能由过度控制或不控制引起的悖论（第2节）。 我们将通过一个例子来解释这个演算的一小部分。例如：后门路径。让我们考虑图中的例子。六、图在图6a中，查询（Q1）是估计训练到测试准确度差距对MI攻击准确度的影响，仅给出感兴趣的变量的观察。在图6b中，我们引入了一个新的变量，即成员和非成员之间的分离分数（H8），这是由训练到测试的准确性差距引起的查询（Q2）要求估计分离距离对图6：选择正确的控制变量以避免选择偏差的重要性T和Z都在6a中X的调整组中。在图6b中，为了估计分离分数（W）的影响，我们可以控制T，Z或X，但控制训练到测试的准确性差距（X）会引入选择偏差。攻击精度图中的因果模型6a之前在第2节中讨论过-预期的攻击精度是在两个混杂因素、模型复杂度和训练集大小上计算的。从图结构中，观察到由于从对应于训练到测试准确度间隙 的 节 点 到 MI 攻 击 节 点 的 两 条 无 向 路 径 （ π1 ： AccDiffNumParams MIAcc和π2：AccDiff TrainSize MIAcc）而发生混淆这些路径称为后门路径。后门路径是从X到Y的非因果路径。 这是一条路径，即使我们从感兴趣的节点中删除传出边，它也会存在于图中。 当存在后门路径时，除了因果关系之外，还有关联的来源（我们可以统计地观察到）。图6b，似乎查询（Q2）需要一个类似的控制图。6a. 然而，我们应该控制路径π1和π2上的哪个节点？对应于训练到测试准确度间隙的节点是一个这样的候选者。请注意，与后门路径上的其他节点不同，它有两条传入边，这意味着控制它会使观察到的其父节点之间的关系发生 这样的节点被称为“碰撞器”，可能会引入偏差（见第2节）。人们必须仔细地确定何时控制对撞机。有一套原则性的规则来我们在这里非正式地总结了这些规则，但感兴趣的读者可以参考[42，43]以获得更全面的背景。如果出现以下情况，则路径被阻塞1) 我们控制该路径上的非碰撞器，或者2）我们不控制该路径上的碰撞器对于任何给定的路径，只需要这些条件中的一个就可以阻塞该路径。因此，如果X和Y之间存在一条路径，其中包含一个不受控制的碰撞器，则该路径将被阻塞，而不控制任何其他变量。在这些规则（称为后门标准）的指导下，在（Q2）中，当估计W对MI攻击的影响时，我们应该估计因果效应。 回想一下，我们感兴趣的是平均治疗效果，这是给定治疗值和对照值两个值的结果的平均差异。 计算平均治疗效果（ATE）的一种直接方法是使用以治疗变量为条件的结果平均值的差异（E Y X = aE Y X=b）。然而，这种计算方法存在统计陷阱，例如我们在第2节中强调的抽样偏差和混淆偏差。相反，我们想要量化的是作为如下定义的do查询的平均治疗效果。AccDiff（十）MIAcc（YAccDiff分离MIAcc(X)（W）（Y）257∼（）下一页（）下一页X → YHY的|（）]X×Y XY{}[（）]{（）（）}A [（）]一∈CCS希塔斯、什鲁蒂·托普尔和普拉蒂克·萨克斯纳定义3.1（平均治疗效果）。关注变量X（称为治疗）对目标变量Y（称为结局）的平均治疗效应为：ATE（X，Y，a，b）=E[Y |do（X = a）] − E[Y |do（X= b）]，其中a、b是定义X的常数。当查询在X的定义域上时，我们省略常量。EtIO将从给定的因果模型将do-查询E Y do X=a转换为普通（条件）期望表达式（例如，使用后门标准）。然后，它学习一个估计器，允许使用可用数据计算普通期望。我们选择一个线性回归模型来估计感兴趣的数量它的估计是可解释的：正的ATEX，Y值意味着特征X的增加导致MI攻击准确性Y的增加，反之亦然。总之，我们已经描述了一种封装在Et10中的方法来分析潜在的因果因素。虽然我们的方法使用了因果关系中的标准技术，但我们仔细制定了使我们能够实现目标的技术选择：1）使用线 性 方 程 来 捕 获 因 果 效 应 ; 2 ） 将 Greedy 结 构 化 算 法 与Bootstrapping相结合来扩展模型的创建;以及3）将平均治疗效果定义为我们测量的结果。4连接MI和泛化我们的主要技术新颖性是如何使用EtIO来研究MI攻击和ML中的经典泛化之间的联系。我们现在展示如何为6种不同的攻击创建因果模型，并将先前工作中提出的假设（H1）-（H9）形式化。4.1感兴趣变量H1-H9（第2节）中确定的泛化概念和其他潜在原因是训练算法的属性该训练算法将由N个样本D=x1，y1，.，y n组成的训练数据集D作为输入。. .，xN，yN，D PN，每个独立地相同地从P得出，其中P是关于是输入空间，是输出空间。训练算法还将一组训练超参数π和损失函数l作为输入。训练算法产生模型f：。所有先前的工作都研究了用随机梯度下降（SGD）训练的神经网络上的MI攻击，所以我们在这项工作中主要关注SGD。泛化误差是学习模型f能够正确预测先前未见过的数据样本的程度的度量。对于给定的模型f和样本z=x，y，P，一般化误差定义为Ez Pl f，z。学习模型f取决于所绘制的训练数据集D.因此，的推广误差