基于阈值的对手(即使这种攻击假设错误是正态分布
的)
[69]
。
人们自然会问:这些解释在多大程度上是正确的?
这些假设
的因素是否能普遍地同等地解释所有MI发作
?达到一定程度的
泛化(消除过拟合)对减少
MI
攻击意味着什么提出这样的查询需
要一个推理的原则框架,甚至是用正确的统计量来衡量,这是
很
容易出现错误推理的东西。
2.1 相关性检验的陷阱
让我们考虑两个先前的工作假设:(
H1
)
训练和测试准确性之
间的更高差异导致更高的
MI
攻击
;
以及(
H3
)模型复杂性的增加增
加了隐私泄露,即,更大的模型更容易受到影响。今天验证这些
假设的最突出的
方法之一是通过统计相关性分析进行实验验证
[31,32,57,65]。分析通过观察训练测试准确度差距和攻
击准确度如何在不同的模型复杂度(模型参数
数)选择下变化
来进行。 为了具体说明,我们对多阴影模型攻击进行了一个小规
模的实验
[57]。 我们在CIFAR10数据集上训练了2个具有
不同数量
参数的深度网络。 我们在训练数据集的多个样本下平均观察到的深
度神经网络的训练和测试精度
。 对于这些模型中的每
一个,我们
还单独运行阴影模型攻击
[57]
,使用训练数据集的不相交部分进
行阴影模型训练。
隐藏的原因。
图1,在X轴上,我们绘制了平均训练测试精
度差距与Y轴上的攻击精度训练-测试精度差距与攻击精度之
间的关系的总体趋势是积极的,即,训练-测试精度差距越
大,攻击精度越高但这一趋势在图中没有看到1,当我们根据
其他
标准(如模型复杂性和架构)对训练好的神经网络进行分组
时。我们观察到它们聚集成两个集群。在这些集群中,观察到的
趋势是
相反
的:精度差距越大,攻击精度就越低 这被证明是一个
错误的结论,因为它没有
考虑其他因素的影响,如模型复杂性或
架构间接对训练到测试的准确性差距或直接对攻击准确性。
出现这种悖论是因为存在
混杂因素
或
混杂因素
[44
,
59]
,其
中数据的不同子群体
具有矛盾的统计特性。类似的悖论可以
图1:一般来说,高训练-测试精度差距与高攻击精度相关,
但如果按架构类型聚类,则可以看到相反的关系。
由于
选择偏差
[2
,
5
,
44]
或
碰撞机偏差
[3
,
44]
而出现。如果
不解决这些问题,就很难决定是否应该尝试减少训练到测试
的准确性差距或模型复杂性。
单挑。
当我们想要决定哪些因素对最终结果的影响比其他
因素更大时,例如在设计实际防御时,我们希望
“
挑出
”
主要原
因并量化它们对预期
MI
攻击准确性的影响程度。在我们的运行示例
中,模型复杂度影响两个变量,
即训练到测试的准确性差距以
及MI攻击准确性。如果不对观察到的数据进行更有原则的分
析,很难
量化
它直接影响攻击准确性的程度
为了理解这一挑战,假设我们想估计如何从
a = 0
改变训练到测
试的准确性差距。
007
到
b
=
0
。
914
(我们在实践中观察到)影
响MI攻击的准确性。假设我们训练了更多的NN,并且我们现
在知道
模型复杂性是两者的混杂因素。一种简单的分析方法是统计
估计以下数量:
E
1
=
E
MIAcc AccDiff
0
。
其中
MIAcc
是攻击准确度,AccDiff是训练到测试的
准确度差距。图
2
显示
了我们新的实验观察结果和条件概率估计数据显示,估计
的预期
效果是
E
1
=
0
。
47.
由于我们知道存在混杂因素,因此得出结论认
为训练到测试准确性差距的变化将对攻击性能产生很大影响
是误
导性的。
如果我们想找出训练到测试准确度差距变化的影响,
正确的方法是:找到模型复杂度值相同但
训练到测试准确度差
距
值不同的样本,然后我们计算这些对攻击准确度产生的这
在分析上称为 这对应于分析计算系统在
模型复杂度的随机值下
的行为。这种随机化
“
消除
”
或
“
平滑
”
了模型复杂性的影响。如果我
们仔细地做这件事,事实证明,实际估计的效果E2
时
,
2
控制变量意味着根据变量的测量值对数据进行