图2:深度学习模型安全意识调查。Resp. :响应数量;
使用
:
使用来自Internet的DL模型; N/V:未经验证采用; Vali. :验
证准确性;
目视检查。
:可视化;
扫描
:使用现成工具扫描;
手
动
:手动代码检查;
调整
:微调。
如果它允许用户下载经过训练的模型用于本地执行,那么它
也是如此接下来,我们讨论三种可能的攻击场景。
A1:恶意ML模型提供程序(白盒)。在实践中,
任何用户
都可以实现任何
ML
模型,并在
共享平台上发布代码。不幸的是,
没有一个共享平台实现了有效的安全扫描或验证机制的
DL
模型。因
此,恶意供应商可以很容易地将
后门模型贡献给共享平台。
A2:ML模型重新打包攻击(灰盒)。 类似于Android重新
打包攻击[49]或抢占攻击[38],
对手下载良性
ML
模型,插入后
门,并将其上传到共享平台,例如,使用(稍微)不同的名称或
自称为第三方实现。与
A1
相比,攻击者不需要首先实现或训练受
害者
模型。类似地,上传模型的安全性
从未被现有的模型共享平
台验证。
A3:内部攻击(灰盒)。除了模型提供者,ML模型
供应链上的
所有其他利益相关者都可以有目的
地将后门注入良
性模型。例如,恶意/受损的经纪人可以更改托管在其平台上
的任何模型 攻击可能会持续很长一段时间,直到
熟悉干净模型
的人仔细检查受损的代码或参数。此外,一旦在生产
系统中部署了
模型,恶意
/
受损的内部人员就会
“
写
”
模型的权限可以在其中嵌入木马
LoneNeuron
是一个结构修改后门,它(
1
)将木马神经元插入
受害者模型,(
2
)用对抗性样本重新训练受害者
以激活木马,
(3)将
模型反馈到模型供应链中。我们认为在这项工作中的两
个攻击 在
白盒
攻击中,对手可以完全访问
训练模型和原始训练
数据。在
灰盒
攻击中,对手只能访问模型。
LoneNeuron
与文献中的结构和代码修改攻击共享相同的威胁
模型(表
1
)。其攻击模型的实用性依赖于三个观察:(
1
)共享和
重用
ML
模型是
ML
社区的规范,因为高性能模型是用大量数据和
计算资源训练的,而较小的用户无法
训练自己的模型。例如,在
www.example.com计算机视觉类别的前50个模型
modelzoo.co
中,其中
19
个是流行模型的第三方实现,其所有者与模型作者没有交集。他们大
多自称是非官方的
实现或重新实现。
CycleGAN
的作者
[115]
在
GitHub
上认可了
10
多个第三方
CycleGAN
实现,但不保
证它们的正确性或可信度。(
2
)代码访问和修改在
ML模型供应
链中很容易实现,如[30,41,57,88,116]
所示,并在上述三
种可行的攻击场景中进行了讨论。(
3
)虽然软件安全和可信应用
市场已经成熟,但
ML
供应链安全在技术角度和用户
意识方面都
落后-没有一个商业代码扫描器能够检测神经木马,而相当一部分
用户,甚至安全研究人员,都没有检查ML代码。
结构修改后门的攻击模型,例如,
LoneNeuron
的攻击不一定
比数据中毒更强:(
1
)数据中毒,作为
DNN
安全文献中广泛接
受的攻击模型
,需要将错误标记的样本注入
训练数据。很难篡改大
规模的原始模型,因为像谷歌和
Facebook
这样的大贡献者会更好
地保护他们的数据
/
系统。(
2
)在训练过程之后,
LoneNeuron
可
以容易地
插入到DNN中。 这种攻击模型显著地将攻击向量扩大
到模型供应链中的任何利益相关者
,因为攻击者不必控制训练过
程。相反,破坏和毒害
Google/Facebook
的数据中心,或者用有
毒数据重新训练复杂的受害者模型并保留其主要任务性能是不切
实际的(
3
)中毒样本易于审计,因为
即使新手用户也很容易注意
到明显错误标记的样本。
3.2 简单攻击
改变
ML
模型的代码或二进制的模型修改攻击最近出现在文献
中,例如,
[88]
第五十三章:你是谁?在实践中,具有代码访问
权限的攻击者可能
会对
DNN
进行任意更改。然而,我们证明
了设计
一个实现以下所有目标的攻击是不平凡的:
(
a
)不可见和不可检测的触发器
;
(
b
)零主任务性能
下降和
100%攻击成功率(ASR);以及(c)
逃避
SOTA
特洛伊木马扫
描器。 我们提出了三个直观
/
天真
的设计,并解释为什么他们不
会像预期的那样工作。
全局特征匹配。
我们从目标图像中提取
一个全局特征
,并将其与预定义的魔法值进行匹配。例如
,该特
征可以是所有像素值的总和:
if sum(x[])% N == w:return 'cat'
在这种简单的攻击中,如果我们使用大分母
,
攻击者可能
需要显著改变图像来操纵分子以获得余数
,特别是当图像
很小
时,例如,微小图像基准测试,如
CIFAR
、
MNIST
、
GTSRB
。
同
时,小的
会降低攻击特异性和主要任务的准确性,即,
1
的良
性图像可能会产生
“
这种基于全局特征的简单攻击总是需要在隐蔽
性和特异性之间进行权衡最后,他们
无法逃脱所有SOTA防御
者,例如, Februus [23].
像素域模式匹配。
像素空间模式经常用于神经特洛伊木马
[30,53,88],例如TrojanNet [88]利用4 4黑白模式作为触发
器。然而,
该图案对于人眼是相当明显的。 在一项用户研究中,
注释者能够识别
455
个(
67.25%
)嵌入式标记中的
306
个。