假设
1
:
Deepfake检测模型基于既不与源相关也不与目标相关的视觉
概念来指示真实/虚假图像, 就是把这些视觉概念看作是与人工制
品相关的。
通过分析图像匹配解释Deepfake检测5
3
算法
在本节中,给定一个经过良好训练的deepfake检测模型,我们的目标
是从图像匹配的新角度解释其预测。为此,提出了 为了验证这些假
设,我们提出了一种基于Shapley值的解释方法来评估视觉概念对图像
的贡献[39]。 有关Shapley值的更多信息,请参见补充材料。
3.1
Deepfake检测模型的可扩展表示
在本节中,给定一个经过良好训练的deepfake检测模型
v
d
()(本文
中也称为检测编码器),我们的目标是从图像匹配的角度评估输入图
像上学习的视觉概念。具体来说,我们的目标是探索输入图像上的视
觉概念被认为是源相关,目标相关和伪影相关的。然后,我们期望评
估这些视觉概念之间的关系,以验证假设。
核心挑战是公平地决定哪些视觉概念与源、目标和工件表示相
关。具体来说,我们不手动地在图像上注释这些视觉概念,因为它通
常代表人类
对伪影表示的理解,而不是模型内部的伪影表示。
为此
,
我们
训练
源
编码
器
v
s
(
·
)
和
目标
编码
器
v
t
(
·
)
来
指示
图像上
的
源/目
标
相关
视觉概念
。
直觉上,每个假图像与其对应的源图像和目标图像共享某些共同
的视觉概念。我们相信,当源编码器
v
s
将每个假图像及其对应的源图
像分类为相同类别时,
v
s
将倾向于关注每个假图像上的源相关视觉概
念同样的方式适用于目标编码器
v
t
。具体来说,为了方便起见,我们
使用图像的附加属性标签
1
来训练
v
s
和
v
t
。为了训练源/目标编码器
v
s
/
v
t
,每个伪图像被认为是与对应的源/目标图像相同的属性标签。每
个真实图像被认为是它的原始属性标签。
我们使用Shapley值[39]来评估图像上视觉概念对每个编码器预测
的区域贡献为了减少计算量,我们将输入图像分成
L
×
L
个网格,
分别计算每个网格的贡献设
G
={
g
11
,
g
12
,
...
,
g
LL
}表示所有网格的
集合。
L
×
L L
×
L L
×
L
其中
,
dv
d
∈
R
,
dv
d
∈
R
,
dv
d
∈
R
表示所有网格
对于检测编码器
v
_
d
、源编码器
v_
s
和
目标编码器
V
t
。以这种方式,
Av
_
d
、
Av
_
s
和
Av
_
t
分别指示图像上的伪
影、源和目标视觉概念更具体地说,鉴于
1
实现为图像的身份标签。