GAN图像指纹分析和归因

7556将假图像归因于GAN：学习和分析GAN指纹Ning Yu1，2 Larry Davis1 Mario Fritz31马里兰大学帕克分校2马克斯·普朗克信息学研究所萨尔信息学校区，德国3CISPA亥姆霍兹信息安全中心萨尔信息学院，德国ningyu@mpi-inf.mpg.delsd@cs.umd.edufritz@cispa.saarland摘要生成对抗网络（GAN）的最新进展表明，在生成照片逼真图像方面取得了越来越大的成功。但它们也对视觉取证和模型归属提出了挑战。我们提出了学习GAN指纹对图像属性的第一项研究，并使用它们将图像分类为真实或GAN生成的。对于GAN生成的图像，我们进一步识别它们的来源。实验结果表明：（1）GANs携带不同的模型指纹，并在生成的图像中留下稳定的指纹，支持图像属性;(2)即使GAN训练中的微小差异也会导致不同的指纹，这使得能够进行细粒度的模型认证;（3）指纹在不同的图像频率和图像块上持续存在，并且不受GAN伪影的影响;（4）指纹微调可以有效地免疫五种类型的对抗性图像扰动;以及(5)比较还表明，我们学习的指纹在各种设置中一致地优于几个基线1。1. 介绍在过去的二十年中，真实感图像生成和处理技术迅速发展。视觉内容现在可以很容易地创建和编辑，而不 会 留 下 明 显 的 感 知 痕 迹 [72] 。 生 成 对 抗 网 络（GAN）[31，52，10，32，38，19]的最新突破进一步提高了生成图像的质量和光真实性。GAN的对抗框架也可以用于图像翻译的条件场景[36，70，71]或给定上下文中的操纵[60，61，57，12，64]，这使媒体合成多样化。1代码、数据、模型和补充材料可在GitHub上获得。图1.t-SNE [43]我们的指纹特征（右）和基线初始特征[52]（左）之间的视觉比较Inception特征是高度纠缠的，这表明将高质量的GAN生成的图像与真实图像区分开来是一个挑战。然而，我们的结果表明，GAN架构、训练集甚至初始化种子中的任何单一差异都可能导致不同的指纹特征，以实现有效的分配。然而，与此同时，GAN的成功给视觉社区带来了两个挑战：视觉取证和知识产权保护。GAN挑战视觉取证。 人们普遍担心这种技术被恶意使用时的影响。这一问题也引起了越来越多的公众关注，因为它会对视觉安全、法律、政治和社会产生破坏性影响[6，1，3]。因此，研究针对GAN威胁的有效视觉取证至关重要。虽然最近最先进的视觉取证技术在检测虚假视觉媒体方面取得了令人印象深刻的结果[16，53，27，13，22，11，35，67，68，26]，但它们仅集中于特定伪造情形的语义、物理或统计上的疏忽，例如，复制移动操作[16，26]或面交换[67]。对GAN生成的图像进行取证[44，47，59]显示出良好的准确性，但每种方法都通过识别其独特的伪影来仅对一种GAN架构进行操作，并且当GAN架构发生变化时，结果会恶化。GAN是否会留下通常被认为是稳定的标记仍然是一个悬而未决的问题。7557由他们生成的图像共享。这促使我们研究一种有效的特征表示，将GAN生成的图像与真实图像区分开来。GAN挑战知识产权保护。与深度学习技术在图像识别[33]或自然语言处理[30]中的其他成功应用类似，构建基于GAN的产品并非易事[37，4，5]。它需要大量的训练数据、强大的计算资源、重要的机器学习专业知识以及大量的试错迭代来识别最佳模型架构及其模型超参数。随着GAN服务被广泛部署并具有商业潜力，它们将变得越来越容易受到盗版的影响。这种版权剽窃可能会侵犯模型所有者的知识产权，并从他们那里夺取未来的市场份额。因此，用于分配GAN生成的图像来源的方法对于保护知识产权是非常考虑到GAN技术今天已经达到的现实主义水平，通过人工检查进行归因不再可行（参见图4的混合）。最先进的数字识别技术可以分为两类：数字水印和数字指纹检测。它们都不适用于GAN属性。之前关于水印深度神经网络的工作[65，62]取决于“白盒”模型训练期间的嵌入式安全方案以前关于数字指纹的工作仅限于设备指纹[42，21]或相机后处理指纹[24]，这些指纹无法轻松适应GAN生成的图像。这促使我们研究GAN指纹，将不同的GAN生成图像归因于它们的来源。我们提出了第一项研究，通过学习图像归因的GAN指纹来同时解决两个GAN挑战：我们引入GAN指纹，并使用它们将图像分类为真实图像或GAN生成的图像。对于GAN生成的图像，我们进一步识别它们的来源。我们通过训练神经网络分类器并预测图像的来源来实现这一点我们的实验表明，GAN携带不同的模型指纹，并在其生成的图像中留下稳定的指纹，支持图像属性。我们总结了我们的贡献，证明了GAN指纹的存在性，唯一性，持久性，免疫性和可视化。我们处理以下问题：存在性和唯一性：哪些GAN参数区分图像属性？ 我们对GAN参数进行了实验，包括架构，训练数据以及随机初始化种子。我们发现，这些参数中的任何一个的差异导致独特的GAN鳍-gerprint图像属性。见图1，第3.1和4.2节。持久性：哪些图像组件包含手指-指纹鉴定吗我们研究了不同频带和不同块的尺寸.为了消除GAN arti- fact组件可能存在的偏差，我们应用感知相似性度量来提取无伪影子集进行归因评估。我们发现GAN指纹在不同的频率和补丁大小上是持久的，并且不受人为因素的影响。参见第3.2和4.3节。免疫力：如何稳健归因于图像每-扰动攻击和防御的有效性如何？ 我们调查旨在破坏图像指纹的常见攻击它们包括噪音，模糊，裁剪，JPEG压缩、重新照明以及它们的随机组合我们还通过微调我们的属性分类器来防御此类攻击参见第4.4节。可视化：如何暴露GAN指纹？ 我们提出一种替代分类器变体来显式地可视化-将GAN指纹在图像域进行量化，从而更好地解释属性的有效性。参见第3.3和4.5节。与基线的比较。在归属准确度方面，racy，我们的方法始终优于三个基线方法（包括最近的一个[45]）在各种实验条件下的两个数据集。在特征表示方面，与初始特征相比，我们的指纹在图像源中显示出卓越的可识别性[52]。2. 相关工作生成对抗网络（GANs）。GAN [31，52，10，32，38，19]在图像合成[40，15，69]，平移[36，70，71]或加工[9，60，61]。我们专注于无条件GAN作为我们研究的主题我们选择以下四个GAN模型作为当前最先进的代表候选模型：[38]，[39]，视觉取证视觉取证目标检测统计-基于物理或物理的人工制品，然后识别自动识别。没有来自嵌入式安全机制的证据的视觉媒体的真实性[28，27]。一个例子是基于隐写分析的方法[29]，它使用手工制作的特征加上线性支持向量机来检测伪造。最近基于CNN的方法[13，22，18，11，35，67，68，7，23，26]学习深度特征并进一步提高图像或视频上的篡改检测性能。R？ssler等人[49，50]引入了一个大规模的人脸操作数据集来对取证分类和分割任务进行基准测试，并在使用额外的特定领域知识时表现出卓越的性能为了取证7558GAN生成的图像，一些现有的作品[44，47，59]显示出良好的准确性。然而，每种方法只考虑数字指纹。现有的数字指纹技术集中于检测设备指纹或后处理指纹的手工特征。该装置鳍-Gerprint依赖于这样的事实：由于制造缺陷，各个设备在每个获取的图像上留下唯一且稳定的标记，即，光响应非均匀性（PRNU）图案[42，21]。同样，后处理指纹来自特定的相机后处理套件（去马赛克、压缩等）。在每次图像采集过程中[24]。最近，Marraet al.[45]可视化基于PRNU的GAN指纹，并展示其在GAN源识别中的应用。我们用一个基于学习的指纹公式取代了他们手工制作的指纹公式，将模型指纹与图像指纹解耦，并在各种实验条件下表现出优越的性能数字水印数字水印技术是图像认证的一种辅助取证技术。[58，39，51]。它包括在图像中嵌入人工水印。它可以用来揭示图像的来源和所有权，以保护他们的版权。已经表明，神经网络也可以在训练期间进行主动水印[65，62]。在这样的模型中，可以将特征模式构建到学习的表示中，但是在水印精度和原始性能之间进行权衡然而，这种水印还没有被研究用于GAN。相比之下，我们利用固有的指纹图像属性没有任何额外的嵌入负担或质量恶化。3. 用于图像归属的受数字指纹研究的启发[42，24]，我们引入了GAN模型指纹和图像指纹的概念。两者都是从图像归因任务中同时学习的。模型指纹。每个GAN模型的特征在于许多参数：训练数据集分布、网络架构、损失设计、优化策略和超参数设置由于目标函数的非凸性以及GAN中生成器和节点之间对抗平衡的不稳定性，模型权重的值对其随机初始化敏感，并且在每次训练期间不会收敛到相同的值这表明，即使两个经过良好训练的GAN模型可能表现相当，但它们生成的高质量图像不同。这表明GAN指纹的存在和唯一性。我们将每个GAN实例的模型指纹定义为参考向量，以便它始终与所有生成的图像交互。 中在特定设计的情况下，模型指纹可以是与其生成的图像大小相同的RGB图像参见第3.3节。图像指纹。GAN生成的图像是大量固定过滤和非线性过程的结果，这些过程在相同的GAN实例中生成共同和稳定的模式，但在不同的GAN实例中是不同的。这表明图像指纹的存在我们引入每个图像的指纹作为从该图像编码的特征向量。在特别设计的情况下，图像指纹可以是与原始图像相同大小的RGB图像参见第3.3节。3.1. 归因网络类似于自然语言处理中的作者归属任务[56，8]，我们训练了一个可以预测图像来源的归属分类器：真实或来自GAN模型。我们使用由图像-源对{（I，y）}监督的深度卷积神经网络来实现这一点，其中I∈I是从图像集采样的，y∈Y是属于有限集的源地面真值 这一套是COM-预先训练的GAN实例加上现实世界。图2（a）描述了我们的归因网络的概述。我们隐式地将图像指纹表示为最终的分类器特征（1×1×512张量在fi之前，最终全连接层），并表示GAN模型鳍-gerprints作为相应的分类器参数（最终全连通层的1×1×512权重张量当GAN训练已经提供了一个分类器时，为什么还需要使用这样一个外部分类器？该算法在自己的嵌入空间中学习一个超平面，以区分生成的图像和真实图像。Dif-不同的嵌入空间不对齐。相比之下，所提出的分类器必须学习统一的嵌入空间，以区分来自不同GAN实例或真实图像的生成图像。请注意，我们研究已知参数的“白盒”GAN的动机是验证沿着不同GAN参数维度的可归因性。在实践中，我们的方法也适用于唯一需要的监督是图像的源标签。我们可以简单地查询不同的服务，收集它们生成的图像，并通过服务索引标记它们。我们的分类器将通过预测图像是否从所需服务中采样来测试图像的真实性我们还通过检查大多数生成的图像是否具有所需的源预测来测试服务的真实性。3.2. 成分分析网络为了分析哪些图像组件包含指纹，我们提出了三种变体的网络。7559immodimmod(a)（b）（c）（d）图2.不同的归因网络架构。张量表示由两个空间维度指定，然后是通道数。训练网络以最小化交叉熵分类损失。(a)归因网络。(b)预降采样网络示例，将输入图像降采样为卷积前8×8（c）预下采样残差网络示例，提取16×16和8×8分辨率之间的残差分量（d）后池化网络示例，以64×64分辨率开始预下采样网络。我们建议测试指纹和属性是否可以从不同的频段。我们调查归因表现，w.r.t.下采样因子图2（b）示出了提取低频带的架构示例我们从输入端用高斯下采样层替换可训练的卷积层，并系统地控制我们停止这种替换的分辨率。预降采样 残余 网络作为对提取低频带的补充，图2（c）示出了一个AR-一个架构示例，提取一个分辨率与其因子-2下采样图3.指纹可视化图。我们训练AutoEncoder和GAN指纹端到端。*表示两个归一化图像的逐像素乘法。从图像源对（{I，y}）学习指纹图像。我们还解耦表示的模型指纹从图像指纹。图3描绘了指纹vi-标准化模型抽象地说，我们学习从输入图像到其指纹图像的映射。但是在没有指纹监控的情况下，我们选择基于AutoEncoder的重建任务来进行映射。然后，我们定义的recruitic- tion残留的图像指纹。我们同时为每个源（每个GAN实例加上真实世界）学习模型指纹，使得一个图像指纹和每个模型指纹之间的相关性指数用作分类的softmax logit。在数学上，给定图像-源对（I，y），其中y∈Y属于GAN实例的有限集合Y加上现实世界，我们用公式表示从I到R（I）的重建映射R。我们基于像素级L1损失加上对抗性损失来进行重建：Lpix（I）=||R（I）− I||第1（1）条分辨率这让人想起拉普拉斯金字塔[20]。我们系统地改变我们提取的分辨率Ladv（I）=Drec.ΣR（I）. Σ−DrecI.Σ+GP R（I），I|Drec（二）这样的残留物。后汇集网络。我们建议测试是否fingerprints和归属可以本地补丁统计的基础上得出。我们调查归因表现，w.r.t. 补丁大小图2（d）显示了一个架构示例。受PatchGAN [36]的启发，我们将神经张量中的其中Drec是一个逆向训练的正则化项，GP（·）是[32]中定义的梯度惩罚正则化项然后，我们将图像指纹FI明确定义为重建残差FI=R（I）-I。我们进一步明确地将模型指纹Fy定义为：与FI大小相同的可自由训练的参数，例如被那个“像素”的感受野所覆盖因 此 ，我是我后池化操作对基于补丁的神经统计很重要，，corr（Fim，Fmod），Fim和抽搐较早的后合并对应于较小的补丁ymod，在Y上最大化。 这可以用公式表示为：尺寸我们系统地改变张量分辨率，我们开始这个池，以便在更多的本地和更多的全球补丁统计之间切换softmax logit的交叉熵分类损失超，来源Ground Truth：corr（FI，Fy）Lcls（I，y）=−log即时通讯模式（三）corr（FI，Fy）3.3. 指纹可视化y∈Y即时通讯模式替代我们在第3.1节中的归因网络，其中指纹隐含地表示在特征域中，我们描述了一个与Marra等人精神相似的模型。[45]以在图像域中明确地表示它们其中corr（A，B）=AB，A和B是图像A和B的零均值、是内积运算。我们的最终培训目标是但与他们手工制作的基于PRNU的表示相比，我们修改了归因网络架构，minR，{Fy}|y<$∈Y}MaxDrecE{（I，y）}（λ1Lpix+λ2Ladv+λ3Lcls）（4）F7560(a) CelebA真实数据（b）ProGAN（c）SNGAN（d）CramerGAN（e）MMDGAN图4.来自不同来源的人脸样本。其中λ1=20。0，λ2=0。1，且λ3=1。0用于平衡每个损失项的数量级，这些损失项对数据集不敏感，并且是固定的。请注意，该网络变体用于更好地可视化和解释图像归因的有效性。然而，它引入了额外的训练复杂性，因此如果我们只关注归因，就不会使用它。4. 实验我们将在4.1节中讨论实验设置。从第4.2节到第4.5节，我们探讨了引言中讨论的四个研究问题。4.1. 设置数据集。我们使用CelebA人脸数据集[41]和LSUN卧室场景数据集[63]，两者都包含20，000个真实世界的RGB图像。GAN模型。我们考虑四种最新的最先进的GAN架构：[38][ 46 ][47][48][49][4每个模型都是用默认设置从头开始训练的，除了我们修复了将训练epoch的数量设置为240，并将生成器的输出大小固定为128×128×3。基线方法。给定真实世界的数据集和四个预训练的GAN模型，我们与三种基线分类方法进行比较：原始像素上的k最近邻（kNN），特征脸[55]，以及Marra等人最近基于PRNU的指纹方法。[45 ]第45段。评价我们使用分类准确率来评估图像属性性能。此外，我们使用类间和类内Fre' chet 距离 的比率[25]，表示为FD比率，以评估跨类特征表示的比率越大，跨源的特征表示越可区分。详见补充资料。我们将我们的指纹特征与图像初始特征进行比较[52]。初始特征的FD也称为GAN评估的FID [34]。因此，初始特征的FD比率可以作为参考，以显示手动或在没有指纹学习的情况下对高质量GAN生成的图像进行属性化是多么具有挑战性。4.2. 存在性和唯一性：哪些GAN参数区分图像属性？我们通过改变一种类型的参数并保持其他两种固定来分别考虑GAN架构，训练集和初始化种子。不同的架构。首先，我们利用所有真正用于训练ProGAN、SNGAN、CramerGAN和MMDGAN单独。对于分类任务，我们将训练集和测试 集 配 置 为 5 个 类 ： {real ， Pro-GAN ， SNGAN ，CramerGAN，MMDGAN}。我们从每个源中随机收集100，000张图像用于分类训练，并从每个源中收集另外10，000张我们在图中显示了每个来源的人脸样本补充材料中的ure4和卧室样本。表1表明，我们可以有效地区分GAN生成的图像与真实图像，并将生成的图像归因于它们的来源，只需使用常规的CNN分类器。图像中确实存在区别GAN架构的独特指纹，尽管手动或通过初始特征对这些图像进行属性化要困难得多[52]。不同的GAN训练集。我们进一步缩小对GAN训练集的研究。 从现在开始我们只专注于ProGAN加上真实数据集。我们首先随机选择包含100，000个图像的基本实数子集，表示为实数子集diff 0。然后，我们随机选择10个其他真实子集，也包含100，000个图像，表示为实子集diff #i，其中i∈ {1，10，100，1000，10000，20000，40000，60000，80000，100000}表示不来自基本子集的图像的数量。 我们收集这样的数据集，以探索在性能和GAN训练集重叠之间的关系。对于每个真实子集diff #i，我们分别训练一个Pro-GAN模型，并查询100，000个图像用于分类器训练，另外10，000个图像用于测试，标记为ProGAN子集diff#i。在这种情况下，实际上，GAN子集diff #i}，我们展示了性能评估表2中令人惊讶的是，我们发现归因表现为-无论GAN训练集重叠的量如何，mance都保持同样高。即使GAN训练集在一个图像中存在差异，也会导致不同的GAN实例。这表明GAN训练期间的一个图像失配导致一次迭代中的不同优化步骤7561表1.对{real，ProGAN，SNGAN，CramerGAN，MMDGAN}的评估。最佳性能以粗体突出显示。CelebALSUNKNN28.0036.30精度Eigenface [55]53.28-（%）PRNU [45]86.6167.84我们99.4398.58FD比[第52话]2.365.27我们的指纹454.76226.59表2.对{real，ProGAN子集diff #i}的评估。最佳性能以粗体突出显示。表4.我们的网络的分类准确率（%）w.r.t. {real，ProGANseed v#i}的低频或高频分量上的下采样因子。“L-f” columnindicates the low- frequency components and represents theperformances from预 下 采 样 网 络 “H-f” column indicates the high- frequencycomponents and represents the performances from the pre-downsampling residual下采样率-CelebA LSUNCelebA LSUN16 8267.44 78.74 63.80 80.58KNN11.4610.7232 4226.58 48.42 28.24 54.50精度Eigenface [55]27.98-表5.我们的网络的分类准确率（%）w.r.t.贴片（%）PRNU [45]92.2870.55在{real，ProGAN seed v#i}上的大小。Ours99.50 97.66Pooling从补丁大小CelebA LSUN开始表perfor-322曼斯用粗体突出显示。 “我们的视觉网络”一行表示我们的鳍-gerprint可视化网络在第3.3节中描述，并在第4.5节中评估。CelebALSUNKNN10.8810.58精度Eigenface [55]23.12-（%）PRNU [45]89.4069.73我们99.1497.04我们的visNet97.0796.58FD比[第52话]1.101.29我们的指纹80.2836.48最后形成清晰的指纹这促使我们研究使用相同架构和数据集但使用不同随机初始化种子训练的GAN实例之间的归因性能。不同的初始化种子。接下来，我们研究GAN训练初始化对图像属性的影响。我们用整个真实数据集和不同的初始化种子训练了10个ProGAN实例。我们对100，000张图像进行分类器训练，10，000张图片用于测试。在{real，Pro-GAN种子v#i}的这种设置中，其中i∈ {1，.，10}，我们显示perfor-评价结果见表3。我们得出结论，这是dif-优化中的参考（例如，由不同的随机性引起），这导致可归因的指纹。为了验证我们的实验设置，我们运行了健全性检查。例如，用相同种子训练的两个相同的ProGAN实例保持不可区分，并导致随机机会归因性能。64212824.3. 持久性：哪些图像组件包含用于归属的指纹？我们系统地探讨归因绩效w.r.t.不同频带中或具有不同片尺寸的图像分量我们还调查了GAN工件可能不同的频率。我们调查，如果频带有限的图像进行有效的指纹归属。我们分开-将所提出的预下采样网络和预下采样残差网络应用于图像属性。给定{real，ProGAN种子v#i}的设置，表4示出了分类精度w.r.t. 下采样因子我们得出结论：（1）较宽的频带携带更多的指纹信息用于图像归属;（2）低频和高频分量（即使在8×8的分辨率下）单独携带有效指纹，导致归属性能优于随机;（3）在相同的分辨率下，高频分量比低频分量携带更多的指纹信息。不同的局部补丁大小。我们还调查，如果本地图像补丁进行有效的指纹归属。我们将后池网络应用于图像属性。给定{real，ProGAN种子v#i}的设置，表5示出了分类精度w.r.t.补丁大小。我们 得出结 论，对于CelebA 人脸 数据集 ，大小为24×24或更大的补丁携带足够的指纹信息用于图像属性而不会恶化;对于LSUN，大小为52×52的补丁因子解L-FH-FL-FH-F1128299.1499.1497.0497.04264298.7498.6496.7896.84432295.5098.5291.0896.04816287.2092.9083.0291.58FD比[第52话]1.081.6442我们的指纹111.4139.96823. 评价在{real，ProGAN 种子v#i} .最好的162128299.3497.44108299.3296.3052299.3095.9424299.2488.3610289.6018.263213.4217.107562(a) （b）选定样品图5.（a）任意人脸样本和（b）具有前10%感知相似度的选定样本[66]与CelebA真实数据集之间的视觉比较。我们注意到所选择的样本具有更高的质量和更少的伪影。它们之间的相似性也更大，这对归因提出了更大的挑战。表6.对{real，Pro-GAN seed v#i}的10%选定图像进行评估。最佳性能以粗体突出显示。CelebALSUNKNN11.9910.35精度Eigenface [55]26.69-（%）PRNU [45]93.5074.49我们99.9398.16FD比[第52话]1.041.22我们的指纹15.636.27或者更大的带有足够的指纹。无伪影子集。在我们的整个实验中，最先进的GAN方法能够生成高质量的图像，但在某些情况下也会生成明显的伪影。有人担心，这种人为因素可能会导致归因偏颇。为了消除这种担忧，我们使用感知相似性[66]来测量每个测试生成的图像与真实世界数据集之间的1-最近邻相似性，然后选择具有最高相似性的10%进行归因。我们在图5中比较了未选择和选择集之间的面部样本，并在补充材料中比较了卧室样本。我们注意到这个指标在选择更高质量和更少伪影的样本时是视觉上有效的。考虑到10%的设置选择{真的，亲GAN seedv#i}，我们显示性能表6中的评价。所有的FD比率测量一致地下降-对比表3。这表明我们的选择也将来自不同GAN实例的图像分布移动到更接近真实数据集，从而更接近彼此。这使得归因任务更具挑战性。 令人鼓舞的是，我们的分类器在非选定图像上进行了预训练，可以在选定的高质量图像上表现同样出色，因此不会受到伪影的影响。4.4. 免疫力：图像扰动攻击的鲁棒性如何？防御的有效性如何？攻击我们应用了五种类型的攻击来干扰测试图像[48]：噪声，模糊，裁剪，JPEG压缩，重新照明以及它们的随机组合。其目的是通过破坏图像指纹来混淆归属网络。图6中示出了面部图像上的扰动的示例。卧室图像的示例在补充材料中显示。噪声增加了i.i.d.高斯噪声测试图像。高斯方差从U[5]中随机采样。200]。Blur对具有从{1，3，5，7，9}中随机选取的内核大小的测试图像执行高斯滤波。 裁剪-平作物测试图像与随机偏移之间的5%和20%的图像边长，然后调整大小回到原来的。JPEG压缩执行JPEG压缩-从U[10，75]中随机采样的质量因子的Sion处理。重新照明使用SfSNet [54]将当前图像照明条件替换为照明数据集中的另一个随机照明该组合执行每一次攻击的概率为50%，顺序为重新照明、裁剪、模糊、JPEG压缩和噪声。给定扰动图像和{real，Pro-GAN seed v#i}的设置，我们在表7和表8中的“Akt”列中示出了预训练的分类器性能所有业绩下降是由于攻击。详细地说，分类器完全不能克服噪声和JPEG压缩攻击。在面对其他四种类型的攻击时，它的表现仍然优于随机。重照明是最不有效的一种方法，因为它只干扰低频图像分量.高频分量中几乎没有变化的指纹使合理的归属成为可能。的防御合作.为了使我们的分类器免疫-我们微调分类器的假设，我们知道袭击的类别给定扰动图像和{real，ProGAN种子v#i}的设置，我们在表7和表8中的“Dfs”列中示出了微调的分类器性能事实证明，免疫分类器完全恢复了模糊，裁剪和重新闪电攻击，并部分恢复性能超过其他人。然而，从组合攻击的恢复是最小的，由于其最高的复杂性。此外，我们的方法始终优于马拉等人的方法。[45]在免疫后的每次攻击下，他们的人并没有有效地从这种免疫中受益。4.5. 指纹可视化给定{real，ProGAN seed v#i}的设置，我们交替地将指纹可视化网络（第3.3节）应用于属性图像。我们显示属性-表3中的“我们的visNet”行中的mance7563(a) 无攻击（b）噪声（c）模糊（d）裁剪（e）压缩（f）重新照明（g）组合图6.我们的归因网络的攻击和防御的图像样本表7.我们的网络的分类准确率（%）w.r.t.在免疫接种CelebA之前或之后的不同扰动攻击{real，ProGAN种子v#i}。最佳性能以粗体突出显示。CelebA噪声模糊裁剪压缩重新照明组合ATKDFSATKDFSATKDFSATKDFSATKDFSATKDFS[45]第四十五话63.8227.3742.439.8410.6826.1544.5586.5987.0219.9321.77我们的9.1493.0249.6497.2046.8098.288.7788.0294.0298.6619.3172.64表8.我们的网络的分类准确率（%）w.r.t. LSUN卧室{real，ProGAN seed v#i}. 最佳性能以粗体突出显示。LSUN噪声模糊裁剪压缩重新照明组合ATKDFSATKDFSATKDFSATKDFSATKDFSATKDFS[45]第四十五话40.9726.9230.799.309.4218.2723.6660.8663.3116.5416.89我们的11.8095.3074.4896.6886.2097.3024.7392.4062.2197.3624.4483.42实际上是近似的[2]。5. 结论图7.模型和图像指纹样本的可视化。它们的成对相互作用显示为混淆矩阵。与归因模型类似。图7显示了面部指纹。补充材料中显示了卧室指纹。事实证明，图像指纹最大化的反应，只有自己的模型指纹，这支持有效的归属。要对真实世界的图像进行属性化，指纹只聚焦在眼睛上就足够了为了对其他图像进行属性化，指纹还考虑了来自背景的线索，与前景人脸相比，背景的变化更大，GAN也更难识别。我们已经提出了学习GAN指纹对图像属性的第一个研究。我们的实验表明，即使GAN训练中的微小差异（例如，初始化中的差异）可以留下通常存在于所有其生成的图像上的独特指纹这就实现了细粒度的图像属性和模型属性。进一步地，指纹在不同频率和不同补丁大小上是持久的，并且不受GAN伪影的影响。尽管指纹可以通过几种图像扰动攻击来确定，但它们可以通过简单的微调有效地免疫。比较还表明，在各种条件下，我们学习的指纹在归因方面始终优于最近的基线[45]，并且在跨源可识别性方面始终优于接收特征[52确认该 项 目 由 DARPA MediFor 计 划 根 据 合 作 协 议FA87501620191部分资助。我们感谢马里兰高级研究计算中心提供的计算资源。我们感谢郝洲帮助我们进行 重 新 照 明 实 验 。 我 们 还 要 感 谢 Yaser Yacoob 和Abhinav Shrivastava的建设性建议。7564引用[1] 深度假货：它们是如何制造的，以及如何被检测到。https：//www.nbcnews.com/mach/video/deep-fakes-how-they-are-made-and-how-they-can-be-detected-1354417219989.1[2] 如何识别人工智能生成的假 图像。https://medium.com/@kcimc/how-to-recognize-fake-ai-generated-images-4d1f6f9a2842. 8[3] 在人工智能时代眼见为实吗https：//www.newyorker.com/magazine/2018/11/12/in-人工智能时代眼见为实1[4] 模型画廊。https://www.microsoft.com/en-us/cognitive-toolkit/features/model-gallery. 2[5] 暗网上被盗数据的价值。https://darkwebnews.com/dark-web/value-of-stolen-data- dark-web.2[6] 你思想假新闻是不好吗深假是真理去死。https：guardian.com/technology/2018/nov/12/deep-fakes-fake-news-truth.1[7] Darius Afchar 、 Vincent Nozick 、 Junichi Yamagishi 和Isao Echizen。Mesonet：一个紧凑的面部视频伪造检测网 络 。 2018 年 IEEE 信 息 取 证 与 安 全 国 际 研 讨 会（WIFS），第1IEEE，2018年。2[8] Sadia Afroz ，Aylin Caliskan Islam ，Ariel Stolerman ，RachelGreenstadt ， andDamonMcCoy.Doppelga ？ngerfinder：将样式测量法应用于地下。在Security andPri- vacy （ SP ） ， 2014 IEEE Symposium on ， 第212IEEE，2014。3[9] 格里戈里·安提波夫、莫埃斯·巴库什和让-吕克·杜格莱 。 用 条 件 生 成 对 抗 网 络 面 对 衰 老 在 图 像 处 理（ICIP），2017年IEEE国际会议上，第2089-2093页。IEEE，2017年。2[10] 在Arj o vs ky，SoumithChintala和L e'onBottou的Mar t。Wasserstein生成对抗网络国际机器学习会议，第214-223页，2017年。一、二[11] Jawadul H Bappy 、 Amit K Roy-Chowdhury 、 JasonBunk、Lakshmanan Nataraj和BS Manjunath。利用空间结构来定位被操纵的图像区域。在IEEE计算机视觉国际会议的Proceedings中，第4970-4979页，2017年。一、二[12] David Bau ， Jun-Yan Zhu ， Hendrik Strobelt ， BoleiZhou， Joshua B.作者：William T. Freeman 和AntonioTorralba。可视化和理解生成对抗网络。在2019年国际学习代表会议上。1[13] Belhassen Bayar和Matthew C Stamm。使用新卷积层的通用图像操纵检测的深度学习方法。第四届ACM信息隐藏和多媒体安全研讨会论文集，第5-10页。ACM，2016。一、二[14] 马克·G·贝勒马尔、伊沃·达尼赫尔卡、威尔·达布尼、沙基尔·莫哈米德、巴拉吉·拉克什米纳拉亚南、斯蒂芬·霍耶尔和雷米·穆诺斯。Cramer距离作为有偏wasser的解-斯坦梯度arXiv预印本arXiv：1705.10743，2017。二、五[15] Urs Bergmann，Nikolay Jetchev和Roland Vollgraf。学习- ING纹理流形与周期性的空间gan。在第34届机器学习国际会议上，第70卷，第469-477页。JMLR。org，2017. 2[16] 保罗·贝斯塔吉尼、西蒙尼·米拉尼、马可·塔利亚萨基和斯特凡诺·图巴罗。视频序列中的局部篡改检测。2013年 IEEE 第 15 届 多 媒 体 信 号 处 理 国 际 研 讨 会（MMSP），第488-493页IEEE，2013。1[17] 我知道你是谁，我知道你是谁，我知道你是谁。萨瑟兰，迈克尔·阿贝尔，阿瑟·格雷顿。揭秘MMD GANs。在2018年国际学习代表会议上。二、五[18] Luca Bondi ， Silvia Lameri ， David Guera ， PaoloBestagini，Edward J Delp，Stefano Tubaro，et al.基于摄像机cnn特征聚类的篡改检测与定位。在IEEE计算机视觉和模式识别研讨会（CVPRW）上，第1855-1864页2[19] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安用于高保真自然图像合成的大规模GAN训练。在学习代表国际会议上，2019年。一、二[20] 彼得·伯特和爱德华·阿德尔森。拉普拉斯金字塔作为一个 紧 凑 的 图 像 代 码 。 IEEETransactions onCommunications，31（4）：532-540，1983. 4[21] 莫陈，杰西卡弗里德里奇，米罗斯拉v戈尔扬，和扬卢克的。使用传感器噪声确定图像来源和完整性。IEEETransactions on Information Forensics and Security ， 3（1）：74-90，2008. 二、三[22] Davide Cozzolino，Giovanni Poggi，and Luisa Verdoliva.将基于残差的局部描述符重铸为卷积神经网络：图像伪造检测的应用。第五届ACM信息隐藏和多媒体安全集，第159ACM，2017。一、二[23] Da videCozzolino ， JustusThies ， AndreasR¨ ssler ，ChristianRiess，MatthiasNießner，andLuisaVerdoliva.Forensict