基于谱域印记的频域伪影分析在GAN生成图像检测中的应用

7865在从谱域印记城东东1AjayKumar1刘二云21香港理工大学电子计算学系2浙江大学信息科学与电子工程学院chengdong. connect.polyu.hk，ajay. polyu.edu.hk，eryunliu@zju.edu.cn摘要准确检测虚假但逼真的图像是解决我们社区中的社会、生物度量安全和隐私相关问题的最具挑战性的任务之一。早期的研究已经强调了基于强大的生成对抗网络（GAN）的方法生成的假图像中存在谱域伪影因此，在文献中已经提出了许多用于检测这种GAN生成的图像的高精度频率域方法。我们在本文中的研究介绍了一个流水线，以减轻光谱伪影。我们从我们的实验中表明，这种假图像的频谱中的文物可以减轻所提出的方法，这导致基于频谱的检测器的性能急剧下降本 文 还 给 出 了 使 用 BigGAN 、 CRN 、 CycleGAN 、IMLE、Pro GAN、StarGAN、StyleGAN和StyleGAN 2合成的大型图像数据库（包括合成的高分辨率指纹图像）的实验结果，以说明所提出的方法的有效性。此外，我们选择了一个基于空间域的虚假图像检测器，并观察到一个显着的下降时，提出的方法的检测性能。总之，我们在本文中提出的有洞察力的分析和管道提醒法医界注意基于频率伪影分析的GAN生成的假图像检测器的可靠性，因为这些伪影可以很容易地减轻。1. 介绍基于GAN的方法可以实现几个计算机视觉相关任务的最先进性能他们已经显示出强大的能力来生成现实世界中不存在的图像[8，32，38]，转移图像的风格[14，25，42]并将文本转换为图像[16，39]。考虑到与滥用这些假冒伪劣产品相关的潜在风险，而是真实的图像，已经提出了几种方法来检测这种GAN生成的图像。直接训练基于大型神经网络的检测器的空间域方法[36，40，41，44最近，已经提出了基于GAN生成的图像的频谱中的伪与基于空间域的检测器相比，这些检测器需要更少的参数，并且表现出更好的性能。图1.基于GAN生成的图像频谱中的伪影的检测器然而，当GAN生成的图像进一步受到我们提出的方法的影响时，这些检测器可能会受到损害。这些方法成功的主要原因是GAN生成图像的频域表示中的异常更加明显，因此易于检测。GAN生成的图像的光谱中的这些异常可以被分类为两种类型：异常光谱模式和它们的功率分布的差异。在Cy- cleGAN[47]、StarGAN [13]和StyleGAN [27]生成的图像光谱中，一些异常图案（如点和线）更常见。在BigGAN[10]生成图像的频谱中，更有可能观察到频谱高频部分中 的云状 模糊 区域。 在CRN [12]、 IMLE [31]、ProGAN [26]和StyleGAN2 [28]生成的Zhang等人[45]第四十五话7866图2.我们的管道可以增强GAN生成的图像，以避开流行的假图像检测器。trum作为输入来训练分类网络，并使用在空间域特征上训练的网络来提供比较性能。Frank等人[23]设计了一个浅层CNN，它使用DCT频谱作为输入来检测GAN生成的图像。这是一个令人兴奋的方法，因为它需要更少的参数比以前的作品，同时achieev- ING更高的精度。光谱功率分布的离散性是另一种与真实世界的图像相比，GAN生成的图像的这种功率分布中的高频部分可以提供其来源的重要线索。因此，在[19，20]中报道了一些有希望的尝试，这些尝试使用来自功率分布的线索训练检测器来准确地对GAN生成的图像进行有一些有趣的参考文献分析了这种光谱伪影的起源，他们的目标是解决这些问题。参考文献[19，20，23，45]指出，这在很大程度上是由于违反了采样定理，导致GAN生成的图像的光谱异常。Durall等人[19]当训练发生器时，引入频谱损失来校正功率分布。Alasegaran等人[11]分析来自生成器的最后一层中的不同上采样尝试的Frank等人[23]分析了三种上采样模式对频谱模式异常的不同影响。虽然这些工作分析了GAN生成图像的频谱中存在伪影的原因，但频谱中的伪影仍然难以减轻。因此，这种基于频域印记分析的伪图像检测器被广泛认为是鲁棒的。相反，本文中详细介绍的工作开发了反例来证明基于频率谱的检测器可能不鲁棒。本文后面的谱是指震级谱，功率分布实质上是指由震级光谱使用算法1。基于光谱的虚假图像检测器也可以被视为黑盒模型，但仍然容易受到攻击。图1示出了所提出的生成更有效的伪图像（Fake+）的方法的图示，该伪图像可以损害基于频谱的伪图像检测器。1.1. 贡献我们工作的贡献可以概括如下：我们研究了主流的伪图像检测器，发现这些基于光谱的检测器主要依靠光谱中伪影的异常模式和功率离散度来检测伪图像。因此，提出了两种方法来Mitigate GAN生成的图像的光谱中的伪影图案的强度，并且提出了一种方法来校正功率差异。通过结合伪影缓解策略，然后进行功率差异校正，基于频谱的检测器的性能显着降低。这可以证明，基于频谱的检测器是不鲁棒的处理恶意操作的频谱上的假这一发现对图像法医界也很重要它警告他们依赖于基于频谱的虚假图像检测。我们还提出了实验结果，以评估基于空间域的检测器对GAN生成的图像的准确性，所提出的方法增强尽管性能下降，这种基于空间域的检测器仍然鲁棒地检测假图像。1.2. 相关工作GAN生成的虚假图像的准确检测已经吸引了大量的研究工作，并且在文献中报道了有希望的结果。这些技术可以分为空间域和频率域方法，并简要总结如下。空间域方法：与现实世界摄像机采集的图像中存在数字印记类似，GAN生成的高质量图像有望呈现视觉上无法感知的空间域印记Marra等人[34]提出了一种基于光响应非均匀性（PRNU）模式的隐写分析方法。McCloskey等人[35]指出饱和度线索可以用来区分GAN生成的图像和相机图像。Marra等人[33]提出了基于神经网络的检测器来分类真实和虚假图像，并得出结论，基于神经网络的检测器可以比传统方法更好地检测压缩···7867×→ → → →→→联系我们----图像. Cozzolinoet al[15]指出，法医分类器在测试数据集中表现不佳，其中合成图像是从与用于训练数据集的GAN不同的GAN生成的。因此，他们设计了一个用于法医目的的少拍探测器来解决这个问题。Wang等人[41]仅使用ProGAN生成的训练图像来训练检测模型，以证明基于神经网络的检测器可以在区分GAN生成的图像方面提供强大的频域方法：Zhanget al. [45]提出了一种具有良好泛化能力的频谱检测器，该频谱检测器在GAN模拟器合成的图像频谱上进行训练，GAN模拟器共享大多数GAN中常见的架构。Frank等人[23]证明了假图像中的光谱伪影模式可以归因于所有流行GAN模型中常见的上采样操作。该参考文献还对三种不同类型的上采样模块I. e. 最近邻上采样、双线性上采样、双标称上采样以及它们对所得频谱的影响。除了这种直接使用频谱来训练分类器模型之外，一些参考文献提出了可以通过分析其频谱功率分布来检测伪图像的方法。Dzanic等人[20]声称GANs在复制高频模式属性方面存在系统性缺陷，他们提出了一种跨模型准确度可达99.2%的检测器。Durall等人[19]表明，由于卷积神经网络的内在特性，GAN生成的图像在高频部分总是不可避免地具有更高的功率分布。他们提出了基于SVM和k-均值功率分布分类器的简单检测器，并取得了较高的检测精度.三个卷积层组成的5 - 5内核也introduced抑制功率分布的差异在频谱的高频区域。然而，该方法需要在发生器的最后一层处仔细选择卷积层的数量和尺寸，并且在抑制较高频率分量方面并不总是非常成功。另一方面，Anglasegaranet al. [11]最近提出，这种异常的功率分布实际上可以通过调整发生器的最后一层的上采样操作来避免。他们列出了几个反例来强调从它们的功率分布差异检测GAN生成的图像然而，他们提出的方法需要仔细和手动调整上采样模块的类型和数量。因此，对于大多数GAN来说，仍然难以减轻频谱异常。2. 提出方法在本节中，我们提供了GAN生成器中校正谱域异常的方法的详细信息过时的图像我们首先介绍SpectralGAN。2.1，随后是另一种方法，使用频谱差归一化，在第二节。2.2秒2.3介绍了一种基于字典的方法来校正所生成图像中的功率分布差异。从图2可以看出，GAN生成的图像f（x，y）可以在傅里叶变换之后分解为幅度谱R（u，v）和相位谱I（u，v）在使用谱伪影模式抑制模块对R（u，v）进行后处理之后，接着进行基于字典的功率校正（PDC），从R（u，v）生成无伪影谱R′（u，v）。最后我们使用逆傅立叶变换来恢复f′（x，y）以避开常用的2.1. SpectralGANSpectralGAN是所提出的用于减轻输入图像中的光谱伪影的基于GAN的模块的缩写，并且也被称为第2节中的方法1。3 .第三章。如果我们将包含伪影的GAN生成图像的频谱域视为域A，将不包含此类伪影的真实世界图像的频谱视为域B，则这里的任务是学习从域A到域B的映射关系。在这种情况下，我们自然会考虑基于CycleGAN的网络架构来实现这种域转移。然而，我们试图将原始的CycleGAN，以减轻这种频谱伪影是不成功的。在图3a中可以观察到，图3a示出了在使用原始CycleGAN进行这种域转移尝试之后光谱的功率分布与真实图像的光谱的明显差异。我们画Fig. 3使用数据集中的指纹类。此外，我们注意到有必要稳定网络以确保频谱中的最大值不变，否则SpectralGAN的训练因此，我们在下面的部分详细介绍功率损耗和最大损耗。优化目标：给定分别属于域A和域B的训练样本ai和bi，我们定义aai，bbi。设从域A到域B的映射函数为G，从域B到域A的映射函数为F。函数DA旨在区分来自域A的实际光谱和来自域B的对应映射光谱，而函数DB旨在区分来自域B的光谱和来自域A的对应映射光谱。除了传统的L-GAN、L-cyc和L-identity外，我们还引入了功率损耗L-power和最大损耗L-max，前者用于规范频谱功率分布的范围，后者用于保证在域转移A B，B期间频谱最大值保持不变 A、 一 B A和B一B.因此，总损失函数L（G，F，DA，DB）在等式中表示（一）.7868×−′−.L（G，F，DA，DB）=LGAN（G，DB，A，B）遵循算法1的功率分布表示为P. 对于M×M图像，l均值和P（G（a））的大小为公司简介 （法、德、阿）、B、A）1 ×⌊200万美元。+λ1Lcyc（G，F）+λ2L恒等式（G，F）其中λ1，λ2，λ3，λ4+λ3L功率+λ4L最大值表示Lcyc，L（一）身份，算法1谱功率分布输入：SpectrumS，其大小为M M输出：光谱功率分布特征1，其为初始化为1×M零向量Lpower，Lmax。我们的目标是优化G，F：G，F= arg min maxL（G，F，DA，DB）（2）1：对于范围（M）中的i，2：对于范围（M）中的j，3：ind e x=0（i−0. 5M）2+（j−0. 5M）2mmG，F DA，DB最大损失在等式中陈述。（三）：Lmax=<$G（a）[g][h]−a[g][h]<$1+<$F（b）[p][q]−b[p][q]<$1+<$F（G（a））[g][h]−a[g][h]<$1+<$G（F（b））[p][q]−b[p][q]<$1（g，h= arg maxa [g][h]，p，q= arg maxb[p][q]）4：l[index]=l[ index]+S[i][j]5：结束第六章： 端7：l=l/l[0]g、hp，q（三）算法2谱差归一化输入：光谱S、训练数据集中真实世界图像的平均光谱R、训练数据集中GAN生成图像的平均光谱G输出：光谱S′1 ：光谱差记为：S ′ = G R2：S′=S R第三章： 返回S(a) CycleGAN（b）频谱损耗（c）L功率&Lmax图3.不同优化约束下的谱功率分布比较。蓝色曲线表示域B中样本bi的功率分布，红色曲线表示使用函数G从域A中样本ai映射的光谱的功率分布。功率损耗：Durall等[19]在GAN的生成器中引入谱损失来约束生成图像的能量分布。虽然已经表明，针对空间域特征并入的谱损失提供了很大的性能来限制功率分布，但是当我们引入谱损失来直接将功率分布约束在谱域特征上时，它未能很好地约束这样的在图3b中可以观察到，在引入这种优化约束之后的光谱的功率分布因此，我们建议将功率损耗纳入方程。（4）为了约束频谱功率分布而不是频谱损失：L幂=ΔP（G（a））−l平均ΔF（4）其 中 lmean 是 真 实 图 像 的 平 均 功 率 分 布 ， λ·λF 表 示Frobenius范数，7869××××× × ∼ ××∼ × ×∼××我们可以从图中观察到当功率损耗和最大损耗都被考虑时，谱功率发生器和鉴别器的主干：SpectralGAN发生器的主干是嵌套UNet [46]。图4.在该生成器中，我们给出了前向传播过程中中间特征的可视化 该图帮助我们确定发生器已经有效地学会抑制这种跳跃连接架构中的频谱伪影，而不影响通常驻留在频谱的低频部分中的显著视觉细节。定义和变量x00，x01，.- 是的- 是的，x40与嵌套UNet [46]中定义的相同。输入和输出要素的大小为1256256，大小为x00x04=64256256，x 10的大小x13是128 128 128，x20x22的大小是25664六十四岁 x30，x31的大小是512 32 32，x 40的大小是1024 16 16。为了可视 化 ， 我 们 计 算 第 一 个 通 道 的 平 均 值 我 们 在PatchGAN [25]中采用了相同的架构，这有助于网络以相对较少的参数和较大的感受野快速收敛7870×.我3：对于范围（M）中的i，4j=1SJ我J(a)输入（b）输出（c）x00（d）x01（e）x02算法3基于字典的功率校正输入：SpectrumS，其大小为M M输出：具有校正功率分布的光谱S′1：计算S的功率分布Ps，遵循Al-出租m 1。 P s=[P s1，P s2，. - 是的- 是的 ，P sk]第二章： 我们在dic中选择功率分布特征Dr（h）（一）（j）（k）词典，r = arg min1 k。P−D2(l)x20（男）x21（女）x22(o) X30(p) X31(q) X404：对于范围（M）中的j，5：ind e x=0（i−0. 5M）2+（j−0. 5M）2mm6：S′[i][j]=S[i][j]×Dr[index]图4.前向传播过程中的中间特征。7：结束Ps[index]2.2. 谱差归一化在本节中，我们提出将两个域的频谱中的三是实验。虽然很难确定伪影的强度和精确位置，但是简单地通过减去光谱差的平均值来确定伪影的强度和精确位置。e.在伪图像和真实图像之间，对带伪影的光谱都能取得较好的效果。算法2中总结了该方法的实现细节。2.3. 功率分配校正在本节中，提出了基于字典的功率分布虽然我们已经考虑了两种方法来减轻光谱中的伪影，但它们可能无法确保某些图像的功率分布的真实性，并且我们在Tab.1揭示了这样的功率分布仍然可以被线性分类器检测到。因此，有必要引入功率分布校正方法来解决这一问题。我们首先建立了真实世界图像的功率分布特征字典，然后详细介绍了使用该方法校正功率分布的步骤。Power Dictionary Construction：该字典由可用的真实世界图像数据集中的许多一维功率分布特征使用算法1计算来自真实世界图像的光谱的功率字典特征。包含N个特征的配电字典D可以表示如下：D={D1，D2，. - 是的- 是的 ，D N}，D i=[D i1，Di2，. - 是的- 是的 、D ik]其中i = 1，2，. - 是的- 是的 ，N和k =10000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000基于字典的校正：给定由如图2所示的谱伪影抑制模块处理的谱，其功率分布特征可以在以下算法3中从字典D校正。(f)x03（g）x04X10X11X13X127871−∼第八章： 端3. 实验和结果节中3.1我们简要介绍了两种最近流行的基于光谱的检测器以及一种基于空间特征的检测器，以评估我们论文中提出的方法的性能。在补充文件中，我们提供了方法1，方法2和PDC的实施细节。我们分析了SEC中所提出的方法的有效性。3.2.最后，几个例子，从具有挑战性的样品，在第二节。3.3概述拟议方法的局限性。用于训练和测试方法1、方法2和基于CNN的光谱检测器的光谱都是对数尺度和归一化到[1，1]范围的，用于构建功率字典和训练SVM分类器的功率分布特征是从未进行对数尺度和归一化的图像光谱计算的数据集简介数据集包含九个类，每个类包括两个子类：GAN生成的图像和用于训练相应类型GAN的真实世界图像。与参考文献[41]类似，使用BigGAN、CRN、Cycle-GAN、IMLE、ProGAN、StarGAN、StyleGAN、StyleGAN 2生成的合成图像以及用于训练这些GAN的相应真实图像构成前8类。我们还选择真实的和GAN生成的指纹图像作为数据集的最后一类来评估所提出方法的有效性，因为指纹图像的光谱与其他真实世界的图像明显不同，并且这些图像广泛用于一系列安全和电子政务应用[17，18，29，37]。有关此数据库的详细信息，请参阅补充文件BigGANStyleGAN2类中的假图像是从[1，41]中获取的。此外，我们还获取了[2- 6 ]中提供的BigGAN，CycleGAN，Star-GAN，StyleGAN和StyleGAN 2类对于指纹类，根据[43]中提出的方法从骨架生成合成指纹。我们用指纹生成假指纹-7872××∼度量BigGANCRNCycleGAN伊姆莱ProGAN StarGAN StyleGAN StyleGAN2指纹原始假图像78.8190.3790.5572.4092.2188.2574.2376.98100.0方法1 + PDC51.0051.8851.9052.1151.7250.6051.7351.3950.19方法158.3468.4462.1561.3272.9568.8365.4860.3155.58方法2 + PDC50.4751.8051.6854.9850.5650.3350.9550.7250.78方法257.0369.4264.1562.6573.7067.5863.8061.4460.16PDC50.2250.2051.3550.4350.1550.6350.0850.3450.12表1.使用功效分布的SVM分类器的结果（精度%）度量BigGANCRNCycleGAN伊姆莱ProGAN StarGAN StyleGAN StyleGAN2指纹原始假图像94.5996.3299.4895.1197.6298.0885.4892.55100.0方法1 + PDC68.4481.0953.3061.7964.5854.7364.0569.2851.09方法2 + PDC60.3472.6759.1857.7961.3260.2867.1962.6354.55PDC93.2891.5094.3392.6891.4993.8580.1387.02100.0表2.基于浅CNN的频谱检测器的结果（精度%）图5.真实和GAN生成的假指纹图像。吨其次是风格转移合成真实的外观像指纹图像。用于训练风格转移模型的样本真实指纹图像在图1的第一行中示出。而GAN生成的假指纹图像样本在图5的第二行中示出。五、所有图像的大小调整为256 256，每个类别中80%的GAN生成图像和真实图像用于训练，其余图像用于测试。3.1. 虚假图像检测器使用功率分布的SVM分类器这种基于频谱功率分布的假图像检测器使用了一个有监督的SVM分类器。我们重建了Durall等人的检测器。[19]并确保所提出的方法可以有效地校正功率分布差异并成功地挑战该检测器。使用算法1来计算大小为1180的功率分布特征。我们使用来自82210幅GAN生成图像和82210幅来自8个类别（不包括指纹）的真实图像的类）在训练数据集中的实验结果，如文档文件中详细说明的，在Tab. 1是由该检测器测试。此外，由于指纹图像的功率分布不同于其他真实世界的图像，我们独立地训练另一个SVM分类器使用各自的功率分布特征从指纹图像的训练数据集。在Tab.1是由该检测器测试基于CNN的频谱分类器：参考文献[23]提出了另一种有前途的检测器，该检测器训练仅具有四个卷积层的浅CNN，以使用频谱特征检测GAN生成的图像。与在原始像素上训练的那些分类器相比，在整个频谱上训练的这种浅低CNN已经显示出提供我们的论文采用了两种CNN模型来使用整个频谱检测GAN生成的图像：一种是只包含4层的浅层CNN，另一种是ResNet18分类器。使用来自9类训练数据集的88126幅GAN生成图像和89122幅真实图像的光谱来训练这两个检测器。基于CNN的空间域分类器：我们还使用[1，41]中提供的预训练模型，该模型在ProGAN生成的图像上进行训练，并已证明具有较高的泛化能力，可以检测由看不见的GAN生成的假图像。该伪图像检测器被称为检测器W，其能够计算输入RGB图像的真实度分数。3.2. 结果讨论方法1和方法2：实验结果汇总于表1. 图1示出了方法1和方法2的局限性，如果这些方法不与基于字典的功率校正相结合的话。因此，SVM7873度量BigGANCRNCycleGAN伊姆莱ProGAN StarGAN StyleGAN StyleGAN2指纹原始假图像95.6397.0699.8596.3598.1899.2089.3194.91100.0方法1 + PDC70.8883.9154.2063.0272.6353.0368.5571.2752.09方法2 + PDC61.8180.8160.5357.5166.6859.0569.0265.3356.51PDC93.6391.3595.1591.7092.9194.4878.9886.97100.0表3.基于ResNet的光谱检测器的结果（准确度%）具有100k样本的BigGANCRNCycleGAN伊姆莱ProGAN StarGAN StyleGAN StyleGAN2方法1 + PDC0.94930.92450.94850.96380.94090.89780.90150.9391方法2 + PDC0.95100.92220.91580.96270.93990.92620.92390.9388PDC0.96110.95050.96480.96540.95500.93360.95660.9427具有200k样本的BigGANCRNCycleGAN伊姆莱ProGAN StarGAN StyleGAN StyleGAN2方法1 + PDC0.95240.92890.95670.97340.95130.91170.91310.9425方法2 + PDC0.94690.93160.93900.97050.94120.92850.93460.9447PDC0.96390.95220.97140.96630.97420.95150.95800.951450万样本BigGANCRNCycleGAN伊姆莱ProGAN StarGAN StyleGAN StyleGAN2方法1 + PDC0.95960.93020.98070.97280.96850.94600.92810.9554方法2 + PDC0.95180.93250.94870.97130.96510.93840.93830.9536PDC0.97210.95340.98280.97560.98150.96720.96170.9589表4.使用SSIM分数的原始假图像和增强的假图像（假+）之间的相似性分类器仍然能够检测GAN生成的假图像，但精度降低，这反映了引入功率校正的合理性。我们报告的性能，从两个基于CNN的频谱检测器在标签。2和3结合PDC ， 方 法 1 可 以 在 检 测 CycleGAN ， StarGAN ，StyleGAN和指纹类的假图像方面优于方法2，但对于其他类的图像，方法2优于方法2。从标签上也很容易观察到。图2和图3表明，具有两种不同CNN架构的基于频谱的检测器在检测未经处理的GAN生成的假图像方面表现良好，并且当使用所提出的方法增强图像时，准确性急剧下降。这一观察结果表明，我们提出的方法可以被视为黑盒攻击，以损害基于CNN的频谱检测器。缺乏来自光谱伪影的预期特征不能警告预训练的检测器模型，从而禁用其检测假图像的能力，即使不结合对抗攻击[9，21，22，24，30]技术来损害这种黑盒模型。如从图6中的结果可以观察到的，通过应用所提出的方法，基于空间的伪图像检测器还示出了检测性能的一致降低。因此，推断[1，41]的基于空间域的检测器也可以在检测伪信号图像的空间域特征。功率校正的影响：我们的结果在Tab。1表明基于字典的功率校正是非常有效的，无论它是与方法1还是方法2相结合最后几行选项卡中的结果。图2和图3还表明，如果我们仅结合PDC，则基于CNN的谱检测器的性能几乎保持不变。这些表中的结果表明，基于CNN的频谱检测器可能无法通过仅使用来自频谱功率分布的特征来检测伪图像相反，这些检测器更关注反映[23]中声明的伪影模式。图6中的结果还表明，基于字典的功率校正在损害检测器W的检测性能方面起着积极的作用。与没有经过所提出的方法的GAN生成的图像相比，我们可以注意到当引入功率校正时检测性能的下降。如图6中的结果所示，如果方法1和方法2与PDC组合然而，这种现象在其他类别的数据集上可能不一致，这可以从补充文件中包含的附加ROC图中观察到。功效字典大小的影响：选项卡中的结果4说明结构相似性指数的度量7874(a) CRN（b）StarGAN图6.当在CRN和StarGAN图像上评估所提出的方法时，使用检测器W的ROC性能曲线。使用三种不同大小的这样的字典来计算表示原始假图像和增强图像（假+）之间的相似性的SSIM（SSIM）分数。与将方法1和方法2与PDC相结合的另外两组实验相比，仅结合PDC总是获得最高的SSIM分数。随着功率字典大小的增加，功率分布特征的多样性增强。这可以导致光谱的功率分布的较小变化，从而增加SSIM分数。3.3. 挑战性实例SpectralGAN面临的挑战：我们从具有挑战性的示例中展示了样本结果，以确定所提出方法的有效性。我们可以从图7a中的示例观察到方法1在抑制谱伪影图案方面的失败。当伪影模式较弱或与训练数据集中的伪影模式不同时，方法1可以降低其减轻伪影模式的有效性。我们可视化了训练数据集中所有类型的GAN生成图 像 的 光 谱 样 本 ， 观 察 到 CycleGAN ， StarGAN 和StyleGAN的伪影模式在视觉上清晰，而BigGAN，CRN，IMLE和StyleGAN2图像的伪影模式这种现象可以解释在CycleGAN、StarGAN和StyleGAN上使用PDC的方法1的性能优于使用PDC的方法2的原因，如从表中的结果所观察到的。2和3频谱归一化的挑战：由于伪影模式的强度和位置是不确定的，直接减去频谱差异可能导致两种类型的错误。第一种情况是工件不能得到充分的缓解。从图1第一行如图7b所示，在这种归一化之后，伪影图案仍然可以当这种伪影的强度相对较弱时，可能会出现另一种故障情况，我们可以从图1底行图7b示出了伪影位置处的强度小于伪影周围区域中的其他值。(a) 通过方法1（b）处理，通过方法2处理图7.来自挑战性示例的4. 结论和进一步工作本文重新审视了先进的伪图像检测器检测GAN生成图像的有效性。我们相应地开发了两种方法来从光谱伪影中提取图案的强度，以及一种基于字典的方法来校正GAN生成的假图像中的光谱功率分布差异。可重复的[7]实验结果见第2节。3表明，所提出的方法可以有效地减轻广泛观察到的光谱伪影，并校正光谱功率分布差异，以折衷基于光谱的检测器用于GAN生成的假图像。基于CNN的分类器使用整个频谱来检测这种虚假图像，它仍然显示出在检测GAN生成的图像方面的能力，但其性能显著下降。基于SVM的检测器锁定功率分布差异，完全无法检测到通过我们的方法增强的GAN生成的假图像。然而，在我们的评估中选择的基于空间的检测器[1，41我们进一步测试了增强图像（假+）和原始假图像之间的SSIM得分，这证实了它们的高相似性。这可能是容易理解的，为什么功率分布可以通过基于字典的方法在第二节中进行校正2.3 但是对于基于CNN的频谱检测器，这些检测器可能受到危害的原因之一是它们作为黑盒模型对攻击者来说是由于它们利用伪影信息来检测假图像，因此我们只能通过去除这些伪影来损害这些模型。总之，这项研究的结果表明，基于假图像光谱分析的检测器可能无法鲁棒地检测GAN生成的假图像，因为恶意攻击者可以很容易地减轻这些光谱中的伪影，而相应的图像在这种增强后在视觉上看起来非常相似因此，需要开展大量工作来开发强大的虚假图像检测器，这些检测器可以从复杂的基于GAN的模型中可靠地检测出虚假图像，这些模型对我们的社区7875引用[1] https：//GitHub. com/peterwang 512/cnn检测。五六七八[2] https://github.com/huggingface/pytorch-pretrained-BigGAN. 5[3] https：//GitHub.com/junyanz/pytorch-CycleGAN-and-pix2pix. 5[4] https://github.com/yunjey/stargan网站。5[5] https://github.com/NVlabs/stylegan网站。5[6] https://github.com/lucidrains/stylegan2-pytorch. 5[7] 本文详细介绍了该方法的源代码，可通过Web链接下载.https://www.comp.polyu.edu。hk/deepcsajaykr/deepdeepfake.htm。8[8] 马丁·阿乔对ky，苏米特·钦塔拉和Le'onBottou。Wasserstein生成对抗网络在机器学习国际会议上，第214PMLR，2017年。1[9] Bir Bhanu，Ajay Kumar，等.生物识别的深度学习。Springer，2017. 7[10] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安用于高保真自然图像合成的大规模gan训练。arXiv预印本arXiv：1809.11096，2018。1[11] Keshigeyan，Ngoc-Trung Tran和Ngai- Man Cheung。近距离观察cnn生成图像检测的傅立叶谱离散性。在IEEE/CVF计算机视觉和模式识别会议论文集，第7200-7209页，2021年。二、三[12] Qifeng Chen和Vladlen Koltun。用级联细化网络进行摄影图像合成在IEEE计算机视觉国际会议论文集，第1511-1520页1[13] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. Stargan：用于多域图像到图像翻译的统一生成对抗网络。在IEEE计算机视觉和模式识别会议论文集，第8789-8797页，2018年。1[14] Yunjey Choi，Youngjung Uh，Jaejun Yoo，Jung-WooHa.Stargan v2：多领域的多样化图像合成。在IEEE/CVF计算机视觉和模式识别会议论文集，第8188-8197页，2020年。1[15] Da videCozzolino ， JustusThies ， AndreasR¨ ssler ，ChristianRiess，MatthiasNießner，andLuisaVerdoliva.Forensictransfer ： Weakly-supervised domainadaptation for forgery detection.arXiv 预 印 本 arXiv ：1812.02510，2018. 3[16] Bo Dai，Sanja Fidler，Raquel Urtasun，and Dahua Lin.通过有条件的组来实现多样化和自然的图像描述。在IEEE国际计算机视觉会议论文集，第2970-2979页1[17] 用于指纹认证的UIDAI仪表板。 https：//uidai. 州 长 在 /aadhaar_dashboard/auth_trend.php？auth_id=biofingure，2021年11月访问。5[18] 国 土 安 全 部 生 物 识 别 身 份 管 理 办 公 室 。 https ：//www.example.comwww.dhs.gov/obim，2021年11月访问。5[19] Ricard Durall，Margret Keuper，and Janis Keuper.注意你的上卷积：基于CNN的生成式深度神经网络无法重现光谱分布。在IEEE/CVF计算机视觉和模式识别会议上，第7890-7899页，2020年二三四六[20] 塔里克·扎尼奇，卡兰·沙阿，弗雷迪·威瑟登深度网络生成的图像中的傅立叶频谱差异。arXiv预印本arXiv：1911.06465，2019。二、三[21] Kevin Eykholt、Ivan Evtimov、Earlence Fernandes、BoLi 、 Amir Rahmati 、 Chaowei Xiao 、 Atul Prakash 、Tadayoshi Kohno和Dawn Song。对深度学习视觉分类的强大物理世界攻击。在IEEE计算机视觉和模式识别会议论文集，第1625-1634页，2018年。7[22] 哈尼·法里德假照片。麻省理工学院出版社，2019年。7[23] JoelFrank，ThorstenEisenhofer，LeaSch¨ nherr，AsjaFis-cher，Dorothea Kolossa，and Thorsten Holz.利用频率分析进行深度虚假图像识别。在机器学习国际会议上，第3247PMLR，2020年。二三六七[24] Gaurav Goswami 、 Akshay Agarwal 、 Nalini Ratha 、Richa Singh和Mayank Vatsa。检测和减轻对抗性扰动，以实现鲁棒的人脸识别。国际计算机视觉杂志，127（6）：719-742，2019。7[25] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集，第1125-1134页，2017年。1、4[26] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。arXiv预印本arXiv：1710.10196，2017。1[27] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第4401-4410页，2019年。1[28] Tero Karras ， Samuli Laine ， Miika Aittala ，