差分卷积网络在人脸识别中的抗欺骗作用

5295∗搜索中心差分卷积网络的人脸抗欺骗于梓潼1、赵晨旭2、王泽正3、秦云霄4、苏卓1、李小白1、周峰3、赵国英11奥卢大学CMVS2Mininglamp科学院，Mininglamp技术西北工业大学{于梓彤，zhuo.su，xiaobai.li，赵国英}@ oulu.fi，{zhaochenxu}@ mininglamp.com，{zezhengwang，fzhoug}@ aibee.com，{qyxqyx}@ mail.nwpu.edu.cn摘要人脸反欺骗在人脸识别系统中起着重要的作用大多数最先进的FAS方法1）依赖于堆叠卷积和专家设计的网络，这在描述详细的细粒度信息方面很弱，并且当环境变化时（例如，不同光照），以及2）喜欢使用长序列作为输入来提取动态特征，使得它们难以部署到需要快速响应的场景中。本文提出了一种新的基于中心差分卷积（CDC）的帧级FAS方法，该方法能够通过聚集亮度和梯度信息来捕获使用CDC构建的网络称为中心差分卷积网络（CDCN），能够提供比使用普通卷积构建的网络更强大的建模能力。此外，在一个专门设计的CDC搜索空间，神经架构搜索（NAS）被用来发现一个更强大的网络结构（CDCN++），它可以与多尺度注意力融合模块（MAFM）组装，以进一步提高性能。在6个基准数据集上进行了综合实验，结果表明：1）该方法不仅在数据集内测试上取得了优异的性能（特别是OULU-NPU数据集的Protocol- 1中的0.2%ACER），2）它还具有很好的跨数据集测试推广性（特别是从CASIA-MFSD到Replay-Attack数据集的6.5%HTER 代 码 可 在 https://github.com/ZitongYu/CDCN上查阅。1. 介绍人脸识别以其方便性在许多交互式人工智能系统然而，呈现攻击（PA）的脆弱性限制了其可靠部署.仅仅向生物识别传感器呈现打印的图像或视频就可以欺骗面部识别表示通讯作者图1.香草卷积（VanillaConv）和中心差分卷积（CDC）的特征响应，用于在移位域中欺骗面部（照明输入相机）。VanillaConv无法捕获一致的欺骗模式，而CDC能够提取不变的详细欺骗特征，例如，晶格伪影。系统. 演示攻击的典型示例是打印、视频重放和3D掩码。为了可靠地使用人脸识别系统，人脸反欺骗（FAS）方法是很重要的，以检测这样的演示攻击。近年来，一些基于手工制作的特征[7，8，15，29，45，44]和基于深度学习的特征[49，64，36，26，62 ， 4 ， 19 ， 20] 已 经 提 出 了 用 于 呈 现 攻 击 检 测（PAD）的方法。一方面，经典的手工制作的描述符（例如，局部二进制模式（LBP）[7]）利用邻居之间的局部关系作为区分特征，这对于描述加尾可变信息（例如，彩色纹理、moir′e模式和噪声伪影）。另一方面，由于具有非线性激活的堆叠卷积操作，卷积神经网络神经网络（CNN）具有很强的表征能力来区分真实和PA。然而，基于CNN的方法专注于更深层次的语义特征，这在描述生活之间的详细细粒度信息打印攻击1香草中央差异Convolution卷积不一致一致打印攻击25296欺骗和欺骗面部并且在环境变化时容易无效不同的光照明）。如何将局部描述符与卷积运算相结合，以实现鲁棒的特征表示是一个值得探索的问题。最新的基于深度学习的FAS方法是通常建立在基于图像分类任务的骨干[61，62，20]上，例如VGG [54]，ResNet [22]和DenseNet [23]。网络通常由二进制交叉熵损失来监督，它很容易学习任意模式，如屏幕边框，而不是欺骗模式的性质为了解决这个问题，已经开发了几种深度监督FAS方法[4，36]，其利用伪深度图标签作为辅助监督信号。然而，所有这些网络架构都是由人类专家精心设计的，这可能不是FAS任务的最佳选择因此，自动发现最适合的网络FAS任务与辅助深度监督应予以考虑。大多数现有的最先进的FAS方法[36，56，62，32]需要多个帧作为输入来提取动态时空特征（例如，运动[36，56]和rPPG [62，32]）。然而，长视频序列可能不适合需要快速做出决定的特定部署条件因此，尽管与视频级方法相比性能较差，但从可用性的观点来看，帧级PAD方法到设计高性能的帧级方法至关重要用于实际FAS应用。受上述讨论的启发，我们提出了一种新的卷积算子称为中心差分卷积（CDC），它擅长描述细粒度的不变信息。如图1，CDC更可能提取固有的欺骗模式（例如，lattice artifacts）比vanilla convolution更适合不同的环境。此外，在一个专门设计的CDC搜索空间，神经架构搜索（NAS）被用来发现优秀的帧级网络的深度监督人脸反欺骗任务。我们的贡献包括：• 我们设计了一种新的卷积算子，称为中心差分卷积（CDC），对于FAS任务，由于其在不同环境中对不变细粒度特征的显着表示在不引入任何额外参数的情况下，CDC可以取代现有神经网络中的香草卷积和即插即用，以形成具有更强大建模能力的中央差分卷积网络（CDCN）。• 我们提出了CDCN++，一个扩展版本的CDCN，包 括搜 索骨 干 网络 和多 尺 度注 意力 融 合模 块（MAFM）的聚集，有效地门控多级CDC特征• 据我们所知，这是第一种为FAS任务搜索神经结构的方法。不同从先前的基于分类任务的NAS监督的softmax损失，我们搜索的深度监督的FAS任务在一个专门设计的CDC搜索空间的帧级网络非常适合• 我们提出的方法实现了最先进的perfor-曼斯在所有六个基准数据集内以及跨数据集测试。2. 相关工作面部防欺骗。传统的人脸反欺骗方法通常从人脸图像中提取手工特征几个经典的局部描述符，如LBP [7，15]，SIFT [44]，SURF [9]，HOG [29]和DoG [45]用于提取帧级特征，而视频级方法通常捕获动态线索，如动态纹理[28]，微运动[53]和眨眼[41]。最近，一些基于深度学习的方法被提出用于帧级和视频级人脸反欺骗。对于帧级方法[30，43，20，26]，预训练的深度CNN模型经过微调，以在二进制分类设置中提取特征。相比之下，引入辅助深度监督FAS方法[4，36]以有效地学习更详细的信息。另一方面，提出了几种视频级CNN方法，以利用PAD的动态时空[56，62，33]或rPPG [31，36，32]特征。尽管实现了最先进的性能，但基于视频级深度学习的方法需要长序列作为输入。此外，与传统的描述符相比，CNN很容易过拟合，并且很难很好地概括看不见的场景。卷积算子卷积算子通常用于深度学习框架中提取基本视觉特征。最近已经提出了对vanilla卷积算子的扩展。在一个方向上，经典的局部描述符（例如，LBP [2]和Gabor滤波器[25]）被考虑到卷积设计中。代表性的工作包括局部二进制卷积[27]和Ga- bor卷积[38]，分别提出用于节省计算成本和增强对空间变化的抵抗力。另一个方向是修改聚合的空间范围。两个相关的工作是di-alated卷积[63]和变形卷积[14]。然而，这些卷积算子可能不适合FAS任务，因为有限的表示能力不变的细粒度特征。神经架构搜索。我们的工作受到最近对NAS的研究的启发[11，17，35，47，68，69，60]，而我们专注于寻找具有高性能的深度监督模型，而不是用于面部反欺骗任务的二进制分类模型。现有的NAS方法主要有三类：1）基于强化学习[68，69]，2）基于进化算法[51，52]，以及3）基于梯度[35，60，12]。大多数NAS方法搜索5297在一个小的代理任务上进行网络连接，并将找到的体系结构转移到另一个大的目标任务。从计算机视觉应用的角度来看，NAS已被开发用于人脸识别[67]，动作识别[46]，人ReID [50]，对象检测[21]和分割[65]任务。据我们所知，没有NAS为基础的方法已经提出了面对反欺骗任务。为了克服上述缺点并填补空白，我们使用新提出的卷积算子在专门设计的搜索空间上搜索帧级CNN，用于深度监督FAS任务。输入特征映射中心差分输出特征图Conv扩大采样聚合图2. 中央差分卷积。Σ3. 方法y（p0）=pn∈Rw（pn）·（x（p0+ pn）− x（p0））.（二）在本节中，我们将首先在第3.1节中介绍我们的中心差分卷积，然后在第3.2节中介绍用于面部反欺骗的中心差分卷积网络（CDCN），最后在第3.3节中介绍具有注意力机制的搜索网络（CDCN++）。3.1. 中心差分卷积在现代深度学习框架中，特征图和卷积以3D形状（2D空间do）表示当pn=（0，0）时，相对于中心位置p0本身的梯度值总是等于零。对于人脸反欺骗任务，强度级语义信息和梯度级细节信息对于区分真实人脸和欺骗人脸都是至关重要的，这表明将香草卷积与中心差分卷积相结合可能是一种可行的方式，以提供更鲁棒的建模能力。因此，我们将中心差分卷积推广为Σ主要和额外的通道尺寸）。作为卷积运算-为了简单起见，在本小节中，卷积在2D中描述，而扩展到3D是直接的。y（p0）=θ·w（pn）·（x（p0+pn）−x（p0））pn∈R联系我们中心差分卷积Σ（三）香草卷积。由于2D空间卷积是CNN中用于视觉任务的基本操作，因此在这里我们将其表示为vanilla卷积，并首先简要回顾一下那里+（1−θ）·w（pn）·x（p0+pn），pn∈R联系我们香草卷积在2D卷积中有两个主要步骤：1）在输入特征图x上采样局部感受野区域R;2)通过加权求和对采样值进行聚合因此，输出特征图y可以被公式化为Σy（p0）=w（pn）·x（p0+pn），（1）pn∈R其中p0表示输入和输出特征地图上的当前位置，而pn枚举R.例如，对于3×3核和伸缩1的卷积运算，局部感受野区域为R={（−1，−1），（−1，0），···，（0，1），（1，1）}.香草卷积符合中心差异。在-其中超参数θ∈[0，1]权衡了强度级和梯度级信息之间的贡献。θ的值越大，意味着中心差分的重要性越大参考梯度信息。此后，我们将把这种广义的中心差分卷积称为CDC，根据其上下文应该很容易识别。CDC实施。为了在现代深度学习框架中有效地实现CDC，我们分解并合并了Eq.（3）加入附加中心差分项的vanilla卷积Σ Σy（p0）=w（pn）·x（p0+ pn）+ θ·（−x（p0）·w（pn））.pn∈Rpn∈R受著名的局部二进制模式（LBP）[7]的启发，该模式用二进制中心差分的方式描述局部关系，我们还将中心差分引入到vanilla卷积中联系我们香草卷积联系我们中心差分项（四）以增强其表示能力和泛化能力。类似地，中心差分卷积也由两个步骤组成，即，采样和聚集。采样步骤与vanilla卷积类似，但聚合步骤不同：如示于图2、中心差分卷积倾向于聚集采样值的中心方向梯度。当量（1）成为根 据 等 式 （ 4 ） ， CDC 可 以 通 过 PyTorch[42] 和TensorFlow[1]中的几行代码轻松实现。Eq.（4）和基于Pytorch的代码见附录A。与以前的工作有关。在这里，我们讨论CDC和香草卷积，局部二进制卷积[27]和Gabor卷积[38]之间的关系，它们共享5298i=0时Oio∈Oo我相似的设计理念，但侧重点不同。消融研究见第4.3节，以显示CDC在面部反欺骗任务中的优越性能。与Vanilla Convolution有关。CDC更全面。从Eq可以看出。（3）当θ=0时，香草卷积是CDC的特殊情况，即，聚合没有梯度消息的局部强度信息。与 局 部 二 元 卷 积 的 关 系 [27]。 局 部 二 进 制 卷 积（LBConv）侧重于减少计算量，因此其建模能力有限。CDC专注于增强丰富详细的功能表示能力，无需任何额外的参数。另一方面，LBConv使用预定义的过滤器来描述局部特征关系，而CDC可以自动学习这些过滤器。与Gabor卷积的关系[38]。 伽柏卷积（ GaborConv ） 致 力 于 增 强 空 间 变 换 的 表 示 能 力（即，方向和尺度变化），而CDC更侧重于表示不同环境中的细粒度鲁棒特征。3.2. CDCN深度监督的面部反欺骗方法[36，4]利用基于3D形状的欺骗和活体面部之间的区分，并为FAS模型提供逐像素的详细信息以捕获欺骗线索。受此启发，本文建立了一个类似的深度监督网络[36]，称为“DepthNet”作为基线。为了提取更细粒度和鲁棒性更强的特征用于估计面部深度图，引入CDC，形成中心差分卷积网络（CDCN）。请注意，当所有CDC运算符的θ=0时，DepthNet是所提出的CDCNCDCN的细节示于表1中。对于一幅3×256×256的RGB人脸图像，提取多层次（低层、中层和高层）融合特征，预测32×32的灰度人脸深度。我们使用θ=0。7作为默认设置和消融关于θ研究将在4.3节中给出。对于损失函数，均方误差损失LMSE用于逐像素监督。此外，为了满足FAS任务中细粒度监督的需要深度损失LCDL[56]被认为有助于网络学习更详细的特征。因此，总损耗L_overall可以用公式表示为L_overall=L_MSE+L_CDL。3.3. 公司简介水平输出深度网[36]CDCN（θ= 0. 第七章）256 ×2563×3转换，643× 3CDC， 64低128 ×1283 ×3转换，128196mm×3conv128mm×3conv3×3最大样本池3× 3CDC， 128100× 3CDC， 196μm100× 3CDC，128mm3×3最大样本池中期64 ×643 ×3转换，128196mm×3conv128mm×3conv3×3最大样本池3× 3CDC， 128100× 3CDC， 196μm100× 3CDC，128mm3×3最大样本池高32 ×323 ×3转换，128196mm×3conv128mm×3conv3×3最大样本池3× 3CDC， 128100× 3CDC， 196μm100× 3CDC，128mm3×3最大样本池32 ×32[concat（Low，Mid，High），384]32 ×323 ×3转换，128103×3转换器，64mm3×3转化率，13× 3CDC， 128300× 3CDC， 64μm3× 3CDC， 1#参数6二、25 ×106二、25 ×10表1. DepthNet和CDCN的体系结构。在brack-ets内部是过滤器 大 小 和 特 征 维 度 。 “conv” and “CDC” 所 有 卷 积 层 的stride=1，之后是BN-ReLU层，而最大池层的stride=2。模块（MAFM）与选择性注意能力。正在搜索FAS任务的主干。我们的搜索算法基于两种基于梯度的NAS方法[35，60]，更多技术细节可以参考原始论文。本文主要阐述了在FAS任务中搜索主干的新如示于图3（a），目标是在三个级别（低级、中级和高级）中搜索小区，以形成用于FAS任务的网络骨干。受人类视觉系统中用于分层组织的专用神经元的启 发 [40] ， 我 们 更 喜 欢 自 由 地 搜 索 这 些 多 级 细 胞（即，具有不同结构的细胞），其更灵活和通用。我们将这种配置命名为4.3（见表2）。与以前的工作[35，60]不同，我们只采用最新传入单元的一个输出作为当前单元的输入。至于细胞级结构，图。图3（b）示出了每个小区被表示为N的有向非循环图（DAG），nodes{x}N-1，其中每个节点代表一个网络层。我们将操作空间表示为O，并且将图1表示为O。图3（c）示出了八个设计的候选操作（无、跳过连接和CDC）。DAG的每条边（i，j）表示信息，从节点xi到节点xj的信息流，包括由架构参数α（i，j）加权的候选操作。特别地，每个边（i，j）可以用公式表示为：一个函数o（i，j），其中o（i，j）（x）=η（i，j）·o（x）.从表1可以看出，CDCN被粗略地设计（例如，对于不同的级别简单地重复相同的块结构），这可能是子块结构。利用Softmax函数对体系结构参数进行把α（i，j）代入运算权o∈O，即η（i，j）=exp（α（i，j））n（i，j）.中间节点可以表示为针对人脸防欺骗任务进行了优化。 受班级的启发-o′∈Oexp（αo′） 的方式sical视觉对象理解模型[40]，我们提出作为xjΣ=i jon（i，j）（xi）和输出节点xN−1 是代表-一个扩展版本的CDCN++（见图1）。（5）由所有中间节点的加权求和基于NAS的骨干网和多尺度注意力融合xN−1=0< i< N −1β i（x i）。在这里，我们提出一个节点-O5299调整大小调整大小乙状空间空间空间注意注意大内核中内核小内核Conv层[MaxPool，低级特征中等特征高级特征Concat我OB4B3输出输入B2B1（b）细胞图4. 多尺度注意力融合模块。(a) 网络(c)操作空间uli在他们的感受野与各种关注。在这里，我们提出了一个多尺度注意力融合模块（MAFM），它能够通过空间注意力来细化和融合低-中-高级别的CDC特征。图3. 使用CDC架构搜索空间（a）网络由三个最大池层的堆叠单元组成，茎、头层采用3×3核的CDC，θ= 0。7 .第一次会议。(b)一个单元包含6个节点，包括一个输入节点、四个中间节点B1、B2、B3、B4和一个输出节点。(c)两个节点（输出节点除外）之间的边表示可能的操作。操作空间由八个候选者组成，其中CDC 2r意味着使用两个堆叠的CDC以先增加比率r的通道数，然后减小回到原始通道大小。如示于图 4，来自不同级别的特征F通过空间注意力[58]与感受野相关的核大小（即，高/语义级别应该与小注意力核大小，而在我们情况下具有大注意力核大小的低级别），然后连接在一起。细化特征F′可以用公式表示为F′=Fi<$（σ（Ci（[A（Fi），M（Fi）]），i∈ {low，mid，high}，注意力策略来学习重要性权重β， exp（β′）（六）其中⊙表示Hadamard乘积。A和M分别表示avg和max池层。 σ表示S形中间节点，即βi=βi′，其中0 j N−1exp（βj）βi是原始可学习权重βi′的softmax，中间节点Xi.在搜索阶段，Ltrain和Lval分别被表示为训练和验证损失，它们都基于第2节中描述的深度监督损失L。3.2.网络参数w和架构参数α为通过下面的双层优化问题学习：函数，而C是卷积层。香草卷-分别用7×7、5×5和3×3的核函数表示Clow、Cmid和Chigh本文没有选择CDC，因为它的整体语义认知能力有限这对空间注意力至关重要。相应的消融研究在第2.1.1节中进行。四点三。4. 实验minαLval（w≠（α），α），（五）4.1. 数据集和指标数据库。 六个数据库OULU-NPU [10]，SiW [36]，S.T. w（α）=arg minLtrain（w，α）W收敛后，最终的离散架构被分解，[57]第66话：我的世界，我的世界，我的世界和SiW-M [37]在我们的实验中使用。OULU-NPU和SiW是高分辨率数据库，包含四个和由以下公式得出：1）设置o（i，j）=arg maxo∈O，o/=nonep（i，j）;2）三个协议来验证泛化（例如， 看不见对于每个中间节点，选择一个输入边，照明和攻击介质），max的最大值o∈O，o/=nonep（i，j），和3）对于其用于内部测试。CASIA-MFSD，重播-每个输出节点，选择一个传入中间，将具有最大值max00. 3，CDC总是比vanilla卷积实现更好的性能（θ=0，ACER=3.8%），表明基于中心差异的(a)（b）第（1）款图6. (a)CDCN中θ的影响。(b)各种卷积之间的比较（仅显示具有最佳性能的超参数）。ACER越低，性能越好。表2.NAS构型的消融研究模型变异细胞节点关注ACER（%）NAS Model 1NAS Model 2NAS Model 3NAS Model 4√√√√1.71.51.41.3细粒度的信息有助于FAS任务。当θ = 0时，性能最好（ACER=1.0%）。7，我们使用此设置进行以下实验。除了保持所有层的θ不变外，我们还探索了一种自适应CDC方法来学习每一层的θ，如附录B所示。CDC与其他卷积。如第3.1关于CDC和先验卷积之间的关系我们认为，提出的CDC更适合FAS任务，因为不同环境中的详细欺骗伪像应该由基于梯度的不变特征表示。图6（b）示出CDC以较大的裕度（大于2%的ACER）优于其他卷积。有趣的是，LBConv比普通卷积性能更好，这表明局部梯度信息对于FAS任务是重要GaborConv的性能最差，因为它是为捕获空间不变特征而设计的，这对人脸反欺骗任务没有帮助。NAS配置的影响。表2显示了关于第2节中所述两种NAS配置的消融研究3.3，即，不同的细胞和节点的注意。 与共享单元、最后一个中间节点作为输出节点的基线设置相比，这两种配置都背后的原因是双重的：1）具有更灵活的搜索约束，NAS能够找到不同级别的专用单元，这更类似于人类视觉系统[40]，以及2）将最后一个中间节点作为输出可能不是最优的，而选择最重要的一个更合理。RGB输入深度图stem0stem1头0头1低电平单元格中电平单元格高电平单元格瓦尼亚孔夫LBConvGaborConvCDC（稀疏度=0.5）（U=4，V=3）（=0.7）3x256x256CDC64x256x256CDC128x256x256CDC_2_1.6128x128x128CDC_2_1.2CDC_2_1.4128x64x64CDCCDC_2_1.2128x32x32MAFM384x32x32CDC128x32x32CDC1x32x325302表3.基于主干网和MAFM的NAS的消融研究骨干多层次融合ACER（%）w/o NAS带NAS带多级连接带多级连接1.00.7带NAS带MAFM（3x3、3x3、3x3 CDC）1.2带NAS带MAFM（3x3、3x3、3x3VanillaConv）0.6带NAS带MAFM（5x5、5x5、5x5VanillaConv）1.1带NAS带MAFM（7x7、5x5、3x3VanillaConv）0.2表4. OULU-NPU四个协议的内部测试结果.我们只报告了在没有额外数据集的情况下训练的结果Prot.方法APCER（%）BPCER（%）ACER（%）GRADIANT [6]1.312.56.9[62]1.22.51.91辅助设备[36][26]第二十六话1.61.21.61.71.61.5FAS-TD [56]2.50.01.3[20]第二十话0.80.00.4CDCN（我们的）0.41.71.0CDCN++（我们的）0.40.00.2[20]第二十话11.40.66.0[26]第二十六话4.24.44.32辅助设备[36]GRADIANT [6]2.73.12.71.92.72.5[62]4.20.32.2FAS-TD [56]1.72.01.9CDCN（我们的）1.51.41.5CDCN++（我们的）1.80.81.3[20]第二十话11.7±19.610.6±14.111.1±9.43FAS-TD [56]GRADIANT [6]5.9±1.92.6±3.95.9±3.05.0±5.35.9±1.03.8±2.4[26]第二十六话4.0±1.83.8±1.23.6±1.6辅助设备[36]2.7±1.33.1±1.72.9±1.5[62]4.7±3.90.9±1.22.8±1.6CDCN（我们的）2.4±1.32.2±2.02.3±1.4CDCN++（我们的）1.7±1.52.0±1.21.8±0.7[20]第二十话36.7±29.713.3±14.125.0±12.74GRADIANT [6]辅助设备[36]5.0±4.59.3±5.615.0±7.110.4±6.010.0±5.09.5±6.0FAS-TD [56]14.2±8.74.2±3.89.2±3.4[62]6.7±10.68.3±8.47.5±4.7[26]第二十六话1.2±6.36.1±5.15.6±5.7CDCN（我们的）4.6±4.69.2±8.06.9±2.9CDCN++（我们的）4.2±3.45.8±4.95.0±2.9基于主干网和MAFM的NAS的有效性。提出的CDCN++由基于NAS的骨干网和MAFM组成，如图所示五、很明显，来自多个级别的单元是完全不同的，并且中间级别的单元具有更深的（四个CDC）层。表3显示了基于NAS的主干和MAFM的消融研究。从前两行可以看出，具有直接多级融合的基于NAS的骨干网优于（0.3%ACER）没有NAS的骨干网，表明我们搜索的架构的有效性。同时，采用MAFM的骨干网的ACER比直接多级融合的低0.5%，表明了MAFM的有效性。我们还分析了MAFM中卷积的类型和核大小，发现香草卷积更适合捕捉空间注意。此外，注意力核大小应该分别足够大（7x7）和小（3x3）以用于低级和高级特征。4.4. 内部测试在OULU-NPU和SiW数据集上进行帧内测试。我们严格遵守四个协议表5.SiW三种协议的内部测试结果[36]。Prot.方法APCER（%）BPCER（%）ACER（%）辅助设备[36]3.583.583.581[62]––1.00FAS-TD [56]0.960.500.73CDCN（我们的）0.070.170.12CDCN++（我们的）0.070.170.12辅助设备[36]0.57±0.690.57±0.690.57±0.692[62]––0.28±0.05FAS-TD [56]0.08±0.140.21±0.140.15±0.14CDCN（我们的）0.00±0.000.13±0.090.06±0.04CDCN++（我们的）0.00±0.000.09±0.100.04±0.05[62]––12.10±1.503辅助设备[36]8.31±3.818.31±3.808.31±3.81FAS-TD [56]3.10±0.813.09±0.813.10±0.81CDCN（我们的）1.67±0.111.76±0.121.71±0.11CDCN++（我们的）1.97±0.331.77±0.101.90±0.15OULU-NPU 和 SiW 上 的 三 个 协 议 进 行 评 估 。 包 括STASN [62]在内的所有比较方法都是在没有额外数据集的情况下进行训练的，以进行公平比较。关于OULU-NPU的结果。如表4所示，我们提出的CDCN++在所有4种协议中排名第一（ACER分别为0.2%、1.3%、1.8%和5.0%），这表明该方法对外界环境、攻击介质和输入摄像机变化具有较 好 的 泛 化 能 力 。 与 其 他 最 先 进 的 方 法 不 同（Escherichiary [36]、STABILITY [62]、GRADIANT[6]和FAS-TD [56]）该方法提取多帧动态特征，只需要帧级输入，适合于实际应用。值得注意的是结果在SiW。表5比较了在SiW数据集上，我们的 方 法 与 三 种 最 先 进 的 方 法 Escherichiary [36] ，STSTABILITY [62]和FAS-TD [56]。从表5可以看出，我们的方法执行最好的为所有三个协议，揭示了良好的泛化能力的CDC（1）的变化，面部姿势和表情，（2）不同的欺骗媒体的变化，（3）交叉/未知的介绍攻击。4.5. 内部测试为了进一步验证模型的泛化能力，我们分别进行了跨类型和跨数据集测试，以验证模型对未知呈现攻击和未知环境的泛化能力交叉测试。遵循[3]中提出的协议，我们使用CASIA-MFSD [66]，Replay-Attack [13]和MSU-MFSD[57]来执行重放和打印攻击之间的数据集内交叉类型测试。如表6所示，我们提出的基于CDC的方法实现了最好的总体性能（甚至优于基于零射击学习的方法DTN [37]），这表明我们在未知攻击中一贯具有良好的泛化能力。此外，我们还对最新的SiW-M [37]数据集进行了跨类型测试，并在13次攻击中获得了最佳的平均ACER详细结果见附录C。5303表6.对CASIA-MFSD、重放攻击和MSU-MFSD的模型交叉型测试的AUC（%）方法[66]第六十六话[13]第十三话MSU-MFSD [57]整体视频剪切照片包装照片视频数码照相打印照片打印照片HR视频移动视频OC-SVMRBF +BSIF [3]70.7460.7395.9084.0388.1473.6664.8187.4474.6978.68±11.74SVMRBF +LBP [1]91.9491.7084.4799.0898.1787.2847.6899.5097.6188.55±16.25NN+LBP [59]94.1688.3979.8599.7595.1778.8650.5799.9393.5486.69±16.25[第37话]90.097.397.599.999.999.681.699.997.595.9±6.2CDCN（我们的）98.4899.9099.80100.0099.4399.9270.82100.0099.9996.48±9.64CDCN++（我们的）98.0799.9099.6099.9899.8999.9872.29100.0099.9896.63±9.15表7. CASIA-MFSD和Replay-Attack之间的跨数据集测试结果。评估指标为HTER（%）。在上半部分中示出了基于多帧的方法，而在下半部分中示出了基于单帧的图7. 当在Protocol-1 OULU-NPU上训练时，CDCN在开发和测试集上的性能。跨数据集测试。 在这个实验中， 两个跨数据集测试协议。一是对CASIA-MFSD协议进行训练，并对重放攻击协议CR进行测试;第二种是将训练数据集和测试数据集进行交换，称为RC协议。如表7所示，我们提出的CDCN++在方案CR上具有6.5%的HTER，以令人信服的11%的裕度优于现有对于RC协议，我们的性能也优于最先进的帧级方法（参见表7的下半部分）。通过在辅助[36]和FAS-TD [56]中引入类似的时间动态特征，可以进一步提高性能4.6. 分析和可视化。在本小节中，提供了两个视角来演示CDC表现良好的原因分析。对域转移的鲁棒性。OULU-NPU的协议-1用于验证CDC在遇到域移位时的鲁棒性，即，训练/开发和测试集之间存在巨大照明图7显示，使用vanilla卷积的网络在开发集（蓝色曲线）上具有较低的ACER，而在测试集（灰色曲线）上具有较高的ACER，这表明vanilla卷积在可见域中容易过拟合，但在照明变化时泛化能力较差。相比之下，具有CDC的模型能够在开发（红色曲线）和测试集（黄色曲线）上实现更一致的性能，表明CDC对域转移的鲁棒性。功能可视化。多层次分布协议1 OULU测试视频的融合功能-NPU如图所示8通过t-SNE [39]。很明显(a) 不含疾病控制和预防中心（b）不含疾病控制和预防中心图8. 特征分布的3D可视化。 (a)Fea- 不含CDC。(b)特点w/CDC.使用的颜色代码：红色=实时，绿色=打印机1，蓝色=打印机2，青色=重放1，黑色=重放2。CDC的特点（图）8（a））呈现出比香草卷积更好的聚类行为（图1A）。8（b）），其展示了CDC区分活体人脸与欺骗人脸的辨别能力。MAFM的特征图（w/o或w/ CDC）和注意力图的可视化见附录D。5. 结论和未来工作在本文中，我们提出了一种新的算子称为中心差分卷积（CDC）的人脸反欺骗任务。在CDC的基础上，设 计 了 一 个 中 心 差 分 卷 积 网 络 。 我 们 还 提 出 了CDCN++，包括一个搜索CDC骨干和多尺度注意力融合模块。大量的实验验证了所提出方法的有效性。我们注意到，CDC的研究仍处于早期阶段。 未来的发展方向包括：1）为每一层/通道设计上下文感知的自适应CDC; 2）探索其他属性（例如，Do-主要概括）和对其他视觉任务的适用性（例如，图像质量评估[34]和FaceForensics）。致谢这项工作得到了芬兰科学院的MiGA项目（拨款316765），ICT 2023项目（拨款328115）和InfotechOulu的支持。还有作者希望感谢芬兰CSC-IT方法火车测试火车测试CASIA-MFSD重播-攻击重播-攻击CASIA-MFSD[5]第五话50.147.0[16]第十六话49.760.6[62]31.530.9辅助设备[36]27.628.4FAS-TD [56]17.524.0LBP [7]47.039.6光谱立方体[48]34.450.0颜色纹理[8]30.337.7[26]第二十六话28.541.1CDCN（我们的）15.532.6CDCN++（我们的）6.529.85304引用[1] Mart'inAbadi，PaulBarham，JianminChen，ZhifengChen ， Andy Davis ， Jeffrey De