没有合适的资源?快使用搜索试试~ 我知道了~
基于远程光电体积描记Si-Qi Liu,Xiangyuan Lan,and Pong C. 袁香港浸会大学计算机科学系{siqiliu,lanxiangyuan,pcyuen}@ comp.hkbu.edu.hk抽象。3D面具人脸呈现攻击作为人脸识别中的一个新挑战,越来越受到人们的关注。最近,远程光电容积描记术(rPPG)被用作独立于掩模外观的内在活性提示尽管现有的基于rPPG的方法在数据集内和跨数据集场景上都实现了有希望的结果,但是当rPPG信号被噪声污染时,它们可能不够鲁棒 在本文中,我们提出了一个新的活性功能,称为rPPG对应功能(CFrPPG),以精确地识别心跳痕迹从观察到的噪声rPPG信号。 为了进一步克服全局干扰,我们提出了一种新的学习策略,它将全局噪声内的CFrPPG功能。大量的实验表明,所提出的功能不仅优于国家的最先进的rPPG为基础的方法对3D掩模攻击,但也能够处理的实际情况下,昏暗的光线和摄像机运动。关键词:人脸呈现攻击检测·3D掩模攻击·远程光电体积描记1介绍人脸识别技术已经广泛应用于许多应用领域,特别是移动设备和电子商务的广泛访问控制。因此,人脸识别系统的安全问题越来越受到关注。尽管其实用性和便利性,但随着社交网络的蓬勃发展,人脸识别系统可以以非常低的成本获得和滥用人脸印刷品和屏幕是进行面部呈现攻击的两种传统媒介,并且在检测到面部呈现攻击时已经看到了这种攻击[1- 16]。已经研究了各种各样的活性线索,并取得了有希望的结果,例如纹理[5,9,12,14],图像质量[15],反射模式[13]和呈现攻击工具的上下文[16],以及包括眼睛运动[8],嘴巴运动[17]和面部表情[9]的运动线索。近年来,随着3D重建和3D打印技术的快速发展,3D掩模攻击越来越受到人们的关注。我们可以很容易地-2刘思琪,兰香媛,庞C. 袁32c、F不rPPG对应特征(CFrPPG)用于3D面罩面部PADHz过滤响应10局部rPPG信号c、F43210不自学习Hz频谱模板−1分类器全局噪声输入视频c、F不决定96Hz3局部rPPG信号对应特征0Fig. 1. 建议的CFrPPG功能以可承受的价格使用正面面部图像1来制作3D掩模。虽然基于纹理的方法可以在检测Thatsmy面罩上取得有希望的结果[18],但Liu等人。 指出了超真实掩模的挑战和实际交叉数据集场景下的泛化能力差[19]。因此,他们提出了一种基于面部心跳信号的新的活性提示-远程Pho-toplethysmography(rPPG),其通过对心跳引起的肤色变化进行建模来测量血液脉搏流量。由于3D掩模材料的低透射率,这样的活性信号只能在真实的面部上观察到由于rPPG与外观无关,因此该方法可以很好地检测超真实掩模,并在数据集内和跨数据集场景下实现令人鼓舞的性能。通过在频域中分析rPPG信号来提取活性特征是直观的。Li等人从面部中心提取rPPG信号并设计频谱特征[20]。Liu等人提出了局部rPPG解决方案以从面部rPPG信号获得空间结构信息。假设心跳组不受干扰并且所述子节点的情况不被移动,然而,现有的方法隐含地假设信号频谱的最大值这样的假设在噪声可以支配观察到的信号的实际场景中并不总是有效的例如,当存在诸如相机运动的全局噪声时,掩模可能被误分类为真实面部,因为大的周期性出现在信号频谱上。在这种情况下,来自局部面部区域的rPPG信号的互相关[19]可能不起作用,因为它不仅增强了脉搏信号,而且放大了共享的全局噪声。此外,真实面部上的rPPG信号在昏暗光下或具有小的面部分辨率时可能是有噪声的当心跳强度低于环境噪声的心跳强度时,可能错误地拒绝真实1www.thatsmyface.com用于3D面罩面部PAD的rPPG对应特征3因此,如何从观测到的噪声rPPG信号中精确地识别心跳信息对于基于rPPG的面部呈现攻击检测(PAD)是关键的。为了实现这一点,我们基于局部面部区域共享相同心跳模式的特性提出了一种新的基于rPPG的3D掩模PAD特征[21]。对于输入视频,我们首先使用从局部面部区域提取的rPPG信号频谱来学习心跳作为然后,我们使用学习的频谱模板和本地rPPG信号之间的对应关系作为验证响应来构造新的活性特征,即rPPG对应特征(CFrPPG)。所提出的CFrPPG可以更精确地反映活性证据,因为模板估计总结了来自多个引用的共享心跳分量。此外,该对应关系不仅包含心跳频率处的信号的幅度,而且还编码了详细的频谱信息。由于谱模板估计被设计为提取共性,因此在实践中也保持全局噪声为了解决这个问题,我们进一步考虑到从背景中提取的全局干扰,并提出了一种新的学习策略,将其纳入频谱模板估计。CFrPPG的框图如图1B所示。1.一、综上所述,本文的主要贡献在于:(1)提出了用于3D掩模PAD的rPPG对应特征(CFrPPG),以从观察到的噪声rPPG信号中精确地识别心跳痕迹。(2)提出了一种新的学习策略,将全局噪声与CFrPPG相结合, 以进一步克 服实际场景 中的全局干 扰为了评估 所提出的CFrPPG的可辨别性和鲁棒性,我们在两个3D掩模攻击数据集和具有连续相机运动和不同照明条件的重放攻击数据集上进行了广泛的实验。结果表明,CFrPPG不仅优于最先进的基于rPPG的方法3D面具攻击,但也能够处理现实环境中的照明和摄像机运动差。2相关工作人脸呈现攻击检测(PAD)已经被研究了几十年,并且现有的方法可以根据所采用的活性线索主要分为三类:基于外观的方法、基于运动的方法和基于rPPG的方法。基于外观的方法。基于外观的方法使用攻击媒体的伪像来检测面部呈现攻击。基于纹理的方法已用于面部反欺骗,并取得了令人鼓舞的结果- s [5,9,14,22]。 Maatta等人 使用多尺度LBP(MS-LBP)来挖掘细节纹理差异。 Agarwal等人使用冗余离散小波变换从不同尺度分析输入图像[22]。尽管它们在传统呈现攻击和3D掩模攻击检测方面表现良好[18],但它们在不同相机设置或照明下暴露出有限的泛化能力4刘思琪,兰香媛,庞C. 袁条件[13,19]。颜色纹理分析(CTA)[14]通过采用不同颜色空间(HSV和YCbCr)的特性提高了MS-LBP的可区分性和可推广性,但由于掩模的颜色缺陷可能不同或较小,因此可能无法进行3D掩模攻击[23]。基于图像质量分析[15]的方法使用图像质量测量特征的差异识别攻击仪器的质量缺陷,例如反射率[13]和反射率[24]虽然在传统的呈现攻击上验证了更好的泛化能力,但是这种方法可能对3D掩码不起作用,因为它们不包含像视频或图像那样的质量缺陷随着深度学习的蓬勃发展,深度特征最近已被用于面部PAD中,并表现出有前途的可辨别性[25,26]。然而,由于固有的数据驱动的性质的过拟合问题仍然没有解决。最近,研究表明掩模可以用不可见光很好地检测,例如,红外线或热感相机[27]。然而,它需要额外的设备,这对于使用RBG相机的现有面部识别系统来说可能是不基于运动的方法。面部运动在使用诸如眨眼[8]、基于人机交互(HCI)的嘴部运动[9]或无意识的细微面部肌肉运动[28]的模式来然而,这些方法可能对3D掩模攻击不起作用,因为在暴露眼睛和嘴的掩模上可以很好地保留上述运动[29]。此外,非刚性3D真实面部和2D平面攻击介质的运动模式是不同的,可以使用光流场[30]或背景区域的相关性[31]进行建模类似地,这些线索几乎不能很好地抵抗3D掩模攻击,因为3D掩模保留了真实面部的几何和外观属性此外,软硅胶面膜能够保持面部皮肤的细微运动,这使得基于运动的方法不太可靠。基于rPPG的方法rPPG是生物医学领域的一个新的研究课题,近年来已经有了一些新的研究成果[32- 35]。由于非接触性,rPPG在临床、医疗保健和情绪分析方面具有广阔的应用前景[34]。在先前的工作中已经探索了用于3D面罩面部PAD的rPPG的使用[19,20]。Li等人从面部的中心区域提取全局rPPG信号(绿色通道),并使用频谱的最大值和信噪比(SNR)对其进行量化[20]。 由于全局信号缺乏空间信息,Liu et al.使用CHROM [ 33 ]从局部面部区域提取rPPG信号,提出局部解决方案[ 19 ]。为了抑制随机环境噪声,他们应用每两个信号的互相关,并连接 最 大 频 谱 值 作 为 最 终 特 征 。 虽 然 它 们 在 3DMAD [18] 和 HKBU-MARsV 1 [19]上取得了令人鼓舞的结果此外,互相关将增强周期性全局噪声,因为它们在不同的局部面部区域上也共享相似的频率 Ewa等人 使用背景rPPG来克服这一点[36]。然而,频谱的直接使用可能不能很好地推广,因为rPPG信号强度在不同设置下变化。用于3D面罩面部PAD的rPPG对应特征5信号频谱信号信号√X频谱?频谱010020030001230100200300012301002003000123(a) 真面目(b) 戴着面具的脸(c) 不确定图二. 3D掩模呈现攻击检测(PAD)中的三种典型rPPG信号模式。理想地,来自真实面部和掩蔽面部的rPPG信号的差异是显著的。然而,在实际场景中,rPPG信号对于干扰是脆弱的3基于rPPG的面部PAD本节回顾并分析了基于rPPG的人脸呈现攻击检测方法的优缺点rPPG源自PPG,PPG是一种生物医学技术,其使用脉搏血氧计照射皮肤并测量心动周期期间血液泵送到真皮和皮下组织引起的光吸收变化[37]。与接触式PPG不同,rPPG在环境光下通过常规RGB相机远程测量心跳引起的肤色变化 当在面部PAD上应用rPPG时,覆盖活体面部的3D掩模阻挡心跳信号,使得可以通过识别信号是否可以被观察到来检测攻击(图2)。2)的情况。遵循这一原则,基于rPPG的解决方案不仅可以在3D掩模检测中有效,而且还可以用于传统的呈现攻击,例如打印和屏幕攻击,因为这些材料以相同的方式阻止心跳信号[20]。理想地,基于rPPG的解决方案可以在数据集内和跨数据集场景下实现高性能,因为观察到的心跳信号独立于攻击媒体的出现。大多数现有方法通过直接使用频域中的rPPG信号频谱的最大幅度来测量心跳强度[19,20]。尽管这些方法在现有的3D掩码攻击数据集上取得了有希望的结果,但我们发现了两个关键缺点:(1)最大幅度可以反映心跳强度的假设在实际应用中可能不成立。由于原则由于rPPG的目标是测量由心跳引起的细微颜色变化,因此rPPG信号在实际场景中是脆弱的。例如,在较差的照明条件下几乎无法观察到心跳幅度,因为信号强度依赖于到达血管的光量[19]。当存在诸如相机运动的全局噪声时,观察到的rPPG信号容易被污染[34]。6刘思琪,兰香媛,庞C. 袁在某些情况下,rPPG信号频谱和具有最大幅度的频谱可能不反映心跳(见图1)。第2段(c)分段)。此外,由噪声引起的强峰值也可能出现在从被掩蔽的面部提取的rPPG信号上,并且导致错误的接受误差。 虽然Liu et al. 使用局部rPPG信号的互相关来抑制随机噪声[19],当存在诸如手持引起的相机运动的全局噪声时,它仍然可能失败,因为互相关不仅会增强心跳分量,而且还会放大共享相似频率的噪声。(2)即使假设成立,信号频谱分布中包含的详细信息也会丢失。例如,在真实的面部上,隐藏在噪声中的心跳频率的谐波峰值可以用于提高可辨别性。43D面罩PAD为了克服现有的基于rPPG的3D掩模PAD方法的局限性,本文提出了一种新的rPPG对应特征(CFrPPG),可以精确地从观察到的噪声rPPG信号中识别活性证据4.1CFrPPG在识别活性信息之前,我们首先需要弄清楚观察到的rPPG信号中的真实心跳分量是什么。基于局部面部皮肤共享相同心跳频率的性质,我们提出通过总结局部rPPG信号的共性来提取心跳。而不是直接从观察到的rPPG提取其信号形式,我们建议使用相关滤波器框架将心跳建模为模板,并将其用作检测器来识别局部rPPG信号的活性成分。具体地,所提出的CFrPPG是通过获取局部rPPG信号频谱与自身学习的模板之间的对应关系来构造的。学习谱模板。直观地,我们想要训练总结反映心跳信息的局部rPPG信号的共性的模板。如图在图1中,对于输入面部视频,从基于面部界标定义的局部感兴趣区域提取局部rPPG信号。为了减少随机噪声,我们执行局部rPPG信号的互相关作为预处理,并获得它们的频谱s1,s2,. . .,s N(细节可以在Sect.4.3)。然后,通过求解以下岭回归问题来学习频谱模板:ΣN22minWi=1Siw−y注意,学习的频谱模板由向量w表示。方阵Si∈Rn×n包含局部rPPG信号频谱Si的所有循环移位,并且回归目标y是具有方差σ的1D高斯向量。用于3D面罩面部PAD的rPPG对应特征7我我⊙−我我方程中的目标函数。1是严格凸的,并且有唯一的全局极小值。通过取其导数并将其设置为等于零,我们可以获得学习的频谱模板的封闭形式的解决方案。n=(ΣNi=1SSi+λI)−1ΣNi=1宾馆(2)由于SHH这是一个很好的例子,我们有 =F diag(s)FanddS我我我我 =Fdiag(si)F,其中s*是conjugate,F是DFTmatrix,sisdiscreteFourrTransform(DFT)√nFs,H是Hermitian transposition. 方程的矩阵求逆2可以在傅立叶域中有效地解决[38]。频谱的DFT方程中的模板w可以通过如等式2中所示的频域中的逐元素运算来有效地获得。3,然后进行快速傅立叶逆变换(FFT),可以获得频谱模板w。ΣN*s⊙yw=Σi=1i(三)∗s⊙s +λ构造对应特征。给定自学习谱模板w,能够通过将w与局部rPPG信号si卷积来获得局部rPPG信号与学习谱模板之间的对应关系,即:ri=si⊙w(四)给定卷积输出阵列,可以通过峰值来反映对应性。由于相关滤波器被设计成检测具有尖锐峰值的目标,因此我们使用峰值锐度来测量对应性以实现更好的鉴别特性。 最常用的峰值锐度方法之一是peak-to-sideloberatio(PSR),定义为ri=(peakiµri)σri,其中kri、µri和σr i分别是响应的时间值、值和值。最后,我们将活性特征构造为l〇calrespo nse s的c on c at e n ion:x=[r1,r2,. . . ,r(N)。与频谱的最大幅度相比,所提出的CFrPPG可以更准确地反映活性标志,因为学习的频谱模板总结了来自局部rPPG信号的心跳分量。通过获取学习的模板和局部rPPG本身之间的对应关系4),在CFrPPG中采用心跳频率的响应和详细的频谱信息。此外,我们的CFrPPG对随机噪声是鲁棒的,因为输入局部rPPG频谱的模板估计(等式10)是基于输入局部rPPG频谱的模板估计。1)显式地抑制反映随机噪声的分集。因此,真实面部上的rPPG信号共享来自心跳的共性,使得这些信号和学习的频谱模板可以产生强对应性。对于被掩蔽的面部,观察到的信号不太一致,并且响应应相应地微弱。CFrPPG的计算是快速的 , 因 为 主 要 成 本 在 于 DFT 和 IDFT 。 计 算 复 杂 度是 O(NDlogD),其中N是局部rPPG信号的数量,并且D是每个信号谱si的维度。i=1N8刘思琪,兰香媛,庞C. 袁K ∈n×nnn×n∈t2 2n⊙我JJ我JK24.2噪声感知鲁棒CFrPPG正如在Sect中提到的。3、全局干扰对基于rPPG的人脸PAD有很大影响。例如,面部表情或运动可能污染真实面部的心跳信号并导致错误拒绝。此外,周期性噪声,如手持引起的相机运动可以被视为心跳,并引入虚假的接受误差。因此,我们将从背景区域提取的全局噪声考虑在内,并将其纳入频谱模板学习中(见图2)。①的人。此外,由于rPPG信号质量随不同的面部区域而变化[21],我们使用从较大的可靠区域提取的信号来学习鲁棒的全局频谱模板。为了在最终CFrPPG特征中保持足够的空间信息,从更精细的区域提取用于计算对应性的rPPG信号①的人。对于输入的人脸视频,我们提取M和N个局部rPPG信号,并使用它们的频谱st∈Rn和si∈Rn来训练全局频谱模板,并获得最终的活性特征。从相似区域大小内的背景中获取KrPPG信号频谱snRn以对全局噪声进行建模详细的区域选择策略可以在Sect.四点三。它们的对应-循环矩阵分别为St∈Rn×n,Sl∈R和S∈R背景噪声谱可视为硬负样本在模板学习期间。我们的目标是学习一个滤波器wRn,产生高响应的心跳信号,而几乎为零的响应全局噪声。为了实现这一点,我们将全局噪声抑制公式化为由参数γ控制的正则化器,进入等式(1)。一曰:ΣMminΣKSw−ySw(五)wi2i=12k=1Kǁ2应注意,K个噪声信号的总和隐含地拾取共享全局噪声并减少其它噪声,使得所学习的模板将不会被随机噪声抑制。类似地,由于目标函数Eq.5也是严格凸的,可以通过将梯度设为零来获得封闭形式的解:ΣMn=(ΣKStSt+λI+γΣMSnSn)−1简体中文(zh_cn)我我i=1KKk=1我i=1然后,由于St和Sn的循环特性,可以通过FFT在频域中有效地计算w:I k∗Mˆtw=ΣM∗sti=1siyΣKˆn∗ˆn(七)i=1i ⊙si+λ+γk=1sk⊙sk给定学习的模板w,我们通过rj=sl⊙w,j=1,. . . 、N. 新的概念将PSR表示为最终的函数:x=[r1,r∈2,. . . ,r(N)。Σ用于3D面罩面部PAD的rPPG对应特征94.3实现细节rPPG信号提取。给定一个输入视频,我们首先使用[39]中提出的CLNF提取和跟踪 68点面部标志,以确保每个局部区域可以精确定位。用于模板训练的rPPG信号和对应特征的构造是不同的。 如上图所示。1,我们从较大的面部区域提取rPPG信号,以学习鲁棒的rPPG信号谱模板。如图中底部图像所示 1中,从更精细的重叠区域提取对应特征中使用的rPPG信号,以获得足够的空间结构信息。 由于所提出的特征依赖于从小面部区域提取的rPPG信号,因此我们选择允许输入区域的不同大小的CHROM [33]作为rPPG传感器。 为了减轻随机噪声的影响,我们对原始rPPG信号执行[19]中使用的互相关运算以进行预处理。全局噪声提取。由于已经证明来自背景和面部区域的全局噪声共享相似的模式[36],因此我们通过使用CHROM [33]从背景区域提取rPPG信号来对全局噪声进行建模为了在摄像机运动下获得稳定的位置,使用面部标志作为参考来定位支票周围的矩形背景区域(参见图1B)。①的人。根据经验,这些区域的数量和大小被设置为类似于用于模板估计的面部区域,如图1B所示1.一、5实验我们对3D掩码攻击数据集(3DMAD)[29]和HKBU掩码攻击与真实世界变化数据集版本2(HKBU-MARsV 2)[23]及其组合进行实验,以评估我们提出的CFrPPG功能的有效性。为了进一步验证对全局噪声的鲁棒性,我们选择了重放攻击数据集(RAD)[40],其中包括更多的验证和实际情况,例如连续手持摄像机运动和不同的照明条件。实验是在数据集内和跨数据集测试协议下进行的。选择三种基于外观的方法和两种基于rPPG的方法作为基线方法。5.1基线方法和实施基线方法。由于在3DMAD上报告的有希望的性能,选择MS-LBP作为基线[18]。我们从归一化的面部图像中提取了一组LBP,以按照[18]中的设置形成833维特征向量还比较了在HSV和YCbCr颜色空间中使用LBP的颜色纹理分析(CTA),遵循[41]中的设置受深度学习成功的启发,我们还添加了一个深度特征提取器(简称CNN),它使用预先训练的VGGNet [42]来获得4096维特征向量。对于最先进的基于rPPG的方法,选择LrPPG [19]和GrPPG [20]进行比较。自脸PAD可以算是两级的10刘思琪,兰香媛,庞C. 袁MS-LBPCTACNNGrPPGLrPPGCFrPPGMS-LBPCTACNNGrPPGLrPPGCFrPPG关于我们×1 1 10.80.80.80.60.60.60.40.40.40.20.20.2010-310-210-1100虚假生存率(a) 3DMAD010-310-210-1100虚假生存率(b) HKBU-MARsV2010-310-210-1100虚假生存率(c) 组合图三.数据集内方案为了解决分类问题,具有其原始核设置的SVM被用作所有基线方法的分类器。参数设置。如图1,对于所有评估,我们选择3个面部区域和4个背景区域用于光谱模板学习。对应性特征是从从较小尺寸的9个重叠区域提取的rPPG信号获得的这些区域中的每一个都是4个单位区域的组合,并且它们是半重叠的。详情见补充材料。在3DMAD、HKBU-MARsV 2和RAD上分别设置参数σ、λ、γ为0.1、0.5、0.4、1、0.5、0.4和0.1、20、0.1。使用具有线性核的SVM进行分类。评价标准。AUC、EER、半总错误率(HTER)[18]和假活性率(FLR)等于0.1和0.01时的假假率(FFR)用作评价标准。对于数据集内评价,分别测量开发集(HTER dev)和测试集(HTERtest)上的HTER绘制了FFR和FLR的 ROC曲线,用于定性比较。5.2数据集内评价在3DMAD、HKBU-MARsV 2和组合数据集上进行了数据集内实验3DMAD 3DMAD 数 据 集 包 含 17 个 受 试 者 , 他 们 使 用 了 来 自Thatsmyface.com的自定义可穿戴面具,该面具已被证明能够欺骗流行的面部识别系统[29]。在受控照明条件下使用Kinect以640 480,30fps记录数据集我们遵循[19]中的留一交叉验证(LOOCV)协议设置,在3DMAD上随机进行受试者索引具体地,在将一个受试者作为测试集排除之后,选择8集由于随机受试者索引,我们进行了20轮LOOCV(每轮包含17次迭代),结果总结于表中。1和图第3(a)段。MS-LBPCTACNNGrPPGLrPPGCFrPPG假冒率假冒率假冒率用于3D面罩面部PAD的rPPG对应特征11×表1. 3DMAD上数据集内方案下的比较结果HTER偏差(%)HTER试验(%)EER(%)AUCFFR@FLR=0.1FFR@FLR=0.01MS-LBP [18]1.25 ±1.94.22 ±10.32.7199.71.283.62CTA [41]2.78 ±3.64.40 ±9.74.2499.31.6011.8CNN4.28 ±3.56.07 ±11.36.6398.92.9818.5GrPPG [20]13.5 ±4.313.3 ±13.314.492.216.436.0LrPPG [19]9.06 ±4.48.57 ±13.39.6495.59.5114.8CFrPPG5.95 ±3.36.82 ±12.17.4496.86.5113.6HKBU-MARsV 2为了评估更真实场景下的性能,我们还在HKBU-MARsV 2数据集上进行了实验,HKBU-MARs [23]数据集的子集包含12个具有两种类型面具的受试者:6个Thatsmyface口罩和6个来自REAL-f 2的高品质口罩。该数据集使用网络摄像机Logtech C920以1280× 720,25fps在室内光下记录。我们进行了20轮LOOCV,其中每次迭代包含5个受试者进行训练,其余6个受试者在留下1个测试受试者之后进行开发。实验结果总结于表1中。2和图3(b)款。表2. HKBU-MARsV 2数据集内方案下的比较结果HTER偏差(%)HTER试验(%)EER(%)AUCFFR@FLR=0.1FFR@FLR=0.01MS-LBP [18]20.5 ±8.924.0 ±25.622.585.848.695.1CTA [41]22.4 ±10.423.4 ±20.523.082.353.789.2CNN13.7 ±10.814.8 ±22.215.291.425.193.5GrPPG [20]15.4 ±6.716.1 ±20.516.489.418.632.9LrPPG [19]8.43 ±2.98.67 ±8.89.0797.08.5138.9CFrPPG3.24 ±1.94.42 ±5.14.0499.31.2417.8为了进一步评估各种应用场景下的性能,我们通过合并3DMAD和HKBU-MARsV 2作为组合数据集来扩大现有3D掩码攻击数据集的多样性组合数据集包含29个主题,2种类型的面具,2个相机设置和2个照明条件。我们在组合数据集上使用随机主题索引进行20轮LOOCV在每次迭代中,我们随机选择8个受试者进行训练,剩下的20个用于开发,留下1个测试受试者。实验结果总结于表1中。3和图3(c)款。值得注意的是,所提出的CFrPPG特征在三个掩码攻击数据集上优于最先进的基于rPPG的方法,并且在HKBU-MARsV 2和组合上达到特别是,CFrPPG优于2http://real-f.jp12刘思琪,兰香媛,庞C. 袁→→表3. 组合数据集上数据集内方案下的比较结果HTER偏差(%)HTER试验(%)EER(%)AUCFFR@FLR=0.1FFR@FLR=0.01MS-LBP [18]15.7 ±4.216.2 ±22.616.691.025.464.2CTA [41]18.4 ±5.819.5 ±21.518.987.742.995.7CNN13.5 ±5.914.6 ±20.614.593.521.271.5GrPPG [20]15.3 ±2.915.5 ±18.515.291.117.242.8LrPPG [19]8.69 ±1.59.16 ±11.99.2195.78.7929.4CFrPPG6.22 ±1.46.62 ±11.06.5497.65.1815.5HKBU-MARsV 2和组合数据集上的LrPPG差距较大。这是因为HKBU-MARsV 2是在不受控制的室内灯光下记录的(与3DMAD相比),这会导致噪声rPPG信号。与现有方法相比,该方法能在恶劣环境下更准确地提取心跳信息,具有更好的鲁棒性另一方面,基于外观的方法在3DMAD上达到了最好的性能,因为Thatsmy面具的纹理的可识别的质量缺陷然而,它们几乎不能检测HKBU-MARsV 2上的超真实RAEL-f掩模,并且不能适应组合数据集上应注意,由于深度特征的性质,CNN在通用性上超过MS-LBP但这也暴露了基于外观的方法在HKBU-MARsV 2和组合数据集上的弱点,这些数据集包含更多的多样性。相比之下,rPPG信号独立于掩模外观,因此基于rPPG的方法可以在实际场景中更好地推广。5.3跨数据集评价为了评估不同数据集之间的泛化能力,我们通过使用不同的数据集进行训练和测试来进行跨数据集实验。在进行3DMAD训练和HKBU-MARsV 2测试时,我们从3DMAD中随机选取8个科目进行训练,使用3DMAD中剩余的9个科目进行开发,并使用整个HKBU-MARsV 2进行测试。对于HKBUMARsV 2 3DMAD,在HKBU-MARsV 2上进行训练并在3DMAD上进行测试,我们从HKBU-MARsV 2中随机选择6个受试者由于受试者选择的随机性,我们还进行了20轮实验。如表4和图4所示,所提出的CFrPPG在基线方法中实现了最佳,这证明了更好的可推广性。没有- ed的CFrPPG实现了类似的性能,并优于GrPPG和LrPPG在一个更大的差距相比,在数据集内的3D掩模检测实验的结果。这是因为CFrPPG可以更精确地提取心跳信息,使得来自两个数据集的特征分布在特征空间中比现有方法更好地对齐。还注意到用于3D面罩面部PAD的rPPG对应特征13MS-LBPCTACNNGrPPGLrPPGCFrPPG3DMAD→HKBUMARSV2FFR@FFR@HKBUMARSV2→3DMADFFR@FFR@HTER(%)EER(%)AUC(%)FLR =0.1 FLR=0.01 HTER(%)EER(%)AUC(%)FLR = 0.1 FLR=0.01假冒率×1 10.8 0.80.6 0.60.4 0.40.2 0.2010-310-210-1100虚假生存率010-310-210-1100虚假生存率(a) 3DMAD→HKBUMARSV2(b)HKBUMARSV2→3DMAD见图4。交叉数据集协议表4. 3DMAD和HKBU-MARsV 2MS-LBP [18] 53.0 ±3.639.860.497.8100.032.8 ±11.532.575.358.587.8CTA [41]40.1 ±7.840.262.187.198.347.7 ±5.442.560.581.296.5CNN50.0 ±0.047.854.682.697.950.0 ±0.044.358.687.399.3GrPPG [20]24.3 ±7.118.586.737.878.515.7 ±6.815.487.220.694.5LrPPG [19]16.8 ±5.010.995.612.461.717.4 ±4.414.092.317.448.7CFrPPG2.51 ±0.15.0899.02.1919.62.55 ±0.15.8898.04.6612.4与数据集内测试相比,基于外观的方法的性能下降,这暴露了由于它们的数据驱动属性而导致的过拟合问题。5.4在更实际的场景中评估对全局噪声的鲁棒性现有的3D掩模攻击数据集是在受控设置下记录的,而无需改变照明条件或相机运动。为了进一步验证CFrPPG在更具挑战性和实用性的场景下对全局噪声的鲁棒性,我们在包含不同照明条件和连续摄像机运动的重放攻击数据集(RAD)上比较了基于rPPG的方法[40]。RAD包含来自50个主题的照片和视频攻击,具有较低的相机分辨率(320 -240)。虽然呈现媒体与3D掩模不同,但基于rPPG的方法基于相同的物理原理[20]工作。我们也通过排除噪声感知鲁棒性(CFrPPG−NAR)进行自我比较,即,设定γ= 0(等式5),验证鲁棒噪声感知学习策略的有效性。我们在RAD上进行20轮(每轮包含50次迭代)LOOCV,而不是使用[40]中提到的固定测试集分区。在每次迭代中,在留下1个测试对象之后,我们随机选择15个对象进行训练,其余34个用于开发。从表中的实验结果5和图五、MS-LBPCTACNNGrPPGLrPPGCFrPPG假冒率14刘思琪,兰香媛,庞C. 袁表5. RAD数据集内协议下基于rPPG的方法比较HTER偏差(%)HTER试验(%)EER(%)AUCFFR@FLR=0.1FFR@FLR=0.01GrPPG [20]30.5 ±3.130.3 ±13.431.073.966.597.2LrPPG [19]19.3 ±1.519.3 ±11.219.488.235.473.5−NARCFrPPG10.0 ±1.510.2 ±8.210.295.410.329.9CFrPPG6.00 ±1.46.11 ±6.96.1797.94.4817.810.80.60.40.2010-210-1100虚假生存率图五. 数据集内方案很明显,CFrPPG在更大的差距中优于其他3D掩模攻击数据集的结果。这是因为由于rPPG的原理,rPPG信号在弱光下或在相机运动的情况下更具噪声。因此,信号频谱的最大幅度可能不反映心跳信息。所提出的CFrPPG通过自学习模板与局部rPPG信号之间的对应关系解决了这一限制,使得CFrPPG −NAR在很大程度上优于GrPPG和LrPPG(参见图1B)。(五)。CFrPPG比CFrPPG-NAR获得了更好的性能,这验证了噪声感知学习策略的有效性。6结论为了从观测到的含噪rPPG信号中准确识别心跳痕迹,本文提出了一种新的CFrPPG特征,该特征将学习到的频谱模板与局部rPPG信号之间的对应关系作为活性特征。为了进一步克服全局干扰,提出了一种新的学习策略,它将全局噪声的模板估计我们表明,所提出的功能不仅优于国家的最先进的rPPG为基础的方法,但也能够处理更实际的和具有挑战性的场景,narios与照明差,并继续相机运动。此外,RAD上的CFrPPG结果表明其在处理一般面部PAD上的潜力7确认本研究获香港研资局通识研究基金(浸大12201215)部分资助。GrPPGLrPPGCFrPPG-NARCFrPPG假冒率用于3D面罩面部PAD的rPPG对应特征15引用1. Rattani,A.,Poh,N.,罗斯,A.:欺骗生物特征攻击的用户特定分数特征分析。在:CVPRW。(2012年)12. Evans,N.W. Kinnunen,T.,Yamagishi,J.:针对通用磁盘空间的欺骗和对策。 In:Inters eech. (2013年)9253. 帕夫利季斯岛Symosek,P.:自动面部/伪装检测系统中的成像问题。计算机视觉超越可见光谱:方法和应用。(2000年)14. 谭,X.,李,Y.,刘杰,Jiang,L.:基于稀疏低秩双线性判别模型的单幅图像人脸活性检测。In:ECCV.(2010年)15. M a¨a¨tta¨,J., Hadid,A. Pietiküainen,M. 使用微观纹理分析从图像中进行精确的检测。在:IJCB。(2011年)1、36. Anjos,A.,Marcel,S.:人脸识别中照片攻击的应对措施:公共数据库和基线。在:IJCB。(2011年)17. 张志,Yan,J.,Liu,S.,Lei,Z.,Yi,D.,李S.Z.:一个具有多种攻击的人脸反欺骗数据库。In:ICB.(2012年)18. 潘湾,孙湖,加-地吴志,Lao,S.:基于眨眼的反欺骗人脸识别从一个通用的网络摄像机。In:ICCV.(2007年)1、49. de Freitas Pereira,T.,Komulainen,J.,Anjos,A.,De Martino,J.M.,Hadid , A. ,Pietiküainen , M. ,Marcel , S.: Facel ivenedetectionusingdynamictexure。EURASIPJour nalonImgeandVideoProcessig2014(1)(201 4)110. Kose,N.,Dugelay,J.L.:人脸识别中的面具欺骗及其对策。ImageandVisionComp uting32(10)(2014)77911. Yi,D.,Lei,Z.,张志,李S.Z.:人脸防欺骗:多光谱方法。In:具有BiometricAnti-Spoofing的库。国审〔2014〕8312. Kose,N.,Dugelay,J.L.:基于形状和纹理的对抗面具攻击的人脸识别系统。在:CVPRW。(2013年)113. Wen,D.,汉,H.,Jain,A.K.:基于图像失真分析的人脸欺骗检测IEEETransactionnInformsi cnsic andSecur ity10(4)(2015)74614. Boulkenafet,Z.,Komulainen,J.,Hadid,A.:基于颜色纹理分析的人脸欺骗检测。IEEE Transactions on Information Forensics and Security 11(8)(2016)1818- 1830 1,3,415. Galbally,J.,Marcel,S.,Fierrez,J.:用于伪生物特征检测的图像质量评估 : 虹 膜 、 指 纹 和 人 脸 识 别 的 应 用 。 IEEE Transactions 〇 nMageprocessing23(2)(2014)710- 724 1,416. Komulainen,J.,Hadid,A.,Pietikainen,M.:基于上下文的人脸反欺骗。在:BTAS.(2013年)117. Kollreider,K.,Fronthaler,H.,法拉杰失踪人员Bigun,J.:实时人脸检测与运动分析及其在活体评估中的应用。IEEE Transactions on InFormalTionForensicandSecurity2(3)(2 0 07)54
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)