没有合适的资源?快使用搜索试试~ 我知道了~
14851新型人脸呈现攻击的检测与持续学习Mohammad Rostami1,Leonidas Spinoulas1,Mohamed Hussein1,2,Joe Mathai1,Wael Abd-Almageed11 USC Information Sciences Institute,Los Angeles,CA,90292 USA2亚历山大大学,埃及{mrostami,lspinoulas,mehussein,jmathai,wamageed}@ isi.edu摘要深度学习的进步,加上大型数据集的可用性,使人脸呈现攻击检测研究取得了令人印象深刻的改进。然而,现有技术的面部反欺骗系统仍然容易受到在训练期间从未见过的新型攻击。此外,即使正确地检测到这样的攻击,这些系统也缺乏适应新遇到的攻击的能力。在初始检测阶段之后,不断检测新类型攻击和自适应识别这些攻击类型的训练后能力在本文中,我们通过抑制训练样本分布之外的网络置信度,使深度神经网络能够检测观察到的输入数据点中的异常,作为潜在然后,我们使用经验重放来更新模型,以纳入有关新类型攻击的知识,而不会忘记过去学习的攻击类型。实验结果表明,所提出的方法的有效性,两个基准数据集,以及一个新引入的数据集,表现出各种各样的攻击类型。11. 介绍具有面部认证功能的智能手机已经使生物识别系统在我们的日常生活中非常普遍。此外,生物鉴别系统的应用不太普遍,但比较传统,但也很关键,如自动护照控制和对高度安全设施的出入控制随着基于生物识 别 技 术 的 服 务 越 来 越 受 欢 迎 , 呈 现 攻 击 检 测(PAD)正成为这些系统的一个更重要的要求同时,攻击者不断尝试通过设计新的攻击类型来获得未经授权的访问,这使得开发针对呈现攻击的防御机制PAD算法的目标是对系统的呈现输入是否是1代码可在github.com/mrostami1366上获得。真实呈现(BF)或呈现攻击(PA),从而拒绝PA的访问。虽然用于所有生物特征模态(诸如指纹和虹膜)的识别系统容易受到呈现攻击,但是由于容易访问大多数人的高分辨率面部图像(例如,通过社交媒体,并且由于面部PA的制造相对更容易。在本文中,我们专门关注面PAD。与计算机视觉中的大多数子领域类似,受神经系统启发的深度学习的进步[17]已经使用基于卷积神经网络(CNN)的端到端表示学习和分类[1,7,12,20,39,42,36,4,41]在基准数据集上实现了显著的面部PAD改进。遵循深度学习的监督学习的标准管道,收集由已知攻击和真实数据点组成的大型标记训练数据集,然后用于训练具有合适架构的深度网络[10,17,5]。使用上述用于PAD的流水线的漏洞在于,攻击者可以不断地生成系统未知的新在训练数据集中不存在。由于深度网络在其预测中存在过度自信[14],因此系统可能无法识别在初始训练后的推理时间生成的新攻击即使可以识别未知的攻击类型,标准的深度学习流水线也需要收集足够数量的新攻击类型的样本然后,模型需要在增强数据集上从头开始重新训练(或微调)[26]。然而,收集标记数据是耗时的,模型再训练在计算上是低效的,并且两者通常都涉及人为干预[24]。因此,非常希望使生物识别系统能够在部署期间即时识别新的攻击类型,然后自主地调整其分类模型以用于在未来识别这些新的攻击类型。我们开发了一种算法,不断检测新兴的新类型的脸PA。我们的目标是使系统能够识别新的PA。然后更新模型以学习新的攻击类型,使得它不会忘记14852∈我D∈→Zθθ我(xi,yi)∈D我θ θxq(x)θ过去学到的攻击类型我们的想法是基于使网络能够识别 新 的 攻 击 类 型 作 为 嵌 入 空 间 中 训 练 分 布 样 本(OTDS)之外的测试样本[11,29,40,19,4]。然后更新基础模型,以将这些样本分类为持续学习(CL)设置中的新攻击类型,其中使用经验重放[23]解决灾难性遗忘[3尽管在持续学习(CL)设置中是有效的,但是检测OTDS的想法尚未被探索用于PAD。我们工作的主要贡献如下:• 一个新的配方面PAD作为一个持续的学习问题,装备PAD系统的防御机制,允许学习新的攻击类型不断。• 一种算法,用于通过不断筛选输入数据表示来将新的攻击类型识别为OTDS异常,并使模型能够在将来通过经验重放将其正确分类为攻击。• 一个新的面部反欺骗数据集,具有不同的攻击类型,以评估我们的算法在CL设置。2. 相关工作我们的工作横跨两个主题的交叉点:新的面部PA的检测和持续学习。新颖的呈现攻击检测:新的类检测已经在几个学习环境中进行了研究。我们探索的学习设置与零激发学习(ZSL)公式[9,37,38,25]更相关。ZSL已被广泛研究,但ZSL的PAD的工作已经相当有限。大多数的OWL作品都提出了使用标准的基于语义的思想来描述一个样本来识别新的类。在这些作品中,它是假设一个新的类的语义描述是可访问的先验。然后可以通过在已知和未知类之间建立关系来识别新类,所述关系通过它们的语义描述。但是,请注意,为PA提供准确的语义描述是一项挑战。放松需要知道的语义描述先验,邵等。[32]提出了学习在几个源域上有区别的嵌入空间,以提高PAD模型在新域中的新PA上的可推广性。Liu等人。[13]使用未知类型的攻击与已知攻击类型之间的相似性进行零射击攻击检测。这两种方法都分析嵌入空间中的数据表示,并将新的攻击类型识别为不熟悉的数据点。我们的工作遵循类似的策略,其中新的攻击数据点被识别为OTDS。然后,我们使用收集的OTDS扩展的基础模型上确定的新的攻击类型的概括性。持续学习:在检测到新的攻击数据时在未来CL [2]最近针对深度神经网络的工作主要集中在解决灾难性遗忘[3]。它发生在深度神经网络更新以学习CL设置中数据分布的漂移时,这将导致过去学习任务的表现不佳。已经提出了几种策略来减轻catastrophic遗忘。一组方法基于调节深度网络权重参数[8]。我们的想法是确定的网络权重是很重要的,对过去学习的任务,巩固这些权重,根据其重要性,并学习新的任务,使用剩余的权重是不重要的,以记住过去学习的任务。主要的挑战是识别重要的权重,并最大限度地减少权重合并对网络学习能力的负面影响。第二组工作是基于经验重放的概念[3],其中深度网络的端到端训练机制被改变,而不是网络本身。这个想法是重放过去学习任务的数据点以及当前任务数据,以通过伪排练过程[23]更新模型,即,联合地根据过去和当前数据重新训练模型。由于在完整数据集上训练网络在计算上是昂贵的,并且存储容量是有限的,因此应该仅使用过去学习的任务的训练数据的子集。这些样本被存储在固定最大容量的存储器缓冲器中[30]。主要的挑战是如何选择这些样本。例如,Schaul et al.选择在过去的任务中不常见并导致最大学习效果的样本[30]。为了减轻对存储器缓冲器的需要,替代方法是使用生成模型。这个想法是使模型能够生成与过去任务的数据点类似的伪数据点,并使用伪数据点进行伪排练[33,28,27]。我们依靠基于记忆的经验重放来更新我们工作中的PAD模型。3. 问题陈述考虑具有初始标记训练数据的PAD任务00=X0,Y0,其中X0Rd× n0 是BF数据点和若干固定已知PA实例的集合,Y0R2×n0是PA和BF对应的独热二进制标签。假设训练数据点是独立同分布的(iid),并且从未知的概率分布x0q0(x)中提取。为了解决初始监督PAD检测任务,我们选择具有可学习参数θ0的参数化函数族fθ:RdR2。然后,我们使用经验风险最小化(ERM)搜索最θ0=argmineθ=argminE0( Ld ( f0 ( x ) ,f(x)点,基础模型需要不断更新以获得识别新识别的攻击类型的能力≈arg minΣ000 0 0(1)Ld(f(x),y),014853·DDDL·t=1{Z}D∈vWZ·→·→ Z其中d()是适当的鉴别损失函数,例如交叉熵,并且E()表示概率期望算子。在数据集0上训练基础深度网络模型时,PAD系统被现场测试。在图1中,我们将这个基础模型描述为PAD模块。如果n0足够大,所选择的深度网络结构是合适的,并且测试期间的观察数据是从训练分布q0(x)中提取的,那么根据PAC学习框架的理论保证,模型将在执行期间很好地泛化[31]。然而,如果在初始训练之后引入新类型的攻击或输入分布中发生任何漂移换句话说,该模型可能无法识别新的攻击类型,并将其误分类为真正的样本。为了实现稳健和自适应的PAD系统,我们将PAD的标准一次性训练/测试公式扩展到持续学习设置[2]。为此,我们认为在初始训练阶段之后,PAD任务按顺序到达我们认为系统遇到顺序PAD任务tTMax在时间序列t = 1,. . . ,TMaxduring execu-行动时间 每个任务由未标记的训练数据集t=Xt,XtRd× nt指定,该训练数据集是从固定时间段内观察到的输入数据点构建的,例如,一天后续任务的未标记数据集可以包含在学习先前任务时不存在的新攻击类型,即,任务可以具有不同的分布qt(x)。这意味着我们需要为PAD模块配备一种机制,使得系统可以在每个时间步识别数据集t中未知类型攻击的实例t,然后更新模型以学习它们(参见图1)。如果BF和所有过去学习的PA的标记数据是可访问的,则扩展模型以学习每种攻击类型将是类似于Eq.(一).我们只需要用检测到的新PA类型的实例来增强数据集0,然后重新训练基础模型。然而,这将需要具有无限大小的存储器缓冲区从头开始不断地重新训练模型也可能是计算上昂贵且耗时的。作为一种解决方案,我们的目标是通过只重放存储的训练数据的子集,将新的PA并入系统的知识来更新模型作为代表性样本(见图1)。在更新模型之后,系统通过迭代过程来学习后续任务。模型更新的主要挑战在于,由于可能总是遇到过去学习的攻击类型,因此系统必须扩展其识别所识别的新攻击类型的能力这意味着重放缓冲器中存储的样本需要使得它们可以对保留过去任务知识所需的信息进行编码。图1.提出的持续PAD学习系统的框图架构:1。 PAD模块在模型执行期间从输入数据流中识别新的攻击样本; 2.存储来自BF和PA类型的样本以构建数据集; 3.新样本和存储在重放缓冲器中的样本用于通过伪排练和重放缓冲器来更新模型图2.学习一组PAD类型后,在判别嵌入空间中的双峰数据表示。图1中提供了PAD持续学习框架的高级框图可视化。4. 该方法为了解决CL设置中的新攻击检测和模型更新的挑战,我们在被建模为深度编码器的输出的有区别的嵌入空间中不断地筛选数据表示。我们假设深度网络可以被分解成具有可学习参数v CNN的卷积层,以及具有可学习参数w的分类器子网络ht():一系列完全连接的层。这里,是判别嵌入空间,其中输入数据点在执行监督学习之后变得可分离。在具有良好泛化性能的深度神经网络的情况下,嵌入空间应该是有区别的,数据表示将形成双峰分布[35],类似于图2中的可视化。图2示出了在学习PAD任务之后,通过编码器子网络将输入数据分布PA和BF各自形成该分布的一种模式这两种模式之间的数据点越远离嵌入空间中的学习决策边界,分类器子网络对其预测就越有信心。在-嵌入空间PABF高置信区间PA高置信区间编码器分类器14854····1JNJJAugNJ|St|v我J|St| xt∈Stv我Jv我Jv我我 i=1日Neg1MJK我tΣ我--jj我爱你决策边界的BF侧上的嵌入空间中的置信区域是PAD模型的主要弱点高置信度假阴性)。如果一个新的攻击被设计成它位于这个过度自信的区域,模型将无法识别它。我们的目标是通过使用上述直觉筛选嵌入空间,使模型嵌入空间分布匹配训练分布外抽样嵌入空间添加第三类4.1. 新型攻击检测为了解决PAD系统在过度自信区域中的脆弱性,我们需要抑制模型在这些区域中的置信度。为此,我们拟合了一个参数分布来模拟嵌入空间中的学习双峰分布。我们的想法是基于扩展基本分类器子网络并将数据点分类为三类,即BF,PA和OTDS(见图3)。这个想法背后的直觉是,图3.新型PA检测方法:(左)GMM分布;(右)将第三输出添加到分类器,用于识别可能位于嵌入空间的过度自信区域中的PA,其被可视化为深灰色区域。然后,我们可以简单地将GMM参数估计为:t=|SJ|,μt=1t(xt),J xt∈St期望与EM中的训练数据不同床上空间这意味着如果输入位于双峰分布的分量之外Σt=1Ji j (3)Σ。t(xt)−t(xt)−我 J(q())拟合在嵌入上。因此,如果我们可以生成位于该分布之外的样本,即,直观地说,图3中的灰色区域,我们可以用训练数据来增加来自该区域的样本,并重新训练分类器子网络。因此,系统将能够在执行期间识别OTDS数据点。为了实现上述原理,我们需要在向前移动以在t+ 1开始学习之前估计分布p()=(q t())。在时间步长tpt()处学习的训练分布的经验版本由嵌入空间中的训练数据表示编码,(t(xt),yt)N2受原型网络的启发[34],我们将pt(z)建模为高斯混合模型(GMM):我们依赖于原型分布估计来生成训练分布之外的样本。我们从GMM分布中抽取随机样本,使样本位于过度自信区域(见图3)。为此目的,我们从标准多维高斯分布u(0,I)中抽取随机样本,然后根据变换μj+2Σ2u,j=1,2生成样本。很容易检查这些样本是否按照第j个样本的高斯分布进行GMM组件。 由于我们已经把它们画成距离均值两倍的协方差矩阵的根,所以它们更有可能位于j之外数据群集,如所示pt(z)=Σαtpt(z)|j)=αtNt(z|µt,Σt),(2)图3中的我们使用这种抽样策略来生成数据从过度自信的区域来扩展我们的模型2J Ij=12j j jjj=1考虑当Xj∈ Rd× m时,我们为第j个分量生成m个样本。我们固定概率阈值τ1其中αt表示每个数据模型的权重,即,然后构建一个伪数据集:BFs和P As的概率,pt(z|j)是经验类it tXNeg=[X1,X2],Y负=[Y1、Y2]条件概率分布,μj,Σj表示NegNegNegNeg分别为每个分量的均值和协方差估计GMM参数通常通过Xj=[Xj,. . . XJ],xjN(µj,Σj),j=1,2p(y =j|x)≤ τ,j=1,2,y=[0,0,1]。(四)期望最大化(EM)[16],它可以是一个compu-kk国家昂贵的程序。然而,由于我们已经访问了数据点的标签,我们可以解耦GMM组件,并使用MAP估计独立地计算每个组件的GMM参数考虑St为由方程式(4)利用GMM预测的隶属度概率,将所有生成的样本中接近GMM均值的样本排除为分布内部的样本。然后我们构建J列车中BF(j=0)和PA(j=1)的支持集扩充数据集Dt=(XAug=[X Neg ,Xt],Yaug=ing数据集,即, St={xt∈Xt|argmaxcpt(xt|c)=j}。[2]我们使用了一个轻微的符号滥用。我们假设(xt,yt)表示在时间t可用于训练的所有样本。正如我们将看到的,这些标记样本由在时间t检测到的新攻击类型组成,与在时间t-1从先前模型更新中选择并存储在重放缓冲区中的样本相结合。[YNeg,Y t])用于训练三元分类,然后重新训练扩展的分类器子网络。注意,(Xt,Yt)表示最初训练网络的BF/PA作为上述过程的结果,当系统进行到时间步长t+1并且数据集Dt+1的样本是PA小说PA外部培训分布编码器分类器编码器分类器新型BF/PA14855NovbufNovAugNovNov∪ D−D≥D−ttNovNov我我我JJJWAugj,kJK 2KK我I,缓冲器θI,缓冲vI,缓冲vI,缓冲D·DDD∥−∥ ∀bufvi,buff如果在模型执行期间遇到了这种情况,则系统能够在分类器的第三输出处识别OTDS样本令Dt表示数据集Dt中的OTDS样本。我们算法1NACL(λ,BD,ITR)1:初始培训:2:输入:基础数据集D0=(X0,Y0),可以认为他们属于攻击类。如果我们重新训练3:初始训练:模型在级联数据集D0 ∪ D1∪上。. . Dt4:θ0=(w0,v0)=argminθL(fθ(x0),y0)该模型将很好地概括新的攻击类型。然而,这需要存储所有观察到的样本。在下面的部分中,我们将描述一种更有效的方法。4.2. 经验回放促进持续学习为了在时间t处形成Dt之后更新模型,我们执行5:原型分布估计:6:使用等式(3)并估计α0、µ0和Σ07:给定预算BD,用0填充缓冲器8、不断学习:9:对于t = 1,. . . ,TMax do10:模型扩展11:使用等式(4)构建伪数据集,然后Dt形成经验重放[23],其依靠在学习之后存储观察数据的子集的重放存储器缓冲器12:针对三元分类,在t上重新训练ht()第13章:新型攻击检测每个任务,并在开始学习后续任务之前。让14:构建Dt从Dt到形成Dtt1buf测试缓冲区表示存储在存储器缓冲区中的数据点(参见15:使用等式15更新网络权重。(五)图1)。在每一批优化中,我们都包括样本16:原型分布估计:tt17:使用等式(3)并更新αt、µt和Σt从数据批次中的nov和buf两者中提取数据以更新模型。因此,该模型学习识别新的攻击,同时保留有关过去任务的学习知识。在我们的框架中唯一剩下的挑战是选择要存储在缓冲区中的样本的策略。简单的选择策略是随机地选择用于BF和PA类中的每一个的BD样本以存储在存储器缓冲器中CL文献中使用了多种策略来改进该基线采样策略,包括特征平均值(MoF)[21]、环形缓冲区[15]和储层采样[22]。由于我们将原型分布学习为GMM,因此我们也可以依赖于类似于MoF的策略在二进制分类设置中训练模型并拟合GMM之后,我们可以计算所有BF和PA与其对应的高斯分量的=µtxt2xts.t. yt=j. We对这些距离进行排序,分别针对每个类,并给定每类存储器预算BD,我们存储最接近聚类均值的样本。请注意,与正常CL设置相反,在我们的设置中,针对t1,预测新PA的标签。因此,更有可能正确预测接近均值的样本的标签。然而,当这些样本用于伪排练时,关于分布的较高时刻的信息丢失。其结果是,在未来的类的边界附近的区域中,模型预测精度有可能降低给定在t1时存储在缓冲器中的样本,我们解决以下用于模型更新的伪排练问题. ΣLd(f(x)+j j j18:用以下物质填充缓冲液不考虑到预算BD19:结束所识别的新样本和存储在存储器缓冲器中的样本。第三项被添加用于根据过去的经验一致地更新编码器子网络该项强制将存储器缓冲器中的样本映射到嵌入空间中的相同位置的邻近处<$t-1(xt)在更新模型以增强过去的倾斜特征之后。该项可以被认为是正则化项,以除了伪复述之外进一步减轻catastrophic遗忘。我们的算法,称为新 的演示攻击检测在连续学习(NACL),算法1中描述。5. PADISI-人脸数据集为了在有意义的设置中验证我们的算法,我们需要具有不同PA集的PAD数据集,但这种数据集在文献中很少。我们的工作的次要但重要的贡献是引入来自信息科学研究所的面部呈现攻击检测(PADISI-Face)数据集,其包括各种主要的面部欺骗攻击类型。据我们所知,目前唯一可访问的其他可比数据集是最近发布的HQ-WMCA面部反欺骗数据集[6]3。在PADISI-FaceDataset中,每次捕获由60帧1984×1264像素的图像序列的θ我ΣLd(ft(xtθ i,11月),yt)+11月1日(五)攻击总部-WMCA表1列出了收集的数据集以及HQ-WMCA,用于比较3具有多重攻击的野生数据库(SiW-M)人脸防欺骗λΣLr(t(xt),t−1(xt))Σ,数据集[13]是具有各种PA类型的另一个现有数据集SiW-M数据集包括各种攻击类型,类似于PADISI-Face。 然而,在这方面,其中λ是折衷参数。在Eq.(5)是简单的监督损失项SiW-M暂时无法进入因此,PADISI-Face可以用作θt=argmin),ytPADISI-Face数据集包含可比较的各种欺骗-我14856SiW-M的可能替代品PADISI-Face数据集可在https://github.com/ISICV/PADISI_USC_Dataset公开获得。14857表1.PADISI-Face数据集采集数据的统计总结以及与HQ-WMCA的比较[6]。数据集参与者捕获数量帧数善意捕获攻击捕获攻击性物种攻击类型帕迪斯-脸36020291217401105924379HQ-WMCA512904580805552349N/A11我们的方法的有效性。在JT设置中,我们在整个标记的训练数据集上训练模型,包括初始训练中的所有攻击类型。此设置提供了一个上限,该上限假定所有攻击类型都是已知的打印面具攻击化妆/纹身化妆化妆纹身局部攻击有趣的眼纸眼镜先验的FR是算法1的变体,其中我们假设存储器预算是无限的。因此,我们可以保存和重放缓冲区中存储的所有数据点。我们还报告了NACL的性能时,随机采样(RS)是用来选择缓冲液样品。在RS设置中,我们随机将选定的样本存储在内存缓冲区中。与RS进行比较,以考察效果图4.PADISI-Face数据集中的攻击实例儿子图4显示了数据集中所有攻击类型的实例。有关PADISI-Face数据集及其特征的详细信息,请参阅附录。6. 实验验证对于我们的实验,我们适应合适的基准数据集,并建立增量PA检测任务。给定一个具有多个类的数据集,我们假设基础网络最初是在攻击类型和真实样本的子集上训练的。其余的攻击类型观察到一组顺序到达的任务。在每个任务期间,检测新的攻击类型,并更新模型以学习它们。6.1. 实验装置数据集:我们使用HQ-WMCA [6]和适合我们学习环境的新PADISI-Face数据集这些数据集提供的未知攻击协议仅包含测试集中的未知攻击类型,不适合CL设置。因此,我们使用HQ-WMCA的Grandtest协议[6]首先将样本划分为训练集和测试集。该协议包含测试集中约1/3的样本,在训练集和测试集之间按比例划分每种攻击类型,同时确保两个集中的BF样本是参与者不相交的。对于PADISI-Face数据集,我们遵循相同的划分方案。对于这两个数据集,CL任务是使用训练集构建的,并在测试集上进行评估。比较基线:由于文献中没有先前的方法解决在这项工作中探索的连续PAD设置,我们使用三个基线来比较 所 提 出 的 方 法 。 将 所 呈 现 的 性 能 与 静 态 训 练(ST)、联合训练(JT)和完全重放(FR)进行比较。在ST设置中,我们报告了初始训练后基础模型的性能,当数据集中遇到新的攻击类型时,无需进一步该设置表示当观察到新PA时现有PAD算法的性能,并用作下限。相对于该基线的改善证明了相对有效性。使用所提出的抽样选择技术。为了公平比较,我们对RS和NACL方法使用相同的缓冲区大小我们将缓冲区大小设置为100个样本的固定大小,均匀填充BF和PA样本。评估协议:我们评估所有使用三个标准PAD性能指标的算法:攻击呈现分类错误率(APCER)、善意呈现分类错误率(BPCER)和平均分类错误率(ACER)。与常见的PAD评估设置相反,在该设置中,在对完整数据集进行训练之后执行评估,在一次测试中,仅报告单个数字,我们生成学习曲线来报告PAD性能与执行期间的时间,以在我们的评估中编码学习动态。在我们的实验中,我们使用每个数据集的类的原始索引顺序,作为攻击遇到的顺序。在每个时间步t,当学习到相应的任务并且在继续学习下一个任务之前,我们计算模型在测试集上的性能我们报告10个随机初始化运行的平均性能。有关实验设置的详细信息,包括网络结构、超参数值、优化参数和网络拓扑结构。eters,以及我们的实现,请参见附录。6.2. 结果与CL文献中的大多数作品类似,在我们的制定中,两个后续任务之间存在边界。此边界可归因于在数据收集一段时间后更新模型的实例。在模型未更新的每个任务或时段期间,系统可能遇到多于一种攻击类型。我们考虑两组实验进行彻底的验证。首先,根据数据集中使用的索引,我们认为我们实验中的初始训练任务由真实样本和仅第一种PA类型的训练组成每个后续任务都是通过引入一种新的攻击类型来构造的。我们在图5(a)中报告了我们的算法和基线的性能。在每个时间步,我们报告了数据集完整测试分割的模型性能。我们使用(1-APCER)、(1-BPCER)和(1-ACER)进行可视化,因为学习曲线通常被感知透明人体模型透明硅一半148581-BPCER(%)1-ACER(%)1-BPCER(%)1-ACER(%)ST RS FR NACL JTHQ-WMCA数据集90 100 90808595708060 90755085 704030 80652060751055HQ-WMCA数据集90 100 90809885709680609450927590 70408865308620846010825500 1 2 3 4 5 6 7 8 9 10700 1 2 3 4 5 6 7 8 9 10500 1 2 3 4 5 6 7 8 9 1000123458001234550012345任务任务PADISI-人脸数据集100908070605040302001234567 8任务10095908580757001234567 8任务10095908580757065605501234567 8任务100908070605040302001 23任务10098969492908886848248001 23任务100959085807570656045501 2 3 4任务(a)单次攻击学习设置的学习曲线。(b)双攻击学习设置的学习曲线。图5.两个实验的算法性能(最佳彩色视图和屏幕放大图增加功能。由于测试分割是固定的,成功的学习类似于上升的学习曲线。为了进行定量比较,我们在附录中以表格形式列出了指标的数值通过检查图5(a),我们观察到,正如预期的那样,ST在新的攻击类型方面非常脆弱,导致APCER和ACER指标的值很高。注意,BPCER的高值是预期的,但还不够。该基线表明,当前PAD系统的脆弱性,当遇到新的攻击,并证明有必要开发的算法,PAD在CL设置。当我们使用所设计的新的攻击检测机制,我们可以清楚地看到,性能显着提高对JT上限的更多的攻击被识别和学习。由于灾难性遗忘的发生,预计BPCER指标方面的性能下降,但我们看到APCER的改善请注意,RS、FR和NACL都配备了所提出的机制,它们的主要区别在于经验重放程序的实现。我们没有看到这些方法在所有指标上的明显赢家,但注意到NACL和RS在内存中存储的数据量明显少于FR(只有100个样本)。我们还注意到,在大多数的时间步长NACL优于RS。我们的结论是,经验重放是一种有效的方法来解决灾难性遗忘。一个最初的反直观的结果是,与CL文献相反,尽管存储和重放了所有样品,FR并没有明显优于NACL。然而,请注意,在所有RS、FR和NACL方法中,模型预测的标签(而不是地面真实值)都用于再训练过程。因此,FR可能更容易出现标签污染,因为所有样品都被储存,导致表2.标签污染比较:在学习PADISI-Face时,报告每个任务的污染标签百分比任务编号12345678NaCl0.03.20.55.73.82.010.59.8FR0.04.410.013.912.911.410.49.3Rs0.015.35.28.99.59.710.110.6随着时间的推移性能下降。为了验证这种直觉,在表2中,我们提供了FR,RS和NACL方法之间污染标签(存储在缓冲区中并用于重新训练)的百分比比较,用于PADISI-Face数据集任务的每个学习时间步长。正如所观察到的,FR确实面临着标签污染的挑战,导致类似于RS和NACL的性能下降值我们还观察到NACL在初始时间步长处的标记污染较少,这可以解释为什么在图5(a)中t=6之后,学习曲线饱和。该观察结果表明,与CL中的正常情况相反,由于标签污染,即使在没有内存预算限制在我们的第二组实验中,我们认为初始训练任务包括根据数据集中使用的索引对真正的样本进行训练,并且仅包括第一PA类型。随后的任务是通过在每个时间步引入两种新的攻击类型。这种设置更接近现实情况。我们已经在图5(b)中可视化了算法的学习曲线和基线。将结果与图5(b)的结果进行比较这一观察表明,即使在每个时间步中遇到多个攻击,我们的算法也是鲁棒的。我们还注意到,在BPCER度量方面的性能下降小于图5(a)。这一观察结果是预期的,因为与每个任务一次攻击的场景相比,基本模型的更新较少绩效改进1-APCER(%)1-APCER(%)1-BPCER(%)1-ACER(%)1-APCER(%)1-APCER(%)1-BPCER(%)1-ACER(%)14859表3.在单个PA/任务场景中,在执行时间内使用PADISI-Face数据集的任务进行消融研究。任务APCER(%)BPCER(%)宏碁(%)号FRRNGEDDEFRRNGEDDEFRRNGEDDE166岁。274岁6六十五362. 41 .一、20的情况。14.第一章47 .第一次会议。1三十三岁。7三十七3三十四8三十四82四十274岁8三十七839岁70的情况。30的情况。18. 8十五岁020块3三十七523岁3二十七岁4341岁874岁529岁8三十四60的情况。30的情况。010个。1十八岁421岁0三十七319号。9二十六岁5431岁674岁6二十七岁0二十四岁20的情况。30的情况。011个国家。119号。4十五岁9三十七319号。121岁85十七岁774岁823岁2十八岁01 .一、00的情况。011个国家。121岁09 .第九条。3三十七4十七岁119号。56十五岁775. 2十六岁4十三岁90的情况。70的情况。012个。721岁08. 2三十七6十四岁5十七岁57十四岁975. 020块4十三岁80的情况。60的情况。0十三岁319号。97 .第一次会议。7三十七5十六岁9十六岁88十三岁075. 2二十四岁9三十五30的情况。60的情况。0十三岁6十四岁4六、8三十七619号。2二十四岁9因此,灾难性遗忘的严重程度有所降低我们的结论是,我们的方法是有效的自动识别新的攻击和重新训练的模型。6.3. 分析和消融研究为了证明在NACL算法中使用的想法的重要性,我们进行烧蚀实验。我们考虑了每个任务的单次攻击场景,并在这些实验中使用了PADISI-Face数据集我们首先证明了检测OTDS样品的重要性。考虑未检测到OTDS样品,但使用二元预测基线更新模型。这意味着在CL设置中,我们总是存储在执行期间被标识为PA的所有测试样本,假设所有都是新的攻击类型,并使用它们在每个时间步更新模型。我们将这种方法称为无GMM(NG)。在第二个实验中,我们报告了使用真实标签(FRR)时FR设置的性能,即,在没有标签污染的情况下的性能这意味着在识别新的攻击数据点时,我们使用真实的标签来更新模型,而不是使用模型预测的标签。这些设置的性能结果总结在表3中。在APCER中测量的NG的极差性能表明,在持续学习设置中检测OTDS对于PAD是我们还观察到,当使用真实标签时,正如前面的讨论所预期的那样,FRR收敛到NACL的上限,接近图5(a)中可视化的JT性能。这一观察结果表明,改进我们算法的未来方向是解决标签污染的挑战[18]。我们还可以得出结论,为了进一步减轻灾难性遗忘,应该使用更大的缓冲区大小。我们还研究了我们的算法性能上遇到的PA的时间观察顺序的效果我们在实验中使用的顺序是任意的和预设的。但是在实践中,用户对在执行期间观察PA的时间顺序没有任何控制。出于这个原因,我们考虑两个极端的情况下订购。我们使用的PA检测模型的预更新困难,设置一个合成的时间排序PA类型。为此,我们开始学习数据集中类索引为1的PA。在学习了第一个任务之后,对于所有时间步长,我们计算模型在所有剩余PA类型上的性能。的检出率14860剩余PA是模型检测(或学习)它们的难度的度量。我们进行了实验,使用两个容易的困难(ED)和困难的容易(DE)排序。在ED场景中,我们选择具有最大检测率的PA作为下一个观察到的PA。该PA是系统在其余PA中最容易学习的从模型的角度来看,它是与学习的PA最相似的PA我们继续,直到所有的攻击都被观察到。在DE场景中,我们选择具有最低检测率的PA。ED和DE时间排序的结果报告于表3中。我们观察到,在这两种情况下,NACL算法能够提高模型的性能,因为遇到和学习更多的在观察所有PA之后的最终模型性能表示ED场景中的学习对于算法更容易。这一观察结果与我们的直觉一致,因为学习与先前观察到的攻击类型不太相似的新攻击更具挑战性。我们的结论是,特定的PA观察顺序影响我们的算法的性能,但我们的算法是有效的,在最坏的情况下。最后,我们强调,我们的方法是更强大的是减少假阴性预测。在附录中,我们已经证明,通过受益于新样本的手动注释,即,减少标签污染,我们可以大大减少假阳性预测。7. 结论我们研究的问题PA检测在一个不断学习的设置。我们提出的方法是基于筛选的数据表示在嵌入空间。我们使用GMM分布来估计嵌入空间中的学习训练数据分布我们使用该分布来使基础模型能够识别新的攻击类型作为外部训练分布样本。然后使用经验重放来我们还收集了一个新的数据集,其中包含各种类型的面部欺骗攻击。在两个数据集上的实验表明,我们的方法是有效的连续学习设置。未来的研究方向包括解决标签污染和考虑没有明确时间边界的任务。8. 确认这 项 研 究 是 基 于 由 国 家 情 报 总 监 办 公 室(ODNI),情报高级研究项目活动(IARPA),通过 IARPA 研 发 & 合 同 号 支 持 的 工 作 。 2017-17020200005.本文所包含的观点和结论不应被解释为必然代表ODNI、IARPA或美国政府。美国政府被授权复制和分发重印本用于政府目的,而不受任何版权注释。14861引用[1] Y.阿图姆岛Liu,中国粘蝇A. Jourabloo和X.刘某使用补丁和基于深度的cnns的人脸反欺骗。2017年IEEE国际生物识别联合会议(IJCB),第319-328页,2017年。1[2] Z. 陈湾,澳-地柳河,巴西-地Brachman,P.Stone和F.罗西 终 身 机 器 学 习 Morgan Claypool Publishers , 2ndedition,2018。二、三[3] R. M.法语联结主义网络中的灾难性遗忘。Trends inCognitive Sciences,3(4):128-135,1999. 2[4] A. George和S.马塞尔使用多通道卷积神经网络学习用于人 脸 呈 现 攻 击 检 测 的 一 类 IEEE Transactions onInformation Forensics and Security , 16 : 361-375 ,2021。一、二[5] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition,第770-778页,2016中。1[6] G. Heusch , A.Geo r ge , D.Geiss buühler , Z.Mostaani和S. 马塞尔深度模型和短波红外信息来检测人脸 呈 现 攻 击 。 IEEE Transactions on Biometrics ,Behavior , and Identity Science , 2 ( 4 ) : 399-409 ,2020。五、六[7] A. Jourabloo,Y.刘,和X。刘某面部去欺骗:通过噪声建模反欺骗。在V.Ferrari,M. 赫伯特C. Sminchisescu和Y. Weiss,编辑,计算机视觉– ECCV 2018Springer Interna-国家出版社。1[8] J. Kirkpatrick,R. Pascanu,N. Rabinowitz,J. Veness,G.Desja
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 李兴华Java基础教程:从入门到精通
- U盘与硬盘启动安装教程:从菜鸟到专家
- C++面试宝典:动态内存管理与继承解析
- C++ STL源码深度解析:专家级剖析与关键技术
- C/C++调用DOS命令实战指南
- 神经网络补偿的多传感器航迹融合技术
- GIS中的大地坐标系与椭球体解析
- 海思Hi3515 H.264编解码处理器用户手册
- Oracle基础练习题与解答
- 谷歌地球3D建筑筛选新流程详解
- CFO与CIO携手:数据管理与企业增值的战略
- Eclipse IDE基础教程:从入门到精通
- Shell脚本专家宝典:全面学习与资源指南
- Tomcat安装指南:附带JDK配置步骤
- NA3003A电子水准仪数据格式解析与转换研究
- 自动化专业英语词汇精华:必备术语集锦
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功