没有合适的资源?快使用搜索试试~ 我知道了~
虹膜纹理的非线性变形模型与身份保持
{skhan22, ptinsley, aczajka}@nd.edu9000DeformIrisNet:一种保持身份的虹膜纹理变形模型0Siamul Karim Khan,Patrick Tinsley,AdamCzajka,圣母大学,印第安纳州,美国0摘要0虹膜识别中,非线性的瞳孔大小变形是导致真实比对分数内类方差的主要因素之一。在主流的虹膜识别方法中,环形虹膜区域的大小被线性缩放为规范矩形,然后用于编码和匹配。然而,虹膜括约肌和散瞳肌的生物复杂性导致虹膜特征的运动在瞳孔大小的函数中是非线性的,并且不仅仅沿径向有序。本文提出了一种基于深度自动编码器的新型模型,可以直接从数据中有效地学习虹膜纹理特征的复杂运动。所提出的模型接受两个输入:(a)具有初始瞳孔大小的ISO兼容近红外虹膜图像,以及(b)定义虹膜目标形状的二进制掩模。该模型对虹膜纹理进行所有必要的非线性变形,以使图像(a)中的虹膜形状与目标掩模(b)提供的形状匹配。损失函数中的身份保持组件有助于模型找到保持身份而不仅仅是生成样本的视觉逼真度的变形。我们还展示了该模型的两个直接应用:与线性模型相比,更好地补偿虹膜纹理变形的虹膜识别算法,并创建了一个生成算法,可以帮助需要比较瞳孔扩张差异较大的虹膜图像的人类法医鉴定员。我们提供了本文附带的源代码和模型权重。01. 引言0人类虹膜是一种薄而圆形的结构,具有由细节特征定义的丰富而独特的纹理信息,如隐窝、脊、沟、环、冠、雀斑和锯齿状领圈。微小的虹膜图案和纹理是在胎儿期形成的。0虹膜纹理几乎不受基因的影响[8],使其即使对于同卵双胞胎来说也是独特的,并且在我们的左右眼中也是不同的。由于其独特性和稳定性,虹膜纹理是广泛用于识别的最可靠的生物特征之一。最近的研究结果[23]还表明,虹膜识别在死亡几周后仍然可行,这为法医鉴定提供了有趣的附加应用。0虹膜识别中,班内方差的主要来源之一是由于瞳孔大小变化而引起的高度复杂的虹膜纹理变形。基于Daugman方法的主要虹膜识别方法将虹膜环映射到具有规范尺寸的矩形区域中。虽然简单有效,但这种线性映射不能补偿瞳孔大小的巨大差异。因此,非线性映射被发现是更好的选择,它模拟了一些但不是所有可能的虹膜纹理变形细微之处。0在本文中,我们提出了一种复杂虹膜纹理变形的端到端深度学习模型。我们展示了它在虹膜识别中的有用性(用于匹配比较的虹膜扫描之间的瞳孔大小)。我们还提出,该方法在人类法医虹膜检查中具有巨大潜力。该模型不假设虹膜边界的圆形,并且能够处理全帧ISO兼容[12]虹膜图像(不仅仅是它们的归一化版本)。特别地,我们提出了一个经过身份保持损失训练的自动编码器,它将输入的虹膜图像变形以匹配由输入掩模给出的新形状,如图1所示。所提出的方法经过训练,能够适当地捕捉虹膜纹理的复杂非线性动态,并生成具有扩张或收缩瞳孔的虹膜图像,从而可以提高虹膜识别性能。我们的模型还可以帮助人类鉴定员更好地比较具有瞳孔大小差异的虹膜图像对,因为在这些情况下,大的虹膜纹理变形使得图像之间的相同显著特征看起来非常不同[19]。我们还展示了一种直观的方法,利用组合的方法进行比较。9010改变虹膜形状 虹膜图像修复 噪声减少0DeformIrisNet0图1:所提出的模型(DeformIrisNet)将输入的虹膜图像(左)变形以匹配目标掩膜给出的虹膜形状(也作为输入提供),保持身份特征并改善虹膜识别性能,相比线性归一化方法。变形的方式模仿了真实的、非常复杂的虹膜肌肉运动。此外,所提出的模型可以在输入样本中被眼睑遮挡的地方“修复”虹膜纹理(中间),并在不要求改变虹膜大小时减少选定类型的噪声(右)。+表示跨通道连接。0现代生成对抗网络的这些组件可能会得到比基于自动编码器的模型更差的结果(就身份保持而言)。本文的主要贡献是:01.一个端到端的、数据驱动的、基于深度学习的复杂虹膜纹理变形模型;02.一个基于虹膜识别的身份保持损失组件,旨在限制变形仅限于模仿真实的虹膜肌肉运动;03.一个保持虹膜形状的虹膜掩膜损失组件,与感知相似性损失一起,可以导致逼真的虹膜图像。0我们在https://github.com/CVRL/DeformIrisNet上提供了本文的源代码和模型权重。02. 相关工作0虹膜归一化最常用的方法是Daugman提出的均匀的“橡皮薄片”模型[8],它将虹膜环的每个像素(x,y)从笛卡尔坐标系映射到极坐标系中的等效像素(r,θ),其中r ∈[0,1]是从内部虹膜边界开始的径向距离,θ ∈[0,2π]是角度位置。该模型将圆形虹膜区域转换为规范的矩形区域。0然而,Hollingsworth等人已经表明,尽管进行了线性归一化,瞳孔扩张仍然会降低虹膜识别性能[11,5]。0与虹膜分割和虹膜特征提取相比,虹膜归一化的进展相对较少。Tomeo-Reyes等人通过提出虹膜肌肉变形的生物力学模型来解决瞳孔扩张的问题。他们将虹膜区域建模为由正交材料制成的薄圆柱壳,并利用虹膜区域的生物力学计算瞳孔扩张和收缩时发生的位移。该模型可以补偿一些非线性的虹膜特征运动,但它是虹膜肌肉动力学的重要简化。Wilde等人使用图像配准技术来补偿虹膜变形。该技术在空间和强度上搜索最佳变换,将一个图像中的每个点映射到另一个图像中的一个点。Wei等人提出了一种基于统计学习的替代非线性虹膜归一化模型。所提出的虹膜变形模型是线性和非线性拉伸的组合。线性拉伸基于橡皮薄片模型,非线性拉伸使用通过训练获得的高斯函数参数建模。Yuan等人开发了一种基于虹膜的非线性归一化方法,该方法基于虹膜的最小磨损网状结构。Wyatt提出的最小磨损网状结构将虹膜建模为径向和圆形肌肉的网状结构,并估计虹膜的形变。9020基于这种网状结构的运动的变形。Lefevre等人提出了一种基于拟合椭圆而不是圆的“橡皮薄片”模型[17]。最近,基于生成对抗网络的方法也被用于改变瞳孔大小。然而,大多数这样的方法都存在“纹理粘连”问题,使得难以保持身份特征。本文提出的模型与以前的工作有两个不同之处。首先,它对虹膜收缩现象既不做几何也不做生物学假设,也不需要提供“瞳孔大小”(由于瞳孔的不规则形状,实际上很难定义)。所提出的模型直接从数据中学习复杂的虹膜肌肉运动。其次,该模型直接使用符合ISO标准的虹膜扫描(即640×480像素的近红外图像),这使得它适用于补充任何虹膜识别算法,包括“黑盒”或封闭商业匹配器。03. 数据库0我们使用了华沙生物基因组学研究中心虹膜动力学v3.0(WBPD)数据集,该数据集包含30秒的近红外虹膜视频,由于可见光刺激导致瞳孔大小变化[16]。在15秒后,可见光刺激导致瞳孔收缩,持续5秒,然后恢复扩张。将原始视频转换为图像后,该数据集包含117,117个灰度图像,分辨率为768×576像素,代表了84只不同的眼睛。必要的数据整理步骤是将小瞳孔图像和大瞳孔图像配对,以便为训练所提出的模型提供适当的输入和目标。为此,我们首先自动检测数据集中所有图像的瞳孔和虹膜半径,并计算瞳孔与虹膜的比例。先前的研究表明,瞳孔与虹膜的比例通常在0.2(高度收缩的瞳孔)和0.7(高度扩张的瞳孔)之间变化[11,22]。我们将所有瞳孔与虹膜比例在0.2和0.7之间的图像分为5个宽度为0.1的区间。也就是说,第一个区间包含所有瞳孔与虹膜比例在0.2和0.3之间的图像,第二个区间包含所有瞳孔与虹膜比例在0.3和0.4之间的图像,依此类推。由于我们关注训练一个扩张模型,对于每个区间中的图像,我们将它们与具有更高瞳孔与虹膜比例的所有区间中的图像配对。我们将数据分为不重叠的眼睛训练、验证和测试集,训练集中包含67只眼睛的样本,验证集中包含另外6只眼睛的样本,剩余的样本代表7只眼睛的测试集。这种不重叠的眼睛分割对于确保模型学习通用的虹膜肌肉运动而不是特定于训练数据集中的主体的动态非常重要。04. 提出的方法04.1. 概述0我们提出了一种改进的U-Net自动编码器,它通过训练来构建一幅新图像,其中的虹膜与输入的图像掩膜提供的形状(包括大小)相匹配。虽然我们的贡献不是自动编码器的架构,而是其具有多个损失组成部分的训练机制,该机制最终可以学习复杂的虹膜肌肉运动,生成不仅保留身份而且有助于虹膜识别的图像。由于输入的掩膜可以是任意形状,我们的模型可以根据需要扩张和收缩瞳孔。0图2展示了模型的训练策略概述。所提出的损失函数的所有组成部分可以分为两个功能集:身份保留组件和感知真实性保留组件。下面的两个小节详细描述了训练的这两个方面。0掩膜损失0感知损失0L1损失0L1损失0身份保留损失0输入图像0目标图像0输出图像0归一化和卷积0归一化和卷积0编码器0解码器0DeformIrisNet0图2:训练机制的示意图,包括所有损失组成部分:(a)“掩膜损失”用于请求虹膜的新形状,(b)“身份保留损失”用于限制变形,使其模仿真实的虹膜肌肉运动,从而在生成的样本中保留身份信息,(c)“L1损失”用于最大化生成图像和真实图像的相似性,以及(d)“感知损失”用于最大化生成样本的感知真实性。+表示通道间的连接。04.2. 身份保留0为了在训练自动编码器时保留虹膜的身份,我们定义了一个专门关注身份保留的损失。首先,我们将输出和目标的虹膜区域从笛卡尔坐标转换为伪极坐标系[8]。对于一幅图像 I9030其中虹膜中心 ( xi , yi ),虹膜半径 ri ,瞳孔中心 ( xp , yp )和瞳孔半径 rp ,我们可以通过函数 ND构建一个归一化的虹膜图像,得到宽度 wD 和高度 hD的输出图像 O :0O = N D ( I ) (1)0其中0O ( r × h D ,( θ /2π ) × w D ) = I ( x ( r , θ ), y ( r , θ )) (2)0和0x ( r , θ ) = (1 − r ) × ( x p + r p × cos ( θ )) + r × ( x i + r i × cos0y ( r , θ ) = (1 − r ) × ( yp + rp × sin ( θ )) + r × ( yi + ri × sin ( θ))0其中 r ∈ [0,1] 且 θ ∈[0,2π]。这个线性模型将虹膜区域“展开”到指定宽度和高度的矩形区域上。在下一步中,我们利用了使用从眼动仪获取的人眼显著区域提取的图像块学习得到的虹膜领域特定的人源滤波器 Firis[6]。我们决定使用这个虹膜特征提取器,是因为有几个团队报告称它在所有开源虹膜匹配器中具有最佳的识别准确性[4,9]。我们的身份保留损失组件定义如下:0Lidentity = | Firis � ND ( IO ) - Firis � ND ( IT ) | (3)0其中 �表示卷积操作。简单来说,我们将滤波器与自动编码器的输出虹膜图像 IO 以及经过虹膜纹理归一化 ND 处理的目标虹膜图像 IT进行卷积,并计算这些结果之间的平均绝对误差作为保留身份信息的损失。04.3.保持逼真性0为了使生成的虹膜形状与所需的形状(由输入掩码给出)匹配,我们使用轻量级的CC-Net[18]模型进行虹膜分割任务的训练,以找到两个图像的逻辑回归,然后最小化逻辑回归之间的绝对差异(图2中的“掩码损失”)。这种构造是可微分且快速的,因此我们可以在自动编码器损失函数中使用它而不会导致训练显著减慢。为了确保输出图像的视觉逼真度,我们使用了学习的感知图像补丁相似性(LPIPS-v0.1)损失(图2中的“感知损失”),它将从AlexNet主干提取的深层特征与目标图像进行匹配,以确保输出图像在“感知上”与目标图像相似[28]。我们还添加了生成图像和目标图像之间的L1范数(图2中的“L1损失”),它试图直接匹配输出和目标图像。理想情况下,如果我们有无限的数据和足够复杂的模型架构,这个“L1损失”就足以有效地训练我们的模型。然而,在实际情况下,当数据有限时,我们需要在整体训练策略中构建一种机制,以引导网络朝着显著的虹膜特征方向发展。需要注意的是,模型输出的模糊图像在生物识别中非常适用,因为虹膜识别方法在低空间频率内提取与身份相关的特征。0在模型架构完善的情况下,这个“L1损失”就足以有效地训练我们的模型。然而,在实际情况下,当数据有限时,我们需要在整体训练策略中构建一种机制,以引导网络朝着显著的虹膜特征方向发展。需要注意的是,模型输出的模糊图像在生物识别中非常适用,因为虹膜识别方法在低空间频率内提取与身份相关的特征。04.4.选择神经网络架构0本节简要总结了在最终提出的成功模型之前使用的各种实验和架构。这可能为其他研究人员提供关于哪些架构在类似任务中可能表现良好的线索。0由于StyleGAN3是目前最流行的现成生成对抗网络(GAN)之一,我们最初尝试使用StyleGAN3[15]生成器作为解码器生成输出虹膜图像。生成器模型是从WBPD数据集的一个子集开始训练的,分辨率为512×512像素。在启动生成器训练过程之前,数据预处理包括将原始图像中心裁剪为正方形(512×512),以及删除虹膜位于图像边界太近的原始图像。此外,我们还过滤训练数据,排除了几乎没有虹膜的虹膜图像,例如主体眨眼时。在训练过程中启用了左右镜像增强,有效地使训练数据大小翻倍。在训练生成器并获得视觉上令人满意的虹膜图像后,我们将生成器的权重冻结,并训练一个编码器来找到适当的潜在空间表示,以保留身份信息。为了训练这个编码器,我们按照图2所示的训练过程进行,但没有包含控制视觉逼真度的感知损失组件,因为我们认为GAN的生成器已经能够产生视觉上令人满意的结果(因此这个损失组件是多余的)。需要注意的一点是,由此产生的自动编码器架构不包含图2中所示的跳跃连接。令人惊讶的是,这种直观的方法最终产生了令人失望的结果,但这些结果仍然是有趣的,因为它们提供了一些“负面”的但有用的信息。也就是说,我们发现使用这种方式学习找到潜在空间表示既不能保留身份信息,也不能产生视觉上可接受的虹膜图像。最后,我们发现U-Net架构[13]比StyleGAN3生成器提供更好的结果,并尝试了不同类型的U-Net,如带有ResNet连接的UNet,带有DenseNet连接的UNet和UNet++。我们发现,与论文中提供的架构相比,更复杂的架构产生了类似的结果。32264128 128128128 6464 3232 1256256 256256512512326490404.5. 架构细节0我们使用具有跳跃连接的自动编码器架构,属于U-Net架构系列。大多数U-Net架构都是针对图像分割进行优化的。因此,为了使U-Net在生成虹膜图像时不仅仅是分割结果方面更好,我们对下采样和上采样操作进行了改进。对于下采样,我们用平行的步长卷积和双线性下采样代替了原始U-Net自动编码器中的最大池化。在最大池化中,梯度仅通过最大点流动,当特征稀疏时效果很好。对于我们的问题,我们希望捕捉整体虹膜纹理及其动态特征,因此信息并不稀疏。我们的想法是通过步长卷积,模型可以学习它想要保留的最重要的特征,而通过插值的下采样也可以为模型提供整体特征的视图。对于上采样,我们添加了双线性上采样,然后与通过子像素卷积进行上采样的卷积并行。使用转置卷积,如原始U-Net中所使用的,已知会在生成的图像中产生棋盘状伪影,特别是当核大小不能被步长整除时,导致核在滑动过程中的不均匀重叠。而我们在详细说明中所提到的替换方法可以减少生成图像中的伪影,从而提高应用于该模型生成的图像的虹膜识别性能。图3显示了我们网络的整体架构。05. 应用0所提出模型有两个生物特征应用。首先,一个能够生成具有不同瞳孔尺寸的符合ISO标准的虹膜图像,并像真实眼睛一样变形虹膜纹理的模型,应该通过比较具有矫正瞳孔尺寸的图像而不是原始虹膜扫描,提高任何虹膜匹配器的准确性。其次,具有不同瞳孔尺寸的视觉逼真且保持身份的虹膜图像可以提高法医学中人类检查的准确性。我们在下面的子章节中详细介绍这两个应用。05.1. 虹膜识别0所提出模型在华沙生物基因瞳孔动力学v3.0[16](WBPD)的主体不相交测试集上进行评估。这里使用的示例虹膜识别方法基于0卷密连接下采样上采样卷积1x1,Tanh0输入320x2400160x120080 x60040 x30020 x150网络细节:0输出0插值 步长卷积4 x 4,s =2,p = 10下采样0卷积3 x 3LeakyReLU0卷积3 x 3LeakyReLU0LeakyReLU卷积3x 30LeakyReLU卷积3x 30LeakyReLU卷积3x 30稠密连接0LeakyReLU卷积3 x 30LeakyReLU卷积3 x 30插值0上采样0图3:所提出模型及其模块的详细信息。底部图显示了顶部图中描绘的连接的详细实现。稠密连接(在底部右侧图中说明)对于三个滤波器进行了解释;对于其他滤波器数量,逻辑相同。0在人工驱动的二值图像特征[6]上,我们将我们的变形方法与线性方法[8](后面称为“线性”)和非线性生物力学模型[22](后面称为“生物力学”)进行比较。由于对于WBPD数据集,如果我们对所有可能的比较进行,可能会有大量的配对,因此我们从最小瞳孔对虹膜比率(0.1到0.2)的区间和最大瞳孔对虹膜比率(0.7到0.8)的区间中随机选择图像配对,每个个体不重复选择。我们使用这些配对找到真实和冒名比较分数。由于我们是随机选择配对,我们重复实验10次以评估结果的统计显著性。0表1:不同虹膜纹理变形模型的真实和冒名顶替者比较的不同虹膜代码位的平均百分比。0方法真实 冒名顶替者0对 比 对 比0线性[8] 32.67 ± 0.22 43.81 ± 0.150生物力学[22] 32.74 ± 0.21 43.78 ± 0.160DeformIrisNet(提出的)22.40 ± 0.11 34.02 ± 0.080本评估中使用的虹膜识别方法为不同个体的虹膜纹理提供了唯一的二进制代码。表1报告了真实和冒名顶替者之间的二进制代码中不同位的百分比。(4)9050对于所有变换方法,我们为所有变换方法的真实和冒名顶替者得分分布计算了可决策性(d'),如表中所示。0d' = - µi|0�01 2 (σ2g +σ2i)0其中µ和σ分别是真实(g)和冒名顶替者(i)分数的均值和标准差。我们还计算了所有方法的等错误率(EER)。0表2:在相同数据集主体不重叠评估中获得的可决策性得分d'和等错误率(EER)。0方法d' EER0线性[8] 2.642 ± 0.072 0.1210生物力学[22] 2.644 ± 0.062 0.1150DeformIrisNet(提出的)3.003 ± 0.049 0.1180如表2所示,我们发现使用DeformIris-Net模型可以实现更高的冒名顶替者和真实分数分布之间的分离(更大的d'),表明我们的模型能够生成可以改善虹膜识别结果的矫正虹膜图像,相比线性或生物力学基于的标准化策略。虽然EER与其他方法相当,但图4中显示的接收器操作特性(ROC)曲线表明,当应用于用所提出的非线性虹膜变形模型矫正的图像时,示例虹膜识别方法获得了更好的识别准确性,通过ROC曲线下的面积来衡量。05.2. 人工检查0随着虹膜识别成为电子护照的下一个生物特征模态,也是FBI的下一个组成部分0图4:使用不同虹膜纹理变形方法进行虹膜识别的ROC曲线和ROC曲线下的面积值:线性[8],生物力学[22]和DeformIrisNet(提出的)0随着新一代识别(NGI)系统的出现[1],并最近证明其在识别死者方面的有用性[23],开始出现了需要受过训练的(专业)人类虹膜检查员的需求,他们可以以法律约束的方式确认机器的决定。例如,NIST已经启动了一个定期会议的工作组,旨在为可能被要求在法庭上作证的人类虹膜图像检查员设计培训课程[2]。0由于非线性纹理变形,对于检查员来说更困难0由于纹理映射的修正,对于检查员来说更容易0人类检查0DeformIrisNet0小瞳孔图像 大瞳孔图像 大瞳孔图像0生成的大瞳孔图像0人类检查0图5:与具有过大瞳孔大小差异的样本相比,具有相同瞳孔大小的虹膜图像对于人类检查员来说更容易。DeformIrisNet可以用于矫正虹膜环的大小,应用从数据中学习到的非线性虹膜纹理变形。0所提出的变形模型可能成为人类检查工具箱中有用的一部分。正如文献[19]中所示,并在图5中说明,9060DeformIrisNet0输入虹膜图像0生成的目标掩模图像0目标掩模0图6:DeformIrisNet从单个虹膜样本生成的虹膜图像(左),给定可用于人类检查虹膜图像对的目标掩模(顶部),使得在检查具有不同瞳孔大小的虹膜扫描时,法医检查员的过程更容易。0DeformIrisNet0目标掩模0真实图像0生成的目标掩模图像0图7:与图6相同,只是将具有不同瞳孔大小的多个图像生成为具有规范瞳孔大小的单个虹膜图像。0人类检查员可能会在两个样本中比较具有过大瞳孔大小差异的同一人的虹膜图像时遇到困难。我们的虹膜变形模型允许我们从静止的虹膜图像生成具有不同瞳孔大小的虹膜图像。也就是说,通过旋转虚拟的“旋钮”,人类检查员可以生成无限数量的样本,保持身份并显示不同程度的虹膜收缩以匹配所需的瞳孔大小。项目的GitHub存储库1包括一个视频,展示了这个过程的一个示例输出,也在图6中进行了说明。这样的工具应该显著增加在人类检查下正确匹配虹膜样本的机会,据我们所知,以前从未提出过。图7还显示了将具有不同瞳孔大小的多个虹膜图像通过DeformIrisNet并要求所有样本具有相同瞳孔大小的结果。这里的一个有趣的观察是,瞳孔变化越小,输出图像越清晰、越接近输入图像。这应该是因为瞳孔大小的差异越小,01 https://github.com/CVRL/DeformIrisNet0我们的模型需要对虹膜图像进行变形并匹配输入的瞳孔掩模的工作越少,人类虹膜检查(本文不关注)时,更清晰的图像(显示更细粒度的虹膜纹理)更理想。然而,要定量评估这个说法,需要进行人类检查实验,其中受试者比较有和没有提出的归一化的虹膜图像。06. 虹膜修复和降噪0除了在虹膜识别社区中由实际和及时需求驱动的两个核心应用程序之外,所提出的模型还可以用于根据任意虹膜掩模“绘制”逼真的虹膜近红外图像。此外,它还可以作为虹膜领域特定的降噪工具。然而,这些都是我们模型的“副产品”,我们的训练机制没有为这些任务优化模型。本小节讨论了这些观察结果。0在我们使用的训练数据集中,当受试者眨眼时,虹膜图像可能会出现部分闭合的眼睑。有趣的是,在训练过程中看到这样的例子。9070通过训练,模型学会了如何在给定建议的情况下“打开”或“关闭”眼睑。图8显示了当我们将虹膜图像与部分闭合眼睛的掩膜一起输入模型时会发生什么。我们可以看到,网络有效地学会了在保留可见区域的虹膜纹理的同时关闭眼睑。0DeformIrisNet0输出虹膜图像0目标掩膜0输入虹膜图像0图8:根据分割掩膜从睁眼图像生成部分闭合的眼睛图像。0图9显示了当我们将部分闭合的眼睑的虹膜图像输入模型,并使用建议完全睁开眼睛的目标掩膜运行模型时会发生什么。有趣的是,如果虹膜纹理的一部分可见,网络会以一种使其类似于实际虹膜纹理的方式“梦想”出其余的虹膜纹理,但是毫无疑问,生成的纹理不代表特定的身份,因此在生物识别中的应用有限。0输入虹膜图像0DeformIrisNet0目标掩膜0输出虹膜图像0目标虹膜图像0图9:根据分割掩膜从部分闭合的眼睛图像生成睁眼图像。0最后,图10演示了经过训练的DeformIrisNet如何通过输入噪声虹膜图像来部分去噪。0使用带有噪声虹膜图像和该图像的实际分割掩膜(因此不要求虹膜纹理发生变化)。虽然这不被视为训练模型的主要应用,但我们发现这是一个有趣的副产品,可以“理解”虹膜纹理的复杂变形。我们相信专门为这个“去噪”任务进行训练可以得到有趣的结果[10, 14]。0输入噪声虹膜图像0DeformIrisNet0运动模糊0椒盐噪声0高斯0输出虹膜图像 原始虹膜0图像0目标掩膜0图10:当我们将噪声版本的图像通过网络时会发生的情况的示例。07. 结论0本文提出了一种端到端的、完全数据驱动的基于自编码器的方法,用于模拟虹膜纹理的复杂变形,同时保留正在处理的个体的身份信息。我们的方法旨在通过填补同样大小和不同大小瞳孔比较时观察到的准确性之间的差距,减轻虹膜识别模块在瞳孔大小变化时性能下降的问题。我们展示了它在虹膜识别中的潜在有用性,并提出它在法医人类检查中的有用性,因为将具有相同瞳孔大小的虹膜图像进行匹配应该使人类检查员更容易比较和匹配虹膜扫描。由于修正后的虹膜图像符合ISO要求,它们可以与任何虹膜识别方法一起使用,包括黑盒/闭源商业解决方案。此外,我们还介绍了所提出模型的修复和降噪能力。源代码和模型权重与论文一起提供,以便进行完全可重现性的研究。0参考文献0[1] Next Generation Identification (NGI). https://www.fbi.gov/services/cjis/ fingerprints-and-other-biometrics/ngi. 访问日期:2022年7月11日。0[2] NIST IEG: Iris Examiner Training Discussion. https://www.nist.gov/itl/iad/image-group/ieg-iris-examiner-training-discussion . 访问日期:2022年7月11日。[3] Andrew Aitken, Christian Ledig, Lucas Theis, Jose Ca-ballero, Zehan Wang, and Wenzhe Shi. Checkerboard ar-tifact free sub-pixel convolution: A note on sub-pixel con-volution, resize convolution and convolution resize. arXivpreprint arXiv:1707.02937, 2017.[20] Augustus Odena, Vincent Dumoulin, and Chris Olah. De-convolution and checkerboard artifacts. Distill, 2016.9080[4] Mauro Barni, Ruggero Donida Labati, Angelo Genovese,Vincenzo Piuri, and Fabio Scotti.具有高视觉逼真度的虹膜去识别技术,用于网站和社交网络的隐私保护.IEEE Access , 9:131995–132010, 2021.0[5] Kevin W Bowyer, Sarah E Baker, Amanda Hentz, KarenHollingsworth, Tanya Peters, and Patrick J Flynn.影响虹膜生物特征匹配分布的因素. Identity in the information Society, 2(3):327–343, 2009.0[6] Adam Czajka, Daniel Moreira, Kevin Bowyer, and Patrick Flynn.面向领域的人类启发式二值化统计图像特征用于虹膜识别. In 2019 IEEEWinter Conference on Applications of Computer Vision (WACV) ,pages 959–967. IEEE, 2019.0[7] John Daugman. 虹膜识别的工作原理. In The essential guide toimage processing , pages 715–739. Elsevier, 2009.0[8] John G Daugman. 通过统计独立性测试进行高置信度的人脸识别.IEEE transactions on pattern analysis and machine intelligence ,15(11):1148–1161, 1993.0[9] R. Donida Labati, Angelo Genovese, Vincenzo Piuri, FabioScotti, and Sarvesh Vishwakarma. I-social-db:一个从网站和社交媒体收集的带标签图像数据库,用于虹膜识别. Imageand Vision Computing , 105:104058, 2021.0[10] Lovedeep Gondara. 使用卷积去噪自编码器进行医学图像去噪. In2016 IEEE 16th international conference on data mining workshops(ICDMW) , pages 241–246. IEEE, 2016.0[11] Karen Hollingsworth, Kevin W Bowyer, and Patrick J Flynn.瞳孔扩张降低虹膜生物特征识别性能. Computer vision and imageunderstanding , 113(1):150–157, 2009.0[12] ISO/IEC 19794-6:2011.信息技术-生物特征数据交换格式-第6部分:虹膜图像数据, 2011.0[13] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A Efros.条件对抗网络的图像到图像转换. In Proceedings of the IEEEconference on computer vision and pattern recognition , pages1125–1134, 2017.0[14] Worku Jifara, Feng Jiang, Seungmin Rho, Maowei Cheng, andShaohui Liu. 使用卷积神经网络的医学图像去噪:一种残差学习方法.The Journal of Supercomputing , 75(2):704–718, 2019.0[15] Tero Karras, Miika Aittala, Samuli Laine, Erik Härkönen, JanneHellsten, Jaakko Lehtinen, and Timo Aila. 无伪影生成对抗网络. InProc. NeurIPS , 2021.0[16] Jeffery Kinnison, Mateusz Trokielewicz, Camila Carballo, AdamCzajka, and Walter Scheirer.无需学习的虹膜分割再探:快速体积操作的第一步. In 2019International Conference on Biometrics (ICB) , pages 1–8. IEEE,2019.0[17] Thierry Lefevre, Bernadette Dorizzi, Sonia Garcia-Salicetti,Nadege Lemperiere, and Stephane Belardi.有效的椭圆拟合用于虹膜归一化. Computer Vision and ImageUnderstanding , 117(6):732–745, 2013.0[18] Suraj Mishra, Peixian Liang, Adam Czajka, Danny Z Chen, and XSharon Hu. Cc-net: 基于图像复杂度引导的生物医学图像分割网络压缩.In 2019 IEEE 16th International Symposium on Biomedical Imaging(ISBI 2019) , pages 57–60. IEEE, 2019.0[19] Daniel Moreira, Mateusz Trokielewicz, Adam Czajka, KevinBowyer, and Patrick Flynn.人类在虹膜识别中的性能:虹膜状态和注释驱动验证的影响. In 2019IEEE Winter Conference on Applications of Computer Vision(WACV) , pages 941–949, 2019.0[21] Wenzhe Shi, Jose Caballero, Ferenc Huszár, Johannes Totz,Andrew P Aitken, Rob Bishop, Daniel Rueckert, and Zehan Wang.实时单图像和视频超分辨率:一种高效的亚像素卷积神经网络. InProceedings of the IEEE conference on computer vision and patternrecognition , pages 1874–1883, 2016.0[22] Inmaculada Tomeo-Reyes, Arun Ross, Antwan D Clark, andVinod Chandran. 一种生物力学方法用于虹膜归一化.在2015年国际生物特征学会议(ICB)上, 页9–16. IEEE, 2015年.0[23] Mateusz Trokielewicz, Adam Czajka, and Piotr Maciejew- icz.死后的虹膜识别. IEEE信息取证与安全交易, 14(6):1501–1514, 2019年.0[24] Zhuoshi Wei, Tieniu Tan, and Zhenan Sun.基于高斯模型的非线性虹膜变形校正. 在国际生物特征学会议上,页780–789. Springer, 2007年.0[25] Richard P Wildes. 虹膜识别: 一种新兴的生物特征技术.IEEE会议论文集, 85(9):1348–1363, 1997年.0[26] Harry J Wyatt. 鸟极小磨损网格用于虹膜. 视觉研究,40(16):2167–2176, 2000年.0[27] Xiaoyan Yuan and Pengfei Shi.一种非线性归一化模型用于虹膜识别. 在国际生物特征人员认证研讨会上,页135–141. Springer, 2005年.0[28] Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, andOliver Wang. 深度特征作为感知度量的非合理有效性. 在CVPR, 2018年.
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- WebLogic集群配置与管理实战指南
- AIX5.3上安装Weblogic 9.2详细步骤
- 面向对象编程模拟试题详解与解析
- Flex+FMS2.0中文教程:开发流媒体应用的实践指南
- PID调节深入解析:从入门到精通
- 数字水印技术:保护版权的新防线
- 8位数码管显示24小时制数字电子钟程序设计
- Mhdd免费版详细使用教程:硬盘检测与坏道屏蔽
- 操作系统期末复习指南:进程、线程与系统调用详解
- Cognos8性能优化指南:软件参数与报表设计调优
- Cognos8开发入门:从Transformer到ReportStudio
- Cisco 6509交换机配置全面指南
- C#入门:XML基础教程与实例解析
- Matlab振动分析详解:从单自由度到6自由度模型
- Eclipse JDT中的ASTParser详解与核心类介绍
- Java程序员必备资源网站大全
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功