基于生成对抗网络的人脸热红外图像生成基于生成对抗网络的人脸热红外图像生成
可见光图像易受光照变化影响,而热红外图像对成像的光照条件具有鲁棒性,因此,热红外图像可以弥补可见
光图像光照敏感性这一不足。然而,红外热像仪价格昂贵,采集热红外图像的成本远高于可见光图像。针对此
问题,提出了一种基于生成对抗网络的热红外人脸图像生成方法,采用条件生成对抗网络结合L1损失从可见光
图像中生成红外热像。在USTC-NIVE数据库上的实验结果验证了所提出的红外热像生成方法的有效性。同时,
将生成的红外热像作为扩充样本,有助于提高红外表情识别的精度。
0 引言引言
热红外图像是红外传感器根据热辐射采集的图像,具有良好的目标探测能力。与可见光图像相比,热红外图像因不受光照影响具有更好的
鲁棒性,近年来在表情识别研究中开始受到关注
[1-3]
。然而,热红外数据的采集需要昂贵的设备,与可见光图像相比获取成本高昂。因而,
本文提出基于生成对抗网络从可见光人脸图像生成热红外人脸图像的方法。
传统的生成模型对机器学习来说具有不同的限制。比如,对真实样本进行最大似然估计的生成模型,严重依赖于所选取样本的分布情况;
采用近似法学习的生成模型难以求得最优解,只能逼近目标函数的下界;马尔科夫链方法虽然既可以用于生成模型的训练又可用于新样本的生
成,但是计算复杂度较高。随着深度学习的发展,神经网络模型在各个领域取得突破性进展
[4-6]
。GOODFELLOW I等人根据博弈论提出了生
成对抗网络(Generative Adversarial Networks,GAN)
[7]
,创造性地结合了生成模型和判别模型进行数据生成。但GAN的生成方式太过自由,
在图片像素较多的情况下容易失控。针对这一问题,MIRZA M
[8]
在GAN的基础上提出条件生成对抗网络(Conditional Generative
Adversarial Networks,cGAN)。而ISOLA P
[9]
受cGAN和文献[10]启发,将GAN的目标函数与传统损失函数相结合提出Pix2Pix方法,该
方法在多种任务中有着出色的表现。
本文提出基于生成对抗网络生成热红外人脸图像的方法,与Pix2Pix
[9]
一样在cGAN目标函数的基础上加上传统损失函数作为惩罚项,即
任务目标,惩罚项为可见图片与生成样本间的相似程度。实验在USTC-NVIE
[11]
库上进行,在以可见光图像为条件进行热红外图像生成的基
础上,利用SVM模型进行表情识别,验证生成的热红外图片能否被模型识别以及作为扩充样本是否可以提升模型的训练效果。
1 方法介绍方法介绍
1.1 网络结构网络结构
本文的网络框架如图1所示,由生成器(Generator,G)和判别器(Discriminator,D)组成。生成器使用随机噪声z在可见光图片y的约束
下生成样本图片G(z,y)传递给判别器。生成的样本图片与可见光图片的L1距离被作为惩罚项反馈给生成模型,以此保证最终的生成图片与可
见光图片的相似程度。判别器接收到的输入既有生成的样本图片G(z,y)也有真实的热红外图片,它的任务就是判断接收到的图片在该可见光
图片y约束的情况下有多大概率是真实的。本文生成器模型采用U-Net神经网络结构,如图1中生成器G中框图所示。判别器模型则采用神经网
络,其结构如图1中判别器D框图所示。
1.1.1 生成器生成器
本文采用U-Net结构作为生成器的网络结构。在ISOLA P提出U-Net结构前,图像到图像的转化任务中编码解码结构的使用最为广泛,其结
评论0