没有合适的资源?快使用搜索试试~ 我知道了~
首页生成对抗模型驱动的遥感图像修复与人脸遮挡复原研究
生成对抗模型驱动的遥感图像修复与人脸遮挡复原研究
需积分: 50 7 下载量 11 浏览量
更新于2024-07-15
收藏 3.09MB PDF 举报
本篇硕士毕业论文深入探讨了基于生成对抗模型(GAN)的图像修复算法,特别是在计算机技术进步和互联网普及背景下,机器学习技术在解决图像处理问题中的重要作用。论文关注两个关键领域:一是卫星遥感海洋表面温度图像的云遮挡去除,二是自然场景中人脸遮挡区域的复原。 在遥感图像云遮挡去除方面,作者指出传统方法往往依赖单一输入图像,缺乏对图像语义信息的利用,对于大面积的遮挡修复效果不佳。为此,论文提出了一个双阶段的生成对抗网络(GAN)方法。首先,通过生成对抗网络生成完整的图像,然后在第二阶段中,通过迭代优化找到最佳生成向量,并结合云遮挡二值掩模对受损像素进行精细修复,从而弥补了传统方法的不足。 针对自然场景中的人脸遮挡复原,文章介绍了另一种基于生成对抗模型的策略,即对抗编解码器。这种算法利用编解码网络结构与生成对抗网络的判别网络相结合,对生成的遮挡区域进行真实性判断,显著提高了图像修复的质量。这两种方法的成功应用验证了在机器学习领域中,特别是使用生成对抗模型进行图像修复的高效性和有效性。 这篇论文不仅展示了如何利用生成对抗模型解决实际问题,如遥感图像处理中的挑战,还展示了其在复杂环境下的通用性,如人脸图像修复。它对于进一步推动图像修复技术的发展,特别是在高分辨率遥感和实时场景下的人脸识别等领域具有重要的理论和实践价值。同时,论文也强调了数据、算力和算法的协同发展对于机器学习研究的重要性。
资源详情
资源推荐
基于生成对抗模型的图像修复算法研究
iv
表目录
表 3.1 不同生成对抗网络所生成图像与真实图像之间的 SSIM .......................... 36
表 3.2 基于生成对抗网络的图像修复算法与传统算法的对比实验结果表......... 38
表 3.3 几种图像修复算法在缺损面积较小情况下进行人脸复原的定量实验结果
...................................................................................................................................... 42
表 3.4 几种图像修复算法在缺损面积较大情况下进行人脸复原的定量实验结果
...................................................................................................................................... 42
表 4.1 编解码器修复算法与基于 DCGAN 的双阶段图像修复算法去除云遮挡的
定量实验结果.............................................................................................................. 48
表 4.2 编解码器修复算法与基于 DCGAN 的双阶段图像修复算法进行人脸复原
的定量实验结果.......................................................................................................... 49
基于生成对抗模型的图像修复算法研究
1
第1章 绪论
1.1. 课题研究背景
图像修复的目的在于根据图像中已知部分的信息来恢复图像中丢失或者损
坏的信息,图像修复技术
[61]
具有广泛的应用场景,比如在文物保存与管理方面等。
近年来,随着计算机性能的提高以及互联网的普及,数字图像应用越来越广泛,
数字图像在人们日常生活中的影响日益增加。虽然人类的视觉世界复杂并且具有
多样性,然而却蕴含着丰富的结构化信息,人类具有习得这种结构化信息的能力,
如图 1-1(a)所示为一张语义信息有缺失的图像,虽然它中间部分的信息丢失了
但是大部分人仍然能够根据缺失区域周围的像素信息猜测出图像的内容,甚至一
个人类画师可以根据自己对这种结构化信息的认知复原出一张语义信息完整的
图片,如 图 1-1(b)所示。传统的图像修复算法根据输入有信息缺失的图像恢复
缺损区域的信息,只适用于缺损区域面积小且没有语义信息丢失的情况。针对这
个缺陷,本篇论文研究了基于生成对抗模型的图像修复算法,适用于具有大面积
语义信息缺损的情况。本文涉及到的图像修复实验基于两个数据集,一个是遥感
海洋表面温度数据集,一个是公开的 CelebA 数据集(Large-scale CelebFaces
Attributes Dataset)。
(a)语义缺损图像 (b)人工复原图像
图 1-1 语义图像修复示例图
一方面,随着卫星技术的发展,大规模遥感(RS)数据
[1]
的获取使得遥感海
洋表面温度图像处理得到越来越多研究人员的重视。海洋表面温度(SST)数据
能够为研究海洋性质提供启发性信息,海洋表面温度
[2]
是海洋水文状态的最重要
的因素之一,也是海洋学的重要分支之一,可以为渔业、水产养殖、航海等行业提
基于生成对抗模型的图像修复算法研究
2
供指导,同时对气象、水声
[3]
等领域也有一定的影响,海洋表面温度也是第一个
从宇宙空间对全球海洋锋进行监测的属性。海洋锋是指特性明显不同的两种或几
种水体之间的狭窄过渡带,它们可以用温度、盐度、密度、速度、颜色、叶绿素
浓度等要素的水平梯度或更高阶微商来描述。图 1-2 展示了全球海洋表面温度
分布图,其中灰色部分表示陆地,其他部分显示了海洋中的海表面温度的分布情
况,图中温度高低与颜色有关,温度越高颜色越趋近于红色而温度越低颜色越接
近蓝色,黑色实线表示海洋表面温度锋即海洋表面温度分布的梯度位置。由于海
洋锋扰动海水带来丰富的营养物质,在锋带附近的水团中常有浮游植物大量繁殖
从而为浮游生物和动物提供了丰富的饵料,不仅吸引鱼群而且也十分有利于养殖
业的发展,因而获得海洋锋的位置信息对渔业的发展非常重要。大陆架上的鱼类
活动与海洋锋的时空尺度有关,以锋带作为主要特征的生态模式也是研究生物学
需要考虑到的问题。然而,云遮挡问题是卫星遥感领域普遍存在的一个问题,这
使得遥感图像中的目标模糊甚至完全不可见,严重制约遥感图像处理领域的发展。
图 1-2 全球海洋表面温度分布图
另一方面,人脸识别是当前计算机视觉和模式识别领域的研究热点之一,受
到学术界、工业界和安全机构的广泛关注。随着机器学习技术的快速发展,人脸
检测问题已经被很好地解决了,例如,H.Li 等人
[4]
提出利用级联的卷积神经网络
的人脸检测算法在公共人脸数据集 AFW
[5]
数据集上的平均准确率可以达到 98%,
并且一些人脸检测算法的速度可以达到 35fps
[6]
,甚至 400fps
[7]
。基于此,一些人
基于生成对抗模型的图像修复算法研究
3
脸识别算法已经集成到比如自动聚焦
[8]
、人机交互
[9]
、图像数据库管理
[10]
以及犯
罪分子追踪等诸多应用中。而人脸遮挡是自然场景下人脸检测一个不可避免的问
题,对于很多现有模型来说遮挡人脸的检测仍然是一个极具挑战性的任务,对于
视频监控、事件分析以及犯罪分子的追踪等应用都非常有帮助。本篇论文使用两
种基于生成对抗模型的图像修复算法进行人脸图像复原,并结合 Mask-RCNN
[11]
对来自 MAFA 数据集
[23]
中的真实被遮挡人脸进行遮挡位置检测,最后根据遮挡
二值掩模对遮挡区域信息进行恢复。
1.2. 研究现状
根据对已有数据的利用方式,图像修复方法可分为两大类,第一类,依赖单
一的输入图像信息对图像进行复原;第二类,输出图像不仅依赖输入图像,也跟
整个待复原图像所组成的缺损数据集有关。第一类指传统的图像修复算法,这类
方法根据输入图像局部或非局部信息进行图像复原,依赖局部信息的方法基于存
在于输入图像中的先验信息,比如插值算法;PatchMatch 算法
[14]
,剩余信息中存
在有缺失部分信息的 patch 块
[12]
,算法会判断缺失部分与剩余信息的哪一部分相
似,进而用最相似的部分对缺失部分进行替代;Telea 等人提出的 Telea 算法
[22]
;
Shen 等人提出基于 TV(Total Variation)的算法
[13]
,该算法考虑到图像平滑,对
缺损面积很小和去除杂散噪声效果很好;以及在图像是逐帧变化而缺失部分是其
中一帧的情况下,可以用基于长短期记忆网络 LSTM
[25]
的方式对有缺损帧进行预
测,另外杨等人提出了一种基于 MMF(Microcanonical Multifractal Formalism)
[2]
的算法成功应用于对遥感海洋表面温度数据的缺损部分进行复原。
传统的图像修复算法修复效率高并且不需要大量数据进行训练,在缺损区域
面积较小的情况下具有很好的实践性能,然而当缺失区域很大或者语义信息丰富
的图像中即存在语义信息丢失的情况下,并不能够通过这些传统的非语义的图像
修复算法来完成。为了解决更广泛意义上的图像修复问题,Hays 等人
[15]
提出非
局部的图像修复方法即从一个数据集中裁剪语义相似的图像块对缺损部分进行
填充,也就是说,为了填补一个有缺损的场景图片,我们需要检索整个数据集中
所有相似的场景,从中找到一个最相似的图像填充块,当需要填充的这个场景不
包含在训练数据集中时我们就无法检索到,也就不能通过这种剪切粘贴的方法进
行场景复原,并且这种方法的效率很低。而基于机器学习的算法具备一定的学习
剩余70页未读,继续阅读
我是路人戊
- 粉丝: 1
- 资源: 7
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 计算机人脸表情动画技术发展综述
- 关系数据库的关键字搜索技术综述:模型、架构与未来趋势
- 迭代自适应逆滤波在语音情感识别中的应用
- 概念知识树在旅游领域智能分析中的应用
- 构建is-a层次与OWL本体集成:理论与算法
- 基于语义元的相似度计算方法研究:改进与有效性验证
- 网格梯度多密度聚类算法:去噪与高效聚类
- 网格服务工作流动态调度算法PGSWA研究
- 突发事件连锁反应网络模型与应急预警分析
- BA网络上的病毒营销与网站推广仿真研究
- 离散HSMM故障预测模型:有效提升系统状态预测
- 煤矿安全评价:信息融合与可拓理论的应用
- 多维度Petri网工作流模型MD_WFN:统一建模与应用研究
- 面向过程追踪的知识安全描述方法
- 基于收益的软件过程资源调度优化策略
- 多核环境下基于数据流Java的Web服务器优化实现提升性能
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功