基于卷积神经网络的图像着色基于卷积神经网络的图像着色
图像着色的目标是为灰度图像的每一个像素分配颜色,它是图像处理领域的热点问题。以U-Net为主线网络,结
合深度学习和卷积神经网络设计了一个全自动的着色网络模型。在该模型中,支线使用卷积神经网络SE-
Inception-ResNet-v2作为高水平的特征提取器,提取图像的全局信息,同时在网络中使用PoLU(Power Linear
Unit)函数替代线性整流函数(ReLU)。实验结果证明此着色网络模型能够对灰度图像进行有效的着色。
0 引言引言
图像着色是灰度图像伪彩色化的过程,具有很高的研究和应用价值。早期图像着色方法主要分为两类:一类是基于局部颜
色扩展
[1]
,另一类是基于颜色传递
[2]
。前者需要用户指定整张图片的颜色,要求用户解决全局优化问题,并在目标图像上标注
一定数量的彩色笔刷作为着色的依据,再进行颜色扩展完成对整幅图像的着色。这类方法可以得到一些较好的彩色图像,但是
需要处理复杂的纹理和大量的人为干涉,不同的颜色区域要求用彩色笔刷显式地标记为不同颜色。因此在整个着色过程中,用
户的工作量很大且着色效果高度依赖其艺术技巧。后者在图像着色过程中消除了人为因素的干预和影响,与前者不同的是,这
类方法需要一幅彩色图像作为参考图像,用以传递颜色信息。应用此类方法得到的图像颜色与参考图像类似,因此在结果上减
少了颜色种类的数量,而且要找到一个合适的示例图片需要花费很长时间。随着深度学习的发展及运用,深度神经网络的数据
驱动彩色化方法已经成为一种趋势[3]。例如,CHENG Z等
[3]
采用图像描述符作为输入的深度神经网络图像着色方法,使用神
经网络提取图像特征。IIZUKA S等
[4]
使用一种基于全局层次特征和中层特征的理论对黑白图像进行编码然后着色,将两部分
特征融合再预测像素的颜色信息,并且网络还可以对图像分类。ZHANG R等
[5]
使用了多模态的方案,每个像素都给出了可能
出现颜色的概率值,因此着色后会出现几种不同颜色风格的图像。
受以上工作的启发,本文结合深度神经网络Inception-ResNet-v2
[6]
设计了一个全自动的着色网络模型,在模型中加入
了SENet模块
[7]
,SENet可以显式地对特征通道之间的相互依赖关系进行建模,通过学习的方式来自动获取到每个特征通道的
重要程度,然后依照重要程度增强有用特征,并且抑制对当前任务无用的特征。Inception-ResNet-v2与SENet结合作为一个高
水平的特征提取器,同时使用PoLU函数
[8]
替代线性整流函数(Rectified Linear Unit, ReLU)函数,提高网络性能。
1 模型与算法模型与算法
1.1 理论方法理论方法
式中,n为权值,在负数部分控制着PoLU函数变化率。PoLU函数有非零输出用于负输入,这不仅增加了学习的稳定性和表示
能力,而且能使单位输出的均值接近于零,从而减少了偏置移位效应。与以前的激活函数不同,当n>1时,PoLU函数在其负
状态下与y=x有交点,它能增大响应区域。为了更好地训练网络,找到模型最优参数,同时量化模型损失,在颜色空间中采用
估计像素颜色值和它们真实值之间的均方误差(MSE),然后通过网络反向传播该损失,用以更新模型参数达到最佳。对于一张
图片P, 表示目标和重建图像的第X个分量的第ij像素值,公式如下: