![](https://csdnimg.cn/release/download_crawler_static/88424330/bg4.jpg)
–
据我们所知,我们是第一个证明在不规则形状的孔上训练图像修
补模型的功效的人。
–
我们提出了一个大型的不规则掩模数据集,将向公众发布,以促
进未来在训练和评估修复模型方面的努力。
2
相关工作
图像修复的非学习方法依赖于使用距离场[3,1,30]等一些机制将外
观信息从相邻像素传播到目标区域然而,这些方法只能处理窄孔,其
中颜色和纹理变化很小。大孔可能导致过度平滑或类似于Voronoi区
域的伪影,例如[30]中。基于补丁
的方法
如[
5,15
]所示
,通过
以迭代方
式
从图像的
非孔区域或其他源图像
中提取
补丁
来
进行操作
然而,这些
步骤通常需要大量的计算成本,例如[26]。PatchMatch [2]通过提出更
快的相似补丁搜索算法来加速它。然而,这些方法对于实时应用仍然
不够快,并且不能进行语义感知的补丁选择。
基于深度学习的方法通常用一些恒定的占位符值来初始化孔,例
如。ImageNet的平均像素值[24],然后通过卷积网络传递。由于产生
的伪影,后处理通常用于改善占位符值上的条件作用。内容编码器
[20]首先将具有64×64中心孔的128×128图像嵌入到低维特征空间中,
然后将特征解码为64 × 64图像。Yang等人。[34]将内容编码器的结果
作为输入,然后将非孔洞区域的纹理信息传播到孔洞区域作为后处
理。Song等人[28]使用了一个细化网络,其中模糊的初始孔洞填充结
果被用作输入,然后迭代地替换为来自特征空间中最近的非孔洞区域
的补丁。Li等人[16]和Iizuka等人[10]通过定义全局和局部鉴别器扩展
内容编码器;然后Iizuka等人。[10]应用Poisson blending作为后处理。在
[10]之后,Yu et al.[36]用由上下文注意力层驱动的细化网络取代了后
处理
在深度学习方法中,其他一些努力也忽略了掩码占位符值。在Yeh
et al.[35],在潜在空间中搜索最接近损坏图像的编码,然后将其用于
调节孔填充生成器的输出。Ulyanov等人[32]进一步发现,该网络不需
要外部数据集训练,可以依靠生成网络本身的结构来完成损坏的图
像。然而,这种方法可能需要针对每个图像的不同的超参数集合,并
且应用若干迭代来实现良好的结果。此外,他们的设计[32]不能使用
跳过链接,已知跳过链接会产生详细的输出。对于标准卷积层,编码
器级中的噪声或错误孔初始化值的原始特征我们的工作也不依赖于孔
区域中的占位符值,但我们也旨在实现