没有合适的资源?快使用搜索试试~ 我知道了~
CrossNet:一种基于跨尺度翘曲的郑海天1季梦琪1, 2王浩谦1刘业斌3吕芳11清华大学清华-伯克利深圳研究院2香港科技大学3清华大学教育部自动化抽象。基于参考的超分辨率(RefSR)在给定外部高分辨率(HR)参考图像的情况下对低分辨率(LR)图像进行超分辨率处理,其中参考图像和LR图像共享相似的视点,但具有显著的分辨率差距(8×)。现有的RefSR方法以级联的方式工作,例如块匹配,然后是具有两个独立定义的目标函数的合成流水线,导致块间不对齐、网格效应和低效的优化。为了解决这些问题,我们提出了CrossNet,这是一个使用跨尺度扭曲的端到端和全卷积深度神经网络。我们的网络包含图像编码器、跨尺度扭曲层和融合解码器:所述编码器用于从所述LR图像和所述参考图像两者提取多尺度特征;所述跨尺度扭曲层将所述参考特征图与所述LR特征图空间对准;解码器最后聚集来自两个域的特征图以合成HR输出。使用跨尺度扭曲,我们的网络能够以端到端的方式在像素级执行空间对齐,这在精度(约2dB-4dB)和效率(快100倍以上)方面都改进了现有方案[1,2]。关键词:基于参考的超分辨率·光场成像·图像合成·编解码器·光流1介绍基于参考的超分辨率(RefSR)方法[2]利用超高分辨率(HR)参考图像来帮助超分辨率共享相似视点的低分辨率(LR)图像。由于参考图像中的高分辨率细节,RefSR通常导致与单图像SR(SISR)相比具有竞争力的性能。虽然RefSR已经成功地应用于光场重建[1,3,2]和千兆像素视频合成[4],但它仍然是一个具有挑战性的问题。通讯作者为吕芳(fanglu@sz.tsinghua.edu.cn)。本研究得到了国家自然科学基金项目的部分资助61722209,61331015和61522111,部分由国家重点基金会中国探索科学仪器第2013YQ140517号2H. Zheng,M.,中国科学院昆虫研究所所长。吉,H. Wang,Y.柳湖,加-地方和未解决的问题,这是由于在HR参考图像和LR图像之间存在视差和巨大的分辨率差距(8x)。从本质上讲,如何将参考图像中的高频细节转移到LR图像中是RefSR成功的关键。这导致RefSR中的两个关键问题,即,在一些实施例中,LR图像可以是两个输入图像之间的图像对应以及LR图像的高分辨率合成。基于补丁的流水线[1] CrossNet(我们的)结果Fig. 1. 左:[2]的“补丁加工+合成”流水线,中:建议的端到端CrossNet,对:结果比较。在[1]的初始工作中,为了开发两个输入之间的图像对应关系,HR参考中的下采样补丁上的梯度特征用于基于补丁的匹配,而补丁平均被设计用于图像合成。然而,[1]的过度简化和下采样的对应性估计没有利用高频信息进行匹配,而合成步骤没有利用高分辨率图像先验进行更好的融合。 为了解决上述两个限制,最近的工作[2]用卷积神经网络(CNN)学习的特征替换[1]的梯度特征以提高匹配准确度,然后提出了一种附加的CNN,其利用了最先进的单图像超分辨率(SISR)算法[5]。然而,[1,2]的方案中的在chm处的p+在chs处的p从根本上是有限的首先,所采用的滑动平均模糊的输出图像,并导致网格伪影。此外,基于块的合成固有地不能处理由视点变化引起的非刚性图像变形。为了将非刚性变形施加到基于块的算法,[3]通过在块合成之前迭代地应用非均匀扭曲来丰富参考图像然而,在低分辨率图像和高分辨率图像之间直接扭曲是不准确的。另外,块匹配和扭曲的这种迭代组合引入了沉重的计算负担,例如,大约30分钟用于合成图像。在本文中,我们提出了CrossNet,一个端到端的卷积神经网络-W或KB作为基础上的“W ar p i n g + S y n t h e s is”的idea的一个d e d e r en- B作为D i m age S u p e r e s u t ion。我们讨论了“patchmatching”和“war p in g”的概念,其中可以实现“Encoder-W ar p in g-Decoder”结构的概念,如图所示1.一、这种结构包含两个编码器,分别从LR和参考图像中提取多尺度特征我们利用源自空间Transformer网络(STN)[6]的扭曲模块,并将其集成到我们的LR编码合成流解码RefGT参考编码匹配翘曲[1]第我们估计器学习基于参考的超分辨率3×HR参考图像编码器。与基于块匹配的方法相比,翘曲自然地支持非刚性变形以克服RefSR中的视差此外,我们在编码器中提取多尺度特征,然后使用扭曲执行多尺度空间对准,如图1B所示。1.引入的多尺度特征从两幅图像中捕获互补的尺度信息,这有助于缓解RefSR中巨大的分辨率差距最后,解码器聚合特征以合成HR输出。总的来说,我们的模型是完全端到端可训练的,不需要预先训练流量估计器。大量的实验表明,CrossNet的优越性能(约2dB-4dB增益)相比,国家的最先进的SISR和RefSR方法,在不同的数据集与大/小的视角差异和不同的尺度。我们的训练模型推广到包括斯坦福光场在内的外部数据集更重要的是,CrossNet在一秒内生成320 512图像方面是高效的,而[1],[2]和[3]分别需要86.3s,105.0s和大约30分钟来执行相同的任务。2相关工作2.1单幅图像超分辨率单图像超分辨率(SISR)问题旨在对LR图像进行超分辨率而无需附加参考。尽管如此,SISR问题与基于参考的超分辨率(RefSR)问题密切相关。在早期,基于自适应采样的方法[7,8]已被应用于SISR。然而,这样的方法没有利用自然图像的统计。相比之下,基于模型的方法尝试设计图像先验,这有助于超分辨图像特定的图案。这些工作通常利用边缘先验[9],总变差模型[10],超拉普拉斯先验[11],稀疏先验[12最近,SISR问题被转换为监督回归问题,该问题试图学习从LR补丁到HR补丁的映射函数这些工作依赖于各种学习技术,包括最近邻搜索[18,19],决策树[20],随机森林[21,22],简单函数[23,24],高斯过程回归[25]和深度神经网络。随着深度神经网络模型容量的增加,SISR性能得到了迅速提高。自从第一个基于深度学习的SR方法[26]出现以来,已经提出了大量的工作来进一步提高SISR的性能。例如,Dong et al.”[27]吴敬琏等。[28]通过计算低分辨率域上的特征来加速SISR的效率Kim等人。[29]提出了一种20层深度网络,用于预测双三次上采样残差。Ledig等人[5]提出了一种用于SISR的具有对抗性训练的深度残差网络Lai等人[30]使用多级拉普拉斯网络重建子带Lim等人[31]通过引入多尺度特征提取残差块来改进[5]以获得更好的性能。因为4H. Zheng,M.,中国科学院昆虫研究所所长。吉,H. Wang,Y.柳湖,加-地方基于[31]中MDSR网络的令人印象深刻的性能,我们采用MDSR作为LR图像特征提取和RefSR合成的子模块2.2基于参考的超分辨率最近的工作,如[2,1,3,32-34]使用来自不同视点的附加参考图像来帮助超分辨LR输入,这形成了一种新的SR方法,称为RefSR。具体地,Boominathan et al.[1]使用DSLR捕获的高清晰度图像作为参考,并使用非局部均值[19]应用基于块的合成算法来超分辨低清晰度光场图像。Wu等人[34]通过在最近邻搜索之前采用补丁注册来改进这种算法,然后应用字典学习进行重建。Wang等人[3]迭代了[1]用于丰富范例数据库。Zheng等人[35]通过频率将图像分解成子带,并应用补丁匹配以进行高频子带重构。近日,郑某等[2]提出了一种基于深度学习的跨分辨率补丁匹配和合成方法,该方法显著提高了RefSR的准确性。然而,基于块的合成算法在处理非刚性的图像变形,这往往是由不规则的前景形状引起的固有能力在这种情况下,基于块的合成导致诸如块状伪影和模糊效果的问题尽管滑动窗口[1,2]或迭代精化[3]在一定程度上减轻了这种困难相反,与现有的RefSR方法相比,我们的全卷积网络可以实现超过100倍的加速,使该模型适用于实时应用。2.3使用Warping的我们的任务也涉及到图像/视频合成任务,使用额外的IM-年龄从其他观点或帧。这样的任务包括视图合成[36,37]、视频去噪[38]、超分辨率[38-40]、内插或外推[41,42]。为了解决这种类型的问题,基于“warp i n g and s y n t h e s is”设计的深度神经网络已经被合理地提出。具体地,使用所估计的流将之后,扭曲的图像被用于图像/帧合成,该图像/帧合成在该过程中始终使用附加的编辑。我们发现了这样一个问题,并在这个问题上取得了一致。然而,我们的方法在以下方面与现有的工作不同1)代替在像素尺度上对图像域执行扭曲的常见实践[41,42,36,37],我们的方法在特征域上执行多尺度扭曲,这通过允许在更高尺度上全局更新流来加速模型收敛2)在变形操作之后,提出了一种新的用于图像合成的融合方案。我们的融合方案不同于现有的合成实践,包括图像域早期融合(级联)[41,37]和线性组合图像[42,36]。学习基于参考的超分辨率5流动估测器经纱战争P战争P战争P参考编码器LRSISRLR编码解码r输出Ref图二. 我们提出的CrossNet的网络结构。3方法我们的基于参考的超分辨率方案,名为CrossNet,是基于一个完全卷积的跨尺度对齐模块,空间对齐的参考图像信息的LR图像域。与跨尺度对齐模块一起,提出了一种编码器-解码器结构,以端到端和完全卷积的方式直接合成RefSR输出的大小。整个网络如图所示。2.在第3.1节中,我们介绍了全卷积交叉尺度对齐模块的设计和属性。在第3.2节中,描述了端到端网络结构,随后是第3.3节中描述的图像合成损失函数。3.1全卷积跨尺度比对模块由于参考图像是在与LR图像不同的视点处捕获的,因此有必要执行空间对准。在[1-3]中然而,这种稀疏采样和非刚性上采样的对应关系可能容易在具有变化的深度或视差的区域周围失败。跨尺度扭曲。我们提出了跨尺度翘曲进行非刚性图像变换。与块匹配相比,我们不假设深度平面是局部恒定的。我们提出的跨尺度扭曲操作考虑逐像素移位向量V:I〇=warp(yRef,V),(1)其为每个像素位置分配特定的移位向量,从而避免块状和模糊的伪像。6H. Zheng,M.,中国科学院昆虫研究所所长。吉,H. Wang,Y.柳湖,加-地方×××(3)(2)(1)(0)××-≤(i−1)(i)LRLR∗⇓LRLRLR跨尺度流量估计器如图1顶部所示。在图2中,给定上采样LR图像及其对应的参考图像,我们采用广泛使用的FlowNetS [43]作为我们的流量估计器来生成多个尺度的跨尺度对应。为了进一步改进FlowNetS,我们用两个2上采样模块替换FlownetS的最终4双线性上采样层,而每个2上采样模块包含在去卷积层之后的跳过连接结构。这种额外的上采样程序允许修改后的模型预测流场具有更精细的定义。修改的流估计器工作以产生如下多尺度流场:{V,V,V,V}=流量(ILR↑,IREF),(2)其中IREF表示参考图像,并且ILR↑表示对LR图像(ILR)进行上采样的代表性单图像SR(SISR)方法[31]:ILR↑= SISR(I LR)。(三)关于流量估计器选择的更多讨论在第4.3节中给出。3.2端到端网络结构补丁匹配使用滑动窗口方案来计算逐像素流。与所提出的用于跨尺度流场估计的全卷积网络相比,这种匹配在计算上是昂贵的。将跨尺度翘曲作为空间对齐的关键组成部分,我们提出了一个端到端的RefSR合成网络。我们的网络包含LR图像编码器、参考图像编码器和解码器,LR图像编码器从LR图像IL提取多尺度特征图,参考图像编码器在多个尺度提取和对齐参考图像特征图,解码器使用U-Net[44]结构执行多尺度特征融合和合成图2总结了我们提出的CrossNet的结构主要模块,即,编码器、估计器和解码器的详细描述如下。LR图像编码器。给定LR图像IL,我们设计LR图像编码器以在4个尺度下提取参考特征图具体地,我们利用等式3中的SISR方法对LR图像进行上采样然后,将上采样后的图像与步长为1的64个滤波器(大小为55)进行卷积0.我们在尺度i上重复卷积特征图 1(对于0
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功