没有合适的资源?快使用搜索试试~ 我知道了~
11046光场图像超分辨的张硕1,2,林有芳1,2,郝胜3,41北京交通大学计算机与信息技术学院交通数据分析与挖掘北京市重点实验室2民航局智能旅客服务重点实验室3北京航空航天大学计算机科学与工程学院软件开发环境国家重点实验室4北京航空航天大学北京大数据与脑计算先进创新中心{zhangshuo,yflin}@ bjtu.edu.cn,shenghao@buaa.edu.cn摘要由于光场相机可以同时获取角度和空间信息,因此被认为具有许多潜在的应用。然而,有限的空间分辨率给相关应用的开发带来了诸多困难,成为光场相机的主要瓶颈本文提出了一种基于学习的方法,利用残差卷积网络重建具有较高空间分辨率的光场。首先将一个光场中的视图图像分组为具有一致子像素偏移的不同图像栈,并馈送到不同的网络分支中以隐式地学习固有的对应关系。然后从每个分支计算不同空间方向上的残差信息,并进一步积分以补充视图图像的高频细节。最后,提出了一种灵活的解决方案,以超分辨整个光场图像与各种角度分辨率。在合成数据集和真实数据集上的实验结果表明,该方法在视觉和数值评估方面都大大优于其他最先进的方法。此外,该方法在保持光场图像固有的核线特性方面表现出良好的性能。1. 介绍随着相机设备的最新进展,光场(LF)成像技术通常用于3D重建和虚拟现实应用[12,28,14]。对于大规模应用,相机阵列通常用于捕获具有大基线的高分辨率LF图像。通过在主透镜和成像平面之间插入微透镜阵列[1],开发了手持式全光但View-GT:PSNR/SSIMMMSR[29]:31.41/0.9370GBSQ[16]:31.51/0.9228LFNet[21]:29.15/0.9373 E D S R [10]:31.03/0.9263我们的:34.16/0.9728EPI-GT : PSNR/SSIM双 三 次 : 27.98/0.8516GBSQ[16] :31.41/0.9047LFNet[21]:28.84/0.8727EDSR[10]:31.04/0.9101我们的:34.04/0.9661图1.图像Horses[25]的空间超分辨率结果,放大倍数为2倍。我们的中心视图图像和核线平面图像(EPI)的结果优于其他国家的最先进的方法,具有显着更高的PSNR和SSIM。沿遮挡边界的背景字母清晰地恢复与锋利的边缘,在视图和核平面图像使用所提出的方法,而其他表现出强烈的文物或模糊的纹理。全光相机的空间分辨率较传统相机低,这严重限制了其发展,给许多实际视觉应用带来了困难。由于光场记录具有多个视图图像的场景,因此这些视图图像中的视差信息提供具有子像素偏移的多个采样以增强空间分辨率。传统方法通过基于先前视差信息显式地扭曲其他视图图像来配准子像素信息[16,23,29]。然而,用于LF图像的现有视差估计方法遭受遮挡、噪声和无纹理区域[7],这导致重构LF图像中的显著伪影。最近,已经提出了用于光场超分辨率(LFSR)的基于深度学习的方法,其中视差信息在训练过程中隐式学习[21,27]。然而,这些方法在探索AC方面是相当有限的。11047在LF图像中,管理亚像素信息并保持固有的核线特性。利用超分辨率网络中的残差结构[8,10,30],我们设计了一种新的残差网络(resLF)来提高LF图像的空间分辨率。该方法首先将LF中的视点图像按角度方向分成4组,分别输入不同的网络分支,学习特定空间方向上的高频细节信息。与其他LFSR方法不同的是,该方法隐式地挖掘了视点图像中反映视差信息的内在对应关系,并从各个方向学习亚像素映射。然后将来自不同空间方向的残差信息组合以生成最终超分辨中心视图图像的完整残差LF被分成不同的部分,并且整个视图图像最终基于灵活的解决方案被超分辨。实验在不同的LF图像和各种具有挑战性的场景中进行,包括噪声,遮挡和非朗伯表面。resLF网络可用于具有不同角分辨率的合成和真实世界LF图像。实验结果表明,所提出的框架显着优于其他国家的最先进的方法,在数字和视觉评价,其中PSNR的结果提高了1。在×2和×4超分辨率任务中平均为5dB。对极平面图像的对比实验表明,该方法能够在超分辨情况下保持对应关系查看图像。2. 相关工作由于LF从不同角度捕获具有多视图图像的场景,因此根据场景结构,在空间域中丢失的纹理信息实际上保留在角域中。大多数LFSR方法可以分为两大类,基于属性和基于学习的方法,直接或隐式地基于学习结构信息。在已知结构信息的前提下,如何准确地对多视点图像进行变形,寻找亚像素信息以提高空间分辨率,是当前研究的热点。基于EPI,Wanner等人 [23,24]使用EPI中的结构张量和插值线来解释深度信息,从而实现超分辨率视图图像。通过基于高斯混合模型对LF斑块进行建模,Mitra et al. [11]提出了基于估计的差异以更高的分辨率重建补丁。其他方法[2,3]专注于通过显式扭曲来自其他视图图像的像素来恢复视图图像。最近,Zhang等人 [29]提出了估计微透镜图像和视图图像之间的匹配关系,并使用具有更丰富纹理的微透镜图像来恢复图2. LF中来自周围视图图像的子像素信息不同的图像包含根据视差信息在不同方向上的子像素移位,水平子像素位置(标记为黄色)可以在水平相邻图像中找到。在我们的网络中,我们建议学习从周围图像中的子像素偏移到高分辨率中心视图图像的相关图片查看基于基于图的正则化器,Rossi等人。[16]设计了一个全局优化问题,以提高所有LF视图图像的分辨率。通过粗略估计各视点间的视差来计算变形矩阵,并考虑各视点间的几何结构来优化超分辨率结果。然而,尽管已经提出了许多视差估计方法[7],但是重建的视图图像仍然容易受到估计误差的影响,这导致沿遮挡边界的显著伪影。最近,深度卷积神经网络(CNN)已被开发用于单图像超分辨率(SISR)[4],并通过引入残差学习,递归层或更深的CNN模型[8,20,30]实现了卓越的性能。对于LF图像,设计了几个框架来隐式地学习几何结构并增加空间分辨率。Cho等人 [3]提出为高质量和低质量LF图像对训练字典,并基于稀疏编码提高图像质量。Yoon等人[26,27]开发了空间和角度网络,以同时对角度和空间分辨率进行上采样。不同的视图图像被分别增强,然后组合成不同类型的图像对以创建新的视图。Wang等人。 [21]建立了一个双向循环CNN,以分别超分辨水平和垂直图像堆栈,然后使用堆栈泛化技术将它们组合起来,以获得完整的视图图像。在他们的方法中,迭代地研究两个相邻视图图像之间的空间关系然而,由于大多数基于学习的框架选择分别对每个视图图像对或堆栈进行超分辨,因此没有充分考虑不同视图中的对应关系,从而无法很好地恢复准确的高频由于LF中的视图图像从各种方向捕获场景,因此空间域中的高频细节是实际的。子像素信息像素信息11048θC图3.建议的resLF网络的整体结构不同的图像栈Ilr被馈送到不同的网络分支中包括特征提取层(HFEθ)和S个残差块(HRBθ,s)。然后,每个分支的输出被级联用于D个全局残差块(HGRB,d)。然后将特征提取(HFE)之后的中心图像Ilr添加到全局残差输出。最后θcc上采样网络(HUP)的引入,以获得最终的超分辨率结果。如图2所示,从不同的角度方向观察图像。这种特殊的结构提供了从角域发现空间域亚像素信息的可能性。与上述方法不同的是,我们提出了一种专门设计的超分辨率框架,可以从不同的角度方向找到精确的亚像素信息,同时保持核线3. 方法所提出的resLF网络的目标是从低分辨率(LR)图像Llr(x,y,u,v)重构超分辨率(SR)LF图像Lsr(x,y,u,v),其中(x,y)在空间域中,并且(u,v)在角度域中[9]。假设用(X,Y,U,V)描述Llr的分辨率,具有较高空间分辨率的Lsr可以用(rX,rY,U,V)表示,其中r表示空间分辨率中的上采样因子,并且在大多数LF图像中U=V我们将图像转换到YCbCr颜色空间,只处理Y通道图像。3.1. 框架概述在一个LF中的视图图像,即。子孔径图像,捕捉不同方向的场景,可以从可以根据视差信息组合不同的方向以产生高分辨率视图图像。因此,我们建议从具有水平、垂直或对角亚像素移位的周围视图图像中探索细节信息如果角方向tanθ=v/u,则在一幅视点图像周围提取出Iθ=0,Iθ=90,Iθ=45,Iθ=135的图像栈,这些图像栈的视点沿水平、垂直、左、右对角线方向变化受SISR[30]中最近残差学习的出色性能的启发,我们专门为LF图像设计了一种残差网络结构。如图3,resLF网络包含四个分支和具有若干残差块的全局部分。与其他视图图像相比,一个LF中的中心视图图像具有来自相关图像栈的更多可用子像素信息。因此,我们首先设计网络以提高中心视图图像的空间分辨率(见第2节)。3.2),其中每个图像堆栈中的可用视图图像的数量相同。然后使用具有不同角分辨率和不同图像堆栈输入的LF图像训练网络。最后,根据灵活的解决方案恢复整个LF图像(参见第3.3)。3.2. 网络设计假设给定训练数据{Llr,Ihr}IhrC c通过固定(u,v)和改变(x,y)坐标来实现。与传统的多视点图像不同,是地面实况,表示中心视图图像具有高分辨率。 这四个图像堆栈来自不同的LF具有各种角度。 如图2所示,环绕-方向{Ilr,Ilr,Ilr,Ilr在中央视野周围,0 4590135在一个角度方向上的视图图像包含在特定空间方向上的中的移位像素可以计算年龄ILR我们的网络的目标是学习一个模型HU×V,它可以预测一个高分辨率的中心。............ResBlock...ConvConvResBlockConvResBlockConvResBlockConvResBlockResBlockResBlockResBlockResBlockConvReluConvResBlockResBlockConvConvShuJieConv11049θCθθ43.56(a) H7×7(b) H5×5(c) H3×3(d)H3×3(2×3,3×2,2×2)42.88(e)最终LF图像(f)PSNR值图4.超分辨率完整LF图像的灵活解决方案。如(a-d)中所示LF部分中的中心视图图像使用相应的网络进行超分辨。(e)显示了一个LF中的所有视图,其中每种颜色表示相应的网络。在(f)中,每个网格的颜色表示Mona中的重构视图图像的PSNR。侧视图图像Isr=HU×V(Ilr,Ilr,I lr,Ilr,Ilr),根据不同的角度方向,c0 4590135C给定输入,具有U×V角分辨率。考虑到相邻视图图像的基线较窄,将来自一个方向的图像堆栈直接连接为每个分支的输入与[18]类似,该网络由四个分支构成,每个图像堆栈单独编码,以学习特定方向上的残差部分使用卷积网络隐式地计算视差信息,以找出每个视图图像之间的准确子像素移位。在每个分支中,第一卷积层HFEθ(·)从每个图像堆栈中提取特征组对应于特定空间方向 我们定义D全局残差块H GRB,d(·)以进一步利用来自不同方向的子像素残差信息。HGRB,d(·)在每个分支中具有与残差块HRB,s(·)类似的结构,但是具有4倍大的滤波器数量以提取更多的特征。然后,将全局特征馈送到卷积层HGF(·)中,并与来自中心视图图像的特征FFEc在低分辨率空间中提取中心图像的局部和全局特征后,引入上采样网络HUP(·),得到高分辨率空间的最终图像。受[17]中工作的启发,FFE =HFE(Ilr),(1)一个卷积层和一个混洗层,其中Ilr表示每个方向θ上的图像栈,并且FFEθ被给出作为随后的残差块的输入。我们还定义了一个类似的卷积运算HFEc(·),卷积层用于构造上采样网络。最终的超分辨视图图像可以表示为:Isr=HUP(HGF(FGRB,D)+FFE), (4)Cc以提取相应的特征对于剩余学习:FFE =H FE(I lr)。(二)其中FGRB,D是指D全局残差的输出个街区. 超分辨率视图图像结合了从周围视图图像学习的CcC假设我们在每个分支中具有S个残差块(RB),则第s个RB的输出FRBθ,sFRBθ,s=HRBθ,s(FRBθ,s−1), (3)其中HRBθ,s(·)表示第s个RB。RB的结构定义类似于[10],它依次包含卷积层,整流线性单元(ReLU)和卷积层。在每个块中,输入作为残差部分直接添加到输出。在从具有不同方向的RB中提取特征之后,我们以全局方式集成所有特征,并将其进一步馈送到更多的剩余学习块中:FGRB,d=HGRB,d(FGRB,d−1)=HGRB,d(·· ·HGRB,1(FGRB,0)···),其中FGRB,0=[FRB0,S,FRB90,S,FRB45,S,FRB135,S]是指从S残差中串联要素每个分支中的块由于图像堆栈是分组的,H3× 3(2× 2)H3×3(2×3)H3× 3(3×2)θH7×7H5×5H3×311050不同的方向。3.3. 光场超分辨率由于一个LF的不同视图图像在其特定方向上捕获场景并且具有其特定特征,因此难以同时超分辨一个网络中的所有视图图像。最先进的基于学习的LFSR算法构建了复杂的网络,通过对每个图像单独应用超分辨率处理[27]或基于已经超分辨率的视图图像计算视图这样,在一个LF视图图像是超分辨率的不平衡的信息和相关的结果显示出很大的差异。同时,视图图像中的对应关系也难以保持。此外,对于具有不同角分辨率的LF图像,这些网络应该从一开始就训练,其性能在具有小角分辨率的LF时急剧下降。与这些复杂的网络不同,我们选择结合周围环境单独处理每个视图图像11051表1. 使用不同的网络结构对×2超分辨率结果进行定量比较。网络不完整的图像堆栈不同的角度分辨率不同的图像堆栈H3×3(3×2)H3×3(2×3)H3×3(2×2)H3×3H5×5H7×7H9×9H1×9,hH9×1,vH9×9,cAvg. PSNR三十七19三十七09三十七02三十七24三十七60三十七6537.77三十六27三十六32三十七35Avg. SSIM0的情况。97560的情况。97480的情况。97420的情况。97560的情况。97770的情况。97820.97880的情况。96870的情况。97010的情况。9768查看图像以保持几何结构,这也提供了一种更灵活的解决方案来获得具有各种角度分辨率的整个LF图像。为了超分辨完整的LF图像,我们训练了具有各种角分辨率的不同resLF网络。LF图像被划分为不同的部分,其中其他视图图像被视为相应LF部分中的中心视图图像。如图4所示,我们显示了具有7 ×7角分辨率的LF图像的超分辨率过程。解决方案对于中心视图图像,每个堆栈具有7个im-年龄和网络H7×7,用于生成结果。分别采用H5×5和H3×3网络恢复相邻视图图像至于边界视图图像,我们缺乏从图像堆栈中的一个或多个方向获取图像信息。一种解决方案是使用可用的周围视图来改变具有不同分支的边界视图的网络结构。在所提出的框架中,我们选择另一种解决方案来填充每个图像堆栈中缺少的视图具体地说,我们分别对左右边界图像训练H3×3(3×2)网络,对上下边界图像训练H3×3(2×3)网络,对四个角点图像训练 H3×3 ( 2×2 ) 网 络然后,具有各种角分辨率的resLF网络用于超分辨LF中的所有视图图像。我们在部分测试数据集上评估了不同的resLF网络一般来说,每个图像栈中具有更多视图图像的网络具有更好的性能.对于具有3×3角分辨率的LF图像,即使对于具有不完整图像堆栈,所提出的网络也相应地在训练后产生示例图像Mona的数值结果如图4所示对于该图像,中心视图图像实现了最高的精度,并且边界视图图像也获得了类似的性能。3.4. 实现细节由于LF图像的基线很小,我们将3×3设置为内核大小,并在所有卷积层中填充零单个分支中的卷积层有32个滤波器,级联后的全局残差块中的层有32×4个滤波器。全局特征提取层具有32个过滤器,用于将残留细节与原始图像相结合。最后的卷积层有1个通道来输出所需的SR图像。我们在每个分支中设置S=4,26.第26章大结局66,30。72(b)十八,三十四。90(c) 三十二十三,三十四。67(d)26,36。56(e)32.81、37.87图5.超分辨率结果使用不同的网络结构,其中每个图像的PSNR值是相应地显示。(a)双三次插值(b)H9×1 , v(c)H1×9,h(d)H9×9,c(e)H9×9。该网络结合了来自更多方向获得比其他方向更锐利的边缘和纹理。在几次实验测试之后,在全局部分中D=4。L1损失函数的使用,因为它提供了更好的性能比L2损失函数在建议的网络。在每个训练批次中,我们随机提取64个空间大小为35×35的LF补丁作为输入。我们通过水平或垂直翻转图像或旋转180度来随机增加数据集由于像素移位与视差信息相关,因此应相应地改变每个堆栈中的图像顺序以保持LF图像中的epipo- lar属性我们使用Adam优化器训练我们的模型,并使用Xaviers算法[5]初始化每层中的权重所有权重的学习率初始化为10−3,并以0为因子递减。每100个纪元1个。我们使用Torch7框架实现了resLF网络,训练过程大约需要1天的时间。该模型可在7ms内对每幅视图图像进行空间×2超分辨4. 实验在实验中使用来自HCI1 [25]和HCI2 [6]的合成图像以及来自Lytro Illum相机[12]的真实世界图像[19,15,21]。训练、验证和测试数据集选自上述模拟,11052佛Mona表2.对合成光场图像Buddha和Mona的×2超分辨率结果进行定量评价(PSNR/SSIM)。方法米特拉[11]28岁83比0866529岁91/0899431岁17比0934328岁54 /0.854129岁28 /0。8911三十07 /0。9319[23]第二十三话二十四岁43比0 766229岁69 /0。8691三十六97比09470二十五40 /08542三十76比09324三十七六成9862[27]第二十七话三十六25/09579三十六95 /0。9623三十七35 /0。9657三十七03 /0。9833三十七99/09863三十八岁。53/0。9878MMSR [29]- /-39岁83比09745- /-- /-三十四44/09702- /-GBSQ [16]39岁29比09678四十完全正确9730四十37比0975439岁88比09795四十41 /0。9812四十73比09821LFNet [21]三十八岁。09/0。9709三十八岁。42比0 9731三十八岁。77比0 9760三十八岁。38比0 9884三十八岁。73比0 9891三十八岁。80/0。9895EDSR [10]39岁72比0968039岁93比09703四十43比09726四十二21/09800四十二35 /0。9803四十二46比09806提出41.09 /0.988141.62 /0.989742.24 /0.991042.88 /0.992943.13 /0.993443.56 /0.9941年龄,其中包括250,50和50LF图像,分别。所有数据集都以9×9的角分辨率进行预处理,并以较小的角分辨率进行裁剪以训练不同的网络。图像在空间采用双三次插值进行×2和×4下采样,并采用所提出的方法进行超分辨。我们一起训练合成图像和真实世界的图像,以获得鲁棒的超分辨率结果。 超分辨率结果用PSNR和SSIM进行评估[22]。结果与最先进的LFSR算法进行了比较,包括基于概率的方法[23,11,29,16]和基于学习的方法[方法[27,21]。最先进的SISR方法[10]也用于进一步比较。4.1. 消融研究在本小节中,我们研究具有不同分支的网络的性能。我们设计了只使用水平或垂直图像堆栈作为输入的网络H1×9,h和H9×1,v,以及使用水平和垂直图像堆栈作为输入的网络H9×9,c为了进行公平的比较,网络的参数数量和结构与原始网络保持相同我们的测试数据集部分的定量比较如表1所示多角度图像叠加的网络比单角度图像叠加的网络性能更好。此外,与H9×9,c相比,H5×5网络在多个方向输入图像的情况下,每个网络的输入视图数几乎相同,得到了更好的结果。我们还展示了图中的一些例子5,其中包含复杂的纹理以及大量的闭塞。 结果表明,H9×9网络得到的结果具有更好的视觉效果。4.2. EPI比较由于我们使用不同的网络处理每个视图,因此验证该方法是否能够保持固有的几何结构是很重要的。我们将超分辨视图集成到EPI中,并比较图1中的极线特性。图1、图6和表3,其中提供了EPI。如图所示,GBSQ [16]的EPI结果模糊。尽管图像堆栈在LFNet [21]中同时超分辨率,但由于在超分辨率过程中没有充分考虑由于EDSR [10]仅关注一个单一视图图像,因此高频纹理在每个视图图像中单独超分辨,使得EPI中的相应线索无序。相比之下,我们的方法使用周围的视图图像,以考虑对极线约束的每个视图图像,使得几何结构很好地保留在最终重建的LF图像。4.3. 合成图像在本小节中,我们将所提出的方法与合成LF图像(HCI1 [25]和HCI2 [6])的最新方法进行了比较LF图像以5×5的角分辨率裁剪,并以×2的空间分辨率超分辨。正如在第二节中所解释的。 3.3, 该净-作品H5×5、H3×3、H3×3(3×2)、H3×3(2×3)和H3×3(2×2)用于在一个LF中超分辨不同的视图图像。在表2中列出了图像Buddha和Mona的详细比较,其中示出了最小、平均和最大PSNR和SSIM。由于不确定的视差信息,基于视差的方法[23,11,29]的结果在不同视图图像中变化很大。由于Mona中的大多数纹理都是规则的,因此与其他LF特定方法相比,EDSR [10]我们的方法优于其他方法超过1。62 dB(PSNR)在佛陀和0。78dB(PSNR)在Mona。我们的超分辨视图图像的差异是小的一个LF和我们的结果的最小PSNR和SSIM值仍然高于其他。我们在表3中提供了合成数据集的平均结果。建议的resLF超过第二个最好的结果1。62 dB的PSNR和0.02在SSIM平均。定性比较如图所示1和图六、MMSR[29]在平坦区域中获得清晰的纹理,但由于错误的估计视差信息而在遮挡边缘中失败。EDSR [10]无法预测复杂纹理MinAvgMaxMinAvgMax11053Ground TruthMMSR [29]/Bicubic GBSQ [16] LFNet [21] EDSR [10]建议PSNR /SSIM39.83 /0.974540.37/0.975438.77 /0.976040.43 /0.972642.24 / 0.9910EPI-PSNR /EPI-SSIM37.53 /0.953040.26 /0.972837.82 /0.957640.08 /0.969741.64 / 0.9899PSNR /SSIM31.43 /0.928533.22 /0.939232.38 /0.940331.80 /0.937834.35 / 0.9764EPI-PSNR /EPI-SSIM29.95 /0.888632.30 /0.920331.00 /0.907532.21 /0.925434.50 / 0.9727F [19],ISO Chart 12[15].显示了超分辨中心视图图像和EPI,其中对应的PSNR和SSIM值如下所示。由于MMSR [29]仅对LF中的中心视图有效,因此我们使用双三次方法显示EPI我们的方法是能够恢复更准确的细节,在查看图像和保留核线功能的EPIs比别人。表3. Avg.每个LF数据集中× 2超分辨视图图像的PSNR/SSIM和平均所有数据集中相关EPI的SSIM。方法HC1 [25]盐酸[6]莱特罗[15]自行车[19][19]第十九话反射[19]总体EPI双三三十五23/0930331岁67比0881631岁23/0885629岁76比09014三十三岁。六成9273三十六94比094950的情况。9210MMSR [29]三十五44/0962131岁46比0918929岁83比0928429岁83比09284三十三岁。38比0 9440三十六13 /09571-GBSQ [16]三十八岁。04/0。9635三十四61 /0。9423三十二46比0929531岁69 /0。9445三十六23/09596三十八岁。29比0 96490的情况。9411LFNet [21]三十六46比09645三十三岁。63/0。9317三十二七比零。934831岁九成二9499三十五九成二9630三十八岁。80/0。97060的情况。9367EDSR [10]39岁24/09657三十五07 /0。9489三十三岁。94比0 9473三十三岁。86比0 9638三十七61/0。9692四十64 /0。97580的情况。9560提出41.09 /0.988236.45 /0.978635.48 /0.972735.21 /0.980639.71 /0.987642.32 /0.99040.9778基于一个单视图图像并产生模糊的细节。LFNet [21]使用水平和垂直图像堆栈进行训练,并将结果合并到堆栈生成中。正如他们在[21]中分析的那样,组合后的最终结果仅实现了PSNR的微小改善,这意味着来自不同方向的子像素信息没有很好地集成。因此,恢复相关结果时会出现伪影。在我们的方法中,建议的网络结合周围的视图图像从不同的方向在一个全球的方式,使它能够处理复杂的纹理。结果表明,显着更好的图像质量的纹理准确地恢复在平坦和遮挡区域。我们还训练了一组4×网络来完成更难的超分辨率任务。定量结果如表4所示,定性结果如图4所示。7. 我们方法也优于其他方法,在大多数评估图像中超过1dBEDSR [10]的结果过度平滑,细节模糊,LFNet [21]产生模糊和嘈杂的结果。相比之下,我们的结果很好地保留了边界和纹理,并在视觉效果上表现出4.4. 现实世界图像由于所提出的网络是针对各种LF图像设计和训练的,因此该模型可以直接用于Lytro图像。×2结果见表3和图。6,其中[19]中的不同类别分别进行评估。图中比较了×4结果。7和表4。由于这些LF图像是使用全光相机捕获的,因此原始视图图像包含明显的伪影和噪声,这使得更难以估计图像中的视差PSNR /SSIM33.13 /0.944735.00 /0.954432.05 /0.929336.58 /0.966838.99 / 0.9865EPI-PSNR/EPI-SSIM 31.81/0.9170 34.47/0.9412 32.51/0.9200 36.44/0.9597 37.75 /0.9820图6.合成图像佛陀[25]和真实世界图像遮挡4的详细×2超分辨率结果11054[10]第21话:我的世界自行车×4PSNR/SSIM 25.08/0.6567 26.06/0.7492 27.36/0.795328.02 /0.8918花×4PSNR/SSIM 29.38/0.8334 31.39/0.8720 32.56/0.915834.08 /0.9675Stone×4PSNR/SSIM 27.61/0.6713 28.54/0.7193 28.92/0.794030.26 /0.9016图7.×4超分辨率结果的图像比较,其中显示了超分辨率中心视图图像平均PSNR和SSIM值如下所示我们的研究结果表明,与其他方法相比,更少的伪影和优越的图像质量表4.定量评价(平均PSNR/平均值SSIM)在不同光场数据集上的×4超分辨率结果双三三十二30 /0847023岁41 /0。5886二十六岁六成7755三十七09 /0。8853二十七岁61/0。671329岁38比08334LFNet [21]三十三岁。51/0。8827二十四岁67比0 7273二十七岁59 /0.8776三十七71 /0。962428岁54 /0.719331岁39比08720EDSR [10]三十四98 /09059二十六岁十分满意7968三十96比0 9148三十八岁。02/0。907128岁九成二7940三十二56 /0。9158提出36.06 /0.962327.35 /0.884032.57 /0.955139.25 /0.973130.26 /0.901634.07 /0.9675形成和重建LF图像,特别是对于4×任务。[21]中的LFNet特别训练真实世界的图像,在超分辨率图像中产生明显的伪影。EDSR [10]的结果不明确且过度平滑,因为未考虑来自其他视图图像的信息。相比之下,我们的结果实现了显着更高的PSNR和SSIM在不同类型的现实世界的图像的任务,这表明,该网络不仅可以处理噪声输入,但也恢复更多的高频细节。5. 结论本文提出了一种残差卷积网络来提高光场图像的空间分辨率光场的内在结构信息,从不同的角度方向在不同的网络分支中探索AGES,并且AGES用于通过网络推断高分辨率视图图像中的子像素信息。具有不同角分辨率的整个光场图像可以基于不同的训练模型被超分辨实验结果表明,我们的方法优于国家的最先进的方法,在PSNR和SSIM的大幅度提高该网络能很好地保持图像的核线特性,并可用于不同角度分辨率的光鸣 谢 : 这 项 工 作 得 到 了 中 央 大 学 基 础 研 究 基 金2019RC013的支持。方法布达[25]电子邮件[6][15]第十二话[15]第十五话石[21][第21话]11055引用[1] Edward H Adelson和John YA Wang。具有全光相机的单镜头立体声。IEEE Transactions on Pattern Analysis andMachine Intelligence,14(2):99[2] 汤姆·E·毕晓普萨拉·萨内蒂和保罗·法瓦罗光场超分辨。IEEEInternationalConferenceonComputationalPhotography(ICCP),第1-9页,2009年[3] 赵东贤,李敏亨,金善英,戴宇荣。对lytro camera的校准管道进行建模,以实现高质量的在IEEE计算机视觉国际会议(ICCV)的会议论文集,第3280-3287页[4] Chao Dong , Chen Change Loy , Kaiming He , andXiaoou Tang.使用深度卷积网络的图像超分辨率。IEEETransactionsonPatternAnalysisandMachineIntelligence,38(2):295[5] 泽维尔·格洛特和约舒亚·本吉奥了解训练深度前馈神经网络的困难。在国际人工智能和统计学会议上,第249-256页[6] Katrin Honauer,Ole Johannsen,Daniel Kondermann,and Bastian Goldluecke. 4d光场深度估计的数据集和评估方法在亚洲计算机视觉会议(ACCV)的会议记录中,第19- 34页[7] Ole Johannsen,Katrin Honauer,Bastian Goldluecke,Anna Alperovich , Federica Battisti , Yunsu Bok ,Michele Brizzi , Marco Carli , Gyeongmin Choe ,Maximilian Diebold,et al.密集光场深度估计算法的分类与 评价 。在 IEEE计算 机视 觉和模 式识 别研讨 会(CVPRW)会议录中,第1795-1812页[8] Jiwon Kim,Jung Kwon Lee,and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别会议(CVPR)的会议记录中,第1646-1654页[9] Marc Levoy 和 Pat Hanrahan 。光 场 渲 染 。 在 ACMProceedings of Annual Conference on Computer Graphicsand Interactive Techniques,第31-42页[10] Bee Lim , Sanghyun Son , Heewon Kim , SeungjunNah,and Kyoung Mu Lee.单图像超分辨率的增强深度残差 网络 。在 IEEE计算 机视 觉和模 式识 别研讨 会(CVPRW)会议记录中,第4页,2017年。[11] Kaushik Mitra和Ashok Veeraraghavan。光场去噪、光场超分辨率和基于立体相机的使用gmm光场片先验的重聚 焦 。 在 Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition Workshops(CVPRW),第22-28页[12] 吴 仁 Lytro 重 新 定 义 了 摄 影 与 光 场 相 机 时 代 。http://www.lytro.com网站。访问日期:10月2018年22日。[13] RenNg , MarcLevoy, Ma thieuBre' dif , GeneDuv al ,MarkHorowitz,and Pat Hanrahan.光场摄影手持式全光照相机。计算机科学技术报告CSTR,2(11),2005年。[14] Christian Perwa和Lennart Wietzke。光线:光场技术。http://www.raytrix.de网站。访问日期:10月2018年22日。[15] Martin Rerabek和Touradj Ebrahimi新的光场图像数据集。2016年第八届多媒体体验质量国际会议[16] 马蒂亚·罗西和帕斯卡·弗罗萨德基于图形正则化的几何一 致 性 IEEE Transactions on Image Processing , 27(9):4207[17] WenzheShi,JoseCaballero,FerencHusza'r,JohannesTotz,Andrew P Aitken,Rob Bishop,Daniel Rueckert,and Zehan Wang.使用有效的子像素卷积神经网络实现实时单幅图像和视频超分辨率。在IEEE计算机视觉和模式识别会议(CVPR)的会议记录中,第1874-1883页[18] Changha Shin、Hae-Gon Jeon、Youngjin Yoon、In SoKweon和Seon Joo Kim。Epinet:使用对极几何结构的全 卷 积 神 经 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议(CVPR)的会议记录中,第4748-4757页,2018年。[19] Abhilash Sunder Raj , Michael Lowney , Raj Shah 和Gordon Wetzstein 。斯 坦 福 大 学 光 场 档 案 馆 。http://lightfields.stanford.edu/LF2016.html,2016.访问日期:10月2018年22日。[20] Ying Tai,Jian Yang,and Xiaoming Liu.基于深度递归残差网络的图像超分辨率。在IEEE计算机视觉和模式识别会议(CVPR)上,第5页,2017年。[21] 王云龙、刘飞、张坤波、侯光启、孙振安、谭铁牛。Lfnet:一种用于光场图像超分辨率的新型双向递归卷积神经网络。IEEE Transactions on Image Processing,27(9):4274[22] Zhou Wang,Alan C Bovik,Hamid R Sheikh,and EeroP Si-moncelli.图像质量评估:从错误可见性到结构相似性。IEEE Transactions on Image Processing,13(4):600[23] 斯文·万纳和巴斯蒂安·戈德卢克。四维光场的空
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 电力电子系统建模与控制入门
- SQL数据库基础入门:发展历程与关键概念
- DC/DC变换器动态建模与控制方法解析
- 市***专有云IaaS服务:云主机与数据库解决方案
- 紫鸟数据魔方:跨境电商选品神器,助力爆款打造
- 电力电子技术:DC-DC变换器动态模型与控制
- 视觉与实用并重:跨境电商产品开发的六重价值策略
- VB.NET三层架构下的数据库应用程序开发
- 跨境电商产品开发:关键词策略与用户痛点挖掘
- VC-MFC数据库编程技巧与实现
- 亚马逊新品开发策略:选品与市场研究
- 数据库基础知识:从数据到Visual FoxPro应用
- 计算机专业实习经验与项目总结
- Sparkle家族轻量级加密与哈希:提升IoT设备数据安全性
- SQL数据库期末考试精选题与答案解析
- H3C规模数据融合:技术探讨与应用案例解析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)