没有合适的资源?快使用搜索试试~ 我知道了~
真实照片的内核超分辨率建模
2433真实低分辨率图像的核超分辨率建模周若凡IC,EPFLepfl.chSabineSüsstrunkIC,EPFLsabine. epfl.ch摘要深度卷积神经网络(CNN)在相应的高分辨率和低分辨率图像对上进行训练,在单图像超分辨率方面实现了最先进的性能然而,当应用于真实照片时,它们的性能是有限的。原因在于他们的训练数据:低分辨率(LR)图像是通过相应的高分辨率(HR)图像的二次三次插值获得的。所应用的卷积核与真实世界的相机模糊有很大因此,虽然目前的CNN可以很好地超分辨率双三次下采样LR图像,但它们通常在相机捕获的LR图像上失败。为了提高深度超分辨率CNN在真实照片上的泛化能力和鲁棒性我们建议的KMSR包括两个阶段:我们首先用生成对抗网络(GAN)构建一个真实模糊核池,然后用用生成的核构建的HR和相应的LR图像训练超分辨率网络。我们广泛的实验验证证明了我们的单图像超分辨率方法对具有未知模糊核的照片的有效性。1. 介绍单图像超分辨率方法旨在通过恢复高频细节从单个低分辨率(LR)图像重建高分辨率(HR)图像。经典的超分辨率(SR)算法[40,41,57]对模糊核和真实图像特性进行分析建模,以恢复HR图像。相比之下,许多现代SR方法[21,45,49]试图学习从LR图像到HR图像的映射。最近,几种基于卷积神经网络(CNN)的SR模型被描述[8,17,26,31,42,55]。所有这些基于学习的方法都需要大量成对的LR和HR图像进行训练。图1:我们提出的内核建模超分辨率(KMSR)框架的说明。第一阶段由来自真实照片的模糊核估计组成,其用于训练GAN以生成大量真实模糊核。然后利用这些生成的模糊核来创建对应的HR和LR图像的配对数据集,用于训练深度CNN。获得真实场景的这种成对LR和HR地面实况图像是不平凡的因此,当前基于CNN的SR网络依赖于合成生成的LR图像[44]。最常用的技术是将双三次插值[25]应用于HR图像。然而,双三次卷积核不同于真实的相机模糊[32]。相机捕获图像中高频细节的损失是由于几个因素造成的,例如光学模糊、大气模糊、相机抖动和镜头像差[34]。因此,即使这些基于CNN的SR网络在双三次下采样LR图像上表现良好,但它们的性能在真实照片上受到限制,因为它们在错误的条件下操作。2434核心假设[11,32]。基于生成对抗网络(GAN)的方法[3,30,39,47]可以扩展到在未配对的数据集上训练SR网络,但它们仍然依赖于不切实际的模糊内核。因此,在具有未知相机模糊的真实LR照片上的超分辨率仍然是一个挑战性的问题。为了生成具有真实相机模糊的合成LR图像,我们可以使用核估计算法[28,29,35]从真实LR照片中提取逼真的模糊核。然而,由于每个相机、镜头、光圈和大气条件组合可能导致不同的模糊内核,因此生成训练SR网络所需的足够大且多样化的数据集[28,29]是具有挑战性的。一种方法是使用许多模糊核生成合成LR图像[36],这将提高SR网络的泛化能力。使用核估计器,我们首先从真实照片中提取模糊核,并将其用于训练GAN。GAN是在[12]中首次提出的一类神经网络,它学习生成与给定训练数据具有相同分布的合成样本因此,我们通过利用GAN近似复杂分布的能力[24,30,38,50]来学习和生成额外的模糊内核,从而增强了我们使用内核估计获得的有限内核集因此,我们的核建模超分辨率(KMSR)由两个阶段组成,如图所示1.一、我们首先通过使用核估计算法从照片中提取真实的模糊核,然后,我们用从内核池中采样的内核构建一个配对的LR-HR训练数据集,并为SR训练一个本文的主要贡献如下:(1)我们引入了KMSR,通过在框架中加入真实的模糊核来改善真实照片上的盲SR,这提高了网络对看不见的模糊核的泛化能力,(2)我们证明了GAN可以可靠地生成真实的模糊核,(3)我们用真实图像上的实验证明了所提出的KMSR达到了艺术结果在视觉质量和客观度量方面。2. 相关工作2.1. 基于CNN的图像超分辨率用于超分辨率的深度网络架构是一个积极的研究课题,因为它们在合成LR图像上表现出良好的性能[44]。Dong等人[8]采用3层CNN来学习从插值LR图像到HR图像的端到端映射。它们实现了与常规SR方法的比较结果。全局[26]和局部[17,31]的残差学习策略可以用来降低学习难度和简化训练,从而提高学习效率。优化SR网络的性能。Shi等人[42]建议进一步增加网络的接收场的子像素放大;这提供了更多的上下文信息,其有助于生成更准确的细节。所有这些网络都是用成对的LR-HR数据训练的,并且通常使用固定的下采样过程来生成合成LR图像。这导致网络在真实照片上的泛化能力较差,因为实际的图像采集与学习的模型不对应一些方法提出通过使用不同的光学变焦来捕获真实的LR-HR图像对[5,54],但是在这样的数据集上训练的网络限于一个特定的相机模型。最近的方法确实提出将包括模糊核的退化参数并入到网络中[14,43,51,52,53]。然而,这些方法仅依赖于模糊核估计算法,并且因此具有有限的处理任意模糊核的能力在本文中,我们通过在创建训练数据集时对真实核进行建模来解决这个问题,从而提高了实际的SR网络的稳定性和推广性。2.2. 模糊核估计近年来,我们已经目睹了显着的进步,在单图像去模糊,以及模糊核估计。开发了基于最大后验概率(MAP)公式的有效方法,具有不同的似然函数和图像先验[4]。特别地,针对MAP估计框架提出了用于核估计的启发式边缘选择方法[7]为了更好地恢复模糊核并更好地重建图像去模糊的尖锐边缘,一些基于范例的方法[16]利用来自外部数据集的模糊输入和示例图像中包含的信息。最近,Pan等人使用暗通道先验[19]。[35]以简单有效地估计自然图像的模糊核。由于它们在去模糊任务[29]上实现了显著的性能,因此我们采用它们的核估计算法来收集真实图像的模糊核。2.3. 生成对抗网络GAN被提出来近似难以处理的概率计算[24,30,38,50,59],并在一些SR网络中用于提高视觉质量[30,39,47]。然而,训练GAN可能是棘手和不稳定的,并且很难生成无伪影的HR图像[24,38,50]。DCGAN [37]为构建和训练GAN提供了一些有用的指南。WGAN [1,15]通过克服在生成网络、判别模型和网络架构设计之间保持训练平衡的困难,进一步改进了GAN训练。一些应用程序也证明了它们能够为深度学习增加有限的训练数据我们用WGAN-GP [15],2435ˆ2F′F验证版本的WGAN,以生成一个大的池,然后用于生成逼真的LR图像,用于我们的KMSR网络的训练。3.2.1模糊核估计到 生成 一 设置 的 真实模糊核K′={k′,k′,. . . ,k′},我们首先随机提取大小为p的块12e3. 该方法本节介绍我们针对真实照片的内核建模超分辨率解决方案:KMSR。它由一个内核池创建阶段和一个CNN型的SR网络d×d从双三次放大的LR图像(或粗HR图像)x′。然后,我们估计大小为25×25的模糊核k′使用[35]的模糊核估计算法从p基于暗通道先验[19],他们的图像去模糊标准公式如下:(See图①的人。我们首先介绍成像模型,′ ′2暗的我们获得LR和HR图像。然后,我们讨论了核池生成和SR网络敏p,k′-p+θk2+µp0+p¨0(五)架构3.1. 核建模盲超分辨率设y是大小为r1×r2像素的HR图像,设x是y的LR观测值,大小为r1/s×r2/s,其中s >1是下采样因子。x和y之间的关系表示为[11]:x=(yk)↓s+n,(1)其中k表示未知模糊核,↓s表示因子s的抽取算子,n是噪声。我们认为在LR图像采集模型中没有噪声,即,n=0。我们使用传统的双三次插值将LR图像放大为具有所需大小r1×r2的粗糙HR图像x同样的因素s:′x=(xbs),(2)其中bs是具有尺度s的双三次尺度提升核。因此p是从x′中提取的斑块,pdark是斑块的暗通道[19]。坐标下降用于交替求解潜在补丁p和模糊核k′。详情可参见[35]。消除缺少高频细节的补丁(例如来自天空、墙壁等的补丁)其中模糊核估计算法可能会失败,我们为p如下所示|≥α ·平均值(p)(6)|≥ α·Mean(p)(6)其中Mean(p)和Var(p)分别计算平均强度和方差,α∈(0,1)。如果满足约束条件,则p将被视为一个有效的块,并将来自p的估计模糊核k′加到集合K′中。我们从每个双三次放大的LR图像x′中提取5个块。 我们设置补丁大小d = 512,α = 0。003.3.2.2基于GAN的在实践中,输入LR图像可能难以获得,我们有简化了x=((yk)↓s)bs,(3)仅限于一些相机型号。此外,核估计算法[35]在计算上是昂贵的。因此,收集的籽粒的数量和多样性x′其中k′=(kbs)↓s。=yk′(四)最后一个子部分可能是有限的,并且仅用这些内核训练深度CNN的结果将是不够的。因此,我们建议对模糊核分布进行建模,为了训练盲CNN SR网络,我们需要配对训练-将根据等式11获得的数据y和x′,4、不同的--估计的核集合K′,并且为了生成更大的模糊,+entkernelsk′.我们采用GAN来帮助解决这个问题。如第2.3节所述,很难训练一个生成网络来一致地恢复HR图像,文物因此,或者,我们的GAN被训练来产生内核池K,包含更多现实的例子,模糊核具有更大的多样性。我们使用GAN来生成这种逼真的模糊内核。我们使用WGAN-GP [15],这是WGAN [1]的改进版本,用于我们GAN的目标函数:模糊内核而不是图像。¨ ¨L=E [D(f)]−E[D(f)]]+λE¨ ¨[(D(f)−1)]3.2. 模糊内核池在构建配对训练数据集之前,逼真的模糊-fgfPr¨fP¨2(七)2436需要根据真实照片来估计内核。然后,这些内核用于更好地训练GAN以进行内核建模和内核生成。估计的核和GAN生成的核的组合形成了用于构建配对LR-HR训练数据的大核池。其中D是判别网络,Pr是K′上的分布,Pg是生成元分布。P_r被定义为沿着从Pr和Pg采样的点对之间的直线均匀采样的分布。f、f、f分别是遵循分布Pr、P g和P f的随机样本。更多详情,请参见[15]。2437e图2:KMSR的卷积神经网络架构我们将HR图像y与从模糊核池K+中随机选择的模糊核k’进行卷积,以生成粗HR图像x’。除了最后一个单元之外,其他单元均具有64个滤波器,其中滤波器数量等于输出通道的数量我们采用与DCGAN类似的网络架构[37]。生成网络G取z<$N(0,1),长度为100的向量,并生成模糊核样本。它包含4个滤波器大小为4 ×4的分数步长卷积[10],具有批量归一化[23],ReLU [33]和滤波器大小为8×8的最终卷积层。从第二个到最后一个单元的G的滤波器数分别为1025、512、256、1。活泼地判别网络D将内核样本作为输入并识别它是否是假的,它包含3个卷积层,具有实例批量归一化[46]和泄漏ReLU [48]。从第一单元到第三单元的D的滤波器数目分别为256、512、1024。训练的GAN模型G用于生成模糊核样本以用于增强K′直到最终核池K+= K′n {G(z1),G(z2),G(z3),. . . }获得。与[35]中的内核归一化一样,我们应用和对一以及对所生成的内核的非负约束。3.3. 超分辨率CNN保证输入输出维数一致。我们网络的目标函数是L1,使网络获得更好的性能[56]。4. 实验4.1. 实现细节我们利用DPED [22]图像来构建逼真的模糊核集K′。DPED [22]是一个大规模的数据集,由3种不同的低端手机型号拍摄的超过22K的真实照片组成。我们将数据集分为两个根据相机型号,我们可以为您提供不同的相机部件、DPED培训和DPED测试。DPED训练由黑莓护照和索尼Xperia Z拍摄的照片组成,并作为参考真实摄影LR集,用于提取重新二阶模糊核k′3.2.1. DPED测试包括使用iPhone3GS拍摄的照片,并用作验证数据集。我们收集了1000个逼真的模糊内核K′={k′,k′,. . .,k′}从DPED训练中,1 2 1000以前的方法[8,17,31]提出通过用大数据集训练CNN来解决SR问题,这些方法在合成数据上取得了令人印象深刻的结果深度神经网络从成对的训练数据集中隐式地学习潜在模型,因此不需要图像先验的因此,我们在SR框架中使用CNN我们以以下方式创建训练数据集:HR图像被划分为大小为m×m的小块,其形成集合Y={y1,y2,. . .,yt}。随机选择第3.2.1节中获得的K+中的模糊核与Y中的面片卷 积 以获得X′={x′,x′,. . . ,x′},从[35]的内核估计代码我们用这些卡-核建模GANG.对于损失函数,我们将批量大小设置为32,λ=10(参见等式(五)。G被训练了20,000个epoch。扩展模糊核池K+通过使用训练的G生成1,000个核并将它们添加到K′来获得。我们使用DIV2K [44]的训练集作为HR图像,从中提取大小为128 ×128的补丁。我们在SR网络的训练期间构建配对数据集{X′,Y}:在每个时期中,每个HR补丁与从K+中随机选择的核k′,以获得粗糙的HR补丁。我们使用ADAM opti训练SR网络′ ′ ′12吨mizer [27]. 我们将批量大小设置为32。 学习率其中xj=yjkl。集合X正在对数据集{X′,Y}进行处理。和Y形成成对的列-初始化为10−4,每10个epoch减半。的源代码在网上公开1.CNN的网络结构,由16个[20],如图所示二、零填充1https://github.com/IVRL/Kernel-Modeling-Super-Resolution2438ee(a)(b)(c)(d)(e)(f)(g)(h)图3:尺度s=2(×2SR)的不同模糊核的可视化。为了更好地可视化内核,我们只显示了从中心裁剪的15×15补丁。(a)双三次内核[25]在Mat中实现了抗锯齿,实验室[13];(b),(c)和(d)三个各向同性高斯核g1。25,g1。6和G1。7,分别被广泛用于×2SR [9,18,58]. (e)(f)从真实照片估计的两个核样本k′,(g)和(h)用KMSR GAN生成的两个模糊核G(zi)4.2. 估计内核我们首先研究模糊核的分布 我们在图3和图4中展示了用KMSR生成的核k ′的例子。4.我们还可视化了Matlab双三次核和三个各向同性高斯核gsigma与sigmas(g1. 25,g1。6和G1。7)通常用于合成×2SR中的LR图像。请注意,与其他内核的低通形状相比,双三次内核是带通的。双三次内核旨在保持图像的清晰度,并避免在下采样操作期间出现混叠[25].如[11]中所述,双三次核不是图像采集中真实模糊核的适当近似,因为相机模糊是低通的,并且经常更多地衰减场景的高频信息图4,还请注意,KMSR生成的内核encom-通过广泛的分布,包括高斯内核,它比双三次内核更好地近似真实的相机模糊[34]。因此,KMSR能够生成非常多样化的粗糙HR图像。4.3. 双三次和高斯模糊核的实验研究在本节中,我们通过将不同的模糊内核应用于DIV2K数据集的验证集,在合成LR图像上评估KMSR和其他基于CNN的SR网络[44]我们测试了两个放大因子,s=2(×2SR)和s=4(×4SR),以及在DIV2K上使用四个不同内核生成的四个合成LR数据集[44]。验证集 我们包括抗锯齿双三次内核,图4:不同模糊核的图实线示出了来自用KMSR生成的模糊核池K+的平均核形状。阴影区域说明了方差。虚线显示了双三次核[25]和三个高斯核的形状,它们通常用于合成LR图像[9,18,58]。因为它被许多算法使用,即使它对于真实图像不是物理上可行的相机模糊[11]。我们还测试3各向同性高斯内核,g1。25[58],g1. 6[9]和g1。7[18];它们通常用作合成LR图像生成中的模糊核四个内核在图1的第一行中可视化。3.第三章。我们将我们提出的KMSR与最先进的基于CNN的SR方法进行比较:SRCNN [8](我们使用9- 5-5模型),VDSR [26],EDSR [31]和DBPN [17]。我们使用各自作者发布的代码和模型请注意,这四个网络在从HR图像生成相应的LR图像时仅使用双三次内核进行训练。表1提供了不同LR数据集上不同SR网络的定量结果。虽然KMSR在使用双三次内核生成的LR图像上产生的结果较差,但在所有其他实验设置上,在放大因子s=2和s=4上,它的性能优于所有其他网络。我们还可以观察到,当双三次核偏离真正的模糊核时,仅使用双三次LR图像训练的SR网络的性能是有限的与简单的双三次插值相比,这些网络在PSNR上获得了不到0.4dB的改善(表1中的第3列)。即使在更深层的情况下 , EDSR [31] 和 DBPN [17] 也 不 会 优 于 浅 层 网 络SRCNN [8]和VDSR [26]。通过对真实内核进行建模,我们的KMSR的性能最高可达1.91dB。使用g1进行视觉比较。6作为模糊核,s=2作为放大因子,如图所示。5.请注意,KMSR产生的结果在视觉上比其他方法更清晰,因为它使用更真实的模糊内核进行训练。2439模糊核规模双三SRCNN [8]VDSR [26]EDSR [31]DBPN [17]KMSR双三×229.9431.8932.6333.5833.8433.52g 1。2526.1426.5626.5426.5826.6027.94g 1。625.4925.7225.7225.6925.7027.63g 1。725.1125.3025.3425.2825.2827.15双三×426.2827.8928.0428.9529.0327.99g 2。324.7124.8324.9125.1025.1826.14g 2。524.3424.3024.3424.3924.4225.64g 2。724.1124.1424.0524.2724.2325.33表1:在双三次和高斯模糊核的评估中,在PSNR方面比较DIV2K [44]我们突出显示红色的最佳结果和蓝色的第二佳结果请注意,我们提出的KMSR在高斯内核上的性能优于其他最(一)(b) SRCNN [8](c)VDSR [26](d)EDSR [31](e)DBPN [17](f)KMSR图5:DIV2K [44]图像0805上× 2 SR的定性比较,使用高斯模糊核g1。6(a)作为模糊核,s=2作为放大因子。× 4SR的目视检查结果见补充材料。4.4. 真实核的实验为了验证所提出的KMSR在具有真实未知核的图像上的能力,我们在×2和×4SR上合成具有看不见的真实模糊核的LR图像进行实验我们从DEPD测试数据集中的LR图像中收集100个模糊核(即,iPhone3GS图像),这在KMSR的训练中是看不到的。然后,我们使用DIV2K [44]验证集应用这些模糊内核来生成粗略的HR图像。表2示出了不同SR网络的结果PSNR和SSIM。与之前一样,仅使用双三次内核训练的SR网络的性能在这些图像上受到限制。这突出了基于CNN的SR网络在创建训练数据集时对错误内核的敏感性。模糊核建模是一个很有前途的场地,以改善SR网络,如果该算法是要应用到真正的相机数据。我们在图中呈现定性结果。6. KMSR成功-完全重建HR图像中的详细纹理和边缘,并产生更好的输出。4.5. 真实照片实验我们还对实际照片进行了×2次SR实验。图7显示了在DEPD测试中由iPhone3GS捕获的数据集。感知驱动的SR方法通常会恢复方法规模PSNRSSIM双三次插值×225.060.72SRCNN [8]25.300.74VDSR [26]25.290.74EDSR [31]25.280.74DBPN [17]25.300.75KMSR27.520.79双三次插值×423.320.69SRCNN [8]23.420.69VDSR [26]23.390.69EDSR [31]23.490.69DBPN [17]23.510.70KMSR25.130.74表2:在DEPD测试中估计的现实主义模糊核的评价中,比较DIV2K [44]。我们高光效果最好的是红色,其次是蓝色.更详细的纹理和实现更好的视觉质量比以前的SR网络。除了我们比较的四种SR方法之外,我们还展示了感知优化SR网络ESRGAN的输出[47]。值得注意的是,仅使用双三次下采样LR图像训练的网络往往会产生过于平滑的图像。2440(一)(b) SRCNN [8](c)VDSR [26](d)EDSR [31](e)DBPN [17](f)KMSR图6:DIV2K [44]中图像0847上×2SR的定性比较,使用根据估计的真实模糊核(a)DPED测试。× 4 SR的目视检查结果见补充材料。(a)[26](b)EDSR [31](c)DBPN [17](d)ESRGAN [47](e)KMSR图7:来自DPED测试的图像83上不同SR网络的×2SR定性比较。在屏幕上看得更好表3:结果 的心理视觉实验选择其中最清晰和最锐利的图像3.为了避免偏差,三个SR图像的顺序被随机打乱。总共有35名用户参与了实验,每个人都标记了所有50张图像。的结果#preference显示spe中SR结果的数量cific方法,被超过50%的参与者选为对于50幅图像中的44幅,我们的KMSR的结果优于其他两种方法。图像,而KMSR可以恢复清晰的图像与更好的细节。由于本实验没有参考HR图像,因此我们在一个众包网站2上进行了心理视觉实验,以验证我们的方法。我们只比较EDSR [31]和DBPN [17],因为它们是最先进的基于CNN的SR网络。请注意,由于显示设备的分辨率限制,我们无法显示全分辨率图像。我们从DEPD测试中随机选择50张图像并从每个图像中裁剪大小为500×500的块。对于每个补丁,我们向参与者展示SR结果,[31],[32],[33],[34],[36],[37],[39],我们要求他们2www.clickworker.com心理视觉实验结果见表3。对于50幅图像中的44幅,KMSR的输出优于其他两种方法,这表明KMSR能够产生比其他两种SR网络更好的视觉效果4.6. 超分辨率放大实验为了进一步验证所提出的KMSR的性能,我们进行实验,用相同的相机,但不同的焦距拍摄的图像。我们使用24- 70 mm变焦镜头来捕捉照片对。35mm焦距的照片作为LR图像,70mm焦距在同一位置拍摄的照片作为LR图像的×2SR的参考HR图像。我们捕捉所有的照片与小光圈(f/22)到迷你-放大景深差异我们从LR图像中裁剪大小为250×250的块,从参考HR图像中裁剪大小为500×500的块为了对齐补丁,我们对水平和垂直对齐进行网格搜索,然后在LR补丁上应用不同的SR网络。3实验网页:https://ivrlwww.epfl.ch/ruofan/exp/index.htmlEDSR [31]DBPN [17]KMSR#偏好31442441一个2的1的1K的1(a)SRCNN [8](b)VDSR [26](c)EDSR [31](d)DBPN [17](e)KMSR(f)参考图8:不同SR网络在×2放大时的定性比较。(a)-(e)在35 mm焦距下拍摄的LR图像上的SR结果。(f)使用70 mm焦距拍摄的参考HR图像。补充材料中列出了更多的例子。方法PSNRSSIM双三次插值26.930.79SRCNN [8]27.070.80VDSR [26]27.110.80EDSR [31]27.450.81DBPN [17]27.420.81KMSR29.130.84模糊核KMSRA1KMSRA2KMSR双三33.6633.2833.52g 1。2526.4727.4227.94g 1。625.6227.0227.63g 1。725.2827.9027.15现实25.2927.1027.52表4:不同SR网络在×2放大数据集上的平均PSNR和SSIM仅对亮度通道执行评估以减轻由两个图像的颜色变化引起的偏置的影响我们高-光在红色中效果最好,在蓝色中次之表4 显示 了不同SR 网络 在此放大 任务上的 结果KMSR在PSNR和SSIM两个方面都比所有其他SR网络视觉结果如图所示。8. KMSR能够生成比其他SR网络更清晰的图像。4.7. 消融研究为了证明使用真实核的有效性,也为了显示我们使用的核估计算法[35]的精度,我们训练和测试了所提出的网络的另一个版本KMSRA1,而没有收集表5:不同列车中×2ing设置。使用KMSR实现显著的性能提升,KMSR使用K+的真实内核进行训练(表1中的最后一列)。为了测试GAN在改进通用化方面的贡献,我们训练了KMSRA2,这是一个没有使用GAN但使用简单数据增强来扩展内核池的KMSR。在这种情况下,KMSRA2仅在K'上训练,K'包含原始估计的内核k'及其旋转,翻转和缩放版本。结果表5中所示平均而言,KMSR在KMSRA2上获得0.5dB的改进。这让我们相信,使用GAN来扩充内核池会比简单的数据扩充产生更多样化的表示。这进一步验证了结合GAN以增加现实内核池的有效性。5. 结论真实的内核在构建内核池K′时,KMSRA1,我们使用双三次下采样的HR图像,因为我们改进了基于CNN的SR网络的性能LR图像,即我们估计模糊核k′上通过模拟真实的模糊核来处理真实的LR图像双三次下采样、双三次放大的粗糙HR图像’。然后,我们遵循与KMSR相同的程序我们A1′在KA1上训练GAN并生成更大的内核池+用于训练KMSRA1。我们在不同的实验设置上测试KMSRA1对于高斯和现实内核,KMSRA1实现了与最先进的 SR 网络 的比 较结 果( 参见 表1 ), 这意 味着KMSRA1能够学习从双三次下采样LR图像到HR图像的映射。 结果还表明,我们与使用双三次核的现有方法相比,为了获得LR训练图像,我们采用一组从真实照片中估计的真实模糊核来生成SR训练数据集。我们通过训练GAN来输出额外的真实内核,进一步扩大模糊内核池。我们的KMSR能够产生视觉上合理的HR图像,通过定量指标,定性比较和心理视觉实验来证明KMSR为实际的基于CNN的真实照片SR提供了一种可行的解决方案X2442引用[1] 马 丁 ·阿 乔 对 ky , 苏 米 特 ·钦 塔 拉 和 Le'onBottou 。Wasserstein 生 成 对 抗 网 络 在 Proceedings of theInternational Conference on Machine Learning,第70卷,Proceedings of Machine Learning Research,第214-223页[2] 克里斯托弗·鲍尔斯、陈亮、里卡多·格雷罗、保罗·本特利、罗杰·冈恩、亚历山大·哈默斯、大卫·亚历山大·迪基、玛丽亚·瓦尔德·埃尔的《她的女人》、乔安娜·沃德尔·瓦和丹尼尔·吕克特。GAN增强:使用生成对抗网络来增强训练数据。arXiv预印本arXiv:1810.10863,2018。[3] Adrian Bulat,Jing Yang,and Georgios Tzimiropoulos.要学习图像超分辨率,请首先使用gan学习如何进行图像降级。在欧洲计算机视觉会议(ECCV)的会议记录中,第185-200页,2018年。[4] Jian-Feng Cai,Hui Ji,Chaoqiang Liu,and Zuowei Shen.基于帧的单幅图像盲运动去模糊。IEEE Transactions onImage Processing,21(2):562[5] 常晨,熊志伟,田心梅,查正君,凤舞。相机镜头超分辨率。在IEEE计算机视觉和模式识别上,2019年。[6] 陈静雯,陈嘉伟,赵宏阳,杨明。基于生成对抗网络噪声建模的图像盲去噪在IEEE计算机视觉和模式识别会议论文集,第3155-3164页[7] 赵成贤和李承京。快速运动去模糊。ACM Transactions on Graphics,28(5):145,2009。[8] Chao Dong , Chen Change Loy , Kaiming He , andXiaoou Tang.使用深度卷积网络的图像超分辨率。IEEETransactionsonPatternAnalysisandMachineIntelligence,38(2):295[9] Weisheng Dong,Lei Zhang,Guangming Shi,and XinLi.图像恢复的非局部中心稀疏表示。IEEE Transactionson Image Processing,22(4):1620[10] Vincent Dumoulin和Francesco Visin深度学习卷积算法指南。arXiv预印本arXiv:1603.07285,2016。[11] Netalee Efrat , Daniel Glasner , Alexander Apartsin ,Boaz Nadler,and Anat Levin.精确的模糊模型与单个图像超分辨率中的图像在IEEE计算机视觉国际会议论文集,第2832-2839页[12] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统进展,第2672-2680页,2014年。[13] 迈克尔·格兰特和斯蒂芬·博伊德非光滑凸规划的图形实现 。 Blondel, S. Boyd 和H. 《 学 习 与 控 制的 最 新 进展》,控制与信息科学讲义第 95-110 页 。 Springer-Verlag Limited , 2008 年 。stanford.edu/http://www.example.com[14] 顾金金、韩南路、左王梦、朝东。基于迭代核校正的盲超分辨率算法。在IEEE计算机视觉和模式识别会议论文集,第1604-1613页[15] Ishaan Gulrajani 、 Faruk Ahmed 、 Martin Arjovsky 、Vincent Dumoulin和Aaron Courville Courville。改进了Wasserstein GAN的训练。神经信息处理系统进展,第5767-5777页,2017年[16] Yoav Hacohen,Eli Shechtman和Dani Lischinski。通过使用密集对应的例子去模糊。在IEEE计算机视觉国际会议的Proceedings,第2384-2391页[17] Muhammad Haris Gregory Shakhnarovich 和 NorimichiUkita。用于超分辨率的深反投影网络。在IEEE计算机视觉和模式识别会议论文集,第1664-1673页[18] Hu He和Lisimachos P.康迪一种用于视频序列联合模糊估计和超分辨率的正则化框架。在IEEE图像处理国际会议,第3卷,第III-329页中IEEE,2005年。[19] 何开明,孙建,唐晓鸥。使用暗通道前去除单个图像IEEE Transactions on Pattern Analysis and MachineIntelligence,33(12):2341-2353,2011.[20] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition,第770-778页[21] Jia-Bin Huang,Abhishek Singh,and Narendra Ahuja.单图像超分辨率从变换的自我范例。IEEE计算机视觉和模式识别会议论文集,第5197-5206页,2015年[22] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。使用深度卷积网络在移动设备上拍摄数码单反品质的照片在IEEE计算机视觉国际会议论文集,第3277-3285页[23] Sergey Ioffe和Christian Szegedy。批次标准化:通过减少内部协变量偏移来加速深度网络训练。在FrancisBach和David Blei,编辑,第32届机器学习国际会议的主席,机器学习研究会议记录的第37卷,第448-456页,法国里尔,2015年7月7日至9日。PMLR。[24] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei A.埃夫罗斯使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集,第1125-1134页,2017年。[25] 罗伯特·凯斯数字图像处理中的三次卷积插值。IEEETransactionsonAcoustics , Speech , andSignalProcessing,29(6):1153[26] Jiwon Kim,Jung Kwon Lee,and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别会议论文集,第1646-1654页2443[27] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。[28] 罗尔夫·科勒,迈克尔·赫希,贝蒂·莫勒,伯恩哈德·肖尔·科普夫和斯特·弗·安·哈梅林。相机抖动的记录和回放:用真实世界的数据库对盲解卷积进行基准测试。在欧洲计算机视觉集,第27Springer,2012.[29] Wei-Sheng Lai , Jia-Bin Huang , Zhe Hu , NarendraAhuja,Ming-Hsuan Yang.单幅图像盲去模糊的比较研究。在IEEE计算机视觉和模式识别会议论文集,第1701- 1709页[30] Chris t ianLedig , LucasTheis , FerencHusza'r ,JoseCaballero, AndrewCunningham , AlejandroAcosta , Andrew Aitken , Alykhan Tejani , JohannesTotz,Zehan Wang,et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集,第4681- 4690页[31] Bee Lim , Sanghyun Son , Heewon Kim , SeungjunNah,and Kyoung Mu Lee.单图像超分辨率的增强深度残差网络。在IEEE计算机视觉和模式识别研讨会论文集,第136-144页[32] Tomer Michaeli和Michal Irani非参数盲超分辨率。在IEEE计算机视觉国际会议论文集,第945-952页[33] 作者声明:Dr.辛顿修正线性单元改进受限玻尔兹曼机。第27届国际机器学习会议论文集,第807-814页,2010年[34] Kamal Nasrollahi和Thomas B.莫斯伦德超分辨率:全面的调查。Machine Vision and Applications,25(6):1423[35] 潘金山,孙德清,汉斯佩特·菲斯特,杨明轩.使用暗通道先验的盲图像去模糊。在IEEE计算机视觉和模式识别会议论文集,第1628-1636页[36] C le'mentP e yrard,MoezBaccouche,andChristopheGarcia.使用深度卷积神经网络的盲超分辨率。在人工神经网络国际会议上,第161-169页施普林格,2016年。[37] 亚历克·雷德福卢克·梅斯和苏米特·钦塔拉使用深度卷积
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功