基于正则化的多帧超分辨率研究综述

沙特国王大学学报基于正则化的多帧超分辨率研究综述马哈茂德·M.放大图片作者：Jiang A，Li A，LiB.艾哈迈德·阿尔万巴达维湾a马来西亚吉隆坡马来西亚国际伊斯兰大学计算机科学系b沙特阿拉伯阿布哈哈立德国王大学计算机工程系阿提奇莱因福奥文章历史记录：2018年7月14日收到2018年10月4日修订2018年11月15日接受在线发售2018年保留字：超分辨率多帧正规化框架A B S T R A C T高分辨率通常是需要的，并且优选用于在数字图像内产生更详细的信息;因此，这导致改善用于人类分析和解释的图像信息，然而，真实的成像系统可能会在数字图像中引入一些退化或伪影。图像中的这些失真是由诸如模糊、混叠和噪声的各种因素引起的，这些因素可能影响成像系统的分辨率在文献中已经提出了许多策略，如频域和空域方法空间域方法被分类为最流行的方法之一然而，这些技术仍然受到伪影的影响基于正则化的图像超分辨率方法是近十年来图像超分辨率研究的本文对近十年来常用的基于正则化的超分辨率图像重建方法进行了研究。此外，重点是突出这些方法的优势和局限性，旨在确定其有效性和质量，在重建高分辨率图像。©2018作者制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言. 7552.观察模型7563.SR图像重建框架7574.基于规则化的SR方法7574.1.随机方法7574.2.确定性方法7604.3.混合方法7605.分析与讨论7616.结论761参考文献761*通讯作者。电子邮件地址：mmkhattab2000@gmail.com（M.M.Khattab）。沙特国王大学负责同行审查1. 介绍高分辨率图像的重建是近年来的研究热点之一，它可以从图像中获取大量有用的细节信息。超分辨率（SR）方法被用于不同的领域以从图像中分析和提取基本信息（Yue等人，2016年）。SR技术用于广泛的应用中以实现HR图像，并且在不同的应用中可能是不同的https://doi.org/10.1016/j.jksuci.2018.11.0101319-1578/©2018作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com×KKK756米Khattab等人 /Journal of King Saud University- Computer and Information Sciences 32（2020）755- 762应用. HR图像通常是需要的，并且优选用于在数字图像内产生更详细的信息，因此，这导致用于人类分析和解释以及用于自动机器感知的图像信息的改进（Köhler等人，2016年）。计算机视觉的许多应用，如医学成像、卫星成像、模式识别、监视和法医、天文成像以及目标检测等，仍然迫切需要高分辨率图像。首先，医学图像非常有利于医生获得重要信息并得到患者的准确诊断（Huangpeng等人，2017; Yue等人，2016年）。第二，卫星成像应用，如遥感和LANDSAT，提供同一地区的多幅图像，其中使用SR技术是为了提高目标的分辨率。最后，合成变焦是监控和取证的另一个重要应用，可以放大图像中的对象，例如犯罪分子的面部或汽车牌照（Yue等人， 2016年）。在许多现实生活中的成像系统中，存在一些影响图像分辨率的伪影，诸如模 糊、混叠和噪声（ Huangpeng等人， 2017; Kumar 和Diwakar，2019; Yue等人，2016年）。在拍摄过程中，由于景物移动、对焦不正确、大气混淆和光学点扩散函数等因素，图像会出现模糊现象。因此，如果获得图像时的拍摄条件是已知的，则更容易从图像中准确地去除模糊效果。此外，噪音可以可能是由多种因素引起的，例如探测器灵敏度的差异、视觉缺陷和环境变化。像素和噪声之间没有关系，因为噪声在空间上不与图像相连。此外，下采样是导致高频分量与低频分量之间重叠的不充分空间采样的结果（Begin和Ferrie，2006;Huangpeng等人，2017; Park等人，2003; Yue等人， 2016年）。处理并补偿缺失的信息（埃尔穆拉比特例如，2017; Yue等人，2016年）。此外，它们用于表示图像的先验，去除伪影，并带来先验信息（Wang等人，2017年）。先验信息生成稳定的解，提高收敛速度，并且包括对解的人为约束，例如平滑度和边缘保持（El Mourabit等人，2017; Kiani和Drummond，2017 b; Long等人，2017; Mohan，2017;Wang等人，2017年）。因此，基于正则化的方法在SR图像重建中是具有挑战性的（Hadhoud等人，2004年b）。本文的目的是在目前的正则化为基础的多帧SR方法在过去的十年中进行了全面的审查。本文对其中的大部分著名著作进行了总结，指出了这些著作的局限性。提出了一些建议和未来的工作方向，帮助研究人员探索与图像重建相关的未解决的问题。本文的其余部分组织如下。第二节建立了图像的观测模型，使之能将高分辨率图像反映到所观测的低分辨率图像中.第3节描述了SR图像重建框架。不同的基于正则化的多帧SR方法在第4节中表示。第5节提供了详细的讨论，论文在第6节结束2. 观测模型观测模型识别获取观测到的LR图像的真实方式。图像采集过程通常会遇到一系列退化因素，如光学衍射、相对运动、下采样和系统噪声。一般来说，大多数方法假设图像采集过程包括扭曲，模糊，下采样和噪声退化，如图1所示，并且观察模型明确模拟如下：由于这些因素，许多研究人员开发了各种基于SR图像产生高质量图像的方法y¼DB M x nð1Þ重建方法，例如频域方法和基于插值的方法。然而，频域方法存在许多问题，这些问题阻碍了研究人员的进一步发展，特别是在模型误差的敏感性和处理更复杂的运动模型的困难的情况下（Begin和Ferrie ， 2006; Hadhoud 等 人 ， 2004 a; Papathanassiou 和Petrou，2005; Patanavijit，2009; Yang和Huang，2010; Yue等人，2016年）。而基于插值的方法通常会在对象的边界周围生成具有几个回退的图像 另一方面，正则化方法利用先验知识来解决SR问题（Yue等人，2016年）。因此，正则化方法可以用作稳定反演的尝试其中k是参与重建过程的LR图像，并且是通过扭曲（M）、模糊（B）、下采样（D）和加性噪声（n）而退化的原始图像。 在该模型是众所周知的之后，它可以用于逆过程以便从各种LR图像中检索HR图像。因此，可以说是观测模型倒置为了该问题需要来自HR图像的先验信息以得到可靠且合适的解决方案。（Park等人，2003;Protter等人，2009年）。大多数作者都认为，LR图像是在相似的环境条件下使用相同的传感器采集的。 因此，观测模型可以重写为：yk¼ DBMk X nk2图1.一、在大多数SR技术中使用的观察模型KM.M. Khattab等人 /沙特国王大学学报-计算机与信息科学32（2020）755-7627573. SR图像重建框架本节说明图像重建过程的详细步骤。基本上，SR图像重建方法由三个阶段组成，如图2所示。这些阶段称为图像配准、融合和重建。首先，利用图像配准过程估计具有亚像素移位的LR图像之间的运动信息，并计算和细化变换参数。因此，图像配准是SR图像重建的基本组成部分，因为（El-Gamal等人， 2016年）：关于LR图像之间的运动移位的信息呈现重要的约束以帮助SR解决方案。不正确的运动估计会在HR图像中触发令人讨厌的伪影。基于位移细节的亚像素精度，可以轻松实现的分辨率改进级别然后，图像融合阶段用于将配准的图像融合成单个图像，并将合成的图像内插到HR网格中（El Mourabit等人， 2017年）。最后，图像重建阶段用于恢复最终SR图像而没有任何失真（Bahy等人， 2014年）。4. 基于正则化的SR方法如前所述，SR图像重建的主要目的是根据通过完全相同的场景捕获的几个LR图像生成强大的HR图像。在本文中，我们专注于多帧SR重建的规则化方法的基础上。我们将正则化方法分为三类，即：随机，确定性和混合方法。随机方法使用概率分布形式的随机变量来有效地提供稳定的估计，并通过利用先验图像模型来区分可能的解决方案。而确定性方法不使用任何随机变量，但它可以通过选择一个变量来最小化拉格朗日，并通过使用关于解的先验信息来解决反问题，这些先验信息可以用来使问题很好地提出。最后，混合方法采用随机和确定性方法的组合。我们首先回顾了研究人员在他们的研究工作中发现的基本问题。其次，我们提出了解决问题的方法论。最后，我们讨论了每种方法的优点和局限性，以确定其在重建HR图像中的有效性和质量。因此，在图3所示的以下小节中总结了所审查的方法。此外，表1、表2和表3中描述了一些主要技术，并讨论了其优势和局限性。4.1. 随机方法总变分（TV）正则化模型在处理平面图像区域时非常弱。此外，它不能实现图像内不同区域的自动平衡，并且遭受伪影（Yuan等人，2012年）。因此，我们建议，Yuan等人（2012）提出了一种空间加权TV（SWTV）方法来克服TV正则化模型的局限性。它们考虑了图像中各个区域中空间细节的分布他们的工作思路是采用差分曲率代替图像梯度来识别每个像素的空间特征此外，利用差分最后，通过优化最小化（MM）算法优化SWTV（Yuan等人，2012年）。SWTV方法减少了平面图像区域中的伪影并保留了边缘细节。然而，这往往会导致在保持边缘细节和避免软区域中的阶梯效应之间的交换。此外，在（Ren等人， 2013）提供了分数阶TV正则化来处理图像中的纹理信息并消除TV模型中的伪影。 Zhang等人（2012）提出了一种新的算法来管理高光谱图像的分辨率粗糙度。 该方法基于最大后验（MAP）和主成分分析（PCA）算法（Zhang等人，2012年）。在运动估计阶段同时使用PCA，以减少计算量，并在图像重建阶段提高运动精度，以消除噪声。然而，高光谱图像具有高维度的信息，这导致图像处理的此外，该方法假设模糊先验是已知的，这一假设不容易估计模糊。非本地意味（NL-平均值）正则化过滤器指示比TV正则化模型更有效地去除噪声并保护图像区域中的边缘（Kim和Byun，2013）。然而，如果图像中的每个区域都存在噪声和边缘，这导致在具有巨大边缘的图像区域中边缘消失，并且其也具有小噪声。此外，在具有小边缘的图像区域中没有去除噪声，并且其具有大量噪声（Kim和Byun，2013）。因此，Kim和Byun（Kim和Byun，2013）提出了一种基于边缘自适应NL均值滤波器的正则化方法，以提高NL均值滤波器的效率，从而能够去除噪声并保护图像区域中的但该方法Panagiotopoulou（Panagiotopoulou，2013）提出了一种新的SR方法，该方法基于Var-norm和双边全变差（BTV）正则化的组合来自动更新权重。该方法克服了L1-范数和L2-范数的局限性.而L1-范数和L2-范数分别给所有测量值一个固定的权值和每个测量值一个测量值的两倍。由于MAP用于手动调整正则化参数并忽略图像中的局部空间自适应特性，Shao等人（2013）提出了一种基于贝叶斯框架的空间自适应拉普拉斯马尔可夫随机场（MRF）先验。该先验具有保护图像成分、减少平滑区域中的阶梯、自动调整正则化参数的能力然而，LR图像中包含的信息太有限，无法应用该方法。Tikhonov正则化方法用于消除噪声，但它丢失了来自图像区域的一些信息（Zeng和Lu，2013）。曾与陆图二、SR图像重建过程。●●●758米Khattab等人 /Journal of King Saud University- Computer and Information Sciences 32（2020）755- 762图三.基于正则化的多帧SR方法的分类。（2013）为非本地TV（NLTV）提供加权数据保真度函数以正确地估计配准参数。该方法能有效地降低边缘噪声，改善图像细节。但是，它避免了图像的局部空间自适应特性。Chen等人（2014）提出了一种新的L混合模型，以便在噪声去除过程中保护边缘。该模型根据更新加权参数来组合TV和H 1模型（Chen等人，2014年）。Villena等人（2014）提出了一种基于贝叶斯框架的新方法。该方法用于通过组合空间自适应滤波器和图像滤波器来配准和重建图像（Villena等人，2014年）。该方法用于保持图像中的边缘和纹理，并自动推导所有参数。然而，它假定对寄存器LR图像的简单变换。由于成像系统中分辨率的极度缺乏，它可能抑制影响图像质量的混叠的存在（Wang等人，2014年）。Wang等人（2014）提供了一种新的方法，该方法依赖于贝叶斯框架，并应用电视模式，以提高图像分辨率。在该方法中，通过使用有效的方法来应用运动估计，并且通过梯度下降算法来优化运动估计（Wang等人， 2014年）。这种方法显着提高了分辨率，以及防止模糊和噪音的图像.然而，TV模型具有沉重的计算成本。此外，该方法不能完全恢复精细信息。Gao和Qin（2015）提出了一种基于局部加权各向异性正则化（LWAR）和连续正则化的新方法。LWAR用于限制图像重建的软度Bregman 迭代算法用于改善SR 图像（ Gao和 Qin ，2015）。该方法能够有效地去除噪声，保护图像区域的边缘。然而，这种方法Shi等人（2015）提出了一种称为低秩TV（LRTV）的方 法 ， 以 整 合 图 像 中 的 所 有 信 息 该 方 法 通 过 交 替 方 向 乘 法 器（ADMM）进行优化，以有效地恢复HR图像（Shi例如， 2015年）。然而，该模型具有与TV模型相关的沉重的计算 Zhang等人（2015）提出新的方法M.M. Khattab等人 /沙特国王大学学报-计算机与信息科学32（2020）755-762759表1评价不同的随机技术和方法。方法优势限制TV（Yuan等人， 2012）电视保护边缘信息，防止振铃结果。电视在平坦区域非常弱，并且受到伪影的影响Tikhonov（Zeng和Lu，2013）它消除了噪音。它丢失了图像区域的一些信息。SWTV（Yuan等人，SWTV减少了伪影并保留了边缘信息。边缘自适应NL-Means（Kim和Byun，2013）它消除了噪声并保护了图像区域中的边缘。Var-norm + BTV（Panagiotopoulou，2013）它会自动更新权重，消除噪音。SWTV在保持边缘细节和避免软区域中阶梯效应之间进行了交换。它它仍然有艺术品。分数阶TV（Ren等人， 2013年），它消除了文物和楼梯边缘。全球电视模式的缺陷。空间自适应拉普拉斯MRF（Shao等人， 2013年）它恢复精细的图像细节，保留边缘，并去除伪影。NLTV（Zeng and Lu，2013）NLTV可以降低边缘周围的噪声，改善图像细节。Lmix（Chen等人，Lmix在噪声去除过程中保护边缘。LWAR +逐次正则化（Gao和Qin，2015）它可以消除噪音和保护图像区域中的边缘。LRTV（Shi等人， 2015）LRTV增强了恢复的HR图像中的细节。LR图像中的信息太有限，无法应用。NLTV避免了图像的局部空间自适应特性。全球电视模式的缺陷。它LRTV具有与TV模型相关的大量计算成本MAP-MRF（Zhang等人， 2015年）更强大的模糊图像。管理成果框架可能产生不充分的结果。SWDTV（Abedi和Kabir，2016）前景和背景区域被平滑。SWDTV不能完全重建文本边缘细节，计算量大。TV+低秩（Jun-Bao等人， 2016）它恢复了更多的高频细节。它非局部拉普拉斯+ BTV（Laghrib等人， 2016）它减少了噪音和运动异常值SRT + HFET（Nayak和Patra，2016）它可以保留图像信息并避免伪影的存在GVFHF-ADSF（Huang等人， 2017年），它可以有效地抑制噪声和增强边缘。它有更多的楼梯效果和一个高的计算成本。它具有很高的计算成本。它具有很高的计算成本。表2不同确定性技术和方法的评价方法优势限制BEP + L1 + L2（Zeng和Yang，2013）它很好地保留了锐利的边缘，而不会产生视觉效果。藏物LARSR（Bahy等人， 2014年）LARSR通过找到最佳值，自动调整参数BEP为整个图像应用一个恒定的比例变量，并消除图像的主要特征粒子群算法早期收敛于局部极小值的捕获。在Maiseli et al. （2014）它改善了边缘并恢复了细节。它包括HR图像中的一些模糊，并且具有低-对比度。在Yadav et al. （2014）它减少了噪声，保护了边缘，并降低了计算时间。在Yang et al. （2015）保护边缘，保持图像平滑地区在Shen et al. （2016）它在噪声抑制和边缘保留之间实现了良好的平衡。IRLS（Kiani和Drummond，2017 a）它非常容易理解，并且减少了歧义和溶液中的噪声。它仍然受到艺术品的影响。它仍然受到噪音的影响。它使用L2范数，如果使用白高斯分布，则具有最优解。IRLS不适合大多数实际情况。基于图形切割技术。它们丢弃LR图像上的所有HR像素，并识别落在影响区域内的LR像素此外，他们利用最大后验马尔可夫随机场（MAP-MRF），以减少能量函数，恢复HR图像，并减少计算成本。然而，MRF可能产生不充分的结果。Zhao等人（2015）提出了一种基于贝叶斯框架的新方法，以保护图像中的边缘并减少噪声。它们使用自适应范数来调节像素之间的关系（Zhao等人，2015年）。然而，这种方法无法消除噪声，特别是如果噪声很强。Abedi和Kabir（2016）提出了用于文档图像SR的基于笔划宽度的定向TV（SWDTV）正则化方法。SWDTV是BTV的更新版本，用于根据局部宽度和方向平滑字符。他们使用MAP方法来减少正则化和数据保真度项的积分。然而，该方法无法完全重建文本边缘细节，且计算量较大。Chen等人（2016）使用合理的观察模型来纳入缺失的细节。此外，他们使用基于Kull的贝叶斯框架-back-Leibler（K-L）发散来估计运动参数并保护图像中的边缘细节（Chen等人， 2016年）。TV正则化模型不能完全提及自然图像的属性（Jun-Bao等人，2016年）。因此，Jun-Bao等人（2016）将TV模型与低秩模型相结合，产生了一种新的SR方法，并生成了HR图像。这种方法能够恢复出高质量的HR图像，但不能很好地平衡边缘和噪声。Laghrib等人（2016）提出了一种新方法，该方法依赖于扩散配准，并将非局部拉普拉斯正则化与BTV模型混合，以减少噪声和运动离群值。然而，它有更多的楼梯效果和高的计算成本。Nayak和Patra（2016）提出了一种基于正则化的SR方法，该方法依赖于使用结构正则化项（SRT）和高频能量项（HFET）。这种方法可以保留图像信息并避免伪影的存在。然而，它具有很高的计算成本。Huang等人。（2017）提出了一种新的多帧SR方法，将图像增强和去噪引入SR过程。首先，他们提出了一种新的梯度矢量流混合760米Khattab等人 /Journal of King Saud University- Computer and Information Sciences 32（2020）755- 762表3不同杂交技术和方法的评价。方法优势限制AM + HMRF（Faramarzi等人， 2013）它减少了伪影并保留了边缘细节。HMRF不能说明复杂的相邻像素之间的关系。TV + L 1 + SAR（Villena等人， 2013）它恢复图像边缘并平滑内部区域。可变指数非线性扩散（Maiseli等人， 2015）它产生更坚决的场景，避免传统电视固有的块效应ATV-SR（Zeng等人， 2015年）它保留了边缘和细节，同时抑制噪声，避免块效应。在Zhao et al. （2016）它保留了图像的细节，同时避免了伪影。权重是根据经验确定的。它的边缘更加模糊。它NLTV在Gao et al. （2016）减少噪音干扰。它使用低噪音水平。在Ghosh et al. （2016）它简单而强大。计算资源是有限的。在Köhler et al. （2016年）很容易实现。它使用稀疏参数的局部选择。Perona-Malik模型+ Weickert滤波器（El Mourabit等人，（2017年）它是用来保护边缘和消除噪音它不能在保持边缘和抑制噪声之间实现良好的平衡。envL 1/TV（Long等人， 2017年，减少噪音。保存好边缘是不好的。场（GVFHF）来更准确地捕获图像中的对象边界GVFHF使用梯度矢量流（GVF）和梯度场（GF）。其次，他们使用各向异性扩散冲击滤波器（ADSF），提出GVFHF-ADSF的改善和去噪的重建图像。最后，将GVFHF-ADSF方法作为正则化项，采用最速下降算法求解SR逆问题。GVFHF-ADSF方法可以有效地抑制高斯噪声和椒盐噪声，并增强重建图像的边缘。然而，这种方法需要将其应用于各种应用，并且具有很高的计算成本。Mohan（2017）提出了一种基于MAP框架的方法来降低成本函数。Mohan分别使用Lorentzian范数和U曲线方法来获得正则化参数，从而消除了伪影并降低了计算量。该方法对伪影的处理效果较好，并且使用Lorentzian范数比使用Lp范数更有效Wang et al.（2017）提出了一种来自MRF正则化的快速新方法。首先，他们提出了一种端到端的SR方法，用于校正由LR空间中的重构误差引起的HR图像，而此外，他们提出了一个新的正则化项，从MRF，以实现平滑和保持边缘在同一时间（王等， 2017年）。4.2. 确定性方法BTV 模型在平滑图像区域的处理过程中产生伪影（ Zeng 和Yang，2013）。Zeng和Yang（2013）提出了一种新的基于正则化框架的SR方法他们的方法的主要思想是结合L1和L2范数在保真度和正则化方面的好处。此外，他们使用双边边缘保持（BEP）正则化模型来捕获两个像素之间的关系（Zeng和Yang，2013）。该方法保留了边缘细节，减少了平面图像区域的伪影，并发现了单一的最佳SR图像。然而，BEP正则化模型对整个图像应用恒定的尺度变量，并且忽略了图像的主要特征 Bahy等人（2014）提出了局部自适应正则化SR（LARSR）方法。LARSR因此，处理结果证明了LARSR方法优于其他重建方法.然而，主要的困难发生在这种方法中，因为粒子群算法的早期收敛到局部最小捕获。 Maiseli等人（2014）使用低通滤波器来内插未识别的像素值。那么，低频成分的影响已经得到了纠正。该方法集成了改进的自适应Perona-Malik正则化模型，以改善边缘并恢复HR图像中的精细细节然而，它在HR图像中包括一些模糊并且具有低对比度。Yadav等人（2014）提出了一种基于引导图像滤波器（GIF）方法的新方法，该方法使用来自彩色图像的信息。该方法用于降低噪声，保护边缘，并降低计算时间。然而，GIF具有良好的边缘保持平滑特性，但图像仍有噪声。由于MAP的沉重计算成本和模糊效应，Yang等人（2015）提出了一种基于正则化框架的SR图像重建新方法。他们通过结合L1和L2范数来定义残差权重参数（RWP）和信道权重参数（CWP），从而开发了数据保真度项。此外，通过使用区域自适应权重系数（RAWC）来开发正则化项（Yang等人，2015年）。该方法较好地保护了图像的边缘，保持了图像区域的平滑性，但仍受到噪声的影响。Shen et al.（2016）提出了一种新的方法来确定数据保真度和正则化项的最佳范数。它们近似于高斯情况下的数据保真度范数（Shen等人，2016年）。它们对正则化项使用局部自适应范数，以在噪声抑制和边缘保护之间获得强稳定性。然而，这种方法使用的L2范数，有一个最佳的解决方案，如果使用白高斯分布。Kiani和Drummond（2017 a）提出了一种基于迭代重加权最小二乘（IRLS）的简单方法，以减少涉及混合m估计正则化项的客观函数。这种方法很容易理解，但不适合大多数实际情况。4.3. 混合方法Faramarzi等人（Faramarzi等人， 2013）解决了统一盲方法由于模糊、线混叠和噪声效应而降级的问题。因此，他们开发了一种新的方法，从交替最小化（AM ）算法来构建HR图像。他们使用Huber-Markov随机场（HMRF）正则化模型来利用HR图像的自然平滑。边缘强调平滑技术是用来估计模糊，通过改善强平滑边缘对阶跃边缘与过滤的不良成分。模糊估计应用于滤波器域而不是像素域。此外，在频域中应用L2范数以允许高速非迭代优化（Faramarzi等人，2013年）。该方法减少了图像中的模糊和噪声等伪影M.M. Khattab等人 /沙特国王大学学报-计算机与信息科学32（2020）755-762761区域并保留边缘细节。然而，该方法使用HMRF作为先验，不能说明相邻像素之间的复杂Villena等人（Villena等人，2013）提出了一种新的方法，该方法基于合并稀疏和非稀疏先验来重建SR图像。他们将TV和L1范数作为稀疏先验与同时自回归（SAR）作为非稀疏先验合并（Villena等人，2013年）。该方法能较好地保留图像的边缘细节，避免图像内部区域的过平滑。然而，在已经凭经验识别组合和权重之前，可能难以识别对每个先验的理想贡献。受TV模型的缺点的启发，Maiseli等人（Maiseli等人，2015）提出了一种基于空间正则化的新方法，称为变指数非线性扩散。这种方法使用高斯滤波器的卷积运算，消除了伪影的存在然而，它的边缘更加模糊为了解决TV模型存在的问题，Zenget al. （Zeng等人， 2015）提出了使用现代边缘指示器的自适应TV SR（ATV-SR）模型。在构造鲁棒的三边张量的同时设计空间、灰度和梯度相似性以观察图像的局部图案（Zeng等人， 2015年）。ATV-SR采用L1和L2范数作为先验模型，分别保护边缘和消除噪声。然而，现代边缘指示器不能区分图像区域内的边缘和噪声。由于忽略了图像中的许多细节，传感器测量和模型误差的计算（Zhao等人， 2016年）。Zhao等人（Zhao等人， 2016）使用合理的观察模型来纳入缺失的细节。此外，他们合并了自适应非局部边缘保持规范的基础上贝叶斯框架工作与非局部相似性，以减少文物的NLTV方法。然而，NLTVGao等人 （Gao等人， 2016）通过使用多通道盲解卷积（MBD）来近似LR图像的卷积核，提供了SR方法。此外，他们使用正则化项来生成HR图像（Gao等人， 2016年）。然而，如果使用平均低噪声水平，则该方法可以产生优异的结果。 Ghosh等人（Ghosh等人，2016）提出了一种依赖于自适应正则化的新方法。 他们采用Huber范数用于最大似然（ML）估计器和方向Huber-Markov正则化（Ghosh等人，2016年）。该方法简单、鲁棒，但计算资源有限。大多数基于图像采集的简化估计的技术被采用，并且在现实世界的应用中表现出非常小的有效性（Köhler等人， 2016年）。科勒等人 （Köhler等人，2016）提出了一种基于空间自适应贝叶斯模型和迭代算法的新方法。它们分别采用加权高斯模型和加权BTV来反映噪声和利用自然图像的稀疏性。但是，它们使用稀疏参数的局部ElMourabit等人（El Mourabit等人，2017）提出了一种基于变分框架的新方法。该方法利用Perona-Malik模型在平滑图像区域中的优点该方法用于保护边缘和消除噪声。但是，它不能在重构的HR图像中在保留边缘和抑制噪声之间实现良好的平衡Long等人（Long等人，2017）提出了一种称为envL 1/ TV模型的新方法。该型号基于L1和L2电视型号的组合。该算法用于去噪，但不能很好地保持图像的边缘5. 讨论及分析一般而言，正则化方法可以用作稳定反演过程并补偿反演算法的尝试。缺少信息。此外，它们还用于表示图像的先验，去除伪影，并带来先验信息。先验信息生成稳定的解，提高收敛速度，并包括对解的人为约束，例如平滑和边缘保持。从这篇综述中，许多研究人员实现了各种方法来产生基于正则化方法的高质量图像。这些审查的方法实际上是敏感的假设和实际模型之间的偏差。根据表1、表2和表3中的比较，它们中的大多数仍然遭受重建的HR图像内的边缘保留和噪声抑制之间的不平衡。其中，如果从重建的HR图像中完全消除噪声，则这导致边缘的平滑，例如（Abedi和Kabir，2016; Faramarzi等人，2013; Köhler等人，2016;Laghrib等人，2016; Wang等人，2017; Wang等人，2014; Zeng和Lu，2013;Zeng等人，2015年）。另一方面，如果边缘在重建的HR图像中被很好地保留，这导致图像受到噪声的影响，例如（El Mourabit）中的方法例如，2017; Gao等人，2016年;Jun-Bao等人，2016; Maiseli等人，2014; Maiseli等人，2015; Nayak和Patra，2016; Ren等人，2013; Shen等人，2016; Shi等人，2015; Villena等人， 2014;Wang等人，2017; Yadav等人， 2014年; Yang等人， 2015年; Yuan等人，2012; Zeng和Yang，2013; Zhao等人，2015; Zhao等人， 2016年）。此外，正则化参数的选择是一个挑战时，处理不适定的反问题。通常通过测试一组值，然后选择与最佳结果相容的最佳参数来手动选择调节参数，通过定量指标或目视检查，如（Kim和Byun，2013; Villena等人，2013年）。其中，如果为正则化参数选择大的值，则它们通常会导致用于噪声抑制但导致边缘平滑的更平滑的解决方案。然而，如果为正则化参数选择小的值，则边缘被很好地保留，但噪声不能被完全抑制。但是，这个过程需要很长的时间和自我的过程。因此，有大量不同的策略被开发来进行正则化参数的自适应估计，例如（El Mourabit etal.，2017; Mohan，2017; Panagiotopoulou，2013; Villena等人，2014;Zeng and Lu，2013）.6. 结论在本文中，我们提出并审查了目前的正则化为基础的SR方法重建的HR图像在过去的十年。重点是检查的优点和缺点的解决方案设计的图像重建旨在确定其有效性和质量重建HR图像在过去的十年中，研究人员花费了大量的精力来重建HR图像，以降低噪声并保留边缘。然而，这些方法中的大多数仍然遭受重建的HR图像内的边缘保持和噪声抑制之间的不平衡。因此，基于正则化的方法在超分辨率图像重建中仍然具有挑战性。引用Abedi，A.，Kabir，E.，2016.基于笔划宽度的文档图像超分辨率方向全变差正则化。IETImage Proc. 10，158- 166。Bahy，R.M.，萨拉马，美国大兵，Mahmoud，T.A.，2014年。基于自适应正则化的多聚焦低分辨率图像超分辨率重建技术。信号处理。103，155-167。762米Khattab等人 /Journal of King Saud University- Computer and Information Sciences 32（2020）755- 762开始，我，Ferrie，F. P.，2006年。 使用图像质量测量的超分辨率算法的比较：计算机和机器人视觉，2006年。第三届加拿大IEEE会议，pp. 72 比72陈春，梁汉，赵，S.，Lyu，Z.，Fang，S.，Pei，X.，2016.将缺失信息估计整合到多帧超分辨率中。电路，系统，信号处理。35，1213-1238。陈春，梁汉，赵，S.，Lyu，Z.，Sarem，M.，2014.基于lmix先验的多帧超分辨率图像重建模型。 Comput. 电动Eng.40，142-153。El-Gamal，F.E.- Z. A. Elmogy，M.，Atwan，A.，2016.医学图像配准与融合的发展趋势。埃及INF. J. 17，99-124。穆拉比特岛El Rounge，M.，Hakim，A.，Laghrib，A.，Moreau，E.，2017.一种新的多帧超分辨率图像重建去噪模型。信号处理。132，51-65.Faramarzi，E.，Rajan，D.，克里斯滕森议员2013. 多幅图像超分辨率和单/多幅图像模糊反卷积的统一盲方法。IEEE Trans.图像处理。22，2101-2114。高，H.，陈昆，Sui，X.，曾杰，赵玉，2016.基于自适应卷积核大小选择的超分辨率重建算法。SPIE光学工程师+ Appl. Int. Soc. 选购配件Photonics，pp.997120 -997120-997128。Gao，M.，秦，S.，2015.基于局部加权各向异性和逐次正则化的多帧退化图像高性能超分辨率重建。Optik-Int. J. 光电子光学126，4219-4227。Ghosh，D.，Kaabouch，N.，胡伟C.的方法，2016.一个鲁棒的迭代超分辨率拼接算法，使用自适应和方向Huber-Markov正则化。 J. 目视Commun. 图像代表。40 ，98-110。Hadhoud，M.，El-Samie，F.A.，El-Khamy，S.，2004.高分辨率图像处理的新趋势：光子学及其应用，2004。In：The FourthWorkshop on. IEEE，pp.2- 23Hadhoud，M.，El-Samie，F.A.，El-Khamy，S.，2004年b。高分辨率图像处理的新趋势：光子学及其应用，2004。第四次IEEE研讨会，第2-23页。IEEE，pp. 2 -23Huang，S.，（1996年），中国科学院，孙，J.，杨，Y.，Fang，Y.，中国科学院，林，P.，2017.基于梯度矢量流混合场的多帧超分辨率重建。IEEE Access 5，21669- 21683。Huangpeng，Q.，曾光，太阳，Q.，范杰冯杰，潘兹，2017年。通过使用ADMM的多帧盲去模糊实现超分辨率模糊多帧图像。多媒体工具应用程序76，13563-13579。君宝，Z.，Xiao-Yan，C.，Sheng-Jin，W.，2016.基于低秩全变分的多帧图像超分辨率。DEStech Trans. Comput. Sci. Eng.Kiani，K.A.，德拉蒙德，T.，2017.使用迭代重加权最小二乘法解决鲁棒正则化问题，计算机视觉应用（WACV）。2017年IEEE冬季会议IEEE，pp. 483-492.Kiani，K.A.，德拉蒙德，T.，2017年b月。使用迭代重加权最小二乘法求解鲁棒正则化问题。在：在计算机视觉应用（WACV），2017年IEEE冬季会议（pp. 483-492）。美国电气与电子工程师协会。IEEE，pp. 483- 492.金，D.，Byun，H.，2013.使用边缘自适应非局部均值滤波器的基于正则化的超分辨率图像处理算法，第七届普适信息管理和通信国际会议论文集。^Margaret，p. 78岁Köhler，T.，黄，X.，Schebesch，F.，Aichert，A.，Maier，A.，Hornegger，J.，2016.采用迭代重加权最小化的鲁棒多帧超分辨率。IEEE Trans. Comput. Imaging 2，42-58.Kumar，M.，Diwakar，M