开源工具：DeepSR-图像超分辨率深度学习工具

·软件X 21（2023）101261原始软件出版物DeepSR：图像超分辨率深度学习工具哈坎·泰米兹计算机工程系，Artvin Artioruh大学，Seyitler Yerleskesi，Artvin，08000，Turkiyear t i cl e i nf o文章历史记录：2022年5月23日收到收到修订版2022年10月18日接受2022年关键词：软件工具深度学习超分辨率图像a b st ra ct介绍了一种开源工具，该工具提供了一个通用的环境，以满足研究人员在开发用于单图像超分辨率重建（SISR）的深度学习（DL）算法SISR的流程经过仔细研究，统一和集成，以创建可供社区用于任何类型成像方法（如航空，医疗，光学等）的软件。DeepSR允许使用快速原型化的DL模型轻松实现SISR应用程序，并详细报告和记录结果。整个实验可以通过简单的命令完成行脚本。它可以通过用户定义的指标，增强，回调等轻松扩展©2022作者（S）。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本V0.0.80用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-22-00129可复制胶囊的永久链接https://github.com/htemiz/DeepSR法律代码许可证MIT使用git的代码版本控制系统使用Python的软件代码语言、工具和服务汇编要求、操作环境和依赖关系Python 3.6及更高版本，NumPy，scipy，pandas，h5py，matplotlib，scikit-image，scikit-video，sporco，Pillow，sewar，sporco，openpyxl，TensorFlow，theano，keras，setuptools，GraphViz。如果可用，请链接到开发人员文档/手册https://github.com/htemiz/DeepSR/tree/master/DeepSR/docs支持电子邮件以解决问题htemiz@artvin.edu.tr1. 动机和意义超分辨率（SR）的目的是从低分辨率（LR）图像产生高分辨率（HR）图像。这是一个非常有前途的研究领域，在图像处理中应用到所有类型的成像方式，如日常生活中，航空，医疗等，它试图增加给定的LR图像的实际分辨率，同时产生更精细的细节，更大的信息和准确性，在代表原始HR图像。本质上，整个努力是找到一个函数，它最好地匹配给定的LR图像和参考HR图像。SR被命名为逆问题，因为源信息（HR图像）是从观测数据（LR图像）估计的在估计中，可以有许多不同的解决方案来重建给定LR图像的HR对应物因此，这是一个不适定问题要解决。解决这一问题的方法主要有两种：单图像超分辨率（SISR）和多图像超分辨率（MISR）。MISR旨在通过利用同一场景或成像介质的多个图像来解决该问题，而SISR利用单个图像来重建HR对应物。在SR的实现中存在两种情况，这取决于参考HR图像的存在。在真实情况下，HR和LR图像都可用，而在模拟情况下不存在HR图像在后一种情况下，LR图像是从被认为是HR的现有图像合成生成的使用以下公式模拟现有HR图像的LR版本y（i， j）=D（B（M（x）+n（i， j）（1）电子邮件地址：htemiz@artvin.edu.tr。https://doi.org/10.1016/j.softx.2022.1012612352-7110/©2022作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx哈坎·泰米兹软件X 21（2023）1012612Fig. 1. 超分辨率的概念方案。暗区域示出了合成LR图像的生成。 此程序仅适用于没有实际HR图像可用的模拟场景。其中x和y分别是HR和LR图像。M和B分别代表扭曲和模糊函数，D代表下采样。η是加性噪声以表示各种扰动（例如，由于传输误差、大气湍流、传感器热）。几个下采样算子（双三次，lanczos等）通常涉及模拟LR对应物。也可以相应地应用一些其他扭曲函数和噪声。SR的概念图如图1所示。合成仅在模拟场景中应用的LR图像生成过程在图中以黑色区域示出最近的研究集中在SISR而不是MISR。这些努力导致了许多不同方法的发展。其中一些是插值方法[1]，频域方法[2]，基于重建的方法[3]和基于学习的方法[4最近，深度学习（DL）算法的性能明显优于其他规范方法。自第一个设计模型SRCNN [8]以来，许多成功架构的变体，如卷积神经网络（CNN），自动编码器（AE）和生成对抗网络（GAN）已经开发并继续深入开发各种机器学习（ML）或DL框架，如Keras [9]，TensorFlow [10]，Theano [11]，Caffee [12]，CNTK [13]，Torch [14]，PyTorch [15]和MatconvNet [16]已经可供研究人员开发此类算法。然而，由于它们只是通用框架，它们不提供任何内置功能来开发具有DL算法的SISR环境。目前还没有一个专门的程序来满足研究人员解决随机共振问题的需要研究界将大大受益于这样一个通用的工具，简化，集成和自动化的SISR与DL算法在任何成像技术（医疗，航空等）的实施。所提出的工具DeepSR [17]成功地满足了研究人员的上述需求，并提供了一个具有丰富功能集的通用DeepSR是一个开源工具，根据MIT许可证条款提供，并在GitHub上提供全面的程序手册，源代码，二进制文件，示例等。SISR的整个方法在开发过程中经过精心设计、统一并集成到程序中。通过简单的命令行脚本或批处理文件，它可以实现DL模型的快速原型设计，并轻松地针对不同的参数集和替代模型执行众多SISR应用程序。此外，还可以通过用户定义的函数对它进行扩展内置操作。它可以是一个共同的环境中的应用程序SISR与DL算法在任何成像技术。2. 软件描述DeepSR除了在典型SISR应用程序中实现的常见过程外，还具有许多有用的功能。这些功能通过全面的评估、报告、可视化和日志记录功能，确保从头到尾顺利完成工作。例如，它可以使用18个图像质量指标（IQMs）进行性能评估，并详细存储计算出的或者，它可以可视化给定度量（损失函数和PSNR）的训练性能，预测图像或层的权重或输出。此外，DeepSR还可以通过将用户定义的函数轻松地整合到相关的流程、事务和计算中来进行扩展。DeepSR允许简单快速地设计DL模型。训练、评估和其他操作的实现细节可以通过简单的参数轻松确定，而无需编写任何额外的代码。它为用户交互提供了一个参数化和简单的脚本接口此外，还可以通过批处理脚本执行多个任务图中给出了DeepSR的概念和功能方案。 二、为了构建DL模型，DeepSR利用Keras然而，它最近被纳入了Tensorflow框架。如前所述，存在多种类型的DL架构（例如，AE、CNN等）。其中，GANs的工作方式与其他人截然不同。GAN由两个子网络组成：一个生成器用于生成可信数据，另一个生成器用于区分虚假和真实数据。这种双组件结构需要一种特殊的处理机制，这与其他体系结构非常不同在撰写本文时，这种机制的设计过程正在进行中。该程序的未来版本将很快允许使用GAN。但是，用户可以轻松地覆盖内置程序（培训，测试等）。并将它们相应地集成到相关过程中，因此，SISR的实现可以通过自己设计的GAN来完成通过细致的检查和测试，确保软件符合规范，并在验证和确认方面实现所需的目的。我们执行了几个单元测试来验证该工具是否符合要求。有许多警告提醒用户，并有例外情况，以确保在输入不符合要求或以可能导致故障的意外方式或格式提供时程序的不间断运行。作为静态测试，验证过程采用了评审方法。哈坎·泰米兹软件X 21（2023）1012613图二、使用DeepSR 的SISR 的概念和功能方案。图3.第三章。D e e p S R 的 结构及其相互作用。可选功能用虚线示出2.1. 软件构架DeepSR由几个Python模块组成，如图所示。3 .第三章。DeepSR类在文件DeepSR.py中提供。它是程序运行时首先执行的核心python模块。用户编写了一个名为“build_model”的Python方法，该方法构造了一个由Keras API定义的DL模型以及一个名为“settings”的字典，该字典由键/值对中的必需或可选参数组成。“build_model”和“settings”可以在典型的Python文件中提供，当程序从命令行执行时，或者在同一个代码文件中提供，当它用作另一个Python程序的类时一个模型文件，总的来说，应该至少包含以下两件事：一本名为“设置”的字典。该字典用于为DeepSR提供所有必要的参数和/或指令，以实现相关任务。• 一个名为'build_model'的函数此函数返回使用Keras API编码的模型的编译版本DeepSR导入用户定义的函数，并在模型文件中给出时覆盖成员方法。通过这种方式，用户可以根据自己的需求轻松定制DeepSR任何所需的参数，如学习率，步幅，epoch数，批次等，可以通过以下方式提供：i. 在模型文件中的“设置”字典中ii. 作为命令行中的命令参数，iii. 作为DeepSR类的属性。·哈坎·泰米兹软件X 21（2023）1012614•−平台和依赖关系DeepSR是用Python实现的，至少需要3.6或更高版本它依赖于以下软件包：Graphviz，h5 py，Keras，Matplotlib，NumPy，openpyxl，pandas，Pillow，scikit-image，scikit-video，SciPy，sewar，sporco，TensorFlow。要使用其他后端（如Theano或CNTK）运行DL模型，也应该安装它们。然而，主要的后端是TensorFlow。2.2. 软件功能2.2.1. 预处理和后处理、数据扩充和标准化在SISR的实现过程中，根据解决问题的方法背后的思想，应用了许多不同的特定于领域的方法、技术和途径例如，有些模型采用LR图像，并在其层中放大它们此外，模型可以在不同的颜色空间中运行，也可以只在一个或多个通道上运行。DeepSR允许使用单个参数轻松确定此类应用程序细节此外，它还提供了一些额外的功能，除了常见的应用程序。例如，它允许使用不同的运算符进行下采样和上采样，而不是共同使用相同的运算符。针对SISR应用的子过程（规范化、增强或预处理等），被纳入了计划。下文将详细讨论其中一些问题数据扩充是一个非常重要的过程，特别是当没有足够的训练数据时。它有助于模型的数据表示和学习能力，并防止过拟合。DeepSR提供了一种参数化的数据增强方式。 它允许通过将图像旋转90度、180度和270度，或垂直、水平或同时翻转图像来增强数据。在程序中可以选择这些操作的任意组合。然而，DeepSR 允许通过用户定义的图像变换轻松扩展图像增强过程。用户可以在模型文件中定义一个名为“fn_user_augmentation”的函数，该函数返回使用用户定义的图像处理操作生成的图像列表。此函数成为DeepSR的成员方法当读取模型文件时，类。当从另一个Python程序使用DeepSR类时，它也可以成为成员方法。此功能应定义如下：规范化也是一项非常重要的任务，它使DL模型能够快速稳定地学习DeepSR实现了以下开箱即用的最常见的规范化技术分开。图像的强度值除以某个值（例如，（255.0）平均归一化。从正在处理的图像中减去其平均值平均值可以由程序以任何方式计算：每个正在处理的图像或整个图像训练集用户还可以提供任意的平均值，而不是计算。最小-最大归一化在该归一化中，图像的强度值在给定间隔之间重新排列。例如，在1和1之间。标准化通过减去平均值并将结果除以标准差来归一化图像。平均值和标准差由程序从正在处理的每个图像或从训练集的整个集合中计算两者的任意值也可以由用户给出，而不是计算。在某些情况下，输出HR图像可能需要一些额外的调整。例如，某些模型在通过其层处理图像时会从边缘修剪一些像素。在这种情况下，输出图像将小于参考图像。因此，在评估过程期间，可能需要从边缘裁剪参考图像，使得输出图像和对应的参考图像在尺寸上相同有关其他功能或详细说明，请参阅文档。2.2.2. 训练深度学习模型在实践中，模型以在线或离线方式进行训练，主要取决于训练数据的大小。在线培训由于目前可用的数据量很大，因此DeepSR采用了最广泛使用的方法，的主要方法。在在线训练中，DeepSR会耗尽目录中的整个训练图像集。培训程序的工作流程如图所示。四、请注意，（1）中的变量x和y在图中互换，以提供更直观的理解。在大多数情况下，真实的HR图像不可用。现实生活中的场景很少发生。因此，开发DeepSR以实现根据（1）合成生成LR图像的模拟场景。DeepSR目前正在开发中，以支持现实生活中的场景。DeepSR从训练集中获取每个图像（通常是块）y，并根据下式合成产生LR图像x：（一）.在对x应用一系列预处理操作（增强、归一化、添加噪声等）之后，它被赋予DL算法，使得模型学习x和y之间的转换函数 图像y与其预测（产生）版本y之间的错误（丢失）率用给定度量测量，并通过模型的层传播回来以更新层权重。下一个训练过程从更新的层权重开始。该过程继续直到训练集中的整个图像已经被耗尽给定数量的时期，或者直到满足终止条件（例如，提前停止，因为性能没有改善···哈坎·泰米兹软件X 21（2023）1012615，=ˆ=-见图4。使用DeepSR在SISR中进行训练的流程。为简单起见，（1）中的x和y项 暗区显示LR图像的合成生成2.2.3. 深度学习模型一个典型的DL算法预测图像y对于每个LR（合成生成的或真实的）图像y。那么，它在通过将y和y与一个或多个IQM进行比较来评估图像y的重建。 DeepSR可以利用18个IQM的任意组合进行性能评估。这些IQMs如下：BRISQUE[18]，BSNR [19]，ERGAS [20]，GMSD [21]，MAD，MSE [22]，MSSSSIM [23]，NIQE [24]，NRMSE [22]，PAMSE [25]，PSNR，RASE[26]，SAM [27]，SCC [28]，SNR，SSIM [29]，UQI [30]，VIF [30]。默认情况下，PSNR和SSIM度量是计算的由于IQMs的正式定义超出了本文的范围，为了简洁起见，下面给出了最常用的度量PSNR和SSIM的定义，其他定义在程序手册中。但是，所有指标都在附录A中进行了简要说明。峰值信噪比（PSNR）令y和y*分别为模型的参考（地面实况）和预测图像。 第一件事是计算均方误差（MSE），这是测量y和y之间的绝对差异或距离的 一 个 指标。MSE定义如下：P RMSE=1∑∑y（i，j）−y（i，j）<$2（2）PRi= 1 j= 1其中P和R是两个方向上的像素数：高度和宽度。然后，PSNR计算如下：PSNR= 10 log10L2MSE（三）其中L是最大强度值（8位图像为结构相似性指数（SSIM）SSIM是两个图像之间相似性的度量。它考虑了像素在亮度、对比度和结构方面的相互依赖性。SSIM对于图像y和yθ被定义如下：SSIM（yy）（2µyµy+c1）（2σy y+c）（µ2+µ2+c1）（σ2+σ2+c2）（四）yy yy其中μ和σ表示相应图像的均值和方差，σyy是y和y的协方差。变量c1和c2计算如下：c1=（ k1 L）2（5）c2=（ k2 L）2（6）L是像素的动态范围（8位图像为255.0），k10 的情况。01和K20 的情况。03默认计算出的每个图像的IQM分数以表格格式存储在Excel文件中，其平均值存储在另一张表格中，相同的工作簿（参见附录E）。测试过程可以针对单个或多个权重文件进行。DeepSR能够以保存每个预测输出图像、测试期间各层的权重或输出。对于同一个实验，可以对位于不同文件夹中的多个测试集进行性能评估。也可以通过提供到对应文件的路径而不是指定文件夹来仅对单个图像和/或权重文件进行评估。图5示（哈坎·泰米兹软件X 21（2023）1012616出了图1的流程图。测试程序。哈坎·泰米兹软件X 21（2023）1012617图五、训 练 模 型 的评估过程。用户定义的指标也可以在测试过程中计算。这些指标可以通过模型文件中名为“fn_user_metrics”的函数提供当从另一个Python程序使用该类时，此函数也可以声明为成员方法它应该为每个计算的度量返回一个名称-值对的字典，如下所示：2.2.4. 可视化DeepSR可以可视化和存储模型结构，层权重和输出。此功能非常重要，尤其是当用户需要直观地检查模型的结构、输出图像或层的输出时。此外，在训练过程中，模型在PSNR和给定损失函数方面的性能在图形文件中可视化，除了日志。第3节示例中的一些可视化在示例和附录D中给出。2.2.5. 回调和日志有几个Keras的回调在用户的处置开箱即用。这些回调允许在操作过程中完成许多额外的工作，或者根据已执行进程的活动状态或某个标准的满足情况采取行动。内置的回调函数如下：LossHistory在字典中记录类内的损失（训练和验证（如果存在））。ModelCheckpoint用于记录每个epoch后的模型权重。CSVLogger在文本文件中记录每个时期计算的损失。EarlyStopping如果连续几个时期都没有改善，则停止训练过程。ReduceLROnPlateau：如果连续多个时期没有取得改善，则降低学习率值。The ‘lrpatience’除了内置的回调函数外，用户还可以在模型文件中名为“fn_user_callbacks”的函数中编写回调函数这个函数应该返回一个回调列表其定义应类似于以下示例DeepSR在运行时将用户定义的回调追加到内置列表中。当从另一个Python程序运行相同的函数时，可以直接将其提供给带有参数fn_user_callbacks的“pre-callbacks”成员方法。的图示具体如下：·····哈坎·泰米兹软件X 21（2023）1012618此外，用户可以通过在模型文件中重新定义'' prepare_callbacks ''成员方法来轻松覆盖内置回调3. 说明性实例3.1. 安装虽然可以通过下载源项目文件夹及其内容直接使用DeepSR，但安装起来要方便得多，因为它需要许多其他Python包。Python环境的源代码和二进制文件在PyPI1存储库中提供，地址如下：https://pypi.org/project/DeepSR/可以使用以下命令安装该程序：所有依赖项将在安装过程中自动安装3.2. 执行安装后，它可以导入到Python程序中，或者通过Python解释器使用命令行脚本运行但是，它主要是设计来从命令行与它交互的。在下面的部分中，将展示如何首先从命令行使用DeepSR，然后如何将其作为Python环境中的类附录B中给出了SRCNN [8]模型修改版本的完整代码。在插图中使用SRCNN的原因是与其他人相比，因此，保持示例简单和文章简洁是有帮助的。更多的例子和详细的解释可以在GitHub页面上找到，包括一些已知的模型，如DESCRIPER [31]和VDSR [32]。SRCNN最初设计用于处理YCbCr颜色空间中的单通道图像这里它被修改为处理3通道RGB图像。假设以下代码存储在'SRCNN.py'文件中所需的包在代码的第一部分导入。最常见的超参数和设置在“设置”字典中给出。每个参数的简短描述作为注释在同一行中给出。有关其他参数和进一步说明，请参阅在代码的其余部分中还定义了以下四个函数：build_model、fn_user_callbacks、fn_user_metrics和fn_user_augmentation。每一个都必须用确切的给定名称声明，以便程序成功工作。无论何时从命令行调用模型文件，它们都会成为DeepSR类的成员方法，或者当使用DeepSR作为类时，它们通过“make_member”方法注册（稍后演示）。最后三个函数允许通过将额外的用户定义过程合并到相关过程中来扩展程序。build_model在开始训练或测试过程之前相应地构造SRCNN模型。fn_user_callbacks允许以编写其他用户定义的回调。给定的代码说明了如何定义Keras的学习率调度回调。这个回调将被添加到内置回调列表中，并在训练过程中与其他回调一起执行fn_user_metrics只是返回一个字典，用于用户定义的指标（名称，值>对）。字典中的每个指标都将添加到内置指标列表中（默认情况下为PSNR和SSIM），并在评估模型性能时进行计算图中的本IQM和其他IQM的一些计算值见附录E。用户可以在fn_user_augmentation中提供用于数据扩充的其他图像转换给定的代码通过将图像旋转10度来增加训练数据除了在训练过程的预处理阶段中执行的内置增强操作之外，还执行此函数中定义的每个增强操作3.2.1. 从命令行运行如前所述，DeepSR的主要目的是与脚本交互执行任务。它允许顺序执行多个任务，或者通过将作业分配到同一台机器上的单独虚拟Python环境或单独GPU（如果存在）来并行下面的代码演示了如何从命令行训练和测试示例文件中定义的SRCNN模型1https://pypi.org/。哈坎·泰米兹软件X 21（2023）1012619×- -表1图中的一些命令参数参数描述–batchsize用于训练的模型覆盖设置中的值64–colormode 与设置中给定的值相同它没有不同的效果。–epoch 覆盖定义文件中的值10-gpu 1第二个GPU（因为它是零序的）将仅用于此任务（如果存在）。通过这种方式，可以在同一台机器上的多个GPU不是在设置中给出的，而是在命令脚本中–inputsize 覆盖值21。–lrpatience与定义文件中的值相同。–metrics PSNR覆盖度量值列表在定义文件中。–noise没有在设置中给出，但在脚本中- 正常化minmax 1 1通过1和1之间的最小-最大归一化来归一化输入图像 覆盖规格化方法在设置中给出。–saveimages在设置中没有给出，但在剧本里。–scale 覆盖设置中的值4–shutdown–stride 与设置中相同参数或指令可以作为命令参数给出，如上所示命令参数将覆盖模型文件中的设置下面给出了对这些参数的一些描述预训练和预测试分别指示程序首先训练模型，然后评估其性能。当不需要训练时，在这个例子中，训练过程在第23个时期被提前停止回调停止BSD 100、Set14和Set5数据集[33]分别用于培训、验证和测试过程这些集合分别包含100、14和5个图像定义文件"其他一些参数如表1所示。附录C给出了本实验期间程序的命令行输出。完成培训和测试程序后，根据执行的任务，程序将创建类似于以下插图的各种目录和文件哈坎·泰米兹软件X 21（2023）10126110请注意，还有许多其他命令参数可用。更详细的信息和示例可以在文档中找到。3.2.2. 作为Python类DeepSR类可以被另一个Python程序利用。下面的代码片段显示了一个非常简短的示例。假设示例代码被附加到SRCNN.py文件的末尾因此，相同的设置和功能也适用于此类的实例可以通过提供设置字典来创建这不是唯一的方式，但出于简单和方便的考虑，这应该是优选的所有参数都可以重新分配给类实例。用户定义的函数可以通过使用成员方法make_member成为实例的成员某些任务（例如培训）可以在为这些任务做出所有必要的安排之后通过调用相关方法来执行。该示例说明了如何在进行必要的调整后开始训练过程4. 影响该计划的基础是在研究[31，34]中奠定的，这需要软件来确保快速模型原型和多任务SISR管道的集成执行。即使是该程序的基本版本也可以成功完成无数具有许多不同DL模型和替代参数集的研究目前还有其他几项研究正在接受同行评审，这些研究受益于DeepSR进行实验。简而言之，DeepSR提供了许多功能，包括但不限于以下内容：• 用于SISR应用的统一和集成环境与DL算法。• 简单、快速、简单的模型原型制作。• 简单易用的命令行界面。• 能够使用批处理文件执行多个任务。• 全面的预处理、评估、可视化和报告功能。• 用户定义过程的可扩展性。• 能够在单独的GPU上分配任务5. 结论本文介绍了一个开源工具，它为设计和实现SISR提供了一个通用的环境，在任何成像技术（医疗，航空等）中使用DL算法一个典型的SISR应用程序的整个管道已被仔细分析，并集成到程序中。DeepSR以丰富的功能集成功满足了研究人员的需求。通过简单的命令行脚本或批处理文件，设计DL模型并为不同的参数集或替代模型实现多个SISR应用程序它可以通过将用户定义的函数合并到相关进程中来扩展。DeepSR可以是任何成像技术中具有DL算法的SISR竞合利益作者声明，他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。数据可用性文章中描述的研究未使用任何数据附录A. 可用的图像质量指标见表A.1。哈坎·泰米兹软件X 21（2023）10126111表A.1可用的图像质量指标。公制描述完整参考图书馆BRISQUE [18]盲/无参考图像空间质量评估器。计算图像的无参考图像质量分数（IQS）。只需要一个图像来计算IQS。它通常用于自然场景图像。BSNR [19]模糊信噪比。计算无噪声模糊图像与有加性噪声模糊图像ERGAS [20] Erreur relative globale adimensionnelle de Escherèse.将通道式NRMSE乘以地面采样距离（GSD）比，该比是LR和HR图像之间的像素计数比的平方根。分数越低表示质量越好GMSD [21]梯度幅度相似性偏差。一种高效的IQM，可对图像上的压缩伪影、模糊或加性噪声做出响应。计算参考图像和失真图像的梯度幅度图，以及它们的相关性。与SSIM相比，可确保快速、轻松的优化、高精度以及更少的时间和内存复杂性。 分数越低表示质量越好。MAD平均绝对偏差。计算参考图像和失真图像之间绝对差值的平均值。分数越低表示质量越好MSE [22]均方误差。对应像素之间的平方差的总和两个图像。它的定义在（2）中给出MSSSIM [23]多尺度结构相似性指数。计算每个版本的参考图像和通过迭代下采样因子2获得的失真图像上的总体SSIM。亮度分量仅在初始尺度下计算，而对比度和结构比较在每个尺度下计算作者指出，它优于SSIM。NIQE [24]自然图像质量评估器。基于建立集合的完全盲IQM从集合中未失真的自然图像的局部块获得的“质量感知”特征，并拟合到多变量高斯模型（MVG）。分数被计算为测试图像的MVG与图像语料库之间NRMSE [22]归一化均方根误差。旨在确保与尺度无关，而不像均方根误差（RMSE）。通过将RMSE乘以归一化因子的倒数来简单地计算，归一化因子通常等于最大观测值或最大值和最小值之间PAMSE [25]感知保真度感知均方误差。通过引入l ~2范数项来增强MSE的感知保真度意识.最初为自然图像设计。它设计者认为它比SSIM更好，可以作为目标函数在基于感知质量的图像处理任务中。分数越低表示质量越好PSNR峰值信噪比。信号的最大可能功率与影响其表示保真度的噪声功率之比。简而言之，它是最大强度值与对数尺度下两个图像之间的MSE的比值。形式定义见（3）。RASE [26]相对平均光谱误差。最初设计用于评估多光谱图像的质量。它以百分比表示技术的平均性能。 通过将所有光谱带的平均RMSE的平方根除以所有光谱带[27]第二十七话：通过计算两者之间的角度获得的图像与参考光谱的光谱相似性的度量分数越低表示质量越好SCC [28]空间相关系数。最初设计用于对多光谱成像中全色图像和融合图像之间的相关性进行评分。通过将两个图像的协方差除以其标准差的乘积来SNR信噪比。计算信号功率与背景噪声功率之比，以对数分贝标度表示。高于1.0的比率是更高信噪比的良好指示。SSIM [29]结构相似性指数。它是一个基于梯度的标准，结合梯度相似性函数。图像的感知质量从三个方面来衡量：亮度，对比度和结构。计算这些中的每一个的相似性。总分由这三项的乘积得出UQI [30] Universal Quality Image Index.用于确定图像与参考图像相比的变形程度的分数。通过结合三个因素来计算度：相关性损失、亮度和对比度变形。 这些因子是通过图像的统计特性计算的VIF [30]视觉信息保真度。它使用自然场景的统计模型，在小波域中使用高斯尺度混合（GSM）。它也来自图像变形模型和人类视觉系统的信息理论设置。具体来说，它捕捉以下失真类型：额外的噪音，模糊和局部或一般的对比度变化。全参考中的加号列指示度量是否为完全引用。-scikit视频+sporco+sewar+sporco+scikit视频+scikit-image+sewar-scikit视频+scikit-image+sporco+scikit-image+sewar+sewar+sewar+sporco+scikit-image+sewar+sewar哈坎·泰米兹软件X 21（2023）10126112附录B.SRCNN.py文件的内容，用于第3节中的说明性示例哈坎·泰米兹软件X 21（2023）10126113哈坎·泰米兹软件X 21（2023）10126114附录C.DeepSR生成的命令行日志，如第3节中的插图所示哈坎·泰米兹软件X 21（2023）10126115图D.1. 存储在“SRCNN.png ”文件 中 的模型架 构 图。图D.2. “PSNR.png中SRCNN 的训练图”文件的内容。它在PSNR测量中可视化每个时期的训练和验证分数图D.3. “Tra inin g gra ph of SRC N N .png ”文件 的 内容。它在给定的损失函数（图中的MSE）中可视化每个时期的训练和验证分数附录D.DeepSR生成的模型架构和训练图的可视化，用于第3节中的说明见图 D.1- D.3。附录E. 作为第3节示例中的评估结果，IQM评分存储在SRCNN_set5_scale_2.xlsx文件见表E.1和E.2。哈坎·泰米兹软件X 21（2023）10126116表E.1包含测试集SET5的IQM评分的工作表“工作表1”的摘录。这里只显示前三个重量的分数然而，计算了所有23个权重的文件z_baby_GTZ_bird_GTZ_butterfly_GTz_head_GTZ_woman_GT是说LOGMAD2.3061169992.3296951482.2308457272.2881901312.3217737032.295324342权重.01PSNR12.8315247316.1184069720.1011814524.427948519.4641087918.58863409SSIM0.805065180.6437719880.8085817080.6624510430.8538337090.754740726VIF0.4730692280.3462528840.3837262380.3516531660.5295289670.416846097LOGMAD2.1438246532.3295942482.1668600292.2778219812.1680882052.217237823权重.02PSNR18.9167363318.9509621921.8224961618.1482574419.4387910819.45544864SSIM0.8661400350.6878927040.8616753820.5875789110.8358822650.767833859VIF0.5388313840.4900409770.4382832220.3621202010.5535307640.47656131LOGMAD2.0714495292.3449163562.0358647122.241333112.257743182.190261377权重.03PSNR23.4032159522.8497181823.2735509626.585594420.0820242523.23882075SSIM0.9151209120.7777389450.8863690030.7446068580.8989450720.844556158VIF0.6116365740.495834840.4722998920.4093420340.6211398250.522050633表E.2包含测试集SET5内IQM平均值的“平均值”表摘录。 虽然计算了所有23个权重，但仅显示前8个权重的结果。weights.01weights.02weights.03weights.04weights.05weights.06weights.07weights.08LOGMAD2.2953243422.2172378232.1902613771.998213982.3102264592.1080246812.2398658872.294093174PSNR18.5886340919.4554486423.2388207520.1851985119.5195481322.7699969315.8857849215.05101649SSIM0.7547407260.7678338590.8445561580.8383673570.7802529390.8693013950.695413750.703740951VIF0.4168460970.476561310.5220506330.4629781420.5089918380.5252621340.4002670130.425709425引用[1] 按键RG。用于数字图像处理的三次卷积插值IEEE transacoust语音信号处理1981;29（6）：1153[2] 蔡河多帧图像复原与配准。Adv Comput Visual Image Process 1984;1：317[3] 作者：AlyHA，Dubois E.基于新观测模型的全变差正则化图像上采样IEEE Trans Image Process 2005;14（10）：1647[4] 杨J，赖特J，黄T，马Y.图像超分辨率作为原始图像块的稀疏表示。第26届IEEE计算机视觉会议模式识别2008年，p. 1-8号。[5] 张宏，杨迪，熊毅.通过邻居嵌入实现超分辨率。在：IEEE计算机协会计算机视觉和模式识别会议论文集。2004年，p. 1.一、[6] RomanoY，Isidoro J，Milanfar P.RAISR：快速准确的图像超分辨率。IEEE Trans Comput Imaging 2016;3（1）：110[7] 唐毅，严平，袁毅，李晓.通过局部学习实现单图像超分辨率Int J Mach Learn Cybern 2011;2（1）：15[8] Dong C，Loy CC，He K，Tang X.学习深度卷积网络实现图像超分辨率。第13届欧洲计算机视觉会议。2014年，第184比99[9] 肖莱湾Keras：Python深度学习库，v2.8.0。https://Keras.Io网站。[10]AbadiM，et al.Tensorflow：一个大规模机器学习系统第12届操作系统设计与实现研讨会2016，p.265比83[11]BergstraJ，et al.Theano：Python中的CPU和GPU数学编译器上一篇：Python for scientific computing会议2010年，p.1-7号。