相机成像管道中的超分辨率方法-从RAW到RAW域缩小了理想和真实退化模型之间的差距

17552学习在相机成像管道汤成洲1杨玉强2*曾兵2谭平1刘帅成2<$1西蒙弗雷泽大学2电子科技大学摘要现有的单图像超分辨率方法要么是针对合成数据设计的，要么是针对真实数据设计的，但是在RGB到RGB或RAW到RGB域中。本文提出了在相机成像管道内将图像从RAW缩放到RAWRAW到RAW域缩小了理想和真实退化模型之间的差距。它还排除了图像信号处理流水线，这将模型学习重新引入到超分辨率中为此，我们设计了一种方法，接收低分辨率RAW作为输入，并估计所需的较高分辨率RAW与退化模型。在我们的方法中，学习两个卷积神经网络来约束低维子空间中的高分辨率图像和退化模型。该子空间约束将不适定的SISR问题转化为适定的SISR问题。为了证明所提出的方法和RAW到RAW域的优越性，我们对RealSR和SR-RAW数据集进行了评估结果表明，我们的方法表现优于国家的最先进的定性和定量，它也具有很好的推广性，并使零拍摄跨不同的传感器传输。1. 介绍数字变焦对于具有有限光学变焦能力的设备（诸如智能电话或消费级相机）是必要的。数字变焦可以被实现为相机预览中的内置功能，其中所选择的远距离图像区域被实时放大，或者被实现为编辑软件中的后处理，其中单个输入图像被上采样为更高分辨率以获得更多细节。在过去的几十年里，许多作品[3，8，12，18，24，33 ， 37 ， 38 ， 43 ， 52] 已 经 在 单 个 图 像 超 分 辨 率（SISR）上完成，因为它对输入的要求较低。其中一些工作，特别是基于学习的工作[39]，假设退化内核遵循手动定义的公式，如高斯分布或双三次分布。*同等贡献†通讯作者插值，并合成成对的低分辨率（LR）和高分辨率（HR）图像对设计和评估的方法。然而，实际数据上的退化模型比所做的假设更复杂这个域间隙限制了这些方法在真实数据上的性能。近年来，一些研究工作开始在真实数据上探索SISR问题，并取得了一些进展。已经提出了诸如RealSR[5]，SR-RAW [51]和ImagePairs [19]的真实数据集，其中LR-HR对通过不同的相机焦距或分束这些数据集弥合了域差距，并能够在真实RGB对上训练模型[5，40，46]。X. Zhang等 [51]和Z. Zhang等人。 [53]甚至更进一步，设计了输出更高分辨率RGB图像但接收RAW图像作为输入的模型。这些模型不仅可以将输入图像放大到更高的分辨率，还可以作为隐式图像信号处理（ISP）管道将RAW图像转换为RGB，这可能会使学习复杂化，因为涉及ISP单元并将学习的模型偏向于特定的相机。在本文中，我们还研究了真实数据的SISR，在RAW到RAW领域。我们设计了一个数字Zoom组件，它可以被构建到相机成像流水线中，即ZIC。ZIC不包括ISP，只专注于缩放图像，增加从RAW到RAW的细节在RAW到RAW领域工作的优势有三方面。首先，从RAW-HR到RAW-LR图像的退化核更接近理想分布，这可能有助于获得更好的结果。其次，RAW图像独立于ISP，因此训练的模型专注于分辨率增强，并且对特定相机的偏见较小第三，RAW图像在后处理过程中更灵活据我们所知，ZIC是RAW到RAW域中用于真实数据的第一个SISR方法。为此，ZIC解决了以下最小化问题：miny−（kx）↓，s.t.x∈ X且k∈ K，（1）x， k其中y是输入RAW图像，x是期望的更高分辨率输出以及像素自适应退化内核映射k，k表示卷积算子，并且↓17553表示下采样算子，为了简单起见，在论文的以下内容中省略了该下采样算子。最小化的目标函数仅在方程。（1）是不适定的逆问题，其中多个x对应于相同的观测y，并且当联合估计k时，其变得甚至更具挑战性。 受到最近进展在其他低级视觉任务[35]中，我们假设输出x和核映射k分别属于两个潜在子空间X和K这个子空间约束正则化了解空间，并重新表述了不适定的SISR问题变成更好的姿势为了生成两个子空间X和K，我们将y馈送到两个独立的卷积网络，并且它们以监督的方式使用来自现有数据集的RAW LR-HR对进行训练[5，51]。为了评估所提出的方法ZIC，我们对RealSR [5]和SR-RAW [51]上的现有SISR方法进行了比较。由于我们的输出为RAW格式，我们透过各相机的官方软件将其转换为RGB。因此，对SSIM、PSNR和学习的感知度量LPIPS进行了定量比较 [50]。我们还进行了定性比较，并证明了我们的方法在视觉质量的优越性。定量和定性结果均表明，所提出的方法优于以前的方法，并且每个组件的贡献也在消融研究中得到了验证。此外，ZIC具有很好的通用性，能够在不同的传感器之间实现零发射传输。2. 相关作品单图像超分辨率（SISR）是一个不适定的逆问题，当退化模型未知时，所需的高分辨率图像具有无限解，或者只能在给定退化模型的限制下恢复[21，27]。为了处理这个问题，已经提出了许多早期的工作，例如基于示例的方法[2，10，12，16，34，36]和基于稀疏编码的方法[20，43，47]。合成数据上的SISR：最近的研究已经完成了用于SISR的深度神经网络学习从SRCNN [8]开始，卷积神经网络（CNN）在双三次下采样的LR-HR对上进行训练，在这个方向上进行了各种后续工作。首先，已经针对RGB图像[24，52]或多光谱图像[29，30]探索了改进的网络架构。其次，在训练过程中应用了感知损失[18]和生成对抗网络[23，38，44]等高级学习策略第三，一些工作将退化模型从神经网络中解耦，并需要外部核作为输入。该内核可以手动给定[48，49]或从单个图像[4，28]内的内部统计数据估计。这些方法中的大多数都是在合成数据上训练和评估的[1，42]，其中LR图像是从HR图像合成的，定义的退化。真实数据上的SISR：然而，真实数据上的退化模型更加复杂。这种畴隙激发了最近的工作，探索真正的LR-HR对上的SISR问题。Cai等人[5]捕获包含RGB中对齐的LR-HR图像对的基准数据，并设计 一个在多尺度上估计每像素内核的网络。Zamir等人[46]还使用该数据集并学习真实RGB图像上SISR的丰富多尺度特征受最近基于学习的RAW图像处理[7，11，17，41，45]的启发，X.Zhanget al. [51]提出了一种SISR方法，将RAW图像放大为更高分辨率的RGB图像，其中上下文双边损失旨在处理未对齐的训练对。相反，Z.Zhanget al.[53]通过引导ISP网络的联合学习和使用预训练的光学光流模型的全局颜色映射，直接减少训练期间的不对准[32]。我们建议[39]对上述方法进行更全面的调查，特别是基于深度学习的方法。与以往的基于学习的方法不同，我们的方法最小化方程中的目标（1）学习子空间约束。我们不设计网络架构或训练策略来学习子空间，而是采用标准网络和损失函数。另一个同样重要的区别是，我们在RAW到RAW数据域中工作，其中不包括ISP因此，我们的方法从学习ISP中解脱出来，重新关注SISR问题。3. 述的方法3.1. 概述图1给出了所提出的ZIC框架的概述，其中我们接收RAW图像y作为输入，并将其并行发送到图像基生成器以及核基生成器。图像基X包含用于每个拜耳模式通道但具有更高分辨率的dx个基图像，而核基K包含在每个输入像素坐标处的dk个退化基核然后，更高分辨率的RAWx和相应的退化内核图k由等式2联合估计。（一）.最后，x被发送到现有的ISP，以进一步处理为RGB格式。3.2. 为什么是RAW？如图2a所示，典型的ISP从图像传感器接收原始RAW图像，然后通过几个ISP阶段对输入进行后处理，包括黑电平校正，白平衡，去马赛克，降噪等。在详细介绍ZIC之前，我们解释为什么要排除ISP并在RAW到RAW域中工作我们研究LR图像y和其地面真实HR对应物x之间的退化核，因为核估计对于输出的质量至关重要1755422图1.该框架提出了学习ZoomI insideC amera管道的方法。一旦确定了核，我们就可以通过快速傅里叶变换（FFT）或变分方法直接恢复高分辨率图像[37]。理想情况下，退化内核遵循高斯分布，取决于每个像素的深度和相机的焦距[6]：在此之前，它更加紧凑和集中。我们还将每个内核拟合为高斯分布，并在图2c中对每个内核元素的拟合误差进行平均。去马赛克后，平均拟合误差也增加了8倍。这一观察结果表明，核心假设方程。（2）好g（p，q）=12πσ2（dp，f）exp（−p−q）、 （2）2σ（dp，f）直到去马赛克，这促使我们的方法不仅接收RAW图像作为输入，而且还产生RAW图像作为输出。其中p是像素，q是其相邻像素之一，σ2（dp，f）是关于p的深度dp和焦距f的函数。(a) 示例中每个ISP单元的输出(b) 所有示例的平均退化核。(c) 所有示例的平均高斯拟合误差。图2.每个ISP阶段输出的内核统计信息。然而，由于ISP，在真实RGB图像为了便于解释，我们只考虑平行于相机平面的平面场景，其中所捕获的场景具有均匀的深度。因此，可以通过下面的约束二次最小化从xx，y对估计均匀核Σ这一观察背后的洞察是，ISP内部有两组处理单元：第一组是按像素操作的单元，如黑电平校正和白平衡，第二组是在局部邻域中操作的单元，如去马赛克和降噪。在第二组单元中涉及的邻域信息使核估计复杂化（二）、有关详细解释，请参阅补充资料。在实践中，我们保留黑电平校正和白平衡作为我们的数据归一化，因为它们不会使内核假设复杂化，同时用平衡的颜色将像素值重新映射到[0，1]3.3. 如何缩放？现在我们已经解释了在RAW到RAW域中处理SISR问题的原因。接下来，我们将介绍所提出的ZIC方法的技术细节。核估计： 尽管潜在的退化核函数在RAW上更接近高斯分布虽然在3D图像中，它们仍然是空间变化的，因为每个像素到3D场景中的相机的距离不同。给定现有的输入输出对{x，y}，像素坐标p处的核kp满足以下等式：yp=kp·xNp，（4）其中Np表示p周围的邻域，并且与kp具有相同的空间大小，因此卷积算子可以实现为两个相邻向量之间的点积miny-kx，s.t.kij>0，并且Kkij= 1，（3）然而，Eq。（4）是欠定的，以决定核kp。受最近其他低级视觉任务的启发[35]，其 中 ， 估 计 的 核 k 预 期 接 近 于 等 式 2 中 的 分 布 。（二）、如图2b所示，估计的核在去马赛克之后开始发散和偏离，而我们将核映射k参数化为dk基核映射K={k1，k2，···kdk}的线性组合，并估计组合系数ck=[c1，c2，···cdk]，通过：k k k17555Kj=1XpminΣ yp− 克赖斯特彻奇ci（ki·xN ）。（五）3.4. 培训ckk pppi=1这些内核基映射是从具有16个ResBlocks的ResNet [15]生成的，其中没有应用步幅来生成与输入相同分辨率的基础内核映射。图像估计：同时，一旦k给定，我们可以我们使用Eq。（8）用于推理，但利用基核映射和基图像的基本性质来实现训练期间的直接监督。核基：给定地面实况高分辨率图像x，我们估计基的组合系数核映射Eq.（五）、 然后我们组成内核映射通过以下步骤恢复期望的高分辨率图像XΣ克赖斯特彻奇i=1ci ki，并生成退化的地面实况yminXyp−kp·xNp（六）由等式（4）在每个像素处。训练损失应用于∗py 和输入y。虽然Eq。（6）是超定的，逐像素地估计x通常引入伪影[13]。为了实现更好的正则化，我们还将x参数化为线性组合，Image Basis：由于x是在训练过程中给定的，我们将组合系数cx估计为：中国dx12天minx− cj xj，（10）dx基础图像X={x，x，··· x，x}的估计组合系数c=[c1，c2，···cdx]，通过：cxp x ppj=1xxxx并应用地面实况x和minΣ yp−dx cj（kp·xj）。（七）合成输出x=xrdxc jx j.cxxNppj=1这些基础图像是从与基础核映射类似的网络生成的主要区别在于，我们通过转置卷积进一步对最终卷积层的输出进行上采样，将基础图像转换为所需的更高分辨率。除了正则化，基图像还将图像的变量数量减少到dx，这实现了更好的效率，并且使得可能的联合最小化联合最小化：现在，我们有了基本的核映射{k1，k2，···kdk}和基础图像{x1，x2，···xdx}。组合系数ck和cx通过以下公式估算训练损失：我们对内核基生成器和图像基生成器应用相同的损失函数。我们遵循以前的工作[18，51]并测量x和x之间的L1距离以及相应的VGG-19特征函数f（x）和f（x）。将x和x发送到预先训练好的VGG-19网络[31]，我们将单通道拜耳通过从其最接近的2个或4个相邻的bor中插入Bayer模式图像中的缺失值，将数据转换为3通道图像，然后将x和x的颜色空间与RGB版本的x轴。我们还使用置信度图w来补偿未对准，并将在下一节。总之，训练图像基础生成器的损失是：ΣΣ明报dk−ci cj zij，（8）2016 - 05- 25 00：01：00|x−xp|+的|fp（x）−fp（x）|），（十一）ck， cxppi=1j=1k x pp这对于核基训练中的y和y其中zij=ki·xj。而不是在Eq之间交替（五）p p Np和等式（7）解Eq.（8）共同如下：• 设e=c<$cx，即eij=cicj，我们首先是迷你型的，4. 实验4.1. 数据集k kxmize方程（8）作为关于e的线性问题。得到初始ck和cx，我们分解秩为1的矩阵[25]第25话一个人的幸福• 其次，我们迭代地更新ck和cx为ck←ck+ck和cx←cx+cx。增量更新在每次迭代中，如下求解Δk和ΔxK=17556j=1dxjjX为了与以前的方法进行公平的比较，我们训练了我们的模型，并对两个使用RAW图像捕获的现有数据集进行了评估。RealSR：RealSR [5]通过调整相机的焦距来捕获真实世界的LR-HR图像RealSR捕获室内和室外IM-min Σ yp−dk（ci+ci）（cj+cj）zij，一台尼康相机和一台佳能相机。这些图像仔细地捕捉到小视差，ck，pKi=1j =1k xxp（九）在RGB域中具有光度误差。比例因子为2×、3×和4×的训练对的数量为183，234其中（ci+<$ci）（cj+<$cj）<$cicj+ci<$cj+分别为178。 同时提供xx kxk x kx通过省略二阶项，对于每一个规模。kxkx这使得Eq.（9）关于[k，k，x]的线性关系。• 最后，我们合成所需的高分辨率图像Σ作为x=c x，并对齐SR-RAW：SR-RAW [51]捕获500个场景的数据集使用索尼相机，其中焦距也经过调整，以生成具有×4和×8比例面的图像对tors.然而，SR-RAW比RealSR输出x和输入y。17557RealSR SR-RAW类型方法X2X4X2X4PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓双三30.56 0.8840.24826.040.7560.40629.32 0.8350.26926.12 0.7750.360[22]第二十二话30.79 0.8880.24626.310.7680.40029.49 0.8520.25926.20 0.7810.357EDSR [24]30.87 0.8900.24426.380.7700.39929.51 0.8530.25826.24 0.7810.356A类RCAN [52]30.88 0.8890.24526.420.7710.39929.520.8530.25726.25 0.7820.354ESRGAN [38]- --26.300.7640.409- --26.19 0.7760.363国际会议中心[14]- --26.320.7710.405- --26.16 0.7790.358[第四十九话]29.520.8990.28526.500.7790.40729.430.8540.25325.82 0.7750.347B类ZSSR [28]30.93 0.8990.24324.720.7330.41627.72 0.8110.27024.30 0.7390.381ZIC（我们的）35.64 0.9560.18932.580.9260.21236.66 0.9760.14132.89 0.9270.190表1.与根据合成数据设计的方法进行定量比较其他方法的模型是正式发布的，可以分为A类和B类，A类只接收LR图像作为输入，B类需要额外的退化内核。而我们同时在RealSR [5]和SR-RAW [51]上训练。最好的和第二好的在每一列用红色和蓝色标记‘-’ indicates there is no released model for such a由于较大的透视变化，照明变化，数据集方法PSNR↑SSIM↑LPIPS↓输入和输出之间的不一致，LP-KPN [5]27.890.8190.349透镜畸变等。 虽然已经完成了调整，RealSRMIRNet [46]27.580.8050.370ECC [9]，产生的RAW到RGB对仍然包含轻微的我们32.580.9260.212但是不可忽略的未对准。[51]第五十一话27.370.8090.336RAW到RAW对齐：上述两个数据集是为RGB到RGB或RAW到RGB域中的SISR设计的，因此对齐的RAW到RAW数据不可用。因此，我们通过从RAW到RAW对齐LR-HR对来对RealSR和SR-RAW进行后处理，并且处理后的数据仅在训练期间使用一般来说，我们首先从RGB图像中的稀疏特征匹配[26]中拟合初始全局运动模型，然后通过RealSR [5]的光度对齐来细化该模型最后，我们生成一个置信度图来衡量全局对齐的质量。置信度图是根据全局对齐图像之间的光度差异和残余光学场计算的，并用于在训练期间减少未对齐像素的权重。请参阅补充资料，了解我们数据整合的更多详情，我们将发布经处理的数据集，以鼓励进一步研究。4.2. 与其他方法的比较为了证明我们的方法在真实数据上的优越性，我们与几种代表性的基于深度学习的方法的官方发布的模型进行了比较这些方法分为为真实数据设计的方法，包括LP-KPN [5]，MIRNet [46]，RAW到sRGB [53]，Zoom-learn-Zoom [51]，以及在人工定义的退化的合成数据上训练的方法，包括LapSRN [22]，EDSR [24]，RCAN [52]，ESRGAN [38]和IKC [14]。此外，我们还比较了SRMD [49]和ZSSR [28]，它们需要外部核作为推理的输入。定量评价：至SR-RAWRAW to sRGB [53]27.560.8130.326我们32.890.9270.190表2.与在4×比例下在RealSR [5]和SR-RAW [51]数据集为了定量评估所提出的方法，我们使用标准度量，包括SSIM，PSNR和学习的感知测量LPIPS [50]来测量预测x和地面真实x之间的差异。为了减少失准造成的负面影响，我们还估算了原始RealSR和SR-RAW数据集的置信度图，并从评估中排除置信度低的像素。我们的方法比以前在RGB到RGB或RAW到RGB域中训练的模型在选项卡中。1，在合成RGB数据上训练的模型始终表现得比我们差，并且这种缺点对于需要外部内核输入的模型也很重要，这两者都表明退化模型在合成数据中过于简单。在选项卡中。2，我们的方法仍然优于在真实数据上训练的其他模型，但在RGB到RGB或RAW到RGB域中有很大的优势。定性评价：由于定量指标并不总是与人类判断一致[50]，我们还在4×比例下与其他方法进行了定性比较。我们的方法实现了更好的视觉质量图3a和图3b. 这些模型是在合成数据上训练的例如EDSR [24]和RCAN [52]，给出了接近双三次上采样的结果，这也被[5]观察到17558（一）（b）第（1）款图3.（a）RealSR [5]和（b）SR-RAW [51]的定性比较17559图4.定性零触发转移比较，其中，“0”表示模型在SR-RAW [51]上训练，然后零触发转移到RealSR [5]，否则模型在RealSR [5]上训练。虽然模型需要外部内核，但ZSSR [28]中的纹理会产生幻觉，或者SMRD [49]中会给出分段平滑的结果。与此同时，在真实数据上训练的模型，如LP-KPN [5]和Zoom-learn-zoom [51]，比合成模型获得了更好的结果，但它们的结果在视觉上不如我们的结果合理，因为它们是为RGB到RGB域或RAW到RGB域设计的。更多结果请参见补充资料4.3. 零发射传输到不可见传感器全球与局部核：第一个问题是我们是否可以用一个统一的核来替换基本核映射？为了回答这个问题，我们估计了原始形式的内核以及图像基系数，这在Tab中定量地给出了更差的结果。4.第一章图5显示了全局核不能很好地处理图像边界周围的像素，并产生颜色伪影。这是因为退化内核是空间变化的，并且取决于像素处的深度，如在第12节中所介绍的。3.2.关节与 交替最小化：第二个问题表3.在SR-RAW [51]上训练的模型和转移到RealSR [5]的零射击模型的定量比较。不同的图像传感器具有不同的特性[51]，所提出的ZIC方法对这种差异具有鲁棒性，因为它明确地最小化了等式中定义的目标函数。因此，输出被估计为分别拟合每个输入样本的统计数据。为了证明ZIC的零射击可转移性，我们用与Sec相同的设置训练我们的模型。4.2，但仅使用SR-RAW数据集。我曾以《易经》为题，将《易经》与《易经》相结合，将《易经》与《易经》相结合，将《易经》与《易经》相结合。其他定量结果列于表中。定性结果如图4所示。结果表明，所提出的ZIC模型可推广到零激发中的不可见传感器，而为RAW到RGB域[51，53]设计的方法偏向于训练数据的传感器上采样以从y得到x，并且用等式（1）估计核映射k。（五）、然后我们用等式更新x。（7）重复等式之间的交替过程。（5）和等式（7）直到解收敛。如Tab.所示4、交替缩小法在定量上表现较差，而且在图4中的字母和数字上也五、RAW与RGB：第三个问题是是否需要在RAW到RAW域中缩放图像？如在SEC中所观察到的。3.2、关于degra的高斯假设-dation内核在真实的RGB图像上不成立，因为某些ISP单元使问题复杂化为了证明仅在RAW到RAW域中带来的好处，我们在具有相同设置的真实RGB图像上训练我们的模型RGB到RGB ZIC在图5中的性能更差，其中重复的垂直纹理没有恢复。选项卡. 4也显示了这个RGB版本的性能较差，定量。然而，我们的RGB版本仍然比我们的零拍摄转移模型甚至比方法[5，46]都是在RealSR上训练和评估的4.4. 消融研究在本文中，我们提出了ZIC--第一种将图像从RAW放大到RAW的方法。我们进行消融研究，以进一步验证每个单独组件的有效性，并提供设计背后的一些见解。VariationsRealSR SR-RAWPSNR ↑SSIM ↑LPIPS ↓PSNR ↑SSIM↑LPIPS↓全局内核31.630.9120.25632.240.9110.211RGB31.910.9170.24132.380.9140.205交替32.100.9230.21532.650.9240.195充分32.580.9260.21232.890.9270.190表4.在4×比例下，RealSR [5]和SR-RAW [51]数据集上不同模型变化的定量比较方法PSNR↑SSIM↑LPIPS↓是否需要联合最小化交替-[51]第五十一话26.570.8320.393最小化是一种流行的策略，RAW to sRGB [53]26.110.8260.410传统的[37]和基于学习的方法[14，48，54]。我们32.070.9200.238为了初始化交替最小化，我们应用双三次17560图5.不同模型变量的定性比较。图6.在我们的方法中，当dx= 0其他比较方法在SEC。4.2，这证明了算法本身的技术实力。RAW到RAW域。SSIM↑dkdk16161212884400048121624d xLPIPS↓0.2490.245 0.241 0.268 0.287 0.2820.234 0.235 0.249 0.259 0.2680.221 0.218 0.228 0.234 0.2490.218 0.212 0.217 0.223 0.2430.234 0.23 0.235 0.237 0.2550 4 8 121624dx5. 结论与讨论在这项工作中，我们提出了ZIC，将相机成像管道内的图像从RAW缩放到RAW。先前的方法采用RGB到RGB域或RAW到RGB域，其没有充分利用RAW格式。我们已经表明，HR-LR图像之间的退化模型更接近理想分布。图7.不同dk和dx的SSIM和LPIPS。子空间维度：最后，我们研究了两个生成的子空间的维度的影响，并寻找性能和效率之间的最佳权衡我们改变图像的维度dx子空间从{0，4，8，12，16，24}和维数dk其中dk= 0表示核基生成器的输出直接是在最小化期间固定的核，并且dx= 0表示图像基生成器的输出直接是在最小化期间固定的核。输出X，并且不需要进一步的最小化图7示出了当dk= 4和dx= 8时实现最佳性能。因此，我们选择它作为默认设置通过文件。当dx= 0时，我们的方法退化为与[51]类似的网络，但仍然比RGB到RGB和RAW到RGB方法，两者都在图7中定量，在图6中定性。在SEC的观察。3.2，dx= 0的这个优点也验证了我们的主张，因为它只由RAW中的元素，这降低了核估计的难度。基于这一观察，我们估计高分辨率输出以及退化核映射，其受到学习子空间的约束。子空间约束极小化将不适定的SISR问题转化为适定的SISR问题。实验表明，我们的方法在度量和视觉质量方面都优于以前的方法，并且还验证了最小化和RAW到RAW数据域在消融研究中的各自贡献。局限性：由于我们的模型是以监督的方式训练的，其最终性能仍然受到训练数据的限制，特别是对齐精度。然而，对于一般场景，精确的图像对准是困难的，并且拜耳图案的RAW像素排列甚至进一步使问题复杂化。我们在SEC中减少了这个困难。4.1但不能完全解决。因此，未来的数据采集工作，如使用分束器和多个图像传感器，值得探索从根本上解决这一限制。0.9080.912 0.915 0.908 0.904 0.8960.918 0.919 0.916 0.91 0.9080.921 0.922 0.921 0.918 0.9120.922 0.926 0.925 0.923 0.9150.915 0.916 0.914 0.912 0.90517561引用[1] Eirikur Agustsson和Radu Timofte。Ntire 2017单图像超分辨率挑战：数据集和研究。在IEEE计算机视觉和模式识别会议（CVPR）研讨会上，2017年7月。2[2] S. Baker和T.卡纳德幻觉的面孔。在Proceedings FourthIEEE International Conference on Automatic Face andGesture Recognition（Cat.No.PR00580），pages 832[3] S. Baker和T.卡纳德超分辨率的限制以及如何打破它们。 IEEE Trans. 模式分析和机器智能，24（9）：1167-1183，2002。1[4] Se fi Bell-Kligler，Assaf Shocher，and Michal Irani.使用内部增益的盲超分辨率核估计。在Proc. NeurIPS，2019年。2[5] Jianrui Cai，Hui Zeng，Hongwei Yong，Zisheng Cao，and Lei Zhang.迈向真实世界的单图像超分辨率：一个新的基准和一个新的模型。在Proc. CVPR，第3086-3095页，2019年。一、二、四、五、六、七[6] Subhasis Chaudhuri和A. N.拉贾哥普兰散焦深度：一种真实孔径成像方法。Springer New York，1999年。3[7] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西。在Proc. CVPR，2018年6月。2[8] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang. 学习用于图像超分辨率的深度卷积网络Proc. ECCV，第184-199页，2014年。一、二[9] Georgios D Evangelidis和Emmanouil Z Psarakis。使用增强相关系数最大化的参数图像对齐。 IEEE Trans. 模式分析和机器智能，30（10）：1858-1865，2008。5[10] W.T. T.R.弗里曼琼斯和E. C.帕斯特基于示例的超分辨率 。 IEEE Computer Graphics and Applications ， 22（2）：56-65，2002. 2[11] Michaël Gharbi、Gaurav Chaurasia、Sylvain Paris和FrédoDurand。深度联合去马赛克和去噪。ACM Trans- actionson Graphics（TOG），35（6）：1-12，2016. 2[12] Daniel Glasner、Shai Bagon和Michal Irani。从一个单一的图像超分辨率。在Proc. ICCV，第349- 356页，2009中。一、二[13] Andrew S.格拉斯纳数字图像合成原理。1995. 4[14] 顾金金、韩南路、左王梦、朝东。基于迭代核校正的盲超分辨率算法。在Proc. CVPR，第1604-1613页，2019年。五、七[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习 在proc CVPR，2016年。4[16] Jia-Bin Huang，Abhishek Singh，and Narendra Ahuja.从变换的自我样本的单个图像超分辨率。在Proc. CVPR，第5197-5206页，2015年。2[17] Andrey Ignatov，Luc Van Gool，and Radu Timofte.用单一的深度学习模型取代移动相机ISP 在procCVPRW，第536-537页，2020年。2[18] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在Proc. ECCV，第694-711页。施普林格，2016年。一、二、四[19] Hamid Reza Vaezi Joze、Ilya Zharkov、Karlton Powell、Carl Ringler 、 Luming Liang 、 Andy Roulston 、 MosheLutz和Vivek Pradeep。图像对：通过分束器相机装备的真实超分辨率在Proc. CVPRW，第518- 519页，2020年。1[20] Kwang In Kim和Younghee Kwon。基于稀疏回归和自然图像先验的单幅图像超分辨率。IEEE Trans. on PatternAnalysis and Machine Intelligence ， 32 （ 6 ） ： 1127-1133，2010。2[21] E L Kosarev。香农信号恢复的超分辨极限。逆问题，6（1）：55-76，1990年2月。2[22] 赖伟胜，黄家斌，纳伦德拉·阿胡贾，杨明轩。深拉普拉斯金字塔网络实现快速和精确的超分辨率。在Proc.CVPR，第624-632页，2017年。5[23] Christian Ledig ， Lucas Theis ， Ferenc Huszár ， JoseCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al. Photo-realistic single image super-resolutionusing a generative ad-versarial network.在Proc. CVPR，第4681-4690页，2017年。2[24] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在Proc. CVPRW，第136-144页，2017年。一、二、五[25] J. Nocedal和S. J·赖特数值优化Springer，第二版，2006年。4[26] PaulEdouardSarlin ， DanielDeTone ， TomaszMalisiewicz，and Andrew Rabinovich.SuperGlue：使用图神经网络学习特征在Proc. CVPR，2020中。5[27] C. E.香农 通信的数学理论The Bell System Technical Journal，27（3）：379-423，1948. 2[28] Assaf Shocher、Nadav Cohen和Michal Irani。“zero-shot”super-resolution 在proc CVPR，第3118-3126页，2018年。二、五、七[29] Mehrdad Shoeiby 、 Ali Armin 、 Sadegh Aliakbarian 、Saeed Anwar和Lars Petersson。通过序列特征金字塔网络实现马赛克超分辨率。 在IEEE/CVF计算机视觉和模式识别会议（CVPR）研讨会上，2020年6月。2[30] Mehrdad Shoeiby，Antonio Robles-Kelly，Ran Wei，andRadu Schoefte.PIRM2018光谱图像超分辨率挑战：数据集和研究。CoRR，abs/1904.00540，2019年。2[31] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。InProc. ICLR，2015. 417562[32] 孙德清、杨晓东、刘明宇和Jan Kautz。Pwc-net：使用金字塔，扭曲和成本体积的光流的Cnns。在IEEE计算机视觉和模式识别会议（CVPR），2018。2[33] Jian Sun，Zongben Xu，and Heung-Yeung Shum.图像超分辨率使用梯度轮廓先验. 在proc CVPR，第1-8页。IEEE，2008年。1[34] 作者声明：James Hays.超分辨率从互联网规模的场景匹配。 在Proc. ICCP，第1-12页，2012年。 2[35] 承州唐，陆远，平谈。Lsm：学习子空间最小化的低层次视觉。在Proc. CVPR，第6235-6246页，2020年。二、三[36] Radu Timofte，Vincent De Smet，and Luc Van Gool.一种基于邻域回归的快速超分辨率算法。在Proc. ICCV，第1920-1927页，2013中。2[37] Markus Unger，Thomas Pock，Manuel Werlberger，andHorst Bischof.变分超分辨的凸方法。在联合模式识别研讨会上，第313施普林格，2010年。一、三、七[38] Xintao Wang，Ke Yu，Shixiang Wu，Jinjin Gu，YihaoLiu ， Chao Dong ， Yu Qiao ， and Chen