通过降级框架实现移动相机的极高质量成像

2632通过降级框架实现极高质量的计算成像陈世奇，冯华俊，高克明，徐志海，陈跃亭浙江大学现代光学仪器国家重点实验室，浙江杭州{chenshiqi，fenghj，gaokeming，xuzh，chenyt} @ zju.edu.cn摘要为了满足光学元件的空间限制，在移动相机中采用自由曲面或高次非球面透镜来压缩体积。然而，自由曲面的应用也引入了图像质量突变的问题。现有的基于模型的反卷积方法在处理显示区域上的广泛空间变化的退化方面是无效的并且低级和基于物理的视觉中的深度学习技术遭受缺乏准确数据的困扰为了解决这个问题，我们开发了一个退化框架来估计移动相机的空间变化点扩散函数（PSF）。当输入极高质量的数字图像，所提出的框架产生退化的图像共享，ING一个共同的域与现实世界的照片。在合成图像对的辅助下，我们设计了一个FieldOf（a）华为荣誉20拍摄的图像(d)ZMX+ FOV-KPN（e）DF + SelfDeflur（f）DF + KPN(c)华为ISP(g)DF + FOV-KPN视图共享核预测网络（FOV-KPN）对真实退化的照片进行空间自适应重建大量的实验表明，该方法实现了极高质量的计算成像，并优于国家的最先进的方法。此外，我们还说明了我们的技术可以集成到现有的后处理系统中，从而显著改善视觉质量。1. 介绍结 合 强 大 的 硬 件 和 手 工 制 作 的 图 像 信 号 处 理（ISP）系统，手机摄像头取得了巨大的成功。最近，智能手机已经成为照片的主要来源，并且对更好的成像结果的追求已经增加得更多。然而，为了满足镜头的空间限制，高阶非球面透镜或自由曲面被应用于移动相机中。它们中的大多数旨在压缩广角镜头的体积[17]，但同时，它们也引入了图像质量突变的问题（如图所示）。2）的情况。最近的相机已经将其中一些校正任务从镜头设计转移到ISP系统来校正这种突然的图1.由HUAWEI HONOR 20拍摄的真实世界图像的重建（a）。（b）是初级退化，（c）是HUAWEI ISP的输出使用由（d）Zemax◎（ZMX）模拟的图像对训练的所提出的FOV-KPN模型的结果（e）、(f)，和（g）是SelfDeflur [39]、KPN [31]和FOV-KPN模型（我们的），它们都是在我们的退化框架（DF）生成的数据上训练的。降解然而，传统的ISP的不同步骤是彼此独立的，其中误差在后续步骤中积累因此，对于后处理流水线，如何准确估计突变退化并对其进行校正是重建的关键。一种方法是通过迭代优化[33]来估计相机固有退化内核然而，对于在区域上显示出大范围空间变化的PSF，优化方法具有收敛的困难。另一种方法是使用深度学习方法[20]重建退化图像，这在很大程度上取决于数据对的准确性。此外，由于不同相机的退化是不同的，因此迫切需要开发可行且方便的方法来生成为每个相机设计的训练数据。[37]研究人员(b)退化2633∼棋盘图像质量突变区管理所提出的降级框架和网络架构。此外，我们证明了所提出的解决方案可以在实际场景中取代传统的ISP，从而显着提高图像质量。2. 相关工作退化估计。对于成像过程中退化核的计算，学者们提出了许多建设性的建议，大致可以分为两大类。一种是基于优化的反卷积方法[36，34，35]，其具有很好的性能图2.移动相机的图像质量突变。我们可以看到，在放大的区域（右）中，由虚线分隔的两侧在模糊方面有明显的差异。提出了一种室内图像自动采集方法。然而，需要复杂的操作，包括配准、颜色校准、失真校正，以对捕获的图像进行后处理。这些操作修饰原始数据的退化。因此，退化校正的挑战在于两个方面。一方面，我们需要有针对性的方法来模拟不同相机的准确降级数据。另一方面，不存在可以集成到现有后处理系统中的空间自适应重建技术。在这项工作中，我们提出了一个强大的退化框架，工作估计空间变化的内核从真正的照片。并且该框架生成不同相机的准确成像结果。如图如图1（d）和1（g）所示，模拟的准确性对恢复有很大的影响。同时，基于核预测网络（KPN）[7]，我们提出了一种视场（FOV）共享网络架构，旨在对退化图像进行空间自适应恢复。与KPN不同，预测的核输出导致膨胀的卷积方式。扩张方式以相对较低的计算开销增加了影响范围。网络的其余部分被分成FOV编码器和可变形解码器。它们旨在增强模型的空间适应性。图I（e）I（g）示出了现有技术方法和FOV-KPN的重建。我们的方法生成更生动的结果比比较的方法。我们的工作贡献如下：• 提出了一种半监督退化框架，用于从真实照片中估计空间变化的内核，并生成特定相机的逼真成像结果。• 我们提出了一个空间自适应网络架构，以纠正空间变化的退化，它可以集成到现有的后处理系统。我们进行了大量的实验来分析性能-在处理空间一致性退化方面。然而，当应用于真实图像时，这些方法在低信噪比（SNR）条件下难以收敛[33，21]。另一类是通过深度线性网络估计PSF。它首先由[3，22]提出，其中内部gan用于预测超分辨率内核。由于其无监督训练过程，预测的内核在应用中不稳定[29]。因此，与去卷积方法相比，深度学习方法可以在极端情况下收敛，但它们需要更强的约束来准确地预测退化核。ISP管道。由于人眼灵敏度和传感器响应之间的差异，ISP系统对硬件接收的原始数据进行后处理，以生成适应人类视觉的照片[41]。然而，现代成像设备中的传统ISP系统是逐步操作[27，5，6，26，18]，其中每个步骤的误差将在随后的离散步骤中累积和放大。由于端到端深度学习方法的普及，许多研究人员专注于用经过训练的深度学习模型替代传统的ISP系统[2，38]。在以前的作品[19，10，37]中，数据采集是一个重要的问题，需要大量的拍摄，配准和颜色校正来生成用于训练的适当数据对。此外，当迁移到新设备时，需要再次收集数据集[7]。收集的工作是耗时的并且需要大量的人工成本。因此，迫切需要设计一种有针对性的方法来模拟成像过程的退化。图像重建单幅图像重建一直是计算机视觉、图像处理[53，50，49]研究的重点。大多数经典重建工作假设可以通过卷积[16]对退化进行建模。通过这种方式，他们提出了基于模型的反卷积方法来恢复由退化内核生成的数据[47，36]。然而，由于这些方法需要根据实际情况调整参数，不能应用于实时场景。最近，深度学习正在成为图像重建中最受欢迎的技术[9]，并且许多方法将优化方案和CNN结合起来[51，12]。然而，上述方法都是有利的。2634∫--L--用于处理全局一致的模糊。考虑到自然图像中的退化是空间变化的[42，24]，我们注意到KPN架构是为解决这个问题而定制的。KPN在[31]中首次提出，并且已被证明比直接预测[44]具有更好的稳定性然而，KPN在处理严重退化时无效，因为如果预测的内核变大，计算开销将我们的工作提出了一种有效的方法来整合的空间信息和恢复的空间变化退化自适应。3. 自然图像退化在本节中，我们将重点介绍所提出的降级框架。首先，我们在第3.1节中分析自然图像的退化。其次，第3.2节详细介绍了拟定的降级框架。在第3.3节中，我们说明了光学几何先验，旨在对不同的FOV进行准确的估计。3.1. 成像流水线图像形成模型的流水线分为两个阶段。第一阶段是通过光学器件和传感器记录光强度信息。第二阶段是对测量结果进行后处理，称为ISP系统。在第一阶段，光能的降解可以用以下等式表示：Ie（x，y）=Re（λ）·[p（x，y，d，λ）*ie（x，y）]dλ+n（x，y），（一）这里，Ie（x，y）和Ie（x，y）分别是劣化测量和潜像。我们强调Ie（x，y）和ie（x，y）都表示传感器接收到的能量强度Re（λ）是传感器的响应分布。n（x，y）可以近似为单个异方差高斯，我们请读者参考[14]了解更多细节。并且退化的PSFp（x，y，d，λ）可以表示为：p（x，y，d，λ）=po（x，y，d，λ）*pc（λ），（2）p〇（x，y，d，λ）是光学透镜的PSF。它随传感器平面的空间坐标（x，y）、拍摄距离d和波长λ而变化。Pc（λ）是传感器串扰的PSF，其仅取决于输入信号的波长λ（在[45]中很好地描述）。在第二阶段中，进行ISP系统以测量能量Ie（x，y）（ISP中的每个步骤的细节在[4]中）。我们注意到，沿ISP向下级联的步骤彼此独立，其中每个操作的微小误差将在以下步骤中放大。只要从退化域到潜在域端到端地构造数据对，就可以获得该问题的解决方案。以这种方式，在ISP系统中累积的误差可以用深度学习模型消除。因此，我们首先基于图像形成流水线构建真实的退化框架。该框架的细节将在以下部分中说明。3.2. 退化框架如图3、提出的退化框架主要分为两个阶段。第一第一阶段是构建用于降解估计的数据对假设真实棋盘格的模糊和噪声水平在一些邻域中相似，我们在由特定相机拍摄的棋盘格中挑选出退化的标签Y。然后，可以通过边缘检测算法容易地获得结构Ys。在退化的输入X中的边缘的像素值将在着色中被内插，以防止在数据对的边界处的不连续解。以这种方式，我们预处理Y以获得训练对x，y。此外，我们将归一化的FOV和ISP参数（包括白平衡、CCM和伽马值）传输到第二级。第二如第3.1节所分析的，只有能量域中的因此，我们将ISP管道纳入退化转移的训练过程中。 通过使用从阶段I传输的ISP参数，我们将极高质量的图像转换为原始数据以用于训练（未处理和处理的流水线在图1中）。4）.我们必须强调的是，在训练中，ISP参数遵循真实跳棋的数据，但在测试中，这些参数随随机色温而变化。噪声注入中的λread和λshot由特定曝光的相机测量值确定（更多细节参见[4]）。受KernelGAN [3]的启发，我们采用深度线性模型来执行能量域中的xl，xd然而，我们发现，无监督的方式用于[3] 在实施中不稳定。因此，一种新的半监督方式被应用于训练退化转移，这显著地增强了训练稳定性。不幸的是，由于退化在区域上显示出广泛的空间变化，因此不同FOV的PSF不能通过具有固定超参数的退化传递来准确估计。因此，针对不同的FOV进行特定的训练是非常重要的。为了实现这一目标，我们引入光学几何先验的退化转移。它们将在下一节中进行说明。3.3. 光学几何先验我们设计的光学几何先验进行准确的估计。我们将其分为两个方面：（1）PSF尺寸和形状的约束;（2）对称性约束。形状约束对于现代相机中的每个镜头，Strehl比率[30]表示其能量扩散。鉴于2635FOV信息参数ISPΣ−DD的退化结果xd。 Lsum2one=|1-ki，j|和第一阶段：输入预处理（反向传输）个文件夹X y实检查器降级标签Y结构Ys降级输入X阶段“：降解转移图3. 退化框架概述。在第一阶段中，向后传递构造用于退化传递的训练过程的数据对。在第二阶段，每个退化转移量身定制到一个FOV，旨在估计不同FOV的空间变化PSF并生成逼真的成像结果。L边界=Σi、j|在[3]中是相同的（i，j是|arethesamein[3](i,jisthePSFk）的2D笛卡尔坐标γ用于惩罚接近k边界的非零值，因此γ将随着Strehl比率的减小而降低。在此基础上，根据PSF的形状设计了具体的训练策略。对称约束对于每个离轴像素，存在与其中心对称的对应像素[48]。因此，局部PSFk及其对称的一个ksym可以用一般旋转约束来约束：L对称 =（k（i，j）1（k（i，j）+k2i、jsym（−i，−j）2，（4）图4. 取消处理和处理管道。 参见第3.2节和[4] 有关详细信息传感器像素大小、透镜艾里盘和斯特列尔比，很容易得出不同FOV的近似PSF大小通过这种方式，我们构建了Strehl比率与降解转移的感受野之间的关系。更具体地说，深度线性模型中的卷积层数量将根据PSF大小而变化（详见补充文件）。此外，整个框架需要满足以下限制：L=αL保真度+βL总和2一+γL边界，⑶其 中 α 、 β 、 γ 是 不同损失函数的 权 重 系 数 。Lfidelity=||xd−y||1supervise sΣthefidelity这里（i，j）是PSF的2D笛卡尔坐标。通过这种方式，我们迫使每个PSF与其中心对称对应物相似总体约束条件如下：L=αL保真度+βL总和2一+γL边界+δL对称，（5）总之，我们设计了光学几何先验，以针对不同FOV进行特定训练：一个先验是约束退化的大小，另一个先验是约束退化的中心对称性。我们的先验直接来自相机的光学参数。退化迁移的训练过程如算法1所示，其中下标表示中心对称的形式在训练不同FOV的退化传递之后，框架如下生成逼真的成像结果。数字图像IGt的每个FOV块被输入到对应的，并且所有输出结合在一起以得到IDe。尽管是用真正的检查员训练的-通过相机拍摄的板，框架可以概括未处理FOV信息过程参数ISP降解转移L保真度L和2oneL边界L对称参数ISPy未处理StrehlRatio过程X原始x降质原料xD退化XD阶段”在跳棋上训练在自然图像上测试损失函数裁剪抠图着色{取消处理自然图像过程反伽马校正sRGB到相机RGB逆WB镶嵌添加快照和读取噪波去马赛克WB相机RGB到sRGB伽马校正2636DDDD联系我们Xsym联系我们DFOV编码器可变形解码器图5. 网络架构基于UNet的网络架构显示在顶部，层配置用不同颜色的块（左下）说明。FOV块、可变形ResBlock和KPN块的详细信息见右下角。算法一：降级迁移培训输入：数据对 x、y和 x，y对称输出：经过训练的降级转移和对称1 初始化降级传输和系统根据相应的Strehl比计算出相应的温度系数;2 对于t=1 toT，做3xd= process（D（unprocess（x）;将分级的sRGB图像IDE作为相同域中的输入和输出重建图像[1]。所提出的模型的架构如图所示。5、可分为三个部分：FOV编码器（第4.1节）、可变形解码器（第4.2节）和KPN块（第4.3节）。4.1. FOV编码器4对称 = process（Dsym（unprocess（xsym）;由于降解与空间信息，我们提出了FOV注意块5根据[3]计算k和ksym6使用等式5计算L（xd，y，k，ksym）整合空间特征。它从像素坐标矩阵[11]计算空间注意力掩模，然后图像7计算Lsym（xd等式5;，ysym，ksym，k）使用要素通过按元素的乘法和加法（如底部所示）8计算梯度w.r.t. D和Dsym;9更新D和Dsym的权重;10端部11 输出训练好的D和D符号;自然图像的估计劣化。这是由于深度线性模型强大的泛化能力（详见[3]）。以这种方式，我们准备用于极高质量计算成像的数据对IDe，IGtxd，x，其中从IGt到IDe的映射覆盖图像形成中的所有真实劣化。4. 图像重建模型端到端的重建模型，实现极高质量的计算成像。它需要-图右（五）。此外，在每个尺度中应用ResBlocks [15]以增强表达能力。4.2. 可变形解码器由于空间变化PSF的不规则形状和大小，常规卷积层在解决这些退化方面是无效的。因为它只从固定位置获取为了处理奇异形状的PSF，我们引入了可变形卷积来更灵活地计算信息。在[46，8]提出的工作之后，在解码器的每个尺度中采用可变形的ResBlocks（如图1的右下角所示）。（五）。4.3. KPN块在文献[44]中，学者们证明了核预测比直接预测更稳定，可以处理空间上的IDEIPREDFOVConvResBlockDeconvFOV块Conv（stride=2）偏移转移双线性上采样KPN块乙状偏移偏移IDE* 我的天·⊕⊕可变形ResBlock输入输出Conv输出特征IDEFOV输出转换转换输入Conv输出26370.0FOV1.0--变异退化然而，KPN的计算开销将大大增加时，内核大小的增长。因此，我们采用扩张卷积的方式来输出恢复[28]（如图右下所示）。（五）。该操作以相对较低的计算量扩大了预测内核的影响范围。由于IDE、IGT是像素对齐的，因此只有在像素级保真度损失的情况下才能获得极高质量的结果。此外，我们注意到感知度量[23]将生成处理自然图像时的真实结果。在那里-0.50.40.30.20.100.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8归一化FOV0.9 1因此，损失函数的总体组合如下：图6. 降级MTF比较。绘制了不同比较方法的MTF50对 FOV曲线：Jemec [21]，L总 =λmse· LMSE+λper· L每 、（6）33、我的，我的，我的。 实验相机的MTF50由imatest◎计算，以供参考。和紫色的大小其中，λmse和λper根据经验设置为0.1和15. 实验为了评估所提出的技术，我们进行了一组综合实验，旨在回答以下三个问题：• 与基于模型的核估计方法相比，我们的退化框架有哪些优势• 当应用于解决退化问题时，所提出的解决方案是否优于最先进的• 与内置ISP系统相比，极高质量的计算图像有多好5.1. 降级框架我们的降级框架的性能以两种方式进行分析：退化估计精度和重建性能。为了评估退化估计的准确性，选择基于模型的去卷积方法[33]和校准方法[21]进行比较。 我们应用dif的实估计核-使用不同的方法对棋盘格进行测试，并使用imatest◎从退化的棋盘格计算MTF如图在图6中，我们绘制了MTF50对 FOV曲线，其中圆圈的大小指示相应FOV的SNR。该框架准确地模拟了不同FOV的突变退化，并且对噪声具有鲁棒性然而，其他方法的准确性将受到估计区域的SNR的显著影响。为了评估重建性能，我们用Zemax◎计算了实验相机的理论PSF，并通过分割卷积将这些PSF应用于棋盘格我们使用[33]中的方法和我们的框架来估计损坏的棋盘上的PSF的结果如图所示。7.估计的内核和地面实况之间的SSIM被记录在每个PSF的右下角。PSFs的视觉比较验证了准确性圆圈指示对应FOV的SNR0.95720.95340.94400.92670.89150.86400.96270.95460.94880.94120.93170.9281图7. 核估计和重建。根据对应的FOV从左到右布置PSF。我们使用Zemax◎来计算地面实况PSF。这些PSF是用来破坏棋盘的。以下PSF是估计[33]和我们的方法时，提供了破碎的棋盘。我们注意到每个PSF右下角的估计的SSIM。的框架，和SSIMs强调真实的重建性能，我们的方法。总之，与其他方法相比，所提出的降级框架具有两个优点：（1）适应图像质量突变和对噪声的鲁棒性。(2)为更好的深度学习重构而设计的授权数据生成。我们建议读者参考补充文件，以了解我们框架的泛化能力。5.2. 合成图像为了证明所提出的方法的优点，我们的技术与许多先 进 的 去 模 糊 方 法 进 行 了 比 较 ， 包 括 SRN [43]，DeflurGan-V2 （ GAN ） [25] ， IRCNN [51] ， GLRA[40]，SelfDeflur [39]，KPN [31]，以及LP-KPN [7]。训练/测试数据集由从DIV 2K中选择的600/50个地面实况图像组成（退化图像由所提出的退化框架生成）。我们用相同的数据重新训练所有的模型我们的真实世Leh耶梅茨MTFMosleh地面实况我们2638×个表1.模型的性能及其在合成数据上的烧蚀研究方法PSNR↑SSIM↑NIQE↓LPIPS↓时间（ms）SRN34.27 (17.4%）0.9602(19.3%）2.8917(31.7%）0.3386(63.9%）102.4去模糊GAN-v232.79 (30.3%）0.9566(23.1%）3.3814(41.6%）0.2458(50.2%）52.8IRCNN34.14 (18.6%）0.9679(11.2%）2.6578(25.7%）0.3043(59.8%）194.1GLRA34.53 (14.9%）0.9663(12.8%）3.2675(39.5%）0.3156(61.2%）246.6SelfDeflur34.96(10.6%）0.9709(8.0%）3.0735(35.7%）0.2707(54.8%）264.9KPN，k= 1970.435.62(3.5%）0.9762(2.6%）1.9759(0.0%）0.1448(15.5%）LP-KPN53.635.58(3.9%）0.9764(2.4%）2.0929(5.6%）0.1410(13.3%）我们47.435.93(0.0%）0.9787(0.0%）2.0578(4.0%）0.1223(0.0%）消融研究降解内核33.52（24.2%）0.9641（15.1%）3.5102（43.7%）0.2749（55.5%）未加工和加工35.11（9.0%）0.9697（9.3%）3.0493（35.2%）0.1647（25.7%）光学几何先验33.96（20.3%）0.9649（14.3%）3.3727（41.4%）0.2285（46.5%）FOV编码器34.69（13.3%）0.9684（10.6%）3.0684（35.6%）0.1622（24.6%）可变形解码器35.34（6.6%）0.9769（1.8%）2.2928（13.8%）0.1245（1.8%）KPN阻滞35.26（7.4%）0.9743（4.5%）2.3059（14.3%）0.1301（6.0%）47.445.647.436.244.645.4图像来源：HUAWEI HONOR 20 Degradation SRN SelfDeflur KPN Ours12121212图8. 真实图像恢复。不同方法的结果在右侧放大，位置在左侧突出显示。去卷积方法被优化十次（在500 × 500彩色图像上的时间比较）。这些方法的PSNR、可以注意到，基于模型的 去 卷 积 方 案 和 CNN 的 组 合 方 法 （ 即 IRCNN 、GLRA、SelfDeflur）总体上优于直接像素合成网络（即，、SRN、DeburGan-v2）。然而，光学退化是空间变化的并且与空间信息高度相关。这些方法针对的是全局一致性模糊问题，无法获得最佳的图像质量用于校正光学退化。此外，我们注意到KPN和LP-KPN被设计为处理空间变化的退化，并且它们在NIQE中表现更好。然而，直接增加内核的大小将成倍地增加计算开销.利用扩张卷积策略，我们的FOV-KPN以相对较小的尺寸和较低的时间成本扩大了预测内核的影响范围（详见补充文件）。得益于FOV编码器，我们的方法利用了空间信息，并获得了比最先进方法更好的性2639能。26403214 4321华为ISP降级图像来源：HUAWEI HONOR 20华为ISP降级图9.后处理性能。 我们的恢复管道与内置的华为ISP相比。详见第5.5节。5.3. 真实照片在图8中，我们将模糊分辨图像可视化。我们展示了每个图像的两个补丁，旨在评估不同方法在解决空间变化模糊中的性能。可以看出，设计用于全局一致降级的技术倾向于产生严重模糊（边缘）和轻度降级（中心）的折衷。KPN结构实现了中心的完美恢复，但由于核大小的限制，它不能有效地处理严重的边缘模糊。相反，所提出的空间自适应模型成功地处理的恶化，导致极端的质量增强。更多真实照片及其定量评估见补充文件。5.4. 消融研究在本节中，我们对我们的方法进行了消融研究，以进一步验证每个步骤的必要性。各评价的设置如下：降解Kernel表示退化核由Zemax◎计算的PSF代替。Unprocess和Process表示在降级框架中删除了unprocess和process操作。光学几何先验表明深线性网络的接收场功是固定的，并且对称约束被放弃。FOV编码器、可变形解码器和KPN块指示这些模块被卷积层替换。如表1所示，除了透镜的光学像差之外，还有制造误差、电子扩散和孔径限制，这些都会使图像质量恶化此外，未处理和处理操作是至关重要的，因为退化可以通过仅在能量域中的当光学几何先验不应用于退化框架时，估计过程是不稳定的。我们对光学几何先验进行了详细的讨论，并在补充文件中显示。至于网络架构，FOV编码器是利用空间信息的有效方法。可变形解码器和KPN块有效地处理空间变化降级。5.5. 应用我们的最终目标是取代现有的手工制作的ISP系统与建议的后处理流水线（包括暗级减法，去马赛克，白平衡，色彩校正，伽玛压缩，和重建），实现极高质量的计算成像。因此，我们在图中进一步展示了我们的方法与华为ISP之间的比较。9，它们都执行RAW到RGB转换。为了公平比较，我们采用相同的JPEG压缩 算 法 。 由 于 额 外 的 锐 化 操 作 ， 图 像 后 处 理 的HUAWEI ISP是优秀的照片的中心，我们的结果获得了相同的恢复内置ISP。然而，锐化是全局一致的。当FOV增加时，我们的方法的优点是显而易见的。根据离轴区域的空间信息，该流水线自适应地恢复退化我们建议读者参考补充文件，以了解有关时间成本和恢复示例的更多比较。6. 结论在本文中，我们构建了一个退化框架，用于估计特定相机的空间变化PSF，包括但不限于显示图像质量突变的设备。所提出的框架生成真实的成像结果，类似于真实世界的照片，其中大量的拍摄，配准和颜色校正是不必要的。然后设计了一种基于KPN的网络结构，旨在处理空间变化的退化。我们的综合实验验证了我们的退化框架的优势，当与基于模型的反卷积方法相比。此外，我们证明了所提出的网络是优于国家的最先进的方法在处理空间变化的模糊。此外，所提出的方法可以嵌入在现有的ISP系统，导致极端质量的计算成像。我们希望这项工作可以激发进一步的研究在现实世界中的图像重建。2641引用[1] Matthew Anderson ， Ricardo Motta ， Srinivasan Chan-drasekar，and Michael Stokes.网际网路标准预设色彩空间建 议在Color and imaging conference ，1996 卷， 第238-245页中影像科学与技术学会，1996年。[2] Chaim Baskin ， Natan Liss ， Yoav Chai ， EvgeniiZheltonozh-skii ， Eli Schwartz ， Raja Giryes ， AviMendelson ， and Alexan-der M Bronstein.Nice ： Noiseinjection and clamping estimation for neural networkquantization. arXiv预印本arXiv：1810.00162，2018。[3] Se fi Bell-Kligler，Assaf Shocher，and Michal Irani.使用内部增益的盲超分辨率核估计。在神经信息处理系统的进展，第284-293页[4] Tim Brooks ， Ben Mildenhall ， Tianfan Xue ， JiawenChen，Dillon Sharlet，and Jonathan T Barron.不处理图像以进行学习的原始去噪。在IEEE计算机视觉和模式识别会议论文集，第11036-11045页[5] Antoni Buades，Bartomeu Coll，and J-M Morel.一种非局部图像去噪算法。在2005年IEEE计算机社会计算机视觉和模式识别会议（CVPRIEEE，2005年。[6] 格申·布克斯鲍姆物体颜色感知的空间处理器模型。富兰克林研究所杂志，310（1）：1[7] Jianrui Cai，Hui Zeng，Hongwei Yong，Zisheng Cao，and Lei Zhang.迈向真实世界的单幅图像超分辨率：新标杆、新模式。在IEEE/CVF计算机视觉国际会议论文集，第3086-3095页[8] 孟昶，李琦，冯华军，徐志海。用于单幅图像去噪的空间 自 适 应 网 络 。 arXiv 预 印 本 arXiv ： 2001.10291 ，2020。[9] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西在IEEE计算机视觉和模式识别会议论文集，第3291-3300页[10] 陈静雯，陈嘉伟，赵宏阳，杨明。基于生成对抗网络噪声建模的图像盲去噪在IEEE计算机视觉和模式识别会议论文集，第3155-3164页[11] Tao Dai，Jianrui Cai，Yongbing Zhang，Shu-Tao Xia，and Lei Zhang.二阶注意力网络用于单幅图像超分辨率。在IEEE/CVF计算机视觉和模式识别会议集，第11065-11074页[12] 顾金金、韩南路、左王梦、朝东。基于迭代核校正的盲超分辨率算法。在IEEE/CVF计算机视觉和模式识别会议论文集，第1604-1613页[13] Qing Guo，Jingyang Sun，Felix Juefei-Xu，Lei Ma，Xiaofei Xie，Wei Feng，and Yang Liu.有效范围：学习逐像素膨胀滤波以实现高效的单图像去噪。arXiv预印本arXiv：2009.09238，2020。[14] 塞缪尔·哈辛诺夫。光子泊松噪声2014年[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页[16] Felix Heide ， Mush Fiqur Rouf ， Matthias B Hullin ，Bjorn Lab-itzke，Wolfgang Heidrich，and Andreas Kolb.通过简单的镜头实现高质量的计算成像。ACM Trans-actions on Graphics（TOG），32（5）：1[17] Jia Hou，Haifeng Li，Zhenrong Zheng，and Xu Liu.自由曲 面 透 镜 在 非 平 面 上 成 像 的 畸 变 校 正 。 OpticsCommunications，285（6）：986-991，2012。[18] 胡渊明，王宝源，林志颖。Fc4：具有置信加权池的完全卷积颜色恒定性。在IEEE计算机视觉和模式识别会议论文集，第4085-4094页，2017年。[19] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。使用深度卷积网络在移动设备上拍摄数码单反品质的照片在IEEE计算机视觉国际会议论文集，第3277-3285页[20] Andrey Ignatov，Luc Van Gool，and Radu Timofte.用单一的深度学习模型取代移动摄像头ISP。 在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第536[21] Jurij Jemec，Franjo Pernusˇ，Bosˇtjan Likar，and MiranB ürmen.使用虚拟点状源的2D亚像素点扩散函数测量国际计算机视觉杂志，121（3）：391[22] Xiaochong Ji，Yun Cao，Ying Tai，Chengjie Wang，Jilin Li，and Feiyue Huang.通过核估计和噪声注入实现现实世界的超分辨率。 在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第466-467页[23] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694-711页。施普林格，2016年。[24] 鲁道夫·金斯拉克应用光学与光学工程V6，第6卷。爱思唯尔，2012年。[25] Orest Kupyn ， Tetiana Martyniuk ， Junru Wu ， andZhangyang Wang.Deblurgan-v2：去模糊（数量级）更快更好。在IEEE/CVF国际计算机视觉会议集，第8878[26] Ngai Ming Kwok，HY Shi，Quang Phuc Ha，Gu Fang，SY Chen，and Xiuping Jia.基于粒子群优化的图像颜色人工智能的工程应用，26（10）：2356[27] Xin Li，Bahadir Gunturk，and Lei Zhang.图像去马赛克 ： 系 统 的 调 查 在 Visual Communications and ImageProcessing 2008，卷6822，页68221J中。国际光学与光子学会，2008年。2642[28] 李玉红，张晓凡，陈德明。Csrnet：用于理解高度拥挤场景的扩展卷积神经网络。在IEEE计算机视觉和模式识别会议论文集，第1091-1100页[29] Andreas Lugmayr，Martin Danelljan，and Radu Timofte.真实世界超分辨率的无监督学习。在2019年IEEE/CVF计算机视觉国际会议研讨会（ICCVW），第3408-3416页。IEEE，2019。[30] Virendra N Mahajan。初级像差的Strehl比：圆形和环形瞳孔的一些分析结果。JOSA，72（9）：1258[31] Ben Mildenhall ， Jonathan T Barron ， Jiawen Chen ，Dillon Sharlet，Ren Ng，and Robert Carroll.使用核预测网络进行突发去噪。在IEEE计算机视觉和模式识别会议论文集，第2502-2510页[32] Anish Mittal、Rajiv Soundararajan和Alan C Bovik。制作“ 完 全 盲 ” 图 像 质 量 分 析 仪 。 IEEE Signal processingletters，20（3）：209[33] Ali Mosleh ， Paul Green ， Emmanuel Onzon ， IsabelleBegin，and JM Pierre Langlois.相机固有模糊核估计：一个可靠的框架。在Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 4961[34] Jinshan Pan ， Zhe Hu ， Zhixun Su ， Ming-HsuanYang.10-正则化的强度和梯度先验，用于对文本图像和其他图像进行去模糊 。IEEE Transactions on PatternAnalysis and Machine Intelligence，39（2）：342[35] 潘金山，任文琪，胡哲，杨明轩。学习使用样例去模糊图 像 。 IEEE Trans-actions on pattern analysis andmachine intelligence，41（6）：1412[36] 潘金山，孙德清，Hanspeter Pfister，杨明轩。使用暗通道先验的盲图像去模糊。在IEEE计算机视觉和模式识别会议论文集，第1628-1636页[37] 彭一凡、孙麒麟、熊盾、戈登·韦茨斯坦、沃尔夫-冈·海德里希和菲利克斯·海德。学会了使用薄板光学器件进行大视场成像。ACM事务处理图表，38（6）：219[38] Sivalogeswaran Ratnasingam。深度摄像头：一种用于图像信号处理的全卷积神经网络。在IEEE/CVF计算机视觉研讨会国际会议论文集，第0-0页[39] Dongwei Ren ， Kai Zhang ， Qilong Wang ， QinghuaHu，and Wangmeng Zuo.使用深度先验的神经盲反卷积在IEEE/CVF计算机视觉和模式识别会议论文集，第3341-3350页，2020年。[40] Wenqi Ren ， Jiawei Zhang ， Lin Ma ，