消除欠显相机衍射伪影的动态跳跃连接网络方法

662利用动态跳跃连接网络消除欠显相机衍射像伪影冯瑞成1李崇义1陈怀进2李帅2陈变来1顾金威2、31南洋理工大学S-Lab2Tetras.AI3上海Al实验室{ruicheng002，chongyi.li，ccloy}@ ntu.edu.sg{huaijin.chen，shuailizju}@ gmail.comgujinwei@tetras.ai图1. 从欠显示摄像头（UDC）图像中去除衍射伪影。由光衍射引起的主要退化，眩光、模糊和雾度会显著影响UDC图像的视觉质量我们的方法有效地恢复精细的细节和抑制衍射效应的UDC图像。摘要显示器下摄像头（UDC）系统的最新发展在智能手机（和TV、笔记本电脑、平板电脑）上提供了真正的无边框和无缺口的观看体验，同时允许从嵌入在下面的自拍摄像头捕获图像。在典型的UDC系统中，半透明有机发光二极管（OLED）像素阵列的微结构衰减并衍射相机上的入射光，导致显著的图像质量劣化。通常，在UDC图像中可以观察到噪声、眩光、雾度和在这项工作中，我们的目标是分析和解决上述退化问题。我们定义了一个基于物理的图像形成模型，以更好地理解退化。此外，我们利用世界上第一个商品UDC智能手机原型之一来测量UDC系统的真实世界点扩散函数（PSF），并提供基于模型的数据合成管道来生成逼真的我们专门设计了一个新的支持领域知识的动态跳转连接网络（DISCNet）来恢复UDC映像。我们证明了我们的方法的有效性，通过广泛的实验，合成和真实的UDC 数 据 。 我 们 提 出 的 基 于 物 理 的 成 像 模 型 和DISCNet可以为进一步探索UDC图像恢复，甚至为更广泛意义上的一般衍射伪影去除提供基础。 11. 介绍消费者对无边框、无凹槽显示屏的智能手机的需求引发了手机制造商对新定义的成像系统--显示屏下摄像头（UDC）的兴趣激增。除了智能手机，UDC还展示了它在其他场景中的实用性，用于与UDC TV、笔记本电脑或平板电脑进行视频会议，当它们将摄像头放置在显示器的中心时，能够实现更自然的注视焦点[16]。如图2所示，典型的UDC系统将相机模块放置在半透明的有机发光二极管（OLED）显示器下方并紧密地附接至半透明的有机发光二极管（OLED）显示器。虽然显示器看起来是部分透明的，但光线可以通过的区域，即显示像素之间的间隙通常为微米级，其基本上衍射入射光[23]，影响光传播。1代码和数据可从https://jnjaby.github.io/projects/UDC获得。(a)模拟数据(b)真实数据我们的结UDC图像663（一）（b）第（1）款正常像素密度显示透镜点源像素密度传感器PSF的1D解剖测量协议考虑场景和相机传感器的适当动态范围，并在实际UDC图像中恢复真实世界的为此，我们使用世界上第一款量产UDC设备之一中兴Axon 20进行了实验，该设备将UDC系统集成到其自拍相机中。请注意，我们的目标是分析和研究由衍射效应引起的伪影，而不是为中兴手机摄像头提出一个产品就绪的解决方案。我们的方法是通用的并且可应用于其它UDC设备，或者更一般地，其它衍射受限成像系统，例如，显微成像，针孔摄像机。我们设计了一个成像系统，直接测量点源UDC设备的PSF（见第3.2节）。如图2所示，由于显示器的衍射作用，产生的PSF具有一些特殊的特性：空间支撑大、中心响应强、拖尾长（c）第（1）款z1d z2=测量的2DHDR PSF真实HDR场景UDC图像低能量旁瓣 通过测量的PSF，我们重新-模拟图像形成模型，以考虑逼真的眩光，薄雾和模糊，由于场景的有限动态范围而丢失[46，47]然后，我们开发了一个数据模拟管道的基础上的图像形成模型，通过使用HDR图像近似真实场景。此外，我们使用UDC手机的自拍相机捕获真实图像如图1所示，图2.（a）中兴Axon 20手机上UDC OLED的特写镜头UDCOLED面板降低了摄像头上方区域的像素密度，从而提高了透明度。（b）UDC系统示意图从点光源发出的光（c）我们的图像形成模型的模拟示例，具有真实捕获的PSF。图中的2D PSF变亮以可视化结构化旁瓣图案。从现场到传感器的信号UDC系统引入了一类新的复杂图像退化问题，结合了强烈的眩光、薄雾、模糊和噪声（见图1中的顶行）。在解决UDC图像恢复问题的第一次尝试[47]中，作者提出了一种监视器-摄像机成像系统（MCIS）来捕获配对数据，并使用图像形成来合成两种类型OLED显示器的点扩散函数（PSF）。然而，该开创性工作存在几个缺点，包括1）由于实际PSF和合成PSF之间的失配而导致的不准确PSF，2）在MCIS捕获的数据中缺乏适当的高动态范围（HDR），缺少现实的UDC降级，3）原型UDC与实际生产UDC显著不同，4）缺少对非MCIS数据的真实世界评估，以及5）所提出的网络没有充分利用领域知识。我们将在第2节中进一步详细研究这些缺陷。在这项工作中，我们的目标是解决上述问题。我们首先提出了一个现实的图像形成模型，我们的模拟和真实数据揭示了类似的退化，特别是在那些高强度区域中。具体来说，可以在强光源附近观察到耀斑，其中高光以结构化衍射图案扩散到相邻的低强度区域中为了恢复UDC图像，我们提出了一个动态跳跃连接网络（DISCNet），它将图像形成模型的主要知识融入到网络设计中。特别是，传感器饱和打破了基于单PSF的卷积的移位不变性，导致空间变化的退化。这促使我们设计一个动态滤波器网络来动态预测每个像素的此外，由于PSF的大量支持，我们提出了一种多尺度架构，并在特征域中执行此外，还引入了一个条件编码器，以利用PSF的信息。我们的贡献概括如下：• 考虑到衍射光斑在UDC成像中的普遍存在，我们重新建立了考虑动态范围和饱和度的UDC成像模型。• 我们利用第一个UDC智能手机原型来测量真实世界的PSF。PSF用作基于模型的数据合成管道的一部分，以生成逼真的退化图像。• 我 们 设 计 了 一 个 动 态 跳 跃 连 接 网 络 （ DIS-CNet），它结合了664UDC图像形成模型。实验结果表明，该方法能有效地消除UDC系统中的衍射2. 相关工作UDC成像。以前的一些工作[22，31]描述和分析了UDC系统的衍射效应。Kwon等人[13]对透明OLED的边缘扩散函数进行了秦等。[23]讨论了可以潜在地减少衍射的像素结构设计。虽然所有这些工作提供了很好的见解UDC成像系统，他们没有解决图像恢复问题。此外，一些作品[8，29，28]提出了用于增强与平板显示器的3D交互的显示器后相机设计虽然低分辨率图像是这些原型交互系统的副产品，但由于图像质量极差，它们不适合日常摄影，这是这项工作的重点。UDC恢复。据我们所知，[47]和随后的ECCV挑战[46]是唯一直接解决UDC图像恢复问题的作品。在[47]，作者设计了一个MCIS来捕获成对的图像，并使用UNet的变体将UDC图像恢复问题作为盲解卷积问题来解决[25]。虽然这项工作开创了UDC图像恢复问题，但它有几个缺点。首先，虽然MCIS通常用于计算成像领域[39，1]，以捕获系统PSF或获取配对图像数据，但大多数商品监视器缺乏高动态范围，这是UDC系统中模拟真实衍射伪影所必需的。因此，他们使用的PSF具有不完整的旁瓣，并且图像具有不太严重的伪影，例如，模糊、模糊和闪烁。在我们的工作中，我们在数据生成和PSF测量中考虑HDR，以使我们能够适当地处理真实世界的场景。其次，作者在他们的设置中使用常规OLED手动 覆盖相 机，而 不是实 际的刚性 UDC as-sampled，并在准现实数据上进行实验和评估结果，显示器相对于传感器平面的任何轻微移动、旋转或倾斜将引起变化的PSF，从而防止它们的网络在没有PSF内核的知识的情况下被应用于处理变化的劣化。为了最大限度地减少域差距，我们使用世界上第一个生产UDC设备之一最后，尽管作者在数据合成中捕获并使用了PSF，但他们通过简单的UNet将UDC图像恢复公式化为盲解卷积问题，而没有明确利用PSF作为有用的领域知识。相比之下，我们利用PSF作为重要的支持信息，在我们建议的DISCNet。非盲图像恢复。在非盲图像恢复的背景下，大量的作品已经被展示出来，他花了很大的努力来解决这个不适当的问题。 在深度学习时代之前，早期的反卷积方法[24，20，14，4，35]强加了先验知识来约束解空间，因为噪声模型是未知的。然后，几项工作[26，36，41]专注于建立基于优化的反卷积和神经网络之间的联系，用于非盲图像恢复。此外，Shocheret al. [27]采用了一个小的图像特定网络来处理单个图像的各种退化。Zhang等人[42]建议SRMD处理一个网络的多Gu等人[5]提出了SFTMD和迭代核校正（IKC）来迭代地校正退化的内核代码。此外，[3，40，44]使用生成对抗网络（GAN）来解决不同的退化。与SRMD [42]类似，我们将PSF内核作为附加条件，但以不同的方式使用它，即，将其馈送到条件编码器中以促进动态过滤器生成。动态过滤网络。近年来，动态滤波器网络在广泛的视觉应用中取得了巨大的成功，以处理空间变化的信息。- 是的Jia等人[9]首先利用动态网络为输入图像上的每个像素生成单独的核。从那时起，该模块已被证明为视频插值[18，19]、去噪[2，17，37]、超分辨率[10，38，33]和视频去模糊[45]。此外，Wanget al. [32]提出了一种用作通用上采样算子的内核预测模块然而，大多数先前的方法不能直接应用于UDC图像增强，因为它们要么在图像域中应用预测滤波器，要么主要关注于特定操作。在这项工作中，我们构建多尺度滤波器生成器，并采用动态卷积的特征域处理退化与大支持和长尾PSF。3. 成像模型和数据集3.1. 图像形成模型我们考虑一个真实世界的图像形成模型的UDC遭受几种类型的退化，包括- ING衍射效应，饱和度，和相机噪声。该退化模型由下式给出：y=φ[C（x∈k+n）]，（1）其中x表示具有高动态范围（HDR）的真实场景辐照度 。 k 是 已 知 的 卷 积 核 ， 通 常 被 称 为 点 扩 散 函 数（PSF），k表示2D卷积算子，并且n对相机噪声进行建模为了对数字传感器有限动态范围产生的饱和进行建模，我们应用限幅运算C（·），公式为C（x）=min（x，xmax），其中xmax为范围阈值。使用非线性色调映射函数Φ（·）来匹配场景的人类感知。665PSF PSF能量图3. UDC和普通相机的PSF能量比较。PSF被增亮以可视化结构化旁瓣图案。由于有限的光圈尺寸和制造缺陷，真正的正常相机的PSF（左下）将是某种大小的模糊核，而不是完美的点。3.2. PSF测量在图2中，给定单位振幅点源输入，由传感器捕获的光场US（p，q）可以表示为因此，点光源的大小相当于传感器的一个像素。因此，该发光体可以被认为是脉冲输入。为了捕获整个PSF，包括强主峰和弱旁瓣，我们在不同曝光下连续拍摄三张图像：[1，1/32，1/768]，然后将其归一化为相同的亮度水平。然后，我们挑选出所有不饱和的像素值融合成一个HDR图像。捕获的UDC系统的PSF（图3顶部）显示了结构化模式：1）中心处的响应（表示为主峰）非常强，并且具有一个数量级的更大能量2)与普通相机的点扩展函数相比，它具有更大的空间支持（超过800×800）和尖峰形的长尾旁瓣，其能量呈指数衰减。3)在旁瓣的尾部区域，我们可以观察到明显的色移。总之，UDC的PSF有几个特殊的与常规模糊核相比，这激发了基于HDR图像的模拟。与文献[47]中描述的UDC成像模型相比，我们的模型在以下两个方面更接近实际情况首先，我们考虑的对象x是具有高动态范围的真实场景由于UDC的PSF在中心处具有强响应，但在长尾旁瓣处具有极低的能量，因此只有当与足够高强度的场景卷积时，这些尖峰形旁瓣才能被放大为在降级图像中可见（耀斑）。因此，UDC系统在真实场景中捕获的图像US（p，q）=.exp.iπr2πλz1Σ·t（p，q）Esclemp.iπr2πλd在强光源附近会出现结构性耀斑。然而，[47]中的成像系统不能对这种降解进行建模。·exp. −iπr2ππλfEsclemp.iπr2π.λz2（二）dation，因为它捕捉显示在LCD上的图像显示器，通常具有有限的动态范围。我们在补充中证明，如果我们剪辑相同的场景，这里，（p，q）是2D空间坐标，r2=p2+q2，λ是波长，f是透镜的焦距，t（p，q）是显示器的透射函数z1、d和z2分别表示光源和显示器之间的距离、显示器和透镜之间的距离以及透镜和传感器之间的表示卷积，·表示乘法。最后，成像系统的PSF由下式给出：|US|二、通过精确的显示器像素布局，我们可以从理论上模拟由显示器调制的光学系统的PSF。然而，我们发现，尽管模拟和实际测量的PSF具有相似的形状，但由于模型应用和制造缺陷，它们在颜色和对比度上略有不同（参见光传播模型和模拟PSF的补充）。再说了，我们也没有传输功能t（p，q），因为专利原因，其像素结构是未知的。因此，我们遵循[30]并设计成像系统从高动态范围到低动态范围，这些由衍射引起的耀斑变得不可见。其次，由于输入场景的高动态范围，数字传感器（通常为10位）在实际应用中不可避免地会饱和，导致信息丢失。在图像形成模型中也应该考虑该因素3.3. 数据收集和模拟模拟数据。为了生成合成数据，我们从HDRI Haven数据集2中收集了132张具有大动态范围的HDR图像。每个HDR全景图像是分辨率为8192×4096的360度全景。我们首先将这些全景图像重新投影回透视图，然后将它们裁剪成800×800的补丁。这样，我们总共得到了2016个子图像用于训练，360个子图像用于测试。对于每一种作物，我们使用等式11模拟相应的退化图像。1，其中在第3.2节中校准的PSF用作内核k。更多细节请参考补充材料.真实数据。 对于每个真实场景，我们捕捉了三个图像直接测量点扩散系数，距离OLED显示屏1米远。https://hdrihaven.com/hdris/.主峰旁瓣尾巴UDC普通相机666使用中兴Axon 20手机拍摄的不同曝光量的照片：[1，1/4，1/16]，然后将它们组合成一张HDR图像。为了保证数据的线性，我们直接使用HDR融合后的原始数据，没有任何非线性处理。4. 动态跳转连接网络4.1. 动机我们将UDC图像恢复问题视为一个非盲图像恢复问题，其中给定退化图像{y∈i}和地面真实值退化（PSF）{ki}，以恢复清晰图像{xi}。通常，在已知卷积核的情况下，非盲恢复建立了盲恢复的上界，其中需要估计核。尽管声称我们的方法是非盲的，但我们注意到，它可以通过引入任何PSF估计算法来用于盲UDC图像恢复。传统上，非盲图像恢复是通过经典的反卷积来解决的，例如， Wiener滤波器[20]，它对系统的线性有严格的假设。UDC伪影发生在HDR场景中，其中传感器在高强度区域中过饱和，破坏了系统的线性并丢失了其中的信息。此外，传统的反卷积不考虑非常大的内核（800 × 800），因此会导致严重的振铃和光晕伪影（图5和图6）。此外，基于深度学习的方法可以利用更多的数据来学习恢复，并且在推理过程中只需要一次向前传递。 在该研究中，我们使用网络来重构x_i=φ（x_i），这意味着在非线性色调映射域中从y_i到x_i的重建，产生三元组集合{y_i，k_i，x_i}。色调映射域中的这种优化给予较暗的像素更多的强调，并且鼓励不同区域中的恢复的平衡。此外，Eqn.1假设平移不变的2-D卷积。现在，在具有非线性传感器饱和度的色调映射域中，这种假设不再成立，因为PSF例如，OLED将饱和的高光衍射到相邻的不饱和区域中，从而促使从附近区域自适应地恢复被剪切的信息受核预测网络（KPN）[9，17，18，45]最近成功的启发，我们提出了动态跳跃连接网络（DISCNet），它在每个像素处动态生成滤波器核，并将它们应用于具有跳跃连接的不同网络层的不同特征空间。该网络以两个输入为条件：1）提供关于图像形成模型的领域知识的PSF，以及2）提供光强度和邻域上下文信息以促进空间变化恢复的退化图像。我们在5.2节中证明了耦合条件的有效性。对于动态卷积，像大多数现有的基于KPN的方法一样，直接在图像域中应用预测滤波器并不最适合UDC图像恢复，因为UDC中的PSF具有较大的支持和长尾旁瓣（见图3）。如[36]中所讨论的，这种具有大PSF的逆卷积过程只能在具有足够大的内核（大于100）的图像域中很好地近似，而动态滤波器的大小通常要小得多（例如，5或7）。因此，我们建议在特征域中应用动态卷积最重要的是，我们构建了一个多尺度架构，每个尺度的滤波器生成器分别预测动态滤波器，以进一步扩大学习滤波器的空间支持。4.2. 网络架构如图4所示，我们的网络包括一个分支和一个动态跳过连接网络（DIS-CNet）。恢复分支学习提取特征并恢复最终的干净图像。 DISCNet用于处理各种退化，并对从恢复分支中提取的特征进行变换和细化。各 种 降 级 的 训 练 。 假 设 退 化 图 像 y∈i 的 形 状 为H×W×C，其中H、W、C表示图像的高度、宽度和通道数。在[5]之后，我们通过主成分分析（PCA）将PSF投影到称为内核代码的b维向量上，以减少计算复杂性。然后将核码拉伸成大小为H ×W ×b的退化映射，并与退化图像级联得到大小为H × W ×（b +C）的条件映射，然后将其馈送到DISCNet中。在本文中，我们根据经验设定b=5。复兴分部。该分支建立在具有跳过连接的编码器-解码器架构之上，退化的图像。具体来说，编码器包含三个卷积块，每个 卷 积 块 都 有 一 个 步 幅 为 2 的 3×3 卷 积 层 ， 一 个LeakyReLU [6]层和两个残差块[7]，以三个不同的尺度提取特征E1，E2，E3提取的特征被送入DISC- Net，并分别转换为R1、R2、R3.类似地，解码器由两个卷积块组成，包括上卷积层和两个残差块。每个卷积块以其相应尺度的变换特征作为输入，并重建最终的色调映射清晰图像。DynamIc跳过连接网络。本文提出的DIS-CNet主要包括三个方面的设计：条件编码器、多尺度滤波器生成器和动态卷积。给定条件图作为输入，条件编码器使用类似于恢复分支的编码器的3个块来提取尺度特定特征图H1、H2、H3尽管内核代码映射是全局统一的，但条件编码器仍然可以从6672123DISCNet123+32641286432内核代码1123PSF12*223232×���2*C36464×���233 *3128128×���2输入6432条件编码器128213×3转换层1×1转换层上转换层剩余块+按元素之和*动态转换c连接恢复科图4. 建议的DISCNet的插图。主要的恢复分支包括一个编码器和一个解码器，与DISCNet通过跳过连接传播和转换的特征图。DISCNet使用基于PSF内核代码和来自输入图像的空间信息生成的滤波器来应用多尺度动态卷积。该方法可以有效地处理具有空间变化性的退化图像，并设法从附近的低光区域重新覆盖饱和信息。然后，将提取的不同尺度的特征送入相应的滤波器生成器，每个滤波器生成器包括一个3 × 3卷积层、两个残差块和一个1 × 1卷积层来扩展特征维数。特别地，给定动态滤波器的大小s，滤波器生成器Gn以特定尺度Hn∈Rh× w × c接收提取的特征图，并输出预测滤波器Fn=Gn（Hn），其中生成的滤波器Fn的大小为h×w×cs2.然后，通过动态卷积使用滤波器来细化特征En。对于特征En ∈ h × w × c的每个像素（i，j，cm），输出特征Rn由下式给出：Rn（i，j，cm）=<$Kn（i，j，cm），<$（En（i，j，cm））<$，（3）其中Kn（i，j，cm）是一个s×s滤波器，Fn（i，j，cm）∈R1×1×s.表示以位置（i，j，cm）为中心的s×s面片，并且表示内积.然后将细化的特征Rn投射到恢复分支。5. 实验5.1. 实现细节数据集。 我们用合成的三重态数据训练所提出的模型。 为了评估DISCNet对非盲退化的有效性，我们考虑旋转PSF，这类似于在成像系统中围绕光轴旋转显示器。为了考虑旋转角度的变化，我们构建了一个角度在（-12，12）范围内变化的内核集，其中0弧度表示原始PSF。 在该设置下，每个分级图像y_i使用等式1来模拟。1，其中卷积核ki是从Kernel Set的。在训练过程中，子图像被随机裁剪成256×256块。有关模拟设置的更多详细信息，请参见补充材料。培训设置。我们使用Kaiming Normal [ 6 ]初始化所有网络，并使用Adam优化器[12]训练它们，β1=0。9，β2=0。999和θ=10−8，以最小化L1损失和VGG损失的加权组合[11]。所有实验的小批量均设定为16。学 习 速 率 以 余 弦 退 火 时 间 表 衰 减 ， 其 中ηmin=1×10−7，ηmax=2×10−4，并且每2 × 105次迭代重新开始。 对于所有实验，我们使用PyTorch [21]框架实现我们的模型，并使用2个NVIDIA V100 GPU对其进行训练。5.2. 消融研究在本小节中，我们分析了DISCNet中每个组件的有效性。基线方法（表1（a）和（b））剥离图4中的DISCNet。在这种情况下，并行分支简化为UNet架构的变体[25]，并且E1，E2，E3分别等价于R1，R2，R3。然后，我们逐步应用不同的滤波器发生器和条件图进行消融研究。我们报告PSNR，SSIM和LPIPS [43]作为评估指标。FLOP由800×800×3的输入大小计算。学习变分退化。比较表1（a）和表1（b）中，我们发现我们在只有1个内核的数据集上训练的基线可以很容易地过拟合到单个降级数据集，但无法推广到其他降级类型。 尤其是性能恶化严重在其他数据集上，由于假设的PSF和真实的PSF之间的差异。条件的类型。 在基线网络之上，我们668表1. 模拟数据集上的消融结果。 从基线模型开始，我们逐步添加网络中的每个组件以验证其有效性。“*”表示在单个PSF上模拟评估的结果。最好的结果是突出显示。方法PSF滤波器生成器条件峰值信噪比 *峰值信噪比平均值SSIM*SSIM平均值(a)1个内核上的基线单个--41岁4738岁550的情况。98500的情况。9742(b)各种内核变分--四十67四十870的情况。98230的情况。9833(c)w/图像条件变分单尺度图像41岁3341岁590的情况。98420的情况。9851(d)带PSF条件变分单尺度PSF41岁9542岁140的情况。98480的情况。9857(e)带图像PSF条件变分单尺度图像+PSF42岁6042岁770的情况。98610的情况。9870(f)DISCNet（我们的）变分多尺度图像+PSF43号。0643号。270的情况。98700的情况。9877表2.不同大小的动态过滤器的结果滤波器大小S=3S=5s=7s=9PSNR42岁16 42岁7742岁6242岁47SSIM0的情况。98620的情况。98700的情况。98690的情况。9868LPIPS [43]0的情况。01260的情况。01190的情况。01190的情况。0119参数（M）3 .第三章。183 .第三章。443 .第三章。84四、37FLOPs（G）262. 10 272. 59288.32309.29首先研究我们的网络的单尺度变体，即，从图4中移除滤波器生成器G1和G2。 作为 结果，特征E1和E2保持不变，并通过跳过连接被投射回恢复分支。通过应用-ING不同类型的条件，我们观察到一个显着的改善，平均PSNR的基线。例如，具有图像条件的模型（表1（c））和具有PSF条件的模型（表1（d））改进0。72dB，1 .一、27dB。 此外，结合PSF和成像条件（表1（e））带来额外的改进（1. 18比0 PSF/图像条件下增加63dB）。这表明即使是最简单的单尺度动态卷积设计也可以有益于特征细化。单标度与多尺度。通过应用多尺度动态滤波器生成器来变换所有尺度下的跳过连接，我们提出的DISCNet（表1（f））增加0。5dB（表1（e））。这证明了多尺度策略的有效性。动态过滤器的大小。为了进一步研究性能和模型大小之间的最佳权衡，我们改变了动态过滤器的大小。如表2所示，较大尺寸的滤波器可以带来更好的性能。然而，性能变得更差，通过增加大小后，s=5时，参数数量显著增加。因此，我们根据经验默认选择s=55.3. 模拟数据集的评价为了证明DISCNet的效率，我们进行了实验，以评估模拟数据集上的性能。由于UDC图像恢复是一个新定义的问题，我们仔细选择并修改了四种代表性和最先进的非盲图像恢复算法作为基线：维纳滤波器[20]是用于线性卷积形成的经典去卷积算法。因此，我们将维纳反卷积应用于退化图像，其中每个通道的测量PSFk独立地在直线上。669表3. 模拟数据集上的定量比较。“*” indicates 最好的两个结果以红色和蓝色突出显示。方法参数FLOPs(M)（G）PSNRSSIM低压脉冲电源[20]第二十话--27岁。410的情况。83920的情况。3365[42]第四十二话1 .一、49951三十四800的情况。96590的情况。0360[47]第四十七话9 .第九条。0216939岁。810的情况。97950的情况。0206SFTMD [5]3 .第三章。85246042岁350的情况。98630的情况。0123DISCNet3 .第三章。8036443号。270的情况。98770的情况。0108耳域请注意，恢复的图像仍然是评估和色调映射域中显示。SRMDNF[42]是SRMD的无噪声版本，它集成了非盲降级信息以处理超分辨率网络中的多个降级。该网络包含12个卷积层，每个卷积层产生128个特征图。根据为低级任务设计的网络惯例[34，15]，我们删 除 BN 层 以 稳 定 训 练 。 SFTMD[5]. 迭 代 核 校 正（IKC）最初是为盲环境下的图像超分辨率而设计的。在实验中，我们采用SFTMD网络，它也杠杆的核信息来解决非盲问题。在UDC恢复任务中，由于输入和输出共享相同的形状，因此我们删除了像素洗牌上采样层。DE-UNet[47]. Zhou等提出了一种双编码器UNet，在我们的实验中称为DE-UNet，以重新覆盖UDC退化图像。我们修改了两个编码器的第一层，以3通道RGB图像作为输入。定量比较。 对于所有基于深度学习的方法，我们使用相同的训练设置来训练它们，和数据表3显示了模拟数据集的定量结果。该算法的性能优于其他基线方法。我们观察到，建议的DIS-CNet始终优于所有其他方法的模拟数据集。即使使用精确的PSF内核，Wiener Filter [20]也只能实现远低于基于深度学习的方法的低图像质量SRMDNF [42]建立在普通网络上，并使用简单的策略来利用内核信息。因此，它不能适应由高光源引起的退化区域，并产生较差的结果。与SFTMD [5]相比，我们的网络可以实现更好的性能，只有15%的计算成本（从2459下降。57到36434GFLOP）。这表明DISCNet是有效的，特别适合这项任务，而任何其他670DE-UNet SRMDNF上海外滩维纳滤波器SFTMD DISCNet（Ours）图5. 对合成输入图像进行视觉比较。 我们的方法恢复精细的细节和抑制耀斑的影响，在这两个突出 和暗区域，并呈现视觉上令人愉悦的结果。更多目视检查结果请参见补充资料。放大以获得更好的视图。相机输出DE-UNet SRMDNF室内维纳滤波器SFTMD光盘（我们的）图6. 在真实输入图像上进行视觉比较。我们的方法实现了最佳的感知质量，而其他方法留下明显的文物，并遭受强噪声。更多目视检查结果请参见补充资料。放大以获得更好的视图。锅炉板网络（例如，普通网，UNet）产生不满意的结果。目视比较。图5将所提出的模型与模拟数据集上的现有方法进行了比较。正如人们可以看到，维纳滤波器产生令人不快的结果和suf- fers从严重的振铃和光晕文物。相比之下，我们的DISCNet产生了最令人愉快的结果，并消除了来自不饱和区域的高光的衍射伪影。图1和图5中所示的视觉结果以及补充材料中的附加结果验证了所提出的DISCNet对于各种场景类型的性能，夜间城市场景和室内强光源设置。5.4. 真实数据集的评价除了对合成数据集的评价外，本节还探讨了真实数据集上的重建性能。由于无法获得地面实况图像，我们提供了定性比较，如图6所示。我们还包括中兴手机的相机输出进行比较。由于真实数据是在没有ISP的情况下捕获的，因此我们对除相机输出之外的所有输出都进行了简单的后处理，以便更我们的网络实现了最佳的视觉质量，而其他方法会留下明显的伪影，并遭受强烈的噪声或耀斑。后处理更多的视觉效果可以在补充中找到。6. 讨论局限性。我们的工作只是在UDC系统中消除衍射图像伪影其它复杂性，例如，空间变化PSF、弱光中的噪声和散焦需要更多的研究。所提出的DISCNet有时会由于模拟数据和实际数据之间的域间隙而失败，例如，相机噪声、运动模糊、场景变化。我们目前的方法也太重了。有关进一步讨论和故障案例，请参见附录。结论在本文中，我们定义了一个基于物理的图像形成模型和测量的真实世界的PSF的UDC系统，并提供了一个基于模型的数据合成管道，以产生逼真的退化图像。然后，我们提出了一个新的领域知识使能的动态跳过连接网络（DISCNet）恢复的UDC图像。为进一步研究UDC图像恢复提供了基础。我们对UDC的看法有可能激发更多的衍射限制图像恢复工作。致谢。感谢Joshua Rego和Guiqi Xiao对数据收集的支持。这项研究是与SenseTime合作进行的。这项工作得到了A*STAR通过行业协调基金-行业合作项目补助金。GT671引用[1] MSalmanAsif，AliAyremlou，AswinSankaranarayanan ， Ashok Veeraraghavan ， and RichardG Baraniuk. 平面摄影机：使用编码光圈和计算的薄型无 镜 头 摄 影 机 . IEEE Transactions on ComputationalImaging，3（3）：384-397，2016。3[2] 史蒂夫·巴科、蒂伊斯·沃格尔斯、布赖恩·麦克威廉姆斯、马克·迈耶、扬·诺·va` k、艾尔·x·哈维尔、普拉迪普·森、托尼·迪罗斯和法布里斯·德塞勒。用于蒙特卡洛渲染去噪的核预测卷积ACM事务处理图表，36（4）：97-1，2017. 3[3] Sefi Bell-Kligler，Assaf Shocher和Michal Irani。利用内增益函数的盲超分辨核估计。在神经信息处理系统的进展，第284-293页，2019年。3[4] 赵成贤，王觉，李承京。非盲图像反卷积中异常值的处理。2011年国际计算机视觉会议，第495IEEE，2011年。3[5] 顾金金、卢汉南、左王梦、朝东。基于迭代核校正的盲超分辨。在IEEE计算机视觉和模式识别会议论文集，第1604-1613页，2019年。三五七[6] 何开明，张翔宇，任少卿，孙健。深入研究整流器：超越人类对imagenet分类的水平。在IEEE计算机视觉国际会议论文集，第1026-1034页，2015年。第五、六条[7] 何开明，张翔宇，任少卿，孙健。用于图像识别的深度残差学习。在IEEE计算机视觉和模式识别会议论文集，第770-778页，2016年。5[8] 马修·赫希，道格拉斯·兰曼，亨利·霍尔茨曼，拉梅什·拉斯卡。Bidi屏幕：一种薄的深度感应液晶显示器，利用光场进行3d交互ACM Transactions on Graphics（ToG），28（5）：1-9，2009. 3[9] Xu Jia，Bert De Brabandere，Tinne Tuytelaars，and LucV Gool.动态过滤网络。神经信息处理系统，第667-675页，2016年。三，五[10] Younghyun Jo，Seeking Wug Oh，Jaeyeon Kang，andSeon Joo Kim.使用动态上采样滤波器的深度视频超分辨率网络，无需显式运动补偿。在IEEE计算机视觉和模式识别会议论文集，第3224-3232页，2018年。3[11] 贾斯汀·约翰逊亚历山大·阿拉希和李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694Springer，2016. 6[12] 迪德里克·P·金马和吉米·巴。Adam：随机最佳化的方法。CoRR，abs/1412.6980，2015年。6[13] Hyeok-Jun Kwon、Chang-Mo Yang、Min-Cheol Kim、Choon-Woo Kim、Ji-Young Ahn和Pu-Reum Kim。透明有机发光二极体显示器上透明塑胶亮度转换曲线之模拟电子成像，2016（20）：13[14] Anat Levin ， Yair Weiss ， Fredo Durand 和 William TFree-man。理解和评估盲反卷积算法。租女士。2009年IEEE计算机视觉和模式识别会议，第1964-1971页IEEE，2009年。3[15] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.增强的深残差网络单图像超分辨率。在IEEE计算机视觉和模式识别会议（CVPR）研讨会上，第1卷，第4页，2017年。7[16] Sehoon Lim ， Yuqian Zhou ， Neil Emerton ， LincolnGhioni，Tim Large，and Steven Mr. 2020年11月20日，摄影机在显示器上（11月访问9，2020）。 https：//www.microsoft.com/applied-sciences/projects/camera-in-display. 1[17] Ben Mildenhall ， Jonathan T Barron ， Jiawen Chen ，Dillon Sharlet，Ren Ng，and Robert Carroll.使用核预测网络进行突发去噪。在IEEE计算机视觉和模式识别会议论文集，第2502-2510页三，五[18] 西蒙·尼克劳斯、龙迈、风流。基于自适应卷积的视频帧内插。在IEEE计算机视觉和模式识别会议集，第670-679页，2017年。三，五[19] 西蒙·尼克劳斯、龙迈、风流。基于自适应可分离卷积的视频帧在IEEE计算机视觉国际会议论文集，第261-270页，2017年。3[20] 弗朗索瓦·奥里厄，约翰-弗朗索瓦·吉奥·安内利和托马斯·罗代。维纳-亨特反褶积正则化和点扩散函数参数的贝叶斯估计JOSA A，27（7）：1593-1607，2010. 三五七[21] Adam Paszke，Sam Gross，Soumith Chintala，GregoryChanan，Edward Yang，Zachary DeVito，Zeming Lin，Al-ban Desmaison ， Luca Antiga ， and Adam Lerer.pytorch中的自动微分。2017. 6[22] 宗勤，谢静，林芳成，黄义派，谢汉平。关于衍射透视图像 主观 质量的 透明 显示器 像素 结构的 评估IEEEPhotonics Journal，9（4）：1-14，2017。3[23] 宗勤、叶燕伟、蔡玉祥、程维元31-2：透明OLED显示器的透视图像模糊：衍射分析和OLED像素优化.载于Sid Symposium Digest of Technical Papers，第47卷，第393Wi- ley Online Library，2016. 第1、3条[24] 威廉·哈德利·理查森。基于贝叶斯迭代的图像复原方法。JoSA，62（1）：55-59，1972. 3[25] Olaf Ronneberger，Philipp Fischer，and Tho