基于排列不变卷积神经网络的突发图像恢复

基于排列不变卷积神经网络的Miika Aittala[0000−0003−0988−5397]anddFr´edoDurandd麻省理工学院，Cambridge MA 02139，USAmiika@csail.mit.edu，fredo@mit.edu抽象。 我们提出了一种神经方法融合的任意长度突发的照片遭受严重的相机抖动和噪声到一个尖锐的和无噪声的图像。 我们的新型卷积架构可以同时查看突发中的所有帧，并通过构造以独立于顺序的方式处理它们。这使得它能够有效地检测和利用分散在不同帧中的微妙线索，同时确保每个帧都得到充分和平等的考虑，无论其在序列中的位置如何我们用丰富多样的合成数据训练网络，这些数据包括相机抖动、逼真的噪声和其他常见的成像缺陷。该方法展示了一致的最先进的突发图像恢复性能的高度退化的序列的真实世界的图像，并提取准确的细节，是不可辨别的任何单独的帧隔离。关键词：突发成像·图像处理·去模糊·去噪·卷积神经网络1介绍尽管数字成像设备的光效率有进步，但运动模糊和噪声仍然是摄影中的重要问题。由于小的光学器件和典型的不受支持的徒手拍摄位置，移动电话相机光学系统的缺点可以部分地通过诸如去噪和锐化的计算过程来改善。最近具有显著影响的一个工作线依赖于突发成像。 一个值得注意的例子是Android手机中提供的成像管道：在对用户透明的情况下，相机拍摄一系列低质量帧，并通过计算将它们融合成比在相同时间内使用常规曝光可以实现的更高质量的照片[12]。我们解决的问题，突发去模糊，其中一个是一组图像描绘相同的目标，每个遭受不同的实现相机抖动。虽然每一帧可能是绝望的模糊孤立，他们仍然保留了部分信息的基本清晰的图像。目的是通过融合任何可用的信息来恢复它。卷积神经网络（CNN2M. Aittala和F. 杜兰德[34，33]。观察到，突发可以有任意变化的长度，最近的工作Wieschollek等人。[33]保持对清晰图像的估计，并通过一次一个地馈送帧以循环方式更新它虽然这显示出产生良好的结果，但众所周知，循环架构在学习融合它们在多个步骤中接收到的信息时会遇到- 即使是像把一组数字加起来这样简单的任务也可能很困难[36]。事实上，我们的评估表明，Wieschollek等人的架构[33]例如：充分利用连拍中的幸运清晰图像（见图7）。这表明，它通常没有充分利用现有的信息。问题是，我们认为，是一个经常性的架构，把不同的帧到一个高度不对称的位置。第一帧和最近看到的帧可能对解决方案具有不成比例的影响，并且如果它们分开出现多个帧，则关于个体图像细节的互补线索难以组合。我们提出了一个从根本上不同的架构，它认为所有的帧同时作为一个无序的任意大小的集合。其关键思想是通过构造来强制执行置换不变性：当帧的排序不能影响输出时，没有帧相对于其他帧处于特殊位置，因此每个帧都得到相同的考虑。任何有用的信息都可以直接影响解决方案，并且可以有效地组合分散在突发该方法在精神上类似于经典的最大似然或贝叶斯推断，其中来自每个观测的贡献对称地累积到似然函数上，然后从该似然函数导出所需的估计。我们通过将最近关于神经网络[36，24]中的置换不变性的想法扩展到卷积图像翻译上下文来实现这一点我们提出的网络是一种受U-Net启发的CNN架构[25]，它以完全置换不变的方式将一组无序的图像映射到单个输出图像中，并在网络评估期间促进帧之间特征信息的反复来回交换除了去模糊，我们认为，这种通用架构具有潜在的应用程序的各种问题，涉及松散结构的图像值的观察集。我们用合成降级的突发来训练我们的网络，这些突发由一系列严重的图像缺陷组成，而不仅仅是模糊。噪声的存在改变了去模糊问题的特征，并且在实践中，许多去模糊算法在全分辨率低光照片和来自低端相机的图像中与高噪声水平作斗争。当然，这些正是最需要去模糊的场景。我们的训练数据模拟了真实世界相机的噪声特性，并且还考虑了一些经常被忽视的细节，例如未知的伽马校正和高动态范围效果。图1展示了我们的方法的有效性相比，最先进的Wieschollek等人的经常性架构的状态[33]在涉及显著图像劣化的具有挑战性的真实世界突发上：我们的方法成功地恢复了在突发的各个帧中看起来几乎全部丢失的图像内容，并且显著地提高了整体图像质量。基于排列不变CNN的突发图像去模糊3猝发帧数Fig. 1.给定遭受显著相机抖动和噪声（顶部行）的全分辨率手机相机图像的突发，我们的方法恢复对底层图像（中间行）的尖锐估计水平序列显示了我们针对越来越多的输入帧的解决方案;最右边的结果使用了所有八个图像。底行示出了Wieschollek等人的现有技术神经突发去模糊方法的相同进展[33]（使用其软件实现计算）。请注意，我们的方法如何解决了在任何输入中难以或不可能通过眼睛可靠地辨别的细节：例如，右边缘处的数字023-002（放大图中所示）出现在第四帧附近的解决方案中，并且随着图像的添加而逐渐变得这些是受试者的实际数字（请参见验证照片的补充材料还注意到噪音的大幅降低本文中的图像最好以数字方式查看。Wieschollek等人[33个]输入帧我们的结果4M. Aittala和F. 杜兰德2相关工作2.1图像恢复从模糊的观察中恢复清晰的图像是一个长期的研究课题。Wang和Tao[32]最近对解决这个问题的方法进行了调查当模糊核已知时，去卷积算法寻求稳定地反转线性卷积运算当内核未知时，盲反卷积涉及更具挑战性的情况[10，20，2]。各种方法使用神经网络来估计来自图像的模糊核，并且应用经典的非盲去卷积算法来执行实际的去模糊，或者作为单独的步骤或者作为网络的集成部分[31、28、4、35]。其他方法避开了经典的去卷积，并训练CNN直接输出清晰的图像。Nah等人[22]和Noroozi等人[23]使用多尺度端到端卷积架构去模糊单个图像。Nah等人[22]和Kupyn等人[19]使用基于鉴别器的损失，这鼓励网络在去模糊图像中产生逼真的内容。缺点是，网络原则上可能需要发明虚构的细节，以实现现实主义的外观。我们认为这个方向在很大程度上正交于我们的，并专注于从输入突发提取最大量的多帧方法各种去模糊方法考虑组合来自多个模糊帧的信息[3，29，38，37，39]。Delbracio等人[7]表明，对于静态场景，多帧盲去卷积的典型困难可以通过在傅立叶域中组合每个帧的功率谱的良好保存的部分来避免。Wieschollek等人[34]通过使用神经网络确定去卷积滤波器和频谱平均权重来扩展这一点。最近Wieschollek et al.[33]提出了一种神经方法，用于通过使用当被馈送新帧时更新估计的递归神经结构，从模糊图像的任意长度突发直接预测清晰图像。我们的方法针对相同的问题，具有根本不同的网络架构，而是同时将所有图像视为一组任意大小的图像。一些方法还旨在去除由视频中的个体对象的移动引起的局部模糊[30，33，15，5]。我们的方法专注于相机抖动引起的模糊，其中帧之间的相关性较弱，帧排序具有较小的尽管如此，我们证明，在实践中，我们的方法是适用于流对齐的一般运动数据的苏等人。[30]第30段。多帧突发思想最近也被应用于去噪[12，11，21]。虽然我们的主要关注点是去模糊，但我们用噪声很大的图像训练我们的模型，以提高对现实世界成像缺陷的鲁棒性因此，我们的方法也学会了去噪的突发到一个显着的程度。基于排列不变CNN的突发图像去模糊52.2排列不变性大量的推理问题涉及输入数据的无序集合。例如，欧几里得空间中的点云没有自然排序，因此我们从它们计算的任何全局属性不应取决于点以什么顺序提供。这同样适用于从i.i.d.得出的推论。(or更一般地，可交换的）随机变量的实现，例如在最大似然和贝叶斯估计中的对于神经网络，切换一对输入的位置通常会改变输出，这是有充分理由的：图像中像素的特定排列强烈地指示所描绘的主题，并且句子的含义取决于单词的顺序。然而，这对于集值数据是有问题的，因为人们不能选择不分配排序。这是适得其反的，因为网络将试图赋予订单一些意义。一个常见的论点是，在实践中，网络应该知道输入顺序是不相关的，但这种说法在理论上是不令人满意的，在经验上是可疑的。可能的是，置换不变性不容易学习，并且必须分配大量的网络容量以实现其近似。各种最近的工作已经认识到这个缺点，并提出了处理无序输入的原则性的方式架构。Zaheer等人[36]分析了集值函数的一般特性，提出了一种利用对称池层构造置换不变神经网络的框架。瑞中泰等[24]提出了一个类似的点云数据池架构。Edwards和Storkey [8]使用对称池来学习从数据集中提取有意义的统计数据Herzig等人[13]应用类似的思想来实现描述图像中对象的层次关系的结构化场景图中的置换不变性。Korshunova等人[18]解决了通过可证明的置换不变递归架构从一组观察中进行概括的学习我们在3.1节中详细讨论了这些想法，并将其扩展到图像翻译CNN3方法我们的方法由卷积神经网络组成，当输入一组模糊和有噪声的图像时，该卷积神经网络输出恢复的我们在第3.1节中描述了网络架构，并在第3.2节中描述了用于训练它的合成数据生成管道。3.1网络架构Zaheer等人[36]和Ruizhongtai et al.[24]表明，任何将无序集映射到正则向量（或图像）的函数都可以通过神经网络近似如下。首先处理集合的各个成员6M. Aittala和F. 杜兰德我输入1输入2...输入N......预测图像图二.我们的网络架构概览。每个输入帧由具有绑定权重的相同U-Net [25]的副本处理，但信息在副本之间重复交换。这是通过在所有帧中计算每个动作的最大值并将“全局特征”库与每帧局部特征进行比较来实现的在编码器-解码器循环之后，轨道通过最终的最大池化被折叠，并且被处理成干净图像的联合估计。观察到输入顺序的改变不会改变输出，并且它们的数量可以是任意的。层的详细视图见图3分别由相同的神经网络与捆绑权重，产生一个向量（或图像）的功能，为他们每个 然后通过对称操作，通过评估每个特征的平均值或最大值，将特征汇集在一起。因此，如果对于集合中的第k个元素，将该元素放置在u处，x池化= maxkxk。个人成员然后被遗忘，和汇集我我特征由另外的神经网络层以常规方式处理其关键思想是，通过端到端训练，每个成员的网络将学习输出池化有意义的特征;直观地说，这一点表现为一种“vot e“，它将联合国系统的任务放在了目标任务上。然后，剩余的层从该一致性中提取期望的输出。注意，池化的对称性使得该方案完全置换不变，并且与输入集的基数无关在我们的上下文中，该方案为突发中的各个帧提供了一种原则机制，用于贡献其关于清晰图像的可能内容的局部发现。我们将其应用于U-Net风格的架构[25]，即一个经过验证的通用模型，用于转换图像[14]。U-Net是一个具有两种“编码”的网络结构，它可以将信息平均地还原为低分辨率，并将扩展和数据库“编码”为完整基于排列不变CNN的突发图像去模糊7...连续转换1x1跳过连接conv4x4，步幅2...跳过连接concatconv1x1conv3x3代诺夫4x4，步幅2...编码解码图三.图2中的U-Net的单个编码器下采样单元（左）和对应的解码器上采样单元（右）的放大视图，其通过跳过连接连接绿色节点表示我们引入的层。最大池层将信息传输到其他磁道或从其他磁道传输信息;请注意，如果没有它们，架构将简化为常规的U-Net。我们在除最后一层之外的所有层中使用指数线性单元形象在编码器和解码器中的相应大小的层之间使用跳过连接，以帮助在不同尺度下重建细节我们的高级架构如图2所示：如上所述，每个输入由相同U-Net的绑定副本处理，并且结果被最大汇集到最后，并进一步处理成清晰图像的估计。 我们另外引入中间池化层，然后将池化“全局数据”块的连接到本地。 这使得能够以置换等变的方式在集合的成员之间进行重复的来回信息交换。这是以相对较低的额外计算成本通过在每次池化之后使用1×1卷积将全局特征融合到局部特征中来实现的。有关U-Net各个单元中的层连接的更详细说明，请参见图3。确切的详细信息可在补充附录和相关代码发布中获得。我们还用均值池代替最大池进行了实验，发现这个变体的性能是相似的。注意，通过省略最终的池化，人们最终以用于以置换等变方式将图像集转换为图像集的方法代替 虽然我们没有利用这些变化，但它可能具有解决其他问题的能力。3.2训练数据我们用来自Imagenet [26]数据集的照片的合成降解作物的突发来训练我们的方法降级是在TensorFlow [1]中动态生成的。影响的严重程度和突发内变化是随机的，以鼓励网络鲁棒地利用不同的线索。我们还考虑噪声与像素间的相关性，未知的伽玛校正，和条纹造成的模糊曝光过度的图像区域。我们生成分辨率为160× 160的训练对，其中输入是退化的突发，目标是相应的干净图像。的长度对于每个小批量，突发在1和8之间随机化。图4显示了各个内核和噪声的示例，以及来自我们的流水线的完全降级的突发。我们在下面给出了每个组件的概述8M. Aittala和F. 杜兰德a）、b）、c）、d）、e）、GT结果见图4。(a)：由我们的合成训练数据生成器生成的模糊核和噪声- N〇ticetatmanyfheer nelss spanseverdo zenpixels。 （b）-（e）：将来自虚拟数据集、低功耗工作流的预测和地面实况目标的数据融合在一起。请注意爆发的不同难度，以及饱和天空（e）上动态范围扩展方案的条纹核生成我们通过将干净的照片与随机核进行卷积来模拟相机抖动。每个核是作为128步的随机行走生成的，首先从单位正态分布中绘制2D加速度矢量，并通过一对（阻尼）累积和将它们积分为速度和位置，注意从静止分布中选择初始速度。然后，我们将每个内核集中在原点，以避免帧和训练目标之间的随机不对齐，并将其标准化为单位变量。 我们将随机计算应用于突发的内核，并随机计算突发中的各个内核。个体变化是随机化的，使得一些突发具有均匀大小的内核，而其他突发是小的和大的内核的混合。为了鼓励适度的散焦去模糊，我们用小的随机偏移扰动点。最后，通过加性散射操作将随机游走位置累积成大小为51× 51的位图产生期望的卷积核。噪声产生各种因素在成像噪声中引入像素相关性，并给出了一个“大块”应用：B阵列、两个图像的像素相关性、图像的像素相关性、压缩等。我们模拟这些效果与启发式噪声生成管道，模仿典型的相机噪声的视觉外观。为此，我们给一个身份证。通过随机卷积、ReLU非线性和随机上下采样的组合来处理高斯噪声图像，并以随机比例相加和相乘地应用它。基于排列不变CNN的突发图像去模糊910其他成像效果我们的方法针对的是经过未知伽马校正和颜色处理的真实图像。 由于运动模糊发生在线性空间中，因此我们在模糊之前对合成图像进行线性化，然后重新应用伽马校正。由于我们不知道每个Imagenet图像的真实gamma值，我们只需在1 .一、5和2. 5. 该过程引入了正确的后模糊非线性，并鼓励对输入图像可能遭受的各种未知非线性的鲁棒性在测试时，我们不执行与伽马相关的处理。可见光源和明亮的高光区域在模糊时通常表现为细长的条纹（参见例如图10c）。这种效果在合成模糊的低动态范围图像中不会再现，因为它们的像素强度在相对较低的值处饱和。我们重新引入虚构的高动态范围的内容之前，通过添加强度提升的图像数据到饱和区域从其他图像在同一个小批量模糊。模糊后，我们剪辑图像值再次。这种效果通常令人惊讶地令人信服（见图4e）。3.3技术细节我们利用L（a，b）=1上的 损失函数 ||a−b||1个以上||a−||1，其中rec-putes（未归一化）水平和垂直方向有限差分。该加权赋予重建图像边缘额外的重要性我们在所有层上使用权重归一化[27]和相关的数据相关初始化方案来稳定训练。该方法在TensorFlow [1]中实现 我们使用Adam [16]优化算法训练模型，学习率为0。003和0.999997的每次迭代衰减 我们训练400 000次迭代 ， 其 中 小 批 量 大 小 为 8 个分 割 的 acros，与 NVIDIAG TX1080TIGPU’s。 这是一个艰难的55小时。对于大型图像，我们在重叠的滑动窗口中应用网络，并在重叠处进行平滑混合。U-Net的缩小周期为网络提供了一个适度宽的接受域。该方法自然地处理内核在图像上缓慢变化的输入。运行时间大致线性地依赖于输入图像的数量以及它们的像素计数。对于1200万像素的8帧连拍，评测采取1 .一、在单个GPU上运行5分钟。该模型具有大约40M个参数。突发帧使用密集对应与单应性预对准。与ECC算法的一致性[9]。每1200万像素的帧大约需要18秒像素完美对齐似乎不是关键的;在我们的许多评估数据集中可以看到少量的视差。4结果图1和图5示出了来自我们的方法的针对在低光条件下用颤抖的手拍摄的各种具有挑战性的突发的结果的选择。这些连拍是用iPhone SE的后置摄像头拍摄的。我们使用原始格式来绕过相机软件的（对我们来说）适得其反的去噪。我们10M. Aittala和F. 杜兰德......突发帧1帧2帧3帧4最后一帧....使用所有帧使用单个帧1- 2个帧1 - 3个帧1 - 4个帧使用所有帧........图五.一个选择的结果，具有挑战性的突发从手机相机在全分辨率。这些突发的全长分别为12、5和10帧。我们展示了前四个和最后一个输入，以及整个突发的全分辨率输出，以及中间和全突发输出的作物。请参阅补充材料的全尺寸图像，以及结果从循环神经模型的Wieschollek等人。[33]在这些图像中。输入输入输入结果结果结果基于排列不变CNN的突发图像去模糊11a）、b）、c）、代表性输入Delbracio等人[7] Wieschollek等人[33]我们的见图6。Delbracio等人数据集的代表性结果。[7]，对于Delbracio等人的方法。[7]（FBA），Wieschollek等人。[33]（RDN）和我们的方法。总的来说，我们的结果更清晰，并且遭受更少的伪影，如过度锐化。请特别注意车牌中清晰的细节，车漆上镜面高光中正确去除的条纹，以及阳台栏杆上的无伪影网格。 对于（c），地面实况可用：获得的SSIM值为0。9456，0. 8764和0。9578。我认为这个数据集比文献中现有的数据集更具挑战性。这些照片是在其原始分辨率，这意味着抖动内核相对较大，噪声没有被平均下来。我们避免包含非常幸运的图像，这可能会导致过于乐观的结果。总的来说，我们的方法恢复显着清晰的图像比那些在输入突发。结果是很大程度上没有高频噪声，并没有表现出系统的文物，除了模糊的区域低帧计数。该方法通常提取由全突发共同保留的信息，但可以说不能从任何单独的帧中恢复4.1比较和实验突发去模糊我们比较我们的方法，最先进的神经突发去模糊方法Wieschollek等人的状态。[33]在图1、6和7中。在图6中，我们使用了作者提供的结果图像，在其他地方，我们公开使用了他们12M. Aittala和F. 杜兰德猝发帧数见图7。当被解释为突发（并通过单应性对齐）时，标准的dec_n_v_o_ [17]在第三个位置上有一个“锁键我们的方法成功地拾取了它，并且一旦它被包括在突发中，就产生一致的尖锐估计。接近末尾的质量差的帧也被成功地忽略。相反，Wieschollek等人的RDN方法[33]没有考虑幸运帧，而是专注于逐渐改进初始估计。这表明，一个循环的架构努力给予一个统一的考虑，它是所有的帧。可用的软件实现。有关其和其他方法的进一步结果，请参阅补充材料[7，34，29，38]。图6显示了Delbracio等人的数据集的比较结果[7]，其中包含使用不同相机拍摄的各种真实世界的连拍（我们也包括他们的结果）。虽然所有的方法都在这个数据集上提供了良好的结果，但我们的方法始终揭示了更多的细节，同时产生更少的伪影并表现出更低的噪声水平许多这样的爆发包含幸运的清晰帧，只有适度的模糊和噪音。在我们捕获的更具挑战性的数据集中，Wieschollek等人的方法。[33]没有达到可比的质量，如图1所示。图7显示了K？hleletal的数据。 [17]，其中可能是清晰和极其模糊的帧的混合。我们的方法成功地拿起幸运帧的序列，而Wieschollek等人的经常性架构[33]他没有正确地将其纳入其运行估计。 这种行为是通过与地面thuth的数值比较来证实的;这些结果和进一步的数值实验参见补充附录文档。虽然我们认为一般对象运动去模糊超出了我们的范围，但我们的方法原则上与Su等人的深度视频去模糊方法的基于流的帧配准方案[30]如图8所输入是五个帧的序列，其中移动对象已经通过光流变形以匹配中心帧（即，中心帧）。第三）。我们的网络没有经过训练来处理变形伪影，并且无法清理它们，但除此之外，我们的结果更清晰。相反，当应用于图1的五帧序列（以最清晰的帧为中心）时，来自Su等人的结果[30]比我们的更吵更模糊RDN我们输入基于排列不变CNN的突发图像去模糊13中框Su等人[30] Ours Su et al. [30个](see图1）见图8。我们的方法适用于流对齐的五帧视频段与移动对象从苏等人。[30]第30段。我们的结果显示了汽车引擎盖上的伪像，因为它没有经过训练来处理输入数据中的失真，但在其他方面更清晰（注意轮胎和标志上的文本）。应用到我们的数据从图1，苏等人。[30]不达到同样的质量（对）。单图像盲去卷积为了验证使用我们的方法考虑整个突发提供了优于简单地对最清晰的单个帧进行去模糊的益处图9示出了用我们的方法考虑整个突发导致明显更好的图像。作为一个好奇心，我们还尝试了训练我们的方法对solely单图像“b u r s t s”;在我们的噪声数据上，我们比这些专用的单图像方法具有更好的性能，但在噪声较小的训练数据中噪声和动态范围的重要性虽然我们强调了噪声建模的重要性，但我们方法的主要优点仍然来自于置换不变结构。为了测试这一点，我们用一个朴素的噪声模型训练了我们的方法，简单地在每个训练输入上添加标准差为0.02的独立正态分布噪声图10显示了结果：虽然输出的噪声更大，但在细节解析方面仍然是最先进还示出了省略动态范围扩展方案的效果5结论我们已经提出了一种方法，用于从遭受严重手颤和噪声的照片该方法揭示了准确的图像细节，并在具有挑战性但现实的数据集中产生令人愉快的图像质量，这些数据集是最先进的方法所难以处理的。我们将我们的方法的成功很大程度上归功于网络架构，该架构便于对输入数据进行统一的独立于顺序的处理，并且希望14M. Aittala和F. 杜兰德输入Kupyn等人[19个]Nah等人[22日]我们我们（单幅图像）（单幅图像）（单幅图像）(full突发）见图9。在全突发上使用我们的方法产生的结果明显优于使用最先进的单图像去模糊方法对最清晰的帧（左）进行去模糊[19，22]。这是可以预期的，因为突发包含更多的信息作为一个整体。当专门针对单图像去模糊训练时，当输入遭受严重噪声时，我们的方法还提供了可比或更好的单图像性能a）b）c）d）e）见图10。训练期间噪声和动态范围扩展的影响。(a)当使用我们的全噪声模型进行训练时，图1的数据集的结果（b）当用简单的非相关噪声模型训练(c)来自极度降级的脉冲群的代表性帧。(d)我们的完整模型。(e)训练一个简单的噪声模型，没有动态范围扩展，该方法低估了噪声暗区的强度，并未能集中成一个点的条纹。这些想法将在神经网络中得到更广泛的应用。一系列有趣的问题都具有这样的特点：把分散在一组结构松散的观察结果中的证据融合在一起;人们只需要考虑通过将对应于测量数据的类似项堆叠在一起而经典地处理的无数问题。我们的研究结果还表明，针对低端成像设备或低光摄影的图像恢复方法可以受益于考虑更复杂的噪声和图像退化模型。鸣谢。这项工作得到了丰田研究所的支持基于排列不变CNN的突发图像去模糊15引用1. Abadi，M.，Agarwal，A.，Barham，P.，Brevdo，E.，陈志，西特罗角科罗拉多州科拉多戴维斯，A.，迪恩JDevin，M.，Ghemawat，S. ， 古 德 费 洛 岛 Harp ， A. ， Irving ， G.Isard ， M. ， Jia ， Y. ，Jozefowicz，河凯泽湖Kudlur，M.，Levenberg，J.， 我不去，D。，Monga，R.， More，S.， Mur ay，D. ，Olah，C.， S.h. s.t.r. S·L·N·S，J·，Steiner，B.，萨茨克弗岛Talwar，K.，Tucker，P.Vanhoucke，V.，Vasudevan，V.，Vi'egas，F.， Vinyals，O.， Warden，P.， M.， Wi cke，M.， Yu，Y.， Zeng，X.：TensorFlow：异构系统上的大规模机器学习（2015），www.tensorflow.org/2. Babacan，S.D.，莫利纳河做吧，M.N. Katsaggelos，A.K.：贝叶斯盲反卷积与 一 般 稀 疏 图 像 先 验 。 在 ： Proceedings of the 12th European Conf-fe-nceonComputerVisiosion-VolumeParrtVI. pp. 341-355 ECCV3. Cai，J.F.，Ji，H.，刘，C.，Shen，Z.：使用多个图像的盲运动去模糊J.来吧。我是。228（14），505 74. Chakrabarti，A.：一种盲运动去模糊的神经方法In：ECCV（2016）5. 陈 洪 ， 顾 ， J. ， 加 洛 岛 刘 ， M. ， Veeraraghavan ， A. ， Kautz ， J. ：Reblur2deblur：通 过自监 督学习 对视频 进行去 模糊。In ：2018 IEEEInternational Conference on Computational Photography ， ICCP 2018 ，Pittsburgh ， PA ， USA ， May4-6 ， 2018.pp. 1IEEECommputerSociety（2018）6. Clevert，D.Unterthiner，T.，Hochreiter，S.：通过指数线性单元（elus）进行快速准确的深度网络In：ICLR（2016）7. Delbracio，M.，Sapiro，G.：通过加权傅立叶突发加速器消除相机抖动。IEEETransacti o nso nImageProcessi ng24（11），32938. Edwards，H.Storkey，A.J.：成为神经统计学家。In：ICLR（2017）9. 伊万杰里迪斯Psarakis，E.Z.：使用增强的相关系数最大化的参数图像对准IEEE Trans.模式分析马赫内特尔30（10），185810. 费格斯河辛格湾Hertzmann，A.，Roweis S.T.弗里曼，W.T.：从单张照片中删除照相机阴影。ACMTrans.Graph. 25（3），78711. 戈达尔角Matzen，K.，Uyttendaele，M.：深度突发去噪。Corrabs/1712.05790（2017）12. Hasinoff，S.W.，Sharlet，D.，Geiss河Adams，A.，巴伦J.T. Kainz，F.，陈杰，Levoy，M.：用于移动相机的高动态范围和低光照成像的连拍ACM Transactions on Graphics（Proc. SIGGRAPH Asia）35（6）（2016）13. 赫尔齐格河Raboh，M.，Chechik，G.，Berant，J.，Globerson，A.：用置 换 不 变 结 构 化 预 测 将 图 像 映 射 到 场 景 图 。 CoRR abs/1802.05451（2018）14. Isola，P.，Zhu，J.Y.，周，T.，Efros，A.A.：使用条件对抗网络的图像到图像翻译。CVPR（2017）15. Kim ， T. H 、Le e ， K. M. ，S cho？ lkopf ， B. ，Hirsch ， M. ：Onlinevidededeodebulringviadynamictemporalblendingnetwork.In：Proceedings IEEE International ConferenceonComputerVision （ ICCV ） . pp.4038-4047 IEEE，Piscatawy，NJ，USA（2017年10月）16. 金 玛 ， D.P. ， Ba ， J. ： Adam ： 随 机 最 佳 化 的 方 法 。 载 于 ： ICLR（2015）16M. Aittala和F. 杜兰德17. Küohler，R.， Hir sch，M.， Mohler，B.， S cho？lkopf，B.， Harmeling，S. ：记录和回放相机抖动：用真实世界的数据库对盲反卷积进行基准测试。参见：Fitzgibbon，A.，Lazebnik，S.，Perona，P.，Sato，Y.，施密德角 （ 编 辑 ） C 〇 mputerVisision-ECCV2012.pp.27 比 40SpringerBerlinHeidelberg，Berlin，Heidelberg（2012）18. K orshunova，I.， Degr ave，J.， Husza'r，F.， Gal，Y.， Gretton，A.， 我的兄弟J. ：AGen-可交换数据的迭代深度递归模型ArXiv电子版（2018年2月）19. 库宾岛布赞Mykhailych，M.，米什金，D.，Matas，J.：Deblurgan：使用条件对抗网络进行盲运动去模糊。CVPR（2018）20. Levin，A.，Weiss，Y.，Durand，F.，弗里曼，W.T.：了解盲解卷积-你 要 把 他 带 走 。 IEEETrans.Pat tt ernAnal.Mach 。 我告诉你。33（12），235421. Mildenhall，B.， 巴伦J.T. 陈杰， Sharlet，D.， Ng，R.， 卡罗尔，R.：突发用核预测网络去噪CVPR（2018）22. 不S金T.H. Lee，K.M.：深度多尺度卷积神经网络用于动态场景去模糊。IEEE计算机视觉与模式识别会议（CVPR）（2017年7月）23. Noroozi，M.，Chandramouli，P.，Favaro，P.：运动去模糊在野外。于：Roth ， V. ， Vetter ， T. （ 编 辑 ） Pattern Recognition-39th GermanConference，GCPR 2017，Basel，Switzerland，September 12-15，2017.计算机科学讲义，卷。10496，pp.六十五电影Springer（2017）24. Qi，C.R.，Su，H.，Mo K Guibas，L.J.：Pointnet：点集的深度学习3D分类和分割。在：2017年IEEE计算机视觉和模式识别会议，CVPR2017，檀香山，HI，美国，2017年7月21日至26日。pp. 七十七比八十五IEEEComputerS ociety（2017）25. Ronneberger，O.，P.Fischer，Brox，T.：U-net：生物医学领域的卷积网络标准图像分割在：医学图像计算和计算机辅助检查（MICCAI）中。LNCS，vol.第9351页23402TheDog（2015）26. Russakovsky，O.，Deng，J.，Su，H.，Krause，J.，Satheesh，S.，妈妈，S.，黄志，Karpathy，A.，Khosla，A. Bernstein，M. Berg，A.C.，李菲菲：ImageNet大规模视觉识别挑战。International Journal of Computer Vision（IJCV）115（3），21127. Salimans，T. Kingma，D.P.：权重归一化：简单的重新参数化来加速深度神经网络的训练在：NIPS（2016）28. S chuler ， C. J.Hir sch ， M. ， H_arme_lingg ， S.S choülkopf ， B. ：Learningtodeblur. IEEETransactionPater nAnalysisandMachineIntel i gence38（7），143929. Sroubek，F.，Milanfar，P.：鲁棒的多通道盲反卷积快速变换算法natingminimi zation. IEEETransacti onsonImageProcessing21（4），168730. Su，S.，Delbracio，M.，王杰，Sapiro，G.，Heidrich，W.，Wang，O.：深度视频用于手持相机的去模糊In：Proceedings of the IEEE Conference onComputerVisinandPatternRecognition. pp. 127931. 孙，J.，Cao，W.，徐志，Ponce，J.：学习卷积神经网络非均匀运动模糊去除。2015年IEEE计算机视觉与规划研究会议（CVPR）76932. 王，R.，Tao，D.：图像去模糊的最新进展CoRR绝对值/1409.6838（2014年）33. 当我看到霍尔克时， Hi r s ch，M.， S cho？lkopf，B.， Lensch，H. ：Learningbl in gmotinde- 模 糊 。 IEEE International Conference on ComputerVision（ICCV 2017）pp. 231基于排列不变CNN的突发图像去模糊1734. 当我看到霍尔克时， S cho？lkopf，B.， Lensch，H. P. 一、 Hirsch，M. ：用于图像突发去模糊的End-to-Endlearninging。In：Lai，S.H.，莱佩蒂Nishino，K.佐藤，澳-地（编辑）ComputerVision- A C C V 2016. pp. 35比51SpringgerInternationalPublishing，Cham（2017）35. 徐，X.，Pan，J.，Zhang Y.J.，吴Y：经由深度学习的运动模糊核估计。IEEETransacti o nso nImageProcessi ng27，19436. Z aheer，M.， K o ttur，S. ，Ravanbakhsh，S.， P'o czo s，B.， S a lakhutd i nov ， R. R. ， S mol a ， A.J. ： 深 套 。 In ： Guyon ， I. ， vonLuxburg ， U. ， Bengio ， S. ， Wallach ， H.M. 费 格 斯 河 Vishwanathan ，S.V.N.，加内特河（编辑） 神经信息处理系统的进展30：神经信息处理系统2017年年会。pp. 339437. 张洪，Carin，L.：多次激发成像：联合对齐、去模糊和分辨率增强。2014年IEEE计算机视觉与专利研究会议。pp. 292538. 张洪，Wipf，D.，张毅：基于自适应稀疏先验的多观测盲反卷积。IEEE Transactions on Pattern Analysis and MachineIntel-lige nce36（ 8） ，162839. 张洪，Yang，J.：通过利用帧间相机运动的帧内去模糊。2015年IEEE计算机视觉和模式识别会议（CVPR）。pp. 4036