探索性超分辨率任务的框架与神经网络的研究

用我们的方法产生的其他完全一致的重建1探索性超分辨率Yuval Bahat和Tomer MichaeliTechnion-以色列理工学院，以色列海法{yuval.bahat@campus，tomer.m@ee}. technion.ac.il低分辨率输入ESRGAN图1：探索LR图像的HR解释。现有的SR方法（例如，ESRGAN [26]）只对输入图像输出一种解释。相比之下，我们的探索SR框架允许产生无限不同的感知满意的HR图像，所有相同的匹配一个给定的LR输入，当下采样。请放大以查看细微的细节。摘要单图像超分辨率（SR）近年来有了很大的发展.然而，现有的方法不允许探索可能引起所观察到的低分辨率（LR）图像的无限多个合理的重构。对LR图像的这些不同解释在它们的纹理和精细细节上可能显著地不同，并且通常可能编码完全不同的语义信息。本文介绍了可扩展超分辨的任务。我们提出了一个框架，包括一个图形用户界面与神经网络后端，允许编辑SR输出，以探索丰富的合理的HR解释LR输入。在我们的方法的核心是一个新的模块，可以包装任何现有的SR网络，分析保证其SR输出将精确匹配LR输入，当下采样。除了它在我们的设置中的重要性之外，这个模块还保证减少它所包装的任何SR网络的重建误差，并且可以用于处理与网络被训练的模糊核不同的模糊我们在各种用例中说明了我们的方法，从医学成像和取证到图形。1. 介绍单图像超分辨率（SR）是从单个低分辨率分辨率（LR）图像。近几十年来，人们对这项任务的研究兴趣越来越大，最近基于深度神经网络的方法激增。这些方法表现出显著的性能提升，有些在实现低反射误差方面[4，10，14，24，12，29，11]，有些在产生照片般逼真的HR图像[13，26，23]，通常通过使用生成对抗网络（GAN）[5]。然而，所有现有方法的共同之处在于，它们不允许探索对输入LR图像的大量合理的HR解释，并且通常仅产生单个 SR输出。这是不令人满意的，因为尽管这些HR解释共享相同的低频内容，表现在它们的较粗糙的图像结构中，但是它们在它们的较高频率内容中可能显著变化，例如纹理和小细节（参见例如，图1）。除了影响图像外观之外，这些精细细节通常对关键的语义信息进行编码，如在文本、面部甚至纹理的情况下（例如，区别马和斑马）。现有的SR方法忽略了这种丰富的有效的解决方案，并任意限制其输出到一个特定的外观与其特定的语义意义。在本文中，我们发起了可探索的超分辨率的研究，并提出了一个框架，通过用户编辑实现它。我们的方法由一个图形用户界面（GUI）利用的神经网络组成，该界面允许用户交互式地探索可能引起27162717ESRGAN我们的（预编尝试压印可选数字：产生的相应SR重建：低分辨率输入我们预先编辑的SR涂鸦编辑补丁分发编辑图2：用户编辑过程示例。我们的GUI允许使用各种工具探索合理的SR重建的空间。在这里，使用局部涂写编辑来鼓励编辑的区域类似于用户的图形输入。然后，通过鼓励其面片与源（黄色）区域中的面片相似来编辑整个衬衫区域（红色）。在该过程的任何阶段，输出都与输入完全一致（其下采样版本与输入完全迫使不同的肩肱距离：8 mm 7 mm 6 mm（健康）（临界）（病理）图3：视觉检查感兴趣模式的可能性。给出了一个LR图像的汽车牌照，我们探索可能的有效SR重建，试图使用我们的压印工具（见第二节），操纵中间的数字，使其看起来像任何一个数字-它的0-94）. 虽然地面真实HR数字为1，但根据ESRGAN [26]结果（或我们预先编辑的重建）判断，可能会导致将其错误识别为0。相比之下，我们的结果时，印记数字0，1和8只包含轻微的文物，从而给他们类似的可能性。一个LR图像。一个示例编辑过程如图所示。二、我们的方法适用于许多场景。例如，它使得能够操纵图像以便适合用户可能具有的关于捕获场景的任何先验知识，如改变植物群的类型以匹配捕获时间和位置、根据一天中的捕获时间调整阴影、或者根据图像是在斑马还是马的栖息地中拍摄来操纵动物的外貌。它还可以帮助确定场景中是否存在某种模式或对象。这一特点在许多情况下是非常宝贵的，包括在法医和医疗方面，如图1A和1B所示。3和4分别。最后，它可以用来纠正不愉快的SR输出，这是常见的，甚至与高容量的神经网络模型。伪影图4：目视检查医学病理学的可能性。根据LR肩关节X线图像，我们评估了冈上肌肌腱撕裂的可能性，其典型特征是肩峰肱骨距离小于7 mm（在肱骨（标记为红色）与其上方的肩峰骨之间测量）。为此，我们尝试im-print下移版本（见第二节）。4）肩峰骨。使用图像质量作为其可解释性的代理，我们可以推断出病理的可能性很低，这是由于在强制病理形式时出现伪影（右图）。在SR的实践（i）我们提出了一种新的一致性执行模块（CEM），可以包装任何SR网络，分析保证其输出相同匹配的输入，当下采样。除了它在我们的设置中的关键作用，我们说明了将这个模块纳入任何SR方法的优点。(ii)我们使用具有控制输入信号的神经网络，其允许对LR图像生成为了实现这一点，我们仅仅依靠对抗性损失来提高感知的可信度，而不使用任何重建损失（例如，L1或VGG），用于促进网络的输出和地面实况HR图像之间的接近度(iii)我们通过创建一个包含大量工具的GUI来促进探索过程。这些通过操纵网络的控制信号来工作，我们在Secs中详细阐述了这三种成分。2、3和4。我们的框架（如图所示）（5）三个关键我们的代码和GUI可在线获取。低分辨率输低分辨率输2718我们通过简单地去除所有现有SR方法所使用的反射损耗来鼓励多样性这是通过我们的一致性执行模块实现的。图5：我们的可探索SR框架。 我们的GUI允许通过操纵SR网络的控制信号z来交互式地探索LR图像y我们的CEM用于将网络工作器请参见秒。第2、3、4条，详情1.1. 相关工作基于GAN的图像编辑许多作品采用GAN进行图像编辑任务。例如，Zhuet al. [30]通过搜索满足用户输入涂鸦的图像，同时约束输出图像位于由GAN学习的自然图像流形上来执行编辑。Per- arnau等[21]建议通过将编码器与条件GAN相结合来在学习的潜在空间中执行编辑。Xian等人[28]通过允许用户放置所需的纹理补丁，方便了纹理编辑。 罗特·沙哈姆等人[23]仅在要编辑的图像上训练他们的GAN，从而鼓励他们编辑的输出保留原始图像特征。虽然我们的方法也允许遍历自然图像流形，但它与以前的方法不同，因为它强制执行硬一致性约束（限制所有输出在下采样时与LR输入完全匹配）。基于GAN的超分辨率大量的工作已经显示出使用条件GAN（cGAN）生成照片般逼真的SR重建的优势[13，26，22，25，27]。与经典的GAN不同，cGAN为生成器提供额外的数据（例如，LR图像）以及随机噪声输入。生成器然后学习合成新数据（例如.对应的SR图像）。然而，在实践中，基于cGAN的SR方法通常仅向其生成器馈送LR图像，而没有随机噪声输入。因此，它们不产生不同的SR输出。虽然我们也使用cGAN，但我们确实将控制输入信号添加到生成器的LR输入，这允许编辑其输出以产生不同的结果。几种用于图像翻译的cGAN方法通过保持额外的随机输入[31，3，9]来瞄准输出在我们的方法中，2. 一致性实施模块我们希望我们的可探索SR方法的输出在感知上是合理的，并且与LR输入一致为了鼓励感知能力，我们采用了利用对抗性损失的常见做法，这会导致与自然图像统计数据的偏差。为了保证一致性，我们引入了一致性强制模块（CEM），这是一种可以包装任何给定SR网络的架构，使其内在地满足一致性约束。这与现有的SR网络形成对比，现有的SR网络不能完美地满足该约束，因为它们仅通过SR图像上的反射损失间接地CEM不包含任何可学习的参数，并且与现有SR网络架构相比具有许多显著的优势接下来，我们导出我们的模块。假设我们被给出一个低分辨率图像y，它通过下式与一个未知的高分辨率图像x相关y=（h<$x）↓α。（一）这里，h是与相机的点扩散函数相关联的模糊核，λ表示卷积，而↓α表示因子α的子采样。稍微滥用符号，（1）可以写成矩阵形式，y=Hx，（2）其中，x和y现在分别表示HR和LR图像的矢量化版本，矩阵H对应于与h的卷积和α的子采样。这个方程组显然是欠定的，使得不可能在不增加任何误差的情况下从y唯一地恢复x。我们将满足该约束的nyHR图像x设为与LR图像y一致。我们想构造一个模块，它可以投影任何不一致的重建x射线（例如，预先训练的SR网络的输出）到由（2）定义的仿射子空间因此，它的一致输出x是minx−xin c2s. t.Hx=y。（三）x直观地说，这样的模块将保证x的低频内容与地面实况图像x的低频内容（以y表示）相匹配，使得SR网络应当仅负责可重构地重构高频内容（例如，锐利的边缘和精细的纹理）。像（3）这样的问题经常出现在抽样理论中（见例。[17]），并且可以使用几何学观点方便地求解。具体来说，让我们利用这一事实，Sr净GUICEM（图六、2719=CEM图6：CEM架构。由Eq.给出的CEM。（8）、可包一个任意大小的SR网。 它将其输出x_xinc投影到下采样时与输入y完全匹配的图像空间上，从而产生保证与y一致的超分辨率图像x_xinc。 参见第 2详情PN（H）n=HT（HHT）−1H是N（H）n上的正交投影矩阵，N（ H） n是垂直于H的零空间的子空间。现在，将（3）中约束的两侧乘以HT（HHT）-1，得到表1：使用CEM包装预先训练的SR网络。BSD 100数据集[15]的平均PSNR值，超分辨因子2、3和4。仅仅用我们的CEM包裹网络只能改善重建误差，如第2行中的轻微PSNR增加所示。因此，给定模糊内核2h，我们可以计算出现在（8）中的滤波器，并将其未学习的权重硬编码到我们的CEM中，CEM可以包装任何SR网络，如图6所示（参见补充信息以了解填充细节）。在将其纳入我们的方案之前，我们注意到CEM在以下两个方面对任何SR方法都是有益的减少重建误差只是包装一个预-PN （H）x=HT（HH T）−1y。（四）经过训练的SR网络，输出x由我们的CEM计算，只能减小其重构误差w.r.t.地面实况X，如这表明我们应该严格地使x∈N（H）∈ N的分量等于（4）的右边。因此我们只能尽量减少目标-x Inc-x2≥PN（H）（xInc -x）第2条（a）款（b）第（1）款N（H）（x−x）22通过仅操作位于H的零空间中的互补分量PN （H ）xn，将目标分解为两个子空间，<$PN （H）（x<$−x<$inc）<$2+<$PN （H）<$（x<$−x<$inc）<$2，（5）我们看到PN （H）x只出现在第一项中，当设置为在c中，PN（H）xN=PN（H）xN。（六）结合（4）和（6）中的两个分量，并使用PN（H）=I-HT（HHT）-1H的事实，我们得到：x=PN （H） x+PN （H） x=（I−HT（HH T）−1H）xinc+HT（HH T）−1y。（七）为了将（7）转换为可以将输出x_y_SR封装在c中的实际模块，我们需要将涉及非常大的H矩阵的不切实际的乘法运算替换为它们的等效运算：卷积、下采样和上采样。为此，我们观察到，由于H对应于与h的卷积，然后进行子采样，因此HT对应于上采样接着是与h的镜像版本的卷积，我们用h表示。然后，乘以（HH T） −1可以通过与滤波器k进行卷积来代替，滤波器k通过在傅立叶域中计算滤波器（hh）↓α的逆来构造因此，我们有，Sr净插值高通2×3×4×EDSR [14]35.9732.2730.30EDSR+CEM36.1132.3630.372720=x−x。（九）这里，（a）由（6）得出，（b）由（4）得出，这意味着<$PN （ H ） <$（x<$−x）<$2=0（如 PN （ H ）<$x<$=HT（HH T）−1Hx=PN（H）<$x）。这在Tab中显示。（1），其报告由EDSR获得的PSNR值网络[14]有和没有我们的CEM，对于几个不同的SR比例因子。采用非默认下采样内核基于深度学习的SR方法通常在通过使用特定下采样内核（通常是双三次内核）对HR图像进行下采样而获得的LR图像上进行训练。这构成了一个主要的缺点，因为当处理与不同内核对应的LR图像时，它们的性能显著降低，就像大多数真实图像的情况一样[18，24]。这个问题可以使用我们的CEM来缓解，CEM在测试时将下采样内核作为其组装时的参数。因此，它可以用于将使用某个默认内核预训练的给定网络采用为与LR图像相对应的内核图7展示了使用[2]的核估计方法在真实LR图像上的这种方法的优点。3. 可编辑SR网络为了实现我们创建可探索的超分辨率网络的主要目标，我们开发了一个新的框架，该框架包括一个带有神经网络后端的GUI（见图2）。（五）。我们的SR网络不同于现有的SR方法在两个核心方面。首先，它能够产生x=x Inc-hk（hxInc）↓α↑α+h （八）2当h未给定时，我们默认使用双三次模糊核。2721N多样性（σ）感知。质量（NIQE）重新开始误差（RMSE）ESRGAN03 .第三章。5±0。9十七岁3±7。2带z的3 .第三章。6±1。73 .第三章。7±0。8十七岁5±6。9我们7 .第一次会议。2±3。43 .第三章。7±0。9十八岁2±7。4低分辨率输入ESRGAN ESRGAN+CEM图7：在测试时考虑不同的模糊内核。CEM可用于将任何SR网络采用到除其训练的模糊核之外的模糊核我们 在 一 个 真 实 的 LR 图 像 上 演 示 这 个 。 在 这 里 ，ESRGAN [26]使用双三次内核进行训练，产生模糊的结果。然而，用我们的CEM包装它，用[2]估计的内核，会导致更清晰的重建。核心响应内核在每个图像上可视化。对于n y个输入LR图像y，各种各样的合理的和固有一致的HR重建x∈R。这要归功于CEM，它省略了使用任何重建损失的需要（例如，L1或VGG），用于驱动输出平均接近对应的地面实况训练图像。这种损失使输出偏向于LR图像的所有可能解释的平均值，因此对于探索的目的其次，我们的网络包含一个控制输入信号z，它允许遍历这个看似合理的图像流形，以便在输出x上实现各种操作效果。使用我们的GUI，用户可以手动调整z以实现简单的效果（例如，控制梯度的方向和大小，如图所示。8）或使用我们的任何自动操作工具，作为输入，例如用户涂写或要压印的一些图案（参见图1和图2）。2-4 、10、12）。我们使用与ESRGAN相同的网络架构[26]，但通过CEM进行训练，并通过最小化包含四项的损失函数，L Adv +λ Range L Range +λ Struct L Struct +λ Map L Map。（十）表2：SR结果的质量和多样性。我们报告了多样性（标准差，越高越好），感知质量（NIQE [19]，越低越好）和RMSE（越低越好）。更好），对于BSD 100测试集上的4×SR [15]。值测量超过50个不同的SR输出每个输入图像，produced通过注入50个随机，空间均匀的z输入。请注意，我们的模型在没有任何完整参考损失项的情况下进行训练，在多样性方面表现出显着的优势，同时表现出类似的感知质量。有关本实验的更多详细信息，请参见最后两个损耗项L_Struct和L_Map与控制信号z相关联。接下来我们详细说明控制机制和这两种惩罚。3.1. 显示控制信号如上所述，为了能够编辑输出图像x，我们引入控制信号z，除了输入图像y之外，我们还将其馈送到网络。我们将控制信号定义为z ∈ Rw×h×c，其中w× h是输出图像x的尺寸，c=3，以满足所有复杂的编辑能力（见下文）。为了防止网络忽略该附加信号，如在[7，16]中针对类似情况所报告的，我们遵循[20]中的实践，并将z连接到网络的每一层的输入，其中具有较小空间维度的层与z的空间缩减版本连接。在测试时，我们使用该信号来遍历合理的HR重建空间。因此，在训练时，我们希望鼓励网络将不同的z输入与不同的HR解释相关联。为了实现这一点，我们在训练期间注入随机z将该输入信号转换为原始的ESR- GAN方法已经影响了输出分集。这可以在Tab中看到。图2比较了vanilla ESRGAN方法（第1行）及其变体，如上所述，用z进行了增强（第2行），两者都训练了额外的6000给你，我Adv 是一种对抗性的损失，使用原始ESRGAN损失的发电机步骤。然而，在这方面，我们可以获得更大的多样性。 具体来说，回忆网络输出遵循自然图像的统计我们特别使用带有梯度惩罚的Wasserstein GAN损失[6]，并避免使用ESRGAN中使用的相对论判别器[8]，因为它会引起一种完全的参考监督。第二个损失项LRange针对超出有效范围[0，1]的像素值进行归一化，从而有助于防止模型发散。我们2722使用LRange=1<$x<$−<$p[0，1]{x<$}<$1，其中N是pi x els的数量。的与原始ESRGAN相反，在我们的损失中，我们不使用抵抗分散性的重建（全参考）惩罚。效果可以在Tab的第3行看到.2，这对应于我们为相同数量的步骤3仅使用LAdv和LRange损失项。 注意3第2行和第3行模型中对应于z的2723低分辨率输入预编辑输出通过手动编辑空间导数生成的输出编辑编辑区域区域弱梯度强梯度强垂直梯度强水平梯度图8：操纵图像梯度。用户可以探索不同的感知上合理的纹理（例如，山鸡所有三个模型在感知质量方面是相同的既然我们的网络的输出强烈依赖于z，我们继续使这种依赖性易于用户操作。为了允许手动控制，我们希望对z进行简单的修改，以产生直观的变化。为了允许基于优化的操作，我们希望确保任何合理的输出图像都可以由某个z生成。这两个要求是由（10）式中最后两个损失项所鼓励的，我们将在下面描述。为了允许直观的手动控制，我们鼓励对z的空间均匀扰动来影响输出图像x的空间导数。图8演示了如何操纵梯度 我们选择将这3个z的通道与x的结构te矩阵的3个自由度，x的结构te矩阵是由下式定义的2×2矩阵：Sx=（x（，η））（x（，η））Tddη. 我们对这个链接进行通过损失项LStruct，将期望的结构张量Sd（由随机采样的空间均匀z确定）与对应于实际网络输出的张量Sx通过L图损失促进基于优化的编辑LR版本说明图9：L映射的效果。将LMap损失项引入我们模型乌拉尔图像流形 我们通过比较用VS训练的模型来证明这一点。如果没有这个术语，在将数字“8”印在图1的牌照上的任务中，3 .第三章。3.2. 培训详情我们使用800个DIV2K训练图像来训练我们的网络[1]。我们使用标准的双三次下采样内核，既用于生成LR训练输入，又作为CEM中的h（等式。（8）），并为我们的网络提供64×64的输入补丁，这些补丁是从这些LR图像中随机裁剪的。我们初始化使用预训练的ESRGAN [26]模型的网络权重，除了与输入信号z对应的权重，我们将其初始化为零。我们在λRange=5000，λStruct=1和λMap=100的情况下最小化（10）中的损失。我们将Wasserstein GAN梯度惩罚权重设置为λgp=10。我们建立评论家我们表示我们的净产量为x=（y，z），我们将使用48的批大小并训练1080K步。我想保证机器人可以产生每一个可能的信息，年龄x 为此，我们引入损失项LMap=minz（y，z）−x1，其惩罚真实自然图像x和使用某个信号z的最佳可能近似。在每个训练步骤中，我们首先求解z上LMap的内部最小化，进行10次迭代，然后冻结此z以最小化（10）中的所有损失项。请注意，与此相反对于LStruct，它只涉及空间均匀的z输入，LMap中的z最小化将我们的网络暴露在训练期间的整个z空间中，鼓励其映射到整个自然图像流形上。图9说明了如何结合LMap损失项来提高我们的模型ESRGAN模型从第一行.4. 编辑工具我们将我们的训练SR网络中描述的。3作为编辑GUI的后端引擎，其允许通过适当地成形控制信号z来操纵输出SR图像x。我们的GUI包括几个工具，可以应用于图像的选定区域，我们通过仅操作z的相应区域来实现（回想一下，z和x的维度是相同的）。最基本的工具由三个旋钮组成（图中顶部中间）。5）以空间均匀的方式手动控制三通道z信号，从而影响图像结构张量Sxxx（Sec. 第3.1节）。我们使这个工具用户直观的绑定旋钮与特征值decom-位置的Sx的，从而fecting图像梯度。用户2724亮度亮度减少减少眼睛印从眼睛印从外部图像外部图像分段电视分段电视小化小化低分辨率输入我们的预编辑SR操纵方差调整周期性修正斑块分布图10：使用优化z的工具进行编辑。在这里，我们使用我们的方差操作，周期性，补丁字典工具。每一个都在z空间上进行优化，以实现不同的目标。参见第4更多细节低分辨率输入利用我们的编辑工具我们的编辑结果ESRGAN图11：使用涂鸦编辑工具。我们的工具允许恢复小细节和生产criterion和更逼真的图像（相比，例如，ESRGAN[26]）。在这里，我们使用分段平滑工具（TV最小化）来增强牙齿之间的边缘，并使用我们的亮度降低笔恢复额头皱纹。我们从在线可用的（棕色眼睛）马克·鲁法洛的图像中压印眼睛区域，以恢复伊曼纽尔·马克龙蓝眼睛的清晰外观可以控制突出梯度的方向θ和幅度λ1，以及垂直方向上的幅度λ2（八）。为了允许更多样化的复杂编辑操作，我们还提出了优化特定编辑目标的工具（例如：增加局部图像方差）。这些工具调用z上的梯度下降优化过程，其目标是最小化所选目标。这类似于遍历感知上可行的有效SR图像（由我们的网络捕获）的流形，同时保持与LR图像一致（由于CEM）。我们的GUI几乎实时地在每次编辑后重新计算x_（max），范围从基本的几毫秒到几使用z优化工具（使用NVIDIA GeForce 2080）编辑100×100区域的时间GPU）。接下来，我们将简要地调查和演示这些工具，并将每个目标的详细描述留给补充。方差操作这组工具搜索减小或增大像素值方差的z这一点在图中得到了证明10，以产生更平滑的表地图和更有质感的裤子。该工具的变体允许局部放大或衰减现有模式。用户涂鸦我们的GUI包含了大量的工具 用于将用户的图形输入强加在SR图像上2725用户首先在当前SR图像上涂写并选择期望的颜色和线宽。然后，我们的GUI在z上进行优化，搜索满足强加输入的图像x，同时躺在学习的图2（第一次编辑操作）演示了我们如何使用线条涂鸦来创建所需的衬衫图案.该工具的变体（如图所示）11）通过最小化本地TV，能够增加或降低亮度，以及在特定的涂鸦标记上加强平滑度。压印此工具使用户能够施加从外部图像或不同区域获取的低分辨率输入一致的SR重建在同一个图像中。在选择所需区域后，我们的GUI利用CEM将对应于y的低频内容与待压印区域的高频内容相这导致一致的图像区域，但其可能不一定是感知上合理的。然后，我们调用对z的优化，其试图将x轴驱动到接近该一致区域，同时保持在自然图像流形上。示例用法如图1A和1B所示1（最右侧图像）、3、11和4，其中该工具用于图像区域的细微移位。所需的面片字典此工具操作编辑区域，以包含源自所需面片集合的面片。用户首先标记包含所需块的源区域该区域可以从编辑后的图像或从外部图像获取。我们的GUI然后优化z，以鼓励目标编辑区域com-我们使用大小为6×6的贴片。图2（第二次编辑操作）和图10（右）显示了我们如何使用此工具将所需的局部布样（黄色区域）传播到整个服装。此工具的变体允许在忽略其均值的情况下值或方差，以允许忽略源和目标补丁之间的颜色和图案幅度差异。鼓励周期性此工具沿用户标记的一个或两个方向增强图像的周期性。所需的周期长度可以手动调整，如图所示。10，用于生产不同的条纹宽度。或者，用户可以选择增强最突出的现有周期长度，由我们的GUI自动估计。该工具提供了一种简单的方法来探索图像流形。当调用时，它优化z，以同时产生N个不同的SR图像的替代品，通过最大化它们之间的L1距离，在像素空间。然后，用户可以使用每个备选项（或其子区域）作为进一步编辑的基线。该工具的变体约束不同的备选方案以保持接近当前SR图像。我们的方法和编辑工具的广泛适用性进一步在图1和图2中展示。12和13在两个用例中。图12：更多探索示例。利用我们的框架-努力探索可能的SR图像对应于不同的，不同的语义内容，都与LR输入一致低分辨率输入ESRGAN我们编辑的结果图13：校正SR输出。我们的方法可以用来增强SR结果，依赖于用户建筑物和字母字符的外观）。请放大以查看细微差异，编辑过程请参见补充说明。图12展示了我们的方法的探索能力，说明了如何为相同的LR输入生成完全不同的语义内容。图13显示了我们的方法的编辑功能如何通过依赖用户的外部知识来增强SR输出。请参阅更多的编辑过程的例子和结果补充。5. 结论低分辨率图像可以对应于许多不同的HR图像。However, existing SR methods gener- ate only a single,arbitrarily chosen, reconstruction.在这项工作中，我们介绍了一个框架，可探索的超分辨率，它允许遍历的一组感知plausible HR图像是一致的给定LR图像。我们说明了我们的方法在许多领域是如何有益的，包括医学、监控和图形。致谢本研究得到了以色列科学基金会（grant 852/17）和Technion Ollendorff Minerva中心的支持。无斑鹿梅花鹿灰马幼斑马2726引用[1] Eirikur Agustsson和Radu Timofte。Ntire 2017挑战单幅图像超分辨率：数据集和研究。在IEEE计算机视觉和模式识别研讨会会议上，第126-135页6[2] Sefi Bell-Kligler、Assaf Shocher和Michal Irani。使用内部增益的盲超分辨率核估计。arXiv预印本arXiv：1909.06581，2019。四、五[3] Xi Chen，Yan Duan，Rein Houthooft，John Schulman，Ilya Sutskever，and Pieter Abbeel. Infogan：通过信息最大化生成式对抗网络进行可解释的表示学习神经信息处理系统的进展，第2172-2180页，2016年3[4] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.学习用于图像超分辨率的深度卷积网络。在欧洲计算机视觉会议上，第184-199页。Springer，2014. 1[5] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第26721[6] Ishaan Gulrajani 、 Faruk Ahmed 、 Martin Arjovsky 、Vincent Dumoulin和Aaron C Courville。改进的瓦瑟斯坦甘斯训练。神经信息处理系统的进展，第5767-5777页，2017年。5[7] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。arxiv，2016. 5[8] 阿莱克西亚·乔利库-马蒂诺。相对论鉴别器：标准GAN中缺少的关键元素。arXiv预印本arXiv：1807.00734，2018. 5[9] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在IEEE计算机视觉和模式识别会议论文集，第4401-4410页3[10] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第1646-1654页，2016年。1[11] Idan Kligvasser ， Tamar Rott Shaham ， and TomerMichaeli. xunit：学习空间激活函数以实现有效的图像恢复。 In Proceedings of the IEEE Conference计算机视觉和模式识别，第2433- 2442页，2018年。1[12] 赖伟胜，黄家斌，纳伦德拉·阿胡贾，杨明轩。使用深度拉普拉斯金字塔网络实现快速准确的图像超分辨率。IEEE Transactions on Pattern Analysis and MachineIntelligence，2018。1[13] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第4681-4690页第1、3条[14] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在IEEE计算机视觉和模式识别研讨会集，第136-144页，2017年。1、4[15] David Martin，Charless Fowlkes，Doron Tal，JitendraMalik，et al.人类分割的自然图像数据库及其在评价分割算法和测量生态统计中的应用。IEEE InternationalConference on Computer Vision，2001。四、五[16] Michael Mathieu，Camille Couprie，and Yann LeCun.超越均方 误差的深度多 尺度视频预 测。arXiv预印本arXiv：1511.05440，2015。5[17] Tomer Michaeli和Yonina C.灵族现代抽样理论中的最优化技术。英国剑桥：剑桥大学。Press，2010. 3[18] Tomer Michaeli和Michal Irani非参数盲超分辨率。在IEEE计算机视觉国际会议论文集，第945-952页，2013年。4[19] Anish Mittal、Rajiv Soundararajan和Alan C Bovik。制作一个全盲的图像质量分析仪。IEEE Signal ProcessingLetters，20（3）：209-212，2012。5[20] Pablo Naviente Michelini， Dan Zhu ，and Hanwen Liu.Multi–scale在2018年欧洲计算机视觉研讨会会议上。5[21] GuimPerarnau ， JoostVanDeWeijer ， BogdanRaducanu，and JoseMA'lv arez. 用于图像编辑的不可验证的条件gans。arXiv预印本arXiv：1611.06355，2016。3[22] Mehdi SM Sajjadi ， Bernhard Scholkopf ， and MichaelHirsch. Enhancenet：通过自动纹理合成实现单幅图像超分辨率。在IEEE计算机视觉国际会议论文集，第4491-4500页，2017年。3[23] Tamar Rott Shaham，Tali Dekel和Tomer Michaeli。单根：从一个单一的自然图像学习生成模型. arXiv预印本arXiv：1905.01164，2019。第1、3条[24] Assaf Shocher、Nadav Cohen和Michal Irani。使用深度内部学习的零镜头超分辨率。在IEEE计算机视觉和模式识别会议论文集，第3118-3126页，2018年。1、4[25] Xintao Wang，Ke Yu，Chao Dong，and Chen ChangeLoy.基于深度空间特征变换的图像超分辨率真实感纹理恢复。在IEEE计算机视觉和模式识别会议论文集，第606-615页，2018年。3[26] Xintao Wang，Ke Yu，Shixiang Wu，Jinjin Gu，YihaoLiu ， Chao Dong ， Yu Qiao ， and Chen Change Loy.Esrgan：增强型超分辨率生成对抗网络。在欧洲计算机视觉会议（ECCV）的会议记录中，第0-0页，2018年。一、二、三、五、六、七[27] Yifan Wang ， Federico Perazzi ， Brian McWilliams ，Alexan- der Sorkine-Hornung，Olga Sorkine-Hornung，and Christo- pher Schroers.一种完全渐进的单图像超分辨率方法。在IEEE计算机视觉和模式识别研讨会会议集，第864-873页32727[28] Wenqi Xian，Patsorn Sangkloy，Varun Agrawal，AmitRaj，Jingwan Lu，Chen Fang，Fisher Yu，and JamesHays. Tex- turegan：使用纹理块控制深度图像合成。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。3[29] Yulun Zhang，Yapeng Tian，Yu Kong，Bineng Zhong，and Yun Fu.用于图像超分辨率的残差稠密网络在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。1[30] Jun-YanZhu ，PhilippKr？ henb？ hl，EliShechtman ，andAlexei A Efros.自然图像流形上的生成视觉操作。欧洲计算机视觉会议，第597-613页。施普林格，2016年。3[31] Jun-Yan Zhu、Richard Zhang、Deepak Pathak、TrevorDarrell、Alexei A Efros、Oliver Wang和Eli Shechtman。向多模态图像到图像翻译。神经信息处理系统进展，第465-476页，2017年。3