小波变换的风格转移模型：高photorealism和忠实转移风格

9036×基于小波变换Jaejun Yoo、Youngjung Uh、Sanghyuk Chun、Byeongkyu Kang Jung-Woo HaClova AI Research、NAVER Corp.{jaejun.yoo，junjung.uh，sanghyuk.c，bk.kang，jungwoo.ha}@ navercorp.com(a) 输入(b) WCT(c) PhotoWCT（d）Ours（WCT2）图1：真实感风格化结果。给定（a）输入对（顶部：内容，底部：风格），（b）WCT的结果[18]，(c) PhotoWCT [19]，以及（d）显示了我们的模型。每个结果都是在没有任何后处理的情况下产生的。虽然WCT和PhotoWCT遭受空间失真，但我们的模型成功地转移了风格并保留了细节。摘要最近的风格转移模型提供了有前途的艺术成果。然而，给定照片作为参考样式，现有方法受到空间失真或不真实的伪影的限制，这不应该发生在真实的照片中。我们引入了一个理论上健全的网络架构，显着提高photorealism和忠实地转移的风格校正。我们方法的关键成分是小波变换，它自然适合深度网络。我们提出 了 一 种 基 于 白 化 和 着 色 变 换 的 小 波 校 正 变 换（WCT2），它允许特征在风格化过程中保留其结构信息和VGG特征空间的统计特性。这是第一个也是唯一的端到端模型，可以在4.7秒内创建1024 1024分辨率的图像，无需任何后处理即可获得令人愉悦的逼真质量。最后但并非最不重要的是，我们的模型提供了一个稳定的视频风格没有时间限制。我们的代码，生成的图像，预训练的模型和补充1. 介绍真实感风格的转换必须满足矛盾的目标。要达到照片级真实感，模型应该在场景上应用参考样式，而不会损害图像的细节例如，在图1中，天空和海洋的总体风格（颜色和色调）应该改变，而船和桥的精细然而，艺术风格转移方法（例如，增白和着色变换，WCT [18]）通常由于其强的抽象能力而遭受严重的失真，这在真实感风格化中是不利的（图1b）。（更多失败案例请参考我们的补充材料。）Luan等[22]在传统的基于优化的方法[8]上引入了一种用于照相现实主义的正则化器然而，解决优化问题需要大量的计算成本，这限制了它们在实践中的使用为了解决这个问题，Liet al.[19]最近提出了一种WCT的光真实变体（PhotoWCT），它用解池替换了VGG解码器的上采样组件。通过所有文件都可以在ClovaAI/WCT 2上找到。* 表示贡献9037……WCTee5×WCT最大池化/上采样解卷小波池化小波去池多层次风格化渐进式风格化高频分量跳跃eeee+s修磨+填充F(a) WCT（艺术）（b）PhotoWCT（c）Ours（WCT2）图2：以前的样式传输模型和我们提出的模型架构（WCT2）之间的比较与WCT[18]和PhotoWCT [19]使用最大池化和从粗（级别5）到细（级别1）的递归风格化，WCT2用小波池化（蓝色）和解池化（红色）取代有损操作（绿色），并在单次通过中采用渐进风格化策略。请注意，给定内容（c）和样式（s），WCT2输出最终图像（Ifinal），而PhotoWCT输出（Ilevel1）需要进一步的后处理步骤（平滑和滤波）。提供最大池化掩模，PhotoWCT被设计为补偿编码步骤期间的信息损失并抑制空间失真。虽然他们的方法是有效的，但掩码的引入无法重新解决来自VGG网络的最大池化的信息丢失（图1c）。为了修复剩余的伪影，他们必须执行一系列后处理步骤，这需要原始图像来修补结果。这些后处理步骤不仅需要繁琐的计算和时间，而且还需要手动设置另一个不利的模糊伪影和超参数。而不是提供部分修正，我们解决的根本问题，通过引入一个理论上健全的校正上的下采样和上采样operation- tions。我们提出了一种基于白化和着色变换（WCT2）的小波校正传输，该传输用小波池化和解池化来代替VGG编码器和解码器中的池化和解池化操作。我们的动机是，通过网络学习的函数应该有其逆操作，以实现精确的信号恢复，因此，逼真的风格化。(We在我们的补充材料中提供理论细节。）它允许WCT2完全重建信号，而无需任何后处理步骤，这要归功于小波的良好特性，提供最小的信息损失[32，33]。分解的小波特征也提供了对特征空间的有趣解释，例如组件风格化以及为什么平均池比最大池提供（第4.1节）。此外，我们提出渐进式风格化，而不是遵循WCT[18]和PhotoWCT [19]中使用的多层次策略（图2）。为了最大化风格化效果，WCT和PhotoWCT以从粗到细的多级方式在…trast，我们在单遍过程中逐步变换特征。这允许两个显著的优点。首先，我们的模型是简单和有效的，因为我们只有一个单一的解码器在训练过程中，以及在推理时间。另一方面，多级策略需要在不共享参数的情况下针对每个级别训练解码器，这在参数的数量和训练过程方面是低效的。这种开销也会保留在推理时间中，因为模型需要传递多个编码器和解码器对来风格化图像。其次，通过使用有损VGG网络递归地编码和解码信号，在多级风格化期间放大伪像由于小波运算和渐进式风格化，我们的模型不存在这样的问题，而且，当采用多级策略时，它几乎没有误差放大（图6）。我们的贡献总结如下。我们首先证明空间失真来自不能满足重建条件的网络操作（sec：wct2）。通过采用小波校正传输和渐进风格化，我们提出了第一个端到端的真实感风格传输模型，允许删除额外的后处理步骤。我们的模型可以在4.7秒内处理高分辨率图像（ 1024 1024 ） ， 比 最 先 进 的 模 型 快 830 倍 ， 其 中PhotoWCT由于内存不足问题而失败，深度照片风格传输（DPST）[22]需要3887.8秒。我们的实验结果表明，在SSIM和Gram损失方面，定量的视觉质量更好（图9），在用户研究中，62.21%的人更喜欢定性（表2）。此外，我们的模型具有比PhotoWCT少三倍的参数，并提供了时间稳定的风格化，使视频应用程序无需额外的约束，如光流（图8）。……WCTWCTWCT……WCTee4最大池掩码9038--2. 相关工作风格转移。从Gatys的开创性工作开始等人[8]，许多艺术风格转移研究已经提出通过迭代优化[9]，找到密集的对应关系[20，28，10]或操纵预训练网络中的特征[13，18]来合成风格化图像。然而，由于它们强大的特征提取能力，它们不能直接用于真实感风格转换。与艺术风格的转换相比，真实感的转换一直被忽视。经典的方法主要是匹配图像的颜色和色调[1，24，25]，这受到特定用途的限制。Luan等[22]提出了深度照片风格转移（DPST），它通过额外的照片写实主义正则化项和语义分割掩码来增强神经风格算法[8]然而，DPST需要大量的计算来解决正则化优化问题。最近，Liet al.[19]提出了一个真实感的变化-3. WCT2为了实现真实感，模型应该恢复给定内容图像的结构信息，同时忠实地对图像进行风格化。为了解决这个问题，我们提出了一个基于白化和着色变换的小波校正传输，称为WCT2。更具体地说，我们通过采用小波池化和反池化来处理第一个目标，这将内容的信息保存到传输网络。我们在一次向前传递中使用渐进式风格化来解决第二个问题。3.1. 小波校正传递Haar小波池化和去池化。我们首先解释我们的模型使用哈尔小波，我们称之为小波池化和去池化的主要组成部分。Haar小波池化有四个核，LL LHHLHH，其中低（L）和高通（H）滤波器是WCT的ant（PhotoWCT），其用解池化代替VGG解码器的上采样。PhotoWCT表明，通过提供⊤1ΣL=√211Σ，H1Σ=√2−11Σ.（一）最大池掩码到解码器。由于PhotoWCT原始输出的视觉质量不令人满意，作者不得不采用额外的后处理，如平滑和滤波。然而，这些不仅使运行时间指数地增加到图像分辨率，而且使最终输出模糊。与现有的方法不同，该方法能够以端到端的方式保留图像的精细结构，并且空间畸变很小，从而消除了额外的后处理步骤的必要性。使用小波的信号重构。利用小波进行信号重构是应用数学界的一个广泛研究课题，因为它具有良好的特性，如已证明的收敛性和任意信号的紧凑表示[6，17]。已经有几种尝试将经典信号处理和深度学习方法结合起来，包括特征缩减[16]，网络压缩[11，16]，超分辨率[2]，分类[3，7，23，27，30]和图像去噪[14]。类似地，我们的方法增强了小波作为网络架构的一个组成部分，并提供了一个可解释的模块，可以增强风格转移模型的照片真实感。最近，一项最密切相关的工作[30]提出使用小波作为传统邻域池的替代方案然而，他们的目标是通过丢弃第一级子带来减少特征维度，而我们利用所有子带。此外，我们利用小波分解和重构相结合，以最小的噪声放大准确地恢复空间信息。因此，与公共池化操作不同，Haar小波池有四个通道。在这里，低通滤波器捕获平滑的表面和纹理，而高通滤波器提取垂直、水平和对角边缘信息。为了简单起见，我们将每个内核的输出分别表示为LL、LH、HL和HH。小波池的一个重要特性是，通过镜像其操作可以精确地重构原始信号;即，小波解池详细地说，小波解池通过执行分量转置卷积，然后求和来完全恢复原始信号。（详情请参阅我们的补充资料。）由于这一有利的属性，我们提出的模型可以stylosing一个图像与最小的信息损失和噪声放大。另一方面，最大池化没有其精确的逆，使得WCT [18]和Pho- toWCT [19]中使用的编码器-解码器结构化网络不能完全恢复信号。注意，Haar小波池化和解池化不是可以完全恢复原始信号的唯一操作。然而，我们选择Haar小波，因为它将原始信号分成捕获不同分量的通道，这导致更好的风格化。模型架构。为了充分利用编码信息，我们将PhotoWCT的每个最大池化和去池化替换为小波池化和去池化（图2）。具体来说，我们使用ImageNet [5]预训练的VGG-19网络[29]从conv 1 1层到conv 4 1层作为编码器。最大池化层被替换为小波池化，其中高频分量9039(LH、HL、HH）直接跳到解码器。因此，仅低频分量（LL）被传递到下一编码层。解码器具有编码器的镜像结构，并且小波解池聚合分量。（有关拟议网络架构的更多详细信息，请参阅我们的补充材料）3.2. 程式化白化和着色变换（WCT）。由于我们的方法是建立在WCT [18]1的基础上的，我们首先简要回顾一下WCT。WCT可以通过直接匹配VGG特征域中内容和风格之间的相关性来执行具有任意风格的风格转移通过奇异值分解将内容特征映射到风格特征的特征空间。最后将转换后的特征输入解码器，得到风格化的为了提供更好的艺术风格转换，作者通过将WCT应用于多个编码器-解码器对来采用多级风格化框架（图2b）。渐进式程式化。我们没有使用WCT和PhotoWCT中使用的多级样式化，而是在单个前向传递中逐步转换特征，如图2所示。我们在单个编码器-解码器网络中在每个尺度（conv 1X、conv2_X、conv 3X和conv4X）上依次应用WCT请注意，我们模型的SVD计算次数保持不变。我们可以在跳跃连接层和解码层增加更多的WCT，以进一步增强风格化效果，但代价是时间消耗。这将在第4.4节中详细介绍。我们提出的渐进式风格化相对于多层次的风格化有几个优点。首先，多级策略需要在不共享参数的情况下为每个级别训练解码器，这是低效的。另一方面，我们的训练过程很简单，因为我们只有一对编码器和解码器，这在推理时间上也很有利。其次，递归编码和解码的信号与VGG网络架构放大错误，造成不切实际的文物在输出。在后面的部分中，我们证明了我们提出的渐进式风格化技术比多级策略更少地受到错误放大的影响。4. 分析4.1. 小波池化我们首先检查使用小波池，而不是最大池的影响。如图3 b和3 c所示，1请注意，我们的小波校正转移不限于特定的风格化方法。在这里，我们只是使用WCT更好的风格化。例如，在图像质量轻微下降的情况下，我们的模型可以与AdaIN [13]集成，这通过避免SVD计算进一步加速了模型（请参阅补充资料。）(a) 输入（b）PhotoWCT [19](c)我们的（d）我们的（仅当地雇员）图3：max-pooling和wavelet pooling的比较。给定（a）输入对（插图：风格），我们比较了（b）没有后处理的PhotoWCT，（c）我们的和（d）我们的结果，但仅风格化LL分量。请注意，边缘保持未样式化（在红色框内）。PhotoWCT遭受损失的空间信息的最大池，而我们的保留细节。我们记得，低频分量捕获光滑的表面和纹理，而高频分量检测边缘。这使得我们的模型能够通过选择组件来单独控制更具体地，这意味着将WCT应用于编码器的LL影响整体纹理或表面，而将WCT应用于高频分量（即，LH、HL、HH）风格化边缘。事实上，当我们对所有组件进行样式化时（图3c），我们的模型将给定的样式传递给整个建筑。相反，如果我们不对高频分量执行WCT，则窗口的边界保持不变（图3d）。请注意，仅使用小波池化的LL分量等同于使用平均池化。有趣的是，自从Gatyset al.[8]，许多研究一直报告说，用平均池化代替最大池化操作会产生稍微更吸引人的结果。这可以在我们的框架中解释为，该模型仅使用小波分解特征域的部分信息（LL）此外，由于内容特征的每个频率分量都被转换成与之对应的风格特征分量，因此可以获得与空间对应相似的优点。4.2. 消融研究为了表明我们的模型确实受益于小波池，我们比较了使用其他池化变体的风格化结果。我们对特征进行解池，类似于我们对小波解池所做的;即，转置-卷积和求和。9040×××(a) 投入（b）（a）内容（b）风格(c)（d）我们的（WCT2）图4：合并方法的消融研究。虽然分裂和可学习池遭受缺乏表示能力或改变特征统计，小波池受益于小波的紧凑表示，并保持原始VGG特征属性不变。拆分合并。拆分池有2个固定权重的过滤器，即，[1 00 0]、[0 1 0 0]、[0 0 1 0]和[0 0 0 1]。拆分池具有与小波池类似的属性，它可以携带全部信息。在这里，我们可以看到类似的效果，但在细节上的退化，例如，草（图4B）。我们怀疑这是由于缺乏代表权。学习池。可学习的池化是一个步长为2的可训练的卷积层。如图4c所示，它既不保留内容，也不忠实地传递风格。我们认为这种情况发生是因为可学习池给网络带来了太多的灵活性。这破坏了VGG网络的原始特征属性[29]，已知VGG网络擅长提取样式[8]。4.3. 取消池化选项为了实现更好的重建，我们采用了concate- nation而不是求和来解池，类似于U- Net结构[12，26，34]。这使得网络能够以可解释性和理论正确性为代价来学习分量的加权和。具体来说，我们的小波unpooling现在执行四个特征分量从相应的规模加特征输出之前，小波池通道明智的concatena- tion。因此，参数的数量在小波解池之后的卷积 这将使参数总数增加为1。80的总和版本的WCT 2，而PhotoWCT有3。06参数。如图5所示，空间细节得到进一步改善。sum-version通常会产生更程式化的输出(c) Sum-version（d）Concatenated-version图5：取消合并选项的变化（第4.3节）。(a) 投入（b）风格(c)单通道（WCT2）（d）多级图6：具有更多增白和着色变换的风格化强度单次通过是我们的基线（第4.4节）。而连接版本产生更清晰的图像。（请参阅我们的补充材料了解更多结果。）4.4. 渐进vs多级策略由于小波池的精确重构特性，我们的模型可以采用多层次的策略，以最小的噪声放大，以增加对比度的转移风格。如图6d所示，除了WCT2之外，还采用多层次方法，从而产生更生动的结果。请注意，它保持照相现实主义，而Pho- toWCT产生斑点文物由于噪声放大和灰（图7 c）。此外，在解码器处也执行渐进风格化，即conv3 2、conv22和conv1 2，进一步增加风格化效果。尽管如此，加强风格是以牺牲照片真实感和多次SVD计算为代价的。（更多结果请参考补充资料）9041(a) 输入（b）DPST [22]（c）PhotoWCT [19]（d）PhotoWCT（full）[19]（e）Ours（WCT2）图7：真实感风格化结果。给定（a）输入对（顶部：内容，底部：风格），显示了（b）深照片风格转移（DPST）[22]，（c）和（d）PhotoWCT [19]以及（e）我们的（WCT 2）的结果。PhotoWCT（完整）表示应用作者提出的两个后处理步骤后的结果[19]。注意，WCT2不需要任何后处理。9042样式内容我们的（WCT2）PhotoWCT图8：真实感视频风格化结果（从白天到日落）。给定样式图像和视频帧（顶部），我们通过（中间）WCT2和（底部）PhotoWCT [19]显示结果，而不提供语义分割图和后处理步骤。5. 实验结果在本节中，我们表明，我们简单的修改可以显着提高性能的真实感风格转移。在这里，每个结果都是基于我们模型的连接版本报告的。为了公平的比较和时间效率，我们只对LL分量执行白化和着色（例如，convX 1编码器的输出）。因此，我们的模型的美白和着色过程的数量与PhotoWCT相匹配。5.1. 实现细节我们使用具有固定VGG编码器权重的编码器-解码器架构解码器在Microsoft COCO数据集[21]上训练，最小化L2重建损失和编码器的附加特征Gram匹配损失。训练是通过NAVER智能机器学习（NSML）平台完成的。].我们使用ADAM优化器[15]学习率为10- 3。最后，与Pho- toWCT和DPST相似，我们利用语义映射进行匹配对 应 图 像 区 域 的 样 式 。 代 码 和 预 训 练 模 型 可 在ClovaAI/WCT 2上获得。5.2. 定性评价图7显示了DPST、PhotoWCT和我们的（WCT2）的结果。DPST通常会产生PhotoWCT可以更好地重建内容图像的细节，同时在整个图像上显示斑点状伪影（图7c）。这些伪影可以通过采用额外的后处理步骤来去除（图7d）。然而，它有三个缺点，1）优化是缓慢的，2）超参数应该被小心地调整以在平滑度和精细细节之间进行权衡相比之下，我们提出的方法在忠实地传输参考样式的同时显示更少的伪影（图7e）。请注意，我们在网络输出后不应用任何后处理。视频风格化。为了强调小波池化和解池化的一致特征表示，我们将每个视频帧单独地风格化为目标风格，而不进行任何语义分割。图8示出了WCT2执行稳定的视频风格传输，而没有任何时间一致性正则化，例如光流。另一方面，PhotoWCT在帧上产生斑点和变化的伪像，这损害了照片真实感。(The完整视频的链接可以在我们的项目页面中找到。5.3. 定量评价统计为了衡量照片真实感，我们采用了两个替代指标的空间恢复和风格化。我们计算原始内容和风格化图像的边缘响应[31]之间的结构相似性（SSIM）指数。在WCT [18]之后，我们报告了风格图像与每个模型的输出之间的协方差矩阵差异（VGG风格损失[8]）。图9示出了SSIM（X轴）对样式损失（Y轴）。我们提出的模型（WCT2）显著优于其他方法。请注意，WCT2及其变体位于右上角，优于执行后期处理的PhotoWCT（完整）和DPST。在这里，DPST具有基于语法的分数的优势，因为它直接优化了风格损失。尽管如此，由于其繁重的优化程序（表1），它还远远不够实用。正如预期的那样，当我们比较我们的变体的结果时，多级方法以噪声放大（较大的SSIM指数）为代价增加了更多的风格（较小的基于Gram-based的损失），这甚至比直接优化（DPST）更好。此外，通过比较后处理步骤前后的差距（图9，虚线），我们可以清楚地看到，PhotoWCT的最终视觉质量主要来自强大的后处理，特别是平滑步骤，而不是网络本身。具有平滑的原始WCT已经显示出与PhotoWCT相当的结果这表明，PhotoWCT的非合并替代没有完全解决信息丢失，但后处理解决了。9043××DPSPPhotoWCT（full）我们伪影最少21.34%9.33%69.33%最佳风格化30.49%12.74%56.77%最优选24.63%11.16%62.21%表2：用户研究结果。百分比表示1640个响应中的首选模型输出。SSIM图9：SSIM指数（越高越好）与风格损失（越低越好）。理想情况是右上角（红点）。虚线表示后处理步骤之前和之后的间隙，即，平滑具有串联的基线WCT2由红色星号表示。图像尺寸DPSTPhotoWCT（full）（WCT+post）我们256 ×256306号93 .第三章。2+9。23.2512 ×512102073 .第三章。6+40。23.8896 ×8962988年63 .第三章。8+OOM4.41024 ×1024388783 .第三章。9+OOM4.7表1：DPST，PhotoWCT（full）和我们的比较（以秒为单位）OOM表示内存不足错误。回忆录。表1显示了DPST、PhotoWCT和WCT2的运行时比较。对于PhotoWCT，我们分别测量了WCT和后处理步骤，以便更好地与我们的进行比较每个型号的报告运行时间正如预期的那样，我们的模型继承了原始WCT的计算时间。请注意，解池中的串联几乎不会增加WCT2的运行时间。由于我们的模型可以去除繁琐的后处理步骤，WCT2可以处理高分辨率图像，如10241024，保持高质量的照片真实感风格转移。与DPST相比，WCT2在运行时实现了约830倍此外，WCT2仅使用PhotoWCT的51%GPU内存，PhotoWCT使用需要四个编码器-解码器模型（subsec：渐进式）的多级风格化，因为WCT2使用单个编码器-解码器渐进式风格化图像。用户研究。我们进行了一项用户研究，以进一步评估的方法在更少的文物，忠实的风格输入，和整体质量。我们的基准数据集由Luan等人提供的内容和样式对组成。[22 ]第20段。共向41名被试提出40组问题，要求被试从三个程式化的问题中选择一个每个模型的图像。结果以随机顺序显示，并带有内容和样式图像。表2显示了从1640（= 40 - 41）个响应中选择的模型输出的百分比我们的方法是首选的人类受试者对其他国家的最先进的方法在所有方面的大幅度请注意，我们将我们的结果与PhotoWCT（完整）进行了比较，PhotoWCT（完整）应用了作者提出的两个后处理步骤[19]，而我们没有对WCT2进行任何后处理。（请参见我们的补充材料，了解用于用户研究的图像）故障案例。包括我们的模型在内的许多照片级真实感模型[22，19]都需要语义映射，其准确性对于更好的风格化结果非常重要。事实上，这种现象在我们的模型中更为突出，因为WCT2保留了与其他模型不同的每一个细节（补充材料）。在我们的结果中可以看到未对齐贴图的影响，而PhotoWCT无意中将其平滑。重新求解语义标签映射的依赖关系是一个值得关注的研究方向.6. 结论在本文中，我们提出了第一个端到端的真实感风格转移方法，WCT2。在理论分析的基础上，我们专门设计了我们的模型，以满足重建条件。小波变换的精确恢复使我们的模型能够保留结构信息，同时提供稳定的通过采用渐进式风格化，我们取得了更好的效果，更少的噪声放大。与其他最先进的技术相比，我们的分析和实验结果表明，WCT2是可扩展的，更轻，更快，并实现更好的照片真实感定量和定性。我们的结果在各个方面都受到人类受试者的青睐，具有显着的优势。未来的研究将包括消除语义标签的必要性，这应该是准确的一个完美的结果到目前为止。7. 确认我们要感谢Clova AI研究团队和顾问成员，特别是Yunjey Choi ， Sangdoo Yun ， Dongyoon Han ，Youngjoon Yoo和Jun-Yan Zhu，他们提供了有益的反馈和讨论。PhotoWCTWCT2（+多层次）理想WCTDPSTWCT2（+解码器）WCT2（总数）WCT酒店2*WCT（完整）45670.70 0.72 0.74 0.76 0.78 0.80 0.82 0.84革兰氏丢9044引用[1] 裴顺敏，西瓦因·帕里斯，杜兰德. 双尺度色调管理，为摄影外观。ACM Transactions on Graphics（TOG），25（3）：637-645，2006。3[2] 熊培柳在俊叶钟哲Beyond Deep Residual Learning forImage Restoration：Persistent Homology-Guided 流形简化。在CVPR研讨会，第1141-1149页，2017年。3[3] 琼·布鲁纳和圣·埃芬·马拉特。变分散射卷积网络。IEEETransactionsonPatternAnalysisandMachineIntelligence，35（8）：1872-1886，2013。3[4] Tony F Chan和Jianhong Jackie Shen。图像处理和分析：变分，偏微分方程，小波和随机方法，第94卷。暹罗，2005年。7[5] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。在计算机视觉和模式识别，2009年。CVPR2009。 IEEE会议，第248-255页。Ieee，2009年。3[6] 董斌，姜庆堂，沈作伟 图像显示：小波框架收缩，非线性演化偏微分方程，和超越。多尺度建模仿真，15（1）：606- 660，2017。3[7] 藤枝伸、高山康平、八须贺敏哉。小波卷积神经网络用于纹理分类。arXiv预印本arXiv：1707.07394，2017。3[8] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。2016年IEEE计算机视觉与模式识别会议（CVPR），第2414IEEE，2016.一、三、四、五、七[9] Leon A Gatys，Alexander S Ecker，Matthias Bethge，Aaron Hertzmann，and Eli Shechtman.神经风格迁移中知觉因素的控制。在IEEE计算机视觉和模式识别会议（CVPR），2017年。3[10] 顾沭阳、陈聪良、景辽、卢远。复杂的风格转换和深层的功能重组。在IEEE计算机视觉和模式识别会议论文集，第8222-8231页，2018年3[11] Lionel Gueguen 、 Alex Sergeev 、 Rosanne Liu 和 JasonYosinski。更快的神经网络直接从jpeg。在ICLR，2018年。3[12] Yoseob Han和Jong Chul Ye。 通过深度卷积小框架构建u网：应用于稀疏视图ct。IEEE transactions on medicalimaging，37（6）：1418-1429，2018。5[13] Xun Huang和Serge J Belongie.实时任意样式传输，具有自适应实例规范化。在ICCV，第1510-1519页，2017年。三、四[14] 姜恩熙，张元，柳在俊，叶宗哲。基于小波残差网络的低剂量ct深度卷积框架小波去噪。IEEE transactions onmedical imaging，37（6）：1358-1369，2018。3[15] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。7[16] 莱温斯基家的基于小波变换的卷积神经网络特征约简Elektronika ir Elektrotechnika，19（3）：61-64，2013. 3[17] 李冰和陈雪峰。基于小波的数值分析：综述与分类。有限元分析与设计，81：14-31，2014。3[18] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，Xin Lu，and Ming-Hsuan Yang.通过特征变换进行通用样式传递。神经信息处理系统进展，第386-396页，2017年。一二三四七[19] Yijun Li ， Ming-Yu Liu ， Xuting Li ， Ming-HsuanYang，and Jan Kautz.一个封闭形式的解决方案的照片真实感图像风格化。arXiv预印本arXiv：1802.06474，2018。一二三四六七八[20] Jing Liao，Yuan Yao，Lu Yuan，Gang Hua，and SingBing Kang.通过深层意象类比实现视觉属性转移。ACM Transactions on Graphics（TOG），36（4）：120，2017。3[21] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、彼得罗·佩罗纳、德瓦·拉马南、彼得·多尔和C·L·劳伦斯·齐特尼克。微软coco：上下文中的公用对象。欧洲计算机视觉会议，第740Springer，2014. 7[22] Fujun Luan，Sylvain Paris，Eli Shechtman，and Kavita Bala.深度照片风格转移。一二三六八[23] Edouard Oyallon ， Eugene Belilovsky ， and SergeyZagoruyko.缩放散射变换：深层混合网络。2017年国际计算机视觉会议（ICCV）。3[24] Francois Pitie，Anil C Kokaram，and Rozenn Dahyot. N维概率密度函数传递及其在颜色传递中的应用空，第1434IEEE，2005年。3[25] 埃里克·莱因哈德、迈克尔·阿迪赫明、布鲁斯·古奇和彼得·雪莉。图像之间的颜色转换。IEEE计算机图形学与应用，21（5）：34-41，2001。3[26] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。5[27] Jongbin Ryu，Ming-Hsuan Yang，and Jongwoo Lim.基于Dft的变换不变池层视觉分类。在欧洲计算机视觉会议，2018年9月。3[28] 卢胜，林紫怡，邵静，王晓刚头像-网络：通过特征装饰的多尺度零激发样式传递。在IEEE计算机视觉和模式识别会议论文集，2018。3[29] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络2015年，国际会议。三、五[30] 特拉维斯·威廉姆斯和罗伯特·李。卷积神经网络的小波池。在ICLR，2018年。3[31] 谢赛宁、涂卓文。整体嵌套边缘检测。在IEEE计算机视觉国际会议论文集，第1395-1403页79045[32] 叶钟哲韩玉燮车恩珠深度卷积小框架：逆问题的通用深度 学 习 框架 。 SIAM Journal on Imaging Sciences ， 11（2）：991-1048，2018。2[33] Rujie Yin ， Tingran Gao ， Yue M Lu ， and IngridDaubechies.两个基地的故事：卷积小框架下图像块的局部-非局部正则化。SIAM Journal on Imag-ing Sciences，10（2）：711-750，2017。2[34] 刘载俊，阿卜杜勒·瓦哈卜，叶钟哲。用于弹性源成像中的深度学习的理论框架。SIAM Journal on AppliedMathematics，78（5）：2791- 2818.5