基于独立成分的艺术风格发现

19870基于独立成分的艺术风格发现谢欣1，李毅2，*，黄怀波3，付海燕1，王婉婉4，郭艳清11大连理工大学信息与通信工程学院2大连理工大学人工智能学院3中国航天工业协会智能感知与计算研究中心有限公司、中国北京100028shelsin@mail.dlut.edu.cn，{liyi，fuhy，guoyq}@dlut.edu.cnhuaibo. cripac.ia.ac.cn，wangwanwan@insightone.cn图1. 来自不同主干的各种重新风格化的艺术作品，包括AdaIN [14]，Linear [20]，SANet [26]和MST [41]。在前两行中，第一列是具有风格图像的内容图像的源，第二列是原始艺术输出，其他列是通过我们的算法发现的具有艺术风格的输出图像在最后一行中，给定一个自然场景，我们的方法会产生其他的绘画。摘要风格迁移是近年来研究的热点之一，处理出了优良的性能。现有的风格化方法通常选择CNN作为实现高水平风格化的有力工具，而对潜在的风格空间关注较少由于缺乏对潜在维度的探索，导致风格可控性差，实际应用受到限制。在本文中，我们重新思考了风格特征的内在含义，进一步提出了一种新的无监督风格发现算法，实现了个性化的风格识别。* 李毅为通讯作者。循环。特别是对风格转换的机制进行了深入的探讨，从不同风格特征构成的潜在空间中获得不同的艺术风格然后根据不同的风格成分进行线性组合，生成新的风格。实验结果表明，我们的方法在保持内容不变的同时，利用从潜在空间中发现的不同艺术风格对原始输出进行风格化，以及对各种风格转换方法具有通用性和兼容性方面都是极好的我们的代码可以在这个页面上找到：https://github.com/Shelsin/ArtIns。198711. 介绍艺术风格转换的目标是将一幅图像的风格转换为任意一幅图像，而不改变后者的内容。近年来，这方面的工作在学术界和工业界都得到了迅速的发展.卷积神经网络（CNN）[3，8，16]经常用于实现风格化，因为它具有卓越的学习特性和出色的性能，特别是VGG-net [35]。除了CNN之外，风格转换方法还需要大规模的数据集和更先进的神经网络来提高图像生成的质量。尽管如此，要创作出令人满意和令人信服的艺术品仍然是一个挑战。从神经风格转换（NST）[7]开始，最近的工作倾向于通过两种主要方式生成高质量的风格化图像：迭代优化[6，23，29]和前馈网络[9，16，40]。对于前者，现有的作品依赖于优化过程来灵活地组合任意图像的内容和风格，这需要很长的时间来实现风格化。后者实现了快速风格化与一个单一的前向传递，但大多数前馈方法的主要限制是，每个网络被限制到一个固定数量的风格。现有的方法在艺术风格转换方面取得了令人瞩目的成绩虽然从这些先前的作品中学到的基础知识可以转化为最终的输出，但它们的真正意义却很少被探索。换句话说，风格化过程的本质是将原始风格特征从图像空间投影到中间空间，然后解码器将潜在知识转换回图像空间。在风格传递的过程中，现有的方法大多忽略了图像空间中蕴含的丰富的潜在同时，大多数先前的方法需要像GPU这样具有大内存的高级设备来训练他们的模型以适应不同的风格，这限制了他们在现实世界场景中的应用。为了解决这个问题，我们提出了一种通用的方法，通过数学计算发现大量的艺术风格，这种方法是不受监督的，不依赖于任何形式的训练。我们的方法被命名 为 ArtIns 作 为 ArtisticAdmissions/ComponentsSeparation的缩写。在这项工作中，我们后退一步，重新思考整个转移过程。在考察了潜在风格特征与图像变化之间的关系后，我们发现，通用风格可以被划分为多个独立的风格成分。根据这些风格成分，可以获得新鲜的风格，以产生高质量和可控的风格化结果。也就是说，在由各种风格表现构成的潜空间中发现了多种艺术风格，如图1所示。基于流行的预先训练的风格迁移模型（例如 ， AdaIN [14] 、 Lin-ear [20] 、 SANet [26] 和 MST[41]）表明了该算法的有效性和灵活性。概括起来，主要贡献如下：• 本文提出了一种新的无监督风格化算法，该算法能够从潜在空间中发现多种风格，具有可控风格化的能力。• 在风格迁移中，我们从混合的潜在风格维度中获得独立的风格成分，从而实现多种艺术风格化，降低计算成本。• 我们的方法是普遍适用的，无需训练，我们证明了我们的方法的有效性和灵活性，通过丰富的实验上几个国家的最先进的风格转移模型。2. 相关作品2.1. 风格迁移风格转移的目的是将绘画的风格转移到照片上，保持其原始内容。最初，Gatys等人[7]提出了一种迭代方法，通过联合最小化白噪声图像与内容表示和风格表示的距离来传输风格。此后，越来越多的方法被例如，AdaIN [14]分别对每个特征图的均值和方差进行归一化，以自适应地组合内容和风格。考虑到学习单一样式的局限性，通过引入条件实例归一化来实现将多种样式转换为具有共同内容的一幅图像[3]此外，Avatar- Net [33]利用像U-net [30]这样的框架通过语义对齐的风格特征来弥补内容特征，保留详细的风格模式并生成更合理的艺术品。通过最小化感知损失来改进实时任意样式传输[16]，感知损失是特征重建损失和样式重建损失的组合。与此不同的是，我们从潜在空间的角度出发进行风格发现，以较低的计算代价获得了多种风格化的结果。2.2. 图像编辑解纠缠表示是一种无监督的学习技术，它将每个特征分解为狭义的变量，并将它们编码为单独的维度。实际上，在一般的生成广告网络（GAN）[4，5，10，12]和变分自动编码器（VAE）[18]中已经实现了许多无监督解缠的方法[2，13，17]，因为前者是通过未标记数据集的无监督训练方法，而后者19872⊆∈∈⊆∈∈∈∈···可以通过建立一个自我重建损失来实现类似的效果先前的工作[31，39，42]已经训练了一个线性分类器来完成图像编辑的潜在维度的解纠缠，取得了显着的效果。引入了一种无监督的正交化方法[32潜在空间蒸馏器[34]用于实现属性解纠缠和GANSpace[11]对采样数据执行PCA，以找到潜在空间中的主要方向。然而，这些方法大多只在某些条件下工作，如明确定义的目标属性分类器，数据采样或模型训练。 分离潜在风格3.2. 重新思考风格特征的作用为了研究风格化图像在风格表征变化时的表现，我们深入研究了风格转移的整个过程。以AdaIN模型[14]为例进行分析，潜码z通过解码器逐层投影到风格化图像上。图像变化可以与潜码z的内部成分有关。考虑到样式表示，我们设置µs和σs分别表示样式图像特征s的均值和标准差。AdaIN [14]应用样式定义的仿射变换来规范化内容特征c，如等式所示。（二）：方向，因为底层维度z=AdaIN（c，s）=σ（c−µc）+µ（二）是复杂的，尤其是在风格转换方面。在本文中，我们提出了一种算法，发现各种艺术风格，通过代数运算，没有任何参数和数据的学习或训练。3. 方法我们引入了一个无监督的算法ArtIns，从由不同风格特征组成的潜在空间中发现不同的风格。具体而言，我们重新思考了风格特征的意义，发现潜在的风格表征可能由多个独立的风格成分组成。这些样式成分可以通过数学运算从潜在样式空间中捕获。最后，通过线性组合不同系数的风格输入，合成新的风格。3.1. 风格迁移模型的基本结构在风格转换中，大多数现有方法的基本架构[7，22，23，33]是编码器-解码器网络框架。首先将照片的内容图像和绘画的风格图像Ic，Is Rh×w ×c通过编码器网络E变换到不同的隐空间C，S Rn中。然后通过仿射变换将内容特征c C和风格特征s S投影到公共n维潜空间ZRn中。之后，解码器D负责生成具有结合内容特征和风格特征的潜在码z Z的新颖图像IRh×w ×c 一般来说，先进的编码器在整个风格转换过程中起着至关重要的作用，可以提供更详细、更准确的风格特征，帮助解码器生成高质量的风格化艺术作品。通常选择预先训练的VGG-net [35]作为编码器以获得内容表示和风格表示。为了更好地讨论，我们首先将样式图像的编码过程表示如下：s=E（Is）（1）sσcs其中µc和σc是内容特征通道的平均值和标准差。我们将解码器网络的第一个卷积层命名为conv1，它直接作用于潜在代码z。基于等式（2）由于μs和σs的存在，部分卷积效应conv1（s）可以从conv1（z）中分离出来。因此，我们假设潜在的风格特征是控制最终生成的艺术作品的整体风格的根本因素然而，我们没有得到从一种图像风格到另一种图像风格的变化规律3.3. 内部风格空间近几十年来，在许多应用中，数据可以由其他样本的线性组合来表示。例如，每个人的脸可以精确地表示为特征脸的线性组合[1]。受傅立叶变换[38]、信号的时域和频域分析[25，27，36]的启发，我们认为风格特征s在对风格图像进行编码后被混合，其可以被视为等式10中所示的离散序列。（三）：si=[styi1 ， styi2 ， ····· ， styin]（3）其中s iS表示第i个样式图像的潜在样式表示。sty代表第t维si的表示，其可以被认为是在时间t=1，2，3，.，n的离散序列中的样本值。根据离散傅里叶变换[37]，任意信号可以很容易地操纵，只需将其表示为简单和数学上的线性组合明确的信号。换句话说，样式特征si可以被分离为多个独立的组件。将这些独立分量与不同的系数线性组合，可以得到多种风格.3.4. 艺术成分分离节中3.2和第二节3.3、我们退一步重新分析了风格特征的意义，它包括19873∈∈···∈∈···图2. 风格特征是风格分量的线性和，其中混合矩阵SFn×m可以被划分为混合矩阵Ap×m和风格分量Vn×p。各种独立的样式组件。我们定义一个单一样式的分量向量v xR n= Eq.（4）凡x=1，2，3，.，p，p表示独立样式分量向量的数目。vx=[elex1，elex2，·····，elexn]（4）这里，elxn表示分量向量vx中的第n个元素。对于第i个样式图像，潜在样式特征向量si可以表示为p个样式分量向量的线性和（五）：si=V·ai=v1·coffi1+v2·coffi2+···+vp·coffip（5）其中ai=[coff i1，coff i1，，coff ip]是系数独立分量向量的线性和 我们对m幅风格图像进行采样，并利用风格编码器将其转换为潜在风格表示，这些潜在风格表示是风格特征矩阵SF的成分R n× m。 的系数每一个风格向量的线性和可构造为系数矩阵ARp×m，p个独立的风格分量向量定义为矩阵VRn×p。 然后我们可以得到如下关系：SFn×m=Vn×p·Ap×m（6）通过观察Eq.（6），我们假设它可以转化为鸡尾酒会问题。具体地，矩阵V是源信号，系数矩阵A是混合矩阵。然后，风格特征矩阵SF可以被视为混合信号。整个混合步骤如图所示二、在这项工作中，我们利用FastICA [15，19]算法来获得每个独立的风格分量向量。3.5. 艺术模型我们引入了一种无监督的算法，从由不同风格特征组成的潜在空间中发现风格。实际上，我们的算法可以有效地执行各种风格的转移方法，这是基于编码器-解码器网络框架。在这一部分中，我们描述了如何将我们的算法嵌入到有代表性的风格转移网络，如AdaIN[14]，线性[20]，[26][27][29][29][29]这些艺术方法以不同的方式实现了内容特征与风格特征的例如，AdaIN [14]没有可学习的仿射参数来整合两种特征，只需对齐内容特征的通道均值和方差以匹配样式特征。Linear [20]和SANet [26]通过包含几个卷积变换的模块实现特征融合在通过减去它们的平均向量来集中两种特征之后，MST [41]将内容特征与WCT[21]中使用的特征白化和着色所产生的转移特征混合在一起。无论这些方法如何整合内容代码和样式代码，我们都只能从编码后的多个样式特征中获得独立的样式组件我们将这些潜在的风格表征像一个组合一样聚集起来，风格成分可以从潜在的组合空间中分离出来最后，根据每个风格分量向量改变风格代码，生成新鲜的风格化图像。3.6. 讨论与插值的区别插值方法和我们的算法都能获得新鲜风格化图像的多样性，但计算量和风格化效果有所不同。与插值方法相比，该算法只需要少量的风格图像就可以分离出基本的风格成分。这些样式组件可以被重新构建回原始样式，甚至可以被线性分组为样式数据集中不存在的对于艺术模型中的插值，需要大规模的风格数据集，通过编码器构建多个风格特征，而不是耗时耗力的算法操作。由于插值的存在，生成的艺术作品具有不同风格特征的混合性，难以控制艺术风格的变化方向。深度网络与传统信号分析一开始，我们考虑使用深度网络来实现分解，但发现它不合适。1)我们需要19874图3.通过AdaIN [14]（前两行），Linear [20]（第三行），SANet [26]（第四和第五行）和MST [41]（最后一行）四种方法进行的风格组件的随机线性组合生成的各种艺术品。第一列是具有样式的源图像的内容的源图像，第二列是原始输出。其他列是通过设置线性和的随机系数而产生的具有新风格的多样艺术品。在每两个风格分量之间设置一个合适的损失函数，以降低它们之间的相关性，这是一个超大的计算成本。2)特征映射的本质是大多数风格成分的混合，很难学习独立的风格成分。3）网络嵌入不同的艺术方法不便于重新训练，但风格特征的挖掘比原始图像更合理我们认为，分割图像只获得外部像素的RGB通道的信息，而风格特征持有紧凑和抽象的风格信息。ArtIns可以应用于生成的艺术作品并重建原始输出。4. 实验在本节中，我们对各种艺术模型进行了不同的实验，这表明了我们方法的灵活性。我们首先介绍基本的准备工作，加工实验前的相关参数设定。然后，我们评估我们的方法的性能，使用我们的算法来发现各种风格。此外，我们还利用分离的样式组件实现了图像的编辑和美化，展示了该方法的应用场景。简而言之，我们将在本节中讨论以下主题：• 我们的算法是否可以生成不同的艺术风格？• 这些独立的样式组件有意义吗• 原始样式是否可以通过独立组件重建？4.1. 艺术模型和数据集艺术模特我们在四个最先进的艺术模型上评估了无监督算法，AdaIN [14]，19875图4.SANet上的样式组件插值[26]。第一列是自然场景的图像，其他列是我们的方法发现的两种艺术风格成分之间的变化括号中的参数表示两个样式组件的比例。[20][26 ][27][28][29]我们的实验可以简单地在CPU和通用GPU设备上运行。数据集。我们采用MS-COCO数据集[24]作为内容图像，采用WikiArt数据集[28]作为风格图像。这两个数据集都包含数万张图像，我们在实验中将每个输入图像的大小调整为512×512。基于大量的风格数据，我们证明了ICA分解需要足够数量的样本和风格成分。除非另有说明，我们从WikiArt [28]中抽取512个样式图像投影到潜在样式空间中，我们假设每个样式向量由512个独立的样式分量向量组成。4.2. 生成艺术风格节中3、深入分析了潜在风格特征，发现每个风格向量可以分解为多个独立的风格分量向量。这些样式成分可以线性地分组到样式数据集中不存在的另一个新鲜样式中。我们通过两种方法验证生成的样式的多样性：一种是将样式分量与随机系数进行线性组合，另一种是对样式分量进行插值。样式组件的线性组合。为了验证我们的方法的有效性，我们设置了随机的线性和系数，以建立各种新的风格，如图3所示。实验结果分别在 AdaIN [14]、Linear [20]、SANet [26]和MST [41]四个人工模型上得到。通过观察结果，我们可以发现，在原始数据之间存在显著差异图5. 基于不同艺术方法中的色调的艺术品调整，包括AdaIN[14]，Linear [20]，SANet [26]和MST [41]。对于每一组图像，第一列是具有样式图像的内容图像的源，第二列是原始艺术输出，最后两列是通过根据我们的方法找到的样式组件改变样式代码的输出图像。最终风格化图像和其他具有随机风格的艺术作品。每一件新鲜的艺术品既有其独特的风格特征，又很好地保持了其原有的内容特征。我们利用不同的系数来实现风格分量的线性和，从而产生各种新的风格，这表明了我们的方法发现的艺术风格的多样性。同时，实验结果表明，该算法具有很强的灵活性.样式组件的插值。我们在SANet上进行实验[26]，以展示艺术风格的多样性。图4给出了一些实验结果。由结果可知，每个分量向量都有其特殊性。19876图6.SANet上的插图调整[26]。我们给出了梵高的两幅风格图像，然后调整系数，使原始艺术品变成数据集中没有的素描和毕加索风格。cial风格的功能和控制不同的风格效果。不同的样式组件可以被插入以获得不同的样式。例如，我们可以发现分别控制黄色和蓝色的两个组件，如图1第一行所示。4.第一章通过设置不同的插值参数，可以得到从黄色到绿色再到蓝色的风格变化。同样，我们可以覆盖控制线条，纹理，形状等的其他风格组件，这也验证了潜在的风格表示可以分为多个独立的组件。4.3. 风格成分在这一部分中，我们展示了更有效的实验结果来验证独立风格成分的含义。下一步，我们将研究如何将这些样式组件整合起来，实现图像的编辑和美化。艺术品的色调。通过大量的实验，我们发现一些风格成分可以控制不同的变化.这些组件可以给出明确的属性定义，如曝光，亮度，清晰度，对比度，饱和度，色温等图5给出了一些例子。为了修改相关类别，我们允许四种方法，包括AdaIN [14]，Linear [20]，SANet [26]和MST [41]，通过增加我们算法发现的相应艺术风格组件的比例来扩展其潜在风格代码。通过这种方式，我们可以编辑和美化各种艺术品。在某些情况下，找到合适的样式图像可能更方便。然而，可用的艺术品在实践中受到限制，可能无法传达所需的风格。当手工没有合适的参考时，我们的方法通过修改组件提供了有效的解决方案。除了亮度和对比度等主要特性外，ArtIns还可以编辑更复杂的属性，包括波浪、素描和斑点的纹理。图6给出了一个示例。自然场景的风格化。一般来说，自然景物的意象需要绘画意象作为大多数艺术造型的风格指南，这就是时间图7. 自然场景风格化在AdaIN [14]，Linear [20]，SANet [26]和MST [41]上的多功能艺术作品。对于每一组图像，第一列是自然场景的图像，其他列是我们的方法发现的新风格的新鲜艺术作品并且消耗能量以收集大量风格图像并增加计算成本。在这项工作中，我们发现一些特殊的风格组件可以控制不同的艺术效果，如素描，油画等。对于自然图像，我们使用编码器，使其风格作为原始的风格特征。然后，我们可以取代或扩展潜在的风格表示，以风格化的自然场景没有其他风格的图像作为指导。图7显示了基于四种模型的实验结果，包括AdaIN [14]，Linear [20]，SANet [26]和MST [41]。4.4. 风格重建为了验证原始样式可以用独立的样式分量恢复，我们利用混合矩阵A和样式分量V尽可能多地重建原始样式。图8显示了基于四种艺术模型的风格重建结果，包括AdaIN [14]，Linear [20]，SANet [26]和MST [41]。通过对结果的观察，我们认为，风格特征可以被精确地划分为许多独立的风格成分，并且这些成分可以线性地组合成原始风格。此外，我们还计算了风格图像的风格编码与原始艺术输出（OS）的风格编码之间的均方误差（MSE-损失）我们还计算了风格重建（RS）的风格损失。选项卡. 1提供具体信息。我们认为，这是具有挑战性的，完全恢复原始的风格，因为这些风格组件是不是绝对独立的，如第二节所讨论的。4.5，需要进一步研究。19877图8.根据混合矩阵A，在AdaIN [14]，Linear [20]，SANet [26]和MST [41]上进行风格重建。对于每组图像，前两列分别是内容和样式的图像第一行的其他列是原始的艺术作品，第二行是重新组织风格的新鲜艺术品。表1.风格重构前后输出的风格损失。方法OSRsAdaIN [14]0.291.17线性[20]0.090.34SANet [26]0.040.19MST [41]0.250.694.5. 限制我们的方法是在假设风格特征是由多个独立的风格成分线性组合的情况下实现的。因此，如果样式特征是由样式成分非线性组合而成的，那么ArtIns就不能很好地应用，因为它的成分组成复杂，很难定义在我们的实验中，我们发现存在影响多个元素的风格组件。例如，当我们修改颜色时，线宽也会改变但我们也发现，绿色成分可以用黄色和蓝色成分的线性组合来代替。风格成分之间可能存在某种非线性关系，这对学习来说是相当具有挑战性和复杂性的。5. 结论在本文中，我们提出了一种新的无监督算法，以解决风格的可控性，发现艺术风格的独立组件。具体而言，我们重新思考的风格特征的含义，并发现潜在的风格表征可以分为多个风格成分。我们充分利用丰富的潜在知识，以获得这些独立的风格成分。然后，通过线性组合样式组件可以生成各种新鲜的样式。通过对四种风格变换方法的实验表明，该算法不仅能控制图像的风格变换方向，而且具有通用性和兼容性。与现有的方法相比，我们的无监督方法不需要任何参数来学习或训练，更灵活，高效和实用。鸣 谢 ： 本 工 作 得 到 国 家 自 然 科 学 基 金 项 目（No.62106037，No.62076052，No.U1936117）资助，基金项目：中央大学基础研究基金（DUT 20 RC（3）088，DUT20 TD 110），模式识别国家重点实验室开放项目（ No.202100032 ） 和 CCF- 百 度 开 放 基 金（No.2021PP15002000）。19878引用[1] 马扬克·阿加瓦尔，尼昆杰·杰恩，曼尼什·库马尔先生，还有希曼舒·阿加瓦尔.基于特征脸和人工神经网络的人脸识别。International Journal of Computer Theory andEngineering，2（4）：624，2010. 3[2] Xi Chen，Yan Duan，Rein Houthooft，John Schulman，Ilya Sutskever，and Pieter Abbeel. Infogan：通过信息最大化生成式对抗网络进行可解释的表示学习第30届神经信息处理系统国际会议论文集，第2180-2188页，2016年2[3] Vincent Dumoulin ， Jonathon Shlens ， and ManjunathKud-lur. 对艺术风格的博学的表现arXiv预印本arXiv：1610.07629，2016。2[4] Chaoyou Fu，Yibo Hu，Xiang Wu，Guoli Wang，QianZhang，and Ran He.高保真面部处理与极端的姿势和表情 。 IEEE Transactions on Information Forensics andSecurity，16：2218-2231，2021。2[5] 傅朝友、吴翔、胡一波、黄怀波、何冉。Dvg-face：用于异构人脸识别的双变分生成IEEE Transactions onPattern Analysis and Machine Intelligence，2021。2[6] Leon A Gatys，Matthias Bethge，Aaron Hertzmann，andEli Shechtman.神经艺术风格迁移中的色彩保存。arXiv预印本arXiv：1606.05897，2016年。2[7] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.艺 术 风 格 的 神 经 算 法 。 arXiv 预 印 本 arXiv ：1508.06576，2015。二、三[8] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。在IEEE计算机视觉和模式识别会议论文集，第2414-2423页，2016年。2[9] Golnaz Ghiasi ， Honglak Lee ， Manjunath Kudlur ，Vincent Dumoulin，and Jonathon Shlens.探索实时、任意神 经 艺 术 风 格 化 网 络 的 结 构 arXiv 预 印 本 arXiv ：1705.06830，2017。2[10] I. J. Goodfellow，J. Pouget-Abadie，M.米尔扎湾，澳-地Xu，D Warde-Farley，S.奥扎尔A.Courville和Y.本吉奥。生成对抗网络。神经信息处理系统的进展，3：2672-2680，2014。2[11] ErikH¨ rko¨ nen ， AaronHertzmann ， Jaakk oLehtinen ，andSylvain Paris.Ganspace：Discovering interpretable gancontrol.arXiv预印本arXiv：2004.02546，2020。3[12] 何冉，曹杰，宋凌霄，孙哲南，谭铁牛。用于nir-vis人脸识别的对抗性交叉谱人脸补全。IEEE transactions onpattern analysis and machine intelligence ， 42 （ 5 ） ：1025-1037，2019。2[13] Irina Higgins 、 Loic Matthey 、 Arka Pal 、 ChristopherBurgess 、 Xavier Glorot 、 Matthew Botvinick 、 ShakirMohamed和Alexander Lerchner。beta-vae：使用受约束的变分框架学习基本视觉概念。2016. 2[14] Xun Huang和Serge Belongie。实时任意样式传输，具有自适应实例规范化。在IEEE计算机视觉国际会议论文集，第1501-1510页，2017年。一二三四五六七八[15] Aapo Hyvarinen.用于独立分量分析的快速和稳健的定点算法。IEEE神经网络学报，10（3）：626-634，1999. 4[16] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694施普林格，2016年。2[17] Hyunjik Kim和Andriy Mnih。通过因子分解法解开。国际机器学习会议，第2649-2658页。PMLR，2018。2[18] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114，2013。2[19] Zbynek Koldovsky ，Petr Tichavsky 和Erkki Oja。算 法fastica的有效变体，用于独立分量分析，达到crame'r-rao下界。IEEETransactionson neural networks，17（5）：12654[20] Xueting Li，Sifei Liu，Jan Kautz，and Ming-Hsuan Yang.学习线性变换以实现快速图像和视频风格转换。在IEEE/CVF计算机视觉和模式识别会议论文集，第3809-3817页，2019年。一、二、四、五、六、七、八[21] Yijun Li，Chen Fang，Jimei Yang，Zhaowen Wang，Xin Lu，and Ming-Hsuan Yang.通过特征变换进行通用样式传递。arXiv预印本arXiv：1705.08086，2017. 4[22] Yijun Li ， Ming-Yu Liu ， Xuting Li ， Ming-HsuanYang，and Jan Kautz.一个封闭形式的解决方案的照片真实感图像风格化。在欧洲计算机视觉会议（ECCV）的会议记录中，第453-468页，2018年。3[23] 李阳浩，王乃彦，刘嘉颖，侯小迪。揭秘神经风格转移。arXiv预印本arXiv：1701.01036，2017。二、三[24] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。Microsoft coco：上下文中的公共对象。欧洲计算机视觉会议，第740Springer，2014. 6[25] Dimitris G Manolakis和Vinay K Ingle。应用数字信号处理：理论与实践。剑桥大学出版社，2011年。3[26] Dae Young Park和Kwang Hee Lee风格-注意网络的任意风格转移。在IEEE/CVF计算机视觉和模式识别会议论文集，第5880-5888页，2019年。一、二、四、五、六、七、八[27] Abraham Peled和Bede Liu。数字信号处理：理论、设计与实现。纽约，1976年。3[28] 弗雷德·菲利普斯和布兰迪·麦金托什维基艺术画廊有限公司：批判性思维的案例。会计教育，26（3）：593-608，2011。6[29] 埃里克·里瑟皮埃尔·威尔莫特和康奈利·巴恩斯使用直方图损失的稳定可控神经纹理合成和风格转移。arXiv预印本arXiv：1701.08893，2017。2[30] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。219879[31] Yujun Shen，Jinjin Gu，Xiaoou Tang，and Bolei Zhou.语义人脸编辑中gans潜在空间的解释。在IEEE/CVF计算机视觉和模式识别会议论文集，第9243-9252页，2020年。3[32] Yujun Shen和Bolei Zhou。gans中潜在语义的闭式分解。在IEEE/CVF计算机视觉和模式识别会议论文集，第1532-1540页，2021年。3[33] 卢胜，林紫怡，邵静，王晓刚Avatar- net：通过特征装饰实现多尺度零镜头风格转换。在IEEE计算机视觉和模式识别会议论文集，第8242-8250页，2018年。二、三[34] MustafaShukor， XuYao， BharathBhushanDamodaran，and Pierre Hellier.文体潜空间的语义与几何展开arXiv预印本arXiv：2107.04481，2021。3[35] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1409.1556，2014。二、三[36] Petre Stoica，Randolph L Moses，et al. Spectral analysisof signals. 2005. 3[37] 杜莱萨米·孙达拉拉詹离散傅立叶变换：理论、算法与应用。《世界科学》，2001年。3[38] G·韦克菲尔德傅立叶级数和离散傅立叶变换：快速入门.密歇根大学，EECE 206F01。，2001年。3[39] Guoxing Yang，Nanyi Fei，Mingyu Ding，GuangzhenLiu，Zhiwu Lu，and Tao Xiang. L2 m-gan：学习操纵潜在空间语义以进行面部属性编辑。在IEEE/CVF计算机视觉和模式识别会议论文集，第2951-2960页，2021年。3[40] Hang Zhang和Kristin Dana实时传输的多风格生成网络。在欧洲计算机视觉会议（ECCV）研讨会论文集，第0-0页，2018年。2[41] Yulun Zhang ， Chen Fang ， Yilin Wang ， ZhaowenWang，Zhe Lin，Yun Fu，and Jimei Yang.通过图形切割进行多模态风格转换。在IEEE/CVF计算机视觉集，第5943一、二、四、五、六、七、八[42] Jiapeng Zhu，Yujun Shen，Deli Zhao，and Bolei Zhou.用于真实图像编辑的域内gan反演。欧洲计算机视觉会议，第592-608页。Springer，2020年。3