非成对图像协同进化压缩

3235非成对图像平移的协同进化压缩韩舒1、王云鹤1、徐佳1、韩凯1、陈翰庭2、徐春静1、田琦1、常旭3、1华为诺亚2北京大学机器感知学院CMIC机器感知教育部重点实验室3澳大利亚悉尼大学工程学院计算机科学学院{韩舒，yunhe.wang，jiaxu 1，kai.han，徐春静，tian.qi1}@ huawei.com，htchen@pku.edu.cn，c. sydney.edu.au摘要生成对抗网络（GAN）已被广泛用于相当多的计算机视觉任务，特别是图像到图像的翻译。然而，这些网络中的发电机是复杂的结构与大量的参数和巨大的计算复杂度。现有的方法主要是为了压缩和加速分类任务中的深度神经网络而设计的，并且由于它们的目标和训练过程不同，为此，我们开发了一种新的协同进化方法，同时减少内存使用和FLOPs。在实践中，两个图像域的生成器被编码为两个群体，并协同优化，以迭代地优化最重要的卷积滤波器每个个体的适应度使用参数的数量、识别器感知的正则化和循环一致性来计算在基准数据集上进行的大量实验证明了所提出的方法在获得紧凑有效的生成器方面的有效性1. 介绍生成对抗网络（GAN [7]）在各种计算机视觉任务中取得了令人印象深刻的结果，例如超分辨率[18]和图像编辑[35]，这些都是移动设备上的流行应用。这些任务中的许多任务可以被认为是图像到图像转换问题[14，30]，其中来自一个域的图像被映射到另一个域中的对应配对图像该任务通过[36，15，33]进一步扩展到无监督学习设置，其中在训练期间不需要配对数据。然而，在移动设备上启动这样的图像到图像翻译模型需要考虑的存储器和计算成本，这可能会挑战*通讯作者硬件性能，并将影响用户例如，使用CycleGAN [36]中的生成器网络处理一个大小为224×224的图像需要大约43MB和1×1010FLOPs（浮点运算），这需要比一些现代CNN更多的资源对于大规模图像分类（例如，ResNet [10]和MobileNet[12]）。最近，已经提出了许多用于压缩和加速深度神经网络的算法。例如，Hanet al.[8]提出在预训练的神经网络中去除细微的权重，并依靠一些编码技术来获得压缩模型。Wang等人[32]从DCT频域的角度进一步解决了这个问题，以实现更高的压缩比。Luo等人[22]基于来自下一层的统计信息修剪过滤器。Hu等人[13]通过根据特征图的大小删除不太重要的神经元来迭代地修剪网络。此外，还提出了几种方法来学习具有不同技术的便携式深度神经网络，例如。矩阵/张量分解[5]，量化和二进制化[3，23，29]，知识蒸馏[11，26，27]和有效卷积块设计[12，34]。尽管上述方法在减少深度神经网络中的冗余方面取得了巨大进展，但它们中的大多数都是为图像分类或对象检测等识别任务而设计的对于识别任务，具有大激活的神经元对最终分类准确性的贡献更大。因此，具有弱激活的神经元通常通过低秩分解或聚类而被消除或使用低比特数据近似表示，而不会明显降低原始性能。相比之下，用于图像翻译任务的生成对抗网络通常由生成器和搜索器组成，它们采用两人竞争策略交替更新。因此，GAN的训练比传统神经网络的训练更困难。因此，研究冗余度是有意义的，3236图1.提出的协同进化方法学习高效发电机的示意图其中，生成器中的滤波器被表示为二进制串，并且保持两个种群以迭代地消除每个生成器中的冗余卷积滤波器便携式发生器将由每个人群中的最佳个体（红色矩形）重建。GANs，并探索一种有效的方法来学习更少的参数和计算的有效发电机。为此，我们开发了一个协同进化算法，以学习有效的架构，为两个发电机在一个syn-ergistic环境中，如图1所示。其中，预训练GAN中的卷积滤波器被编码为二进制字符串，使得压缩和加速任务可以转换为二进制编程问题。图像到图像转换任务中的生成器可以具有不同的冗余度，例如。用于将城市景观图像转换为像素图像的生成器因此，在未配对的图像翻译任务中，分别为这两个生成器网络维持两个群体每个个体的适应度根据模型大小和GAN的判别器感知损失来计算。这两个群体交替更新，利用最好的个人在以前的迭代获得令人满意的性能的便携式架构。在基准数据集上的大量实验表明，所提出的协同进化算法可以有效地同时压缩两个生成器，同时保持变换图像的质量。压缩后的生成器在保持图像平移性能的前提下，参数减少到原来的1/4本文的其余部分组织如下。第2节研究了GAN和模型压缩方法的相关工作第3节提出了在预训练的GAN中去除冗余滤波器的协同进化方法。第4节显示了在台架上进行的实验结果。标记数据集和模型，第5节总结论文。2. 相关作品我们的目标是基于预训练的生成器网络重建紧凑高效的图像翻译有许多工作提出了图像翻译与GANs和模型压缩紧凑的深度神经网络，这将分别审查。2.1. 用于图像翻译的GANs生成式对抗网络通过采用一个自适应网络来改进生成器，在图像翻译任务上取得了令人印象深刻的性能。 Isola等人[14]引入了生成对抗网络和L1损失来解决配对图像翻译的问题Wang等人[30]提出了一个由粗到细的生成器和一个多尺度插值器来生成高分辨率图像。Zhu等[36]通过利用两个相反的域转移生成器和精心设计的循环损失实现了不成对的图像到图像的转换。类似地，Kimet al. [15] Yiet al.[33]还采用了循环策略来解决不成对的图像平移问题。Choi等人[2]将两域翻译任务扩展为多域图像翻译问题。事实上，那些精心设计的生成器网络包含巨大的参数并且需要巨大的计算成本，这不能在移动设备上有效地启动e.G.手机和摄像头因此，我们的动机是探索一种压缩方法，以减少他们的参数，32372i=1计算复杂性2.2. 模型压缩为 了 从 预 训 练 模 型 中 学 习 紧 凑 高 效 的 网 络 ，Dentonet al.[5]利用奇异值分解（SVD）实现全连接层中参数的低秩近似。Chen等人[1]使用了一个哈希函数，并在同一个哈希桶中用一个参数表示权重。Han等人[9]去除了预先训练的神经网络中不重要的参数，并进一步[8]利用量化，霍夫曼编码，其中，生成器G1的功能是生成看起来与来自另一域Y的图像相似的图像G1（x）。网络D1用于区分G1生成的图像和Y中的真实图像。生成器G1旨在最小化Eq.1，而该系统试图最大化它，即。min maxLGAN（G1，D1，X，Y），（2）G1D1CycleGAN的整个目标是L（G1，G2，D1，D2）= LGAN（G1，D1，X，Y）+稀疏行格式，用于获得非常紧凑的模型。Luo等人[22]删除冗余过滤器，并更换LGAN（G2，D2，Y，X）+λL（三）cyc（G1，G2），全局平均池化（GAP）层的全连接层Vanhouche等人[29]探索了具有8位整数值的深度神经网络，以32位浮点值取代原始模型，以直接实现压缩和Courbariaux和Bengio [3]探索了具有二进制权重和激活的神经网络。Restgari等人[23]进一步将二进制卷积纳入现代神经架构，以实现更高的性能。虽然上述这些方法在几个基准模型上实现了可观的加速和压缩比，但它们中的大多数是针对诸如图像分类和对象检测之类的识别任务而开发的，这不能直接应用于生成器网络。实际上，GANs由一个发生器和一个鉴别器组成，其输出是高维和复杂结构的图像。因此，我们将开发有效的方法来压缩GAN并保持生成图像的视觉质量。3. 高效发电机的协同进化在这里，我们首先简要介绍了用于不成对图像到图像转换的CycleGAN [36]，这是使用不成对数据学习两个分布之间对应关系的最先进方法，然后提出了一种新的协同进化算法，用于同时压缩其两个生成器。其中，Lcyc是循环一致性损失，λ是超-参数，以寻求世代之间的折衷能力和周期的一致性。显然，CycleGAN的训练过程比识别任务（例如：分类[17，28，10]和检测[25，19]。此外，虽然GAN在图像风格传输方面表现良好，但这些模型中的大多数生成器都设计得很好，具有相当大的参数和FLOP，这通常是移动设备无法承受此外，通过分析Eq. 3.我们可以发现，压缩图像分类或检测模型的任务与压缩生成网络进行图像风格转换的任务之间有两个主要区别：1）判别器网络在训练完整个生成网络后将被丢弃，其不需要是紧凑的; 2）GANs的输出结果是高维的，难以定量评价生成的图像。我们的目标是探索有效的方法来发现冗余参数和压缩原始GAN以获得有效的模型。一种用于降低GAN复杂性的简单方法可以直接从传统的prun方法中借用[8，32]，用于最小化输出数据上的重建误差，其可以被公式化为生成器感知损失函数，即。1Σm3.1. 发电机的冗余建模LGenA= Mi=1||第二条、第四条||2,(4)形式上，给定来自两个不同的训练数据集-哪里||·||2是用于计算ENT域（例如，斑马和马）X={xi}mn和之前使用发生器生成的图像之间的差异压缩后，G是压缩生成元。Y={yi}i=1，分别具有m和n个图像。的这两个域的数据分布被表示为x×p数据（x）和y×p数据（y）。 CycleGAN的目标是同时学习两个映射，即。G1：X→ Y和G2：Y→X。对于第一映射G1及其判别器D1，相应的目标函数可以是数学公式为LGAN（G1，D1，X，Y）=Eypdata（y）[logD1（y）]1不可否认，最小化Eq.4能促使使用G_1生成的图像与G_1生成的图像相似，但与风格迁移任务关系不 事实上，我们不能使用外观损失来精确测量两种样式之间的例如，具有八个或五个黑白条纹的马可以被认为是图像翻译任务中的成功变换。因此，优化Eq. 4不会精确挖掘冗余+Ex最大数据（x）（一）[log（1−D1（G（x）]，在生成器网络G1中。32382L2虽然鉴别器网络D将在等式（1）的训练过程之后被2.它包含了区分不同领域图像的重要信息因此，我们建议最小化以下用于学习压缩生成器网络的感知目标函数1Σm在给定的卷积层中，不同滤波器的功能是相互作用的，我们应用进化算法[24，31]将所有卷积滤波器编码为二进制码。此外，在等式中存在两个变量。8，即G1和G2有自己的任务来学习两个不同的映射，因此我们开发了一种利用遗传算法（GA [4]）的协同进化方法来压缩Cy-LDisA= Mi=1||第二条，第（五）项||2,(5)克里根。请注意，其他进化算法，如模拟退火[16]和PSO [6]也可以类似地其中，D1是原始网络中的最小值，捕获目标域w.r.t.中的样式信息训练数据集Y.与Eq相比4、上述函数并不强制原始生成器和压缩生成器的输出相似，而是使用预先训练的机器人，这是一个更合适的目标更新G1：在实际中，过滤器剪枝任务将被视为一个二进制规划问题，生成器G1将相应地表示为一个二进制串，即，个别p.其中，每个比特被分配给给定网络中的卷积滤波器，即， .0，如果p（n）=0，高效的GAN我们将进一步研究Eq.4和方程式实验部分对GANs的性能进行了5次B（n，：，：）=L1， 否则，（九）此外，在保持发电机容量时，还应考虑循环的一致性，即：1Σm其中pl表示第l个卷积滤波器的状态，在G1层。pl（n）=0意味着丢弃第l个卷积层中的第n个滤波器，否则保留。数量在传统的神经网络中，L循环=Mi=1||二、||2.（六）网络[10，36]，并且l个卷积层的p的长度是可容忍的。由于卷积滤波器在不同的因此，压缩第一生成器G1的目的（例如，马到斑马）在CycleGAN中可以写为G_（1）=arg_min_nN（G_（1））+γ（L_D_i_sA+λL_c_y_c），（7）层具有各种大小，其具有不同的存储器使用和计算复杂度，我们利用以下函数来重新公式化等式中的N（·）。第八章：ΣG1N（p）=Ll=1 （pl−11·pl1·Hl·Wl）、（10）其中N（·）计算神经网络中参数的数量工作，γ是用于平衡每个的超参数Ll=1（Nl·Cl·Hl·Wl）G1的压缩比和压缩比。除了上面讨论的目标之外，在GAN的压缩过程中，还有一个重要的问题应该被考虑在内通常，CycleGAN中的两个生成器具有相同的架构和数量的卷积滤波器，其具有用于进行图像到图像转换任务的相似容量仅最小化一个生成器将使CycleGAN的整个系统不稳定，因此我们建议同时压缩这两个生成器，即。其为卷积滤波器分配具有更高重要性的更多权重。其中，pl−11是第l −1层中的滤波器数量，即第l层中的通道数，Nl、Cl、Hl和Wl是滤波器的数量，通道的数量以及G1中第l个卷积层中滤波器的高度和宽度。除了内存使用，Eq. 10还考虑了FLOP，因为具有更多权重的卷积滤波器，即，Cl×Hl×Wl通常涉及GAN中的更多乘法然后，一个人的健身压缩，G，G = arg minN（G）+N（G）生成器G1定义为1 2 1 2G1、 G2+γ（LDisA（G1，D1）+λLcyc（G1，G2，X））+ γ（L（G，D）+ λL（G，G，Y））。（八）F（p）=N（p）+γLDisA（G1，D1）ΣΣ−1（十一）DisA22CYC2 1+λLcyc（G∈1，G2，X），其可同时额外提供两个便携式发电机以节省计算资源。3.2. 协同进化压缩Σ。3239考虑到我们不能根据每个滤波器的输出准确地估计其对最终损耗的其中G1是对应于给定个体p的压缩生成元。在定义了适应度的计算方法后，采用遗传算法通过多次进化来寻找最适合的个体。对于每个个体，对应的压缩网络为3240i=1i=1tt算法1GAN的协同进化压缩。G2。要求：训练集X ={xi}m和Y={yi}n。预训练的GAN具有两个生成器和区分器，启动器G1、G2、D1和D2，参数：K，T，λ，γ，同样，我们将G2中的所有卷积滤波器编码为-用K个个体模拟一个种群，即q1，...，qK，相应的适应度可以定义为：和学习率等。1：初始化两个群体P0和Q0w.r.t.g1和g2K个个体;F（q）=ΣN（q）+γ.LDisA（G2，D2）ΣΣ−1（十三）2：选择最佳的individepp（0）和q（0）;3：对于t=1至T，4：计算Pt中每个个体的适应度：F（p（t）） ←[ N（p（t））+γ（ LDisA（p（t），D1，X）+λLcyc（p（t），q<$（t−1），X））]−1;5：计算每个个体在Qt中的适应度：F（q（t）） ←[ N（q（t））+γ（ LDisA（q（t），D2，Y）+λLcyc（q（t），p<$（t−1），Y））]−1;6：获得选择概率（等式12）;7.保留最好的个人：P（1）<$p<$（t−1），Q（1）<$q<$（t−1）;8：对于k=2至K，9：生成随机值s[0，1];10：进行基因的选择、交叉和突变根据s生成新个体;11：结束12：结束十三： 更新Pt和Qt中个体的适应度;14.分别利用最佳的个体p_n（T）和q_n（T），建立两个生成器网络工作G_n1和G_n2;Ensure：微调后的便携式发电机G1和G2使用整个训练集。对训练数据的子集进行微调（例如，10%的训练图像随机采样），并采取验证集上的适应度然后，通过比较当前群体中的个体之间的适应度，为每个个体，乌克兰Pr（pj）=F（pj） F（pk），（12）k=1其中pj是群体中的第j个个体，K是群体中的个体数。在每次迭代中的人口被视为父母，并根据方程选择。12个。选择的亲本使用以下操作繁殖另一个群体作为后代：选择、交叉和突变[4，31]。更新G2：虽然CycleGAN中两个生成器的架构通常是对称的，具有相同数量的卷积滤波器，但G1和G2中的冗余可能会有很大的不同。例如，学习从语义地图到街景的映射比从街景到语义地图。因此，我们利用另一个群体来优化CycleGAN中的另一个生成器，即。+λLcyc（G∈2，G1，Y） ，其也可以在进化过程中被优化。此外，它可以在Eq中找到。11、Eq. 13，每个发电机的周期一致性的计算涉及CycleGAN中的其他发电机因此，两个群体交替更新以同时优化G1和G2。G2。具体来说，对于第t次迭代，我们首先利用上一次迭代q（t-1）中G2的最佳个体来获得G1的最佳个体p（t），然后利用它来计算G2的适应度。此外，最好的个人保存策略，以提高进化算法的鲁棒性。使用所提出的方法学习便携式GAN的详细过程总结在算法1中。4. 实验在这一节中，我们定性和定量地评估了三个基准不成对的图像翻译数据集，即，马和斑马，夏天和冬天，还有城市景观。CycleGAN的体系结构直接借鉴了其原始论文[36]。CycleGAN中的每个生成器依次由一个7×7步幅-1卷积层，两个3×3步幅-2卷积层，九个残差块[10]，两个3×3步幅-2转置卷积层和一个7×7步幅-1卷积层组成。此外，每个由5个卷积层和一个FCN [21]分类层组成。我们使用[36]中的默认设置来预训练和微调CycleGAN，以便进行公平的比较。参数的影响。我们的目标是学习有效的生成网络，用于不成对的图像到图像的风格转移。如算法1中所讨论的，目标函数Eq.8用于压缩GAN将被转换为适应度校准，在提出的共同进化方法的框架内计算。λ是用于对循环一致性项进行加权的参数，根据原始CycleGAN [36]将其设置为10。此外，在保持循环一致性的同时，还应用了用于保持每个域的信息的同一性损失。个体数K设为32，最大迭代次数T等于100，参考文献[31]。然后，我们进一步研究了不同超参数γ下压缩生成网络的压缩比与性能之间的权衡关系。它3241输入图像原始结果γ = 0。1γ= 1γ= 10型号大小43.42MB7.21MB8.07MB10.16MB型号大小43.42MB7.20MB7.85MB10.00MB图2.使用生成器生成的图像通过利用所提出的方法与不同的超参数压缩。顶线和底线分别显示从马到斑马的结果和从斑马到马的结果两个发电机是从整个CycleGAN压缩而来的提供了不同发电机的型号尺寸在图3.2中可以发现，较大的γ带来较低的压缩比，即，模型尺寸比原始模型小得多。然而，对于较大的γ，所得到的图像的视觉质量将更好。结果表明，当γ=10时，得到的压缩模型具有较好的生成能力，生成的图像与原始模型的图像相似。两台发电机的压缩比均为4。27 × 4。34×，分别。此外，两个发电机的压缩比相似，因为将马转移到斑马的难度也相似，把斑马变成马消融研究。在研究了GANs的生成能力和模型大小之间的权衡之后，我们进一步进行了广泛的消融实验，以评估所提出的方案中不同组件的功能。在第3节中开发了一种用于迭代压缩CycleGAN中的两个生成器的协同进化方法，该方法涉及两个种群以获得具有更高性能的生成模型。因此，我们首先比较使用进化算法分别压缩两个生成器的结果和来自所提出的协同进化算法的结果，分别如图3（b）和图3（d）所示。为了进行公平的比较，我们调整超参数以获得具有相似模型大小的压缩网络，例如。使用所提出的方法的生成器是10。16MB在horse2zebra任务上。很明显，提出的协同进化方法获得了更高的视觉质量的图像，例如。清晰的斑马纹和更多的白色山脉，因为所提出的方法可以同时调查两台发电机的冗余度。另外，我们还可以同时得到两个高效的生成器，这比分别压缩它们的方案灵活得多然后，我们比较了所提出的两种损失函数的性能，以评估压缩GAN的容量，即。发电机感知损失和发电机感知损失。在生成器感知约束下的压缩模型的结果如图3（c）所示它是ob-可见，使用生成器感知损失LGenA生成的图像比使用重构器感知损失生成的图像更差，因为风格信息不能容易地被重构误差捕获例如，不同的马与斑马之间的差异仅存在于马的身体上，输入图像与图3（c）之间的总体差异并不显著。与传统的修剪方法比较。与在预训练的深度神经网络中修剪冗余卷积滤波器的传统方法相比，所提出的方法引入了可感知的损失，即，当量5识别用于进行图像风格传输任务的无用过滤器。因此，我们将所提出的方法与最先进的过滤器修剪方法（即ThiNet [22]）进行比较，该方法可最大限度地减少输出特征的重构误差。同样，我们还调整了ThiNet中的超参数，以确保模型大小（10。88MB）的结果生成器的ThiNet是类似的，使用所提出的方法。在图3（a）中可以发现，通过ThiNet压缩的生成器生成的图像对于类似数量的参数不能捕获目标域中的样式信息，例如，生成的斑马图像基本3242输入图像原始结果（a）（b）（c）（d）图3.使用不同的方法和策略在horse2zebra和summer2winter数据集上生成的图像前两列示出了输入图像和由原始CycleGAN生成的图像（a）中的图像通过使用传统的ThiNet进行滤波器修剪的压缩生成器生成，而（b）通过使用LDisA分别压缩两个生成器的进化方法生成，（c）通过使用L GenA的协同进化方法生成，（d）通过使用L DisA的协同进化方法生成。与使用所提出的方法的原始模型和压缩模型不同，如图3（d）所示。实际上，传统的滤波器剪枝方法与生成器感知损失假设相似，得到的结果与图3（c）中的结果相似但更差，不适合进行非成对图像平移的压缩任务此外，我们还将所提出的方法与其他过滤器修剪方法进行了比较，即网络修剪[13]和瘦身[20]，这些方法获得了与ThiNet相似的结果，并且可以在补充材料中找到。过滤器可视化。由于进化算法可以全局发现最有益的过滤器为给定的任务，它是必要的，看看哪些过滤器被认为是冗余的，哪些过滤器是必不可少的发电机 。 因 此 ， 我 们 在 horse2zebra 数 据 集 上 可 视 化CycleGAN第一个卷积层中的前几个过滤器，如图4所示。有趣的是，我们的方法丢弃的滤波器不仅具有小范数，而且还可能具有大值，这与传统的滤波器修剪方法的结果（即，当滤波器修剪时，丢弃的滤波器可能具有大值）有显著的不同。ThiNet [22].实际上，用于提取颜色和纹理信息的过滤器中的权重可以非常小。在图4中可以发现，所提出的方法保留了具有更独特结构的滤波器，这有利于保持发电机网络的可接受性能。此外，微调后的滤波器没有明显的变化，这证明了这些卷积滤波器用于执行后续图像到图像转换任务的重要性和功能。表1.压缩发电机的统计。任务存储器RcFLOPs俄.西马斑马zebra2horse10个。16MB10个。00MB4.第一章27×4.第一章34×13 448海里13 060海里4.第一章23×4.第一章35×夏季2冬季冬夏7 .第一次会议。98MB7 .第一次会议。61兆字节五、44×五、70×11064个月10 994海里五、14×五、17×城市景观-A2 B城市景观-B2 A8. 98MB12个。26兆字节4.第一章84×3 .第三章。54×12 977海里16 445海里4.第一章38×3 .第三章。46×详细的压缩结果。此外，详细的结果，六个发电机上训练的三个数据集，即。horse 2 zebra、summer 2winter和cityscapes，分别是模型大小和FLOP的压缩3243率。很明显，所提出的协同进化方法可以有效地去除预训练GAN中的冗余滤波器，并获得高效的生成器。3244图4.过滤可视化结果。从上到下：红色矩形的原始滤波器选择所提出的方法保留的滤波器，微调后的滤波器，红色矩形的原始滤波器选择ThiNet保留的滤波器表2.根据城市景观数据集计算的不同发电机的FCN分数方法存储器平均像素访问平均类别Acc.平均类IoU原创[36]四十三42兆字节0.5380.1720.121ThiNet [22]10个。88兆字节0.2180.0890.054我们12个。26兆字节0.5420.2120.131此外，我们可以从CycleGAN [36]中获得两个有效的生成器，用于通过同时探索它们的冗余来执行不成对的图像到图像的翻译任务此外，在表1中还有一些有趣的现象，即。用于更困难的变换任务的生成器倾向于具有更少的冗余。例如，由于将语义地图转换为街景的任务比将街景转换为语义地图的任务更第二个压缩生成器的模型大小（12.26MB）（即，城市景观-B2 A）的容量（8.98MB）远大于第一个发电机（即cityscapes-A2 B），证明了所提出的协同进化方法在压缩GAN方面的优越性，并为设计用于各种任务的GAN提供了一些指导。此外，在补充材料中可以找到压缩CycleGAN中两个生成器的详细静态和使用所提出的方法生成的压缩模型运行时间。所提出的方法直接去除冗余滤波器并产生高效的GAN。因此，压缩模型不需要其他额外的支持（例如，稀疏矩阵和霍夫曼编码[8]），以实现网络加速。然后，我们比较了使用原始和压缩模型处理图像的运行时。实际上，使用Intel Xeon E5-2690 CPU处理一个图像的原始模型的平均运行时间约为2260ms。相比之下，具有10.16MB模型大小的压缩模型的运行时间（即，表1中的第一行）为约730 ms，这实现了约3.1×比理论加速率低比率（4. 23×）由于数据传输、ReLU等产生的成本。验证所提出方法的演示代码可以在我们的补充材料中找到。定量评价。除上述实验外，我们还对所提出的方法进行了定量评价为了评估压缩生成器的质量，“FCN分数”[ 14 ]被用于从语义地图到城市景观图像生成的在实践中，利用城市景观数据集上的预训练FCN-8 s网络[21]进行语义分割实验。实验结果和详细结果示于表2中。分割实验的测量是每像素精度、每类精度和平均类IOU。很明显，与传统的ThiNet [22]相比，所提出的方法在修剪卷积滤波器方面获得了更好的结果，这比使用原始生成器的结果略高，因为我们可以有效地去除无用的滤波器以建立生成模型，从而在卷积网络上表现良好。此外，我们的补充材料中显示了分割在horse2zebra和summer2winter的数据集上，采用Fre′chet起始距离（FID）来评估所提出的方法的结果，如表3所示。该方法的结果接近原始CycleGAN[36]，明显优于基于权重的剪枝方法。表3. FID评分比较。FID原创[36]ThiNet[22]我们马斑马zebra2horse74岁04一百四十八81189 28184 88九十六。15一百五十七90夏季2冬季冬夏79岁。12七十三。3181. 06八十1778岁5879岁。165. 结论本文研究了生成式网络在不成对图像风格翻译中的模型压缩和加速问题。提出了一种新的协同进化算法，用于同时修剪两个生成器中的冗余滤波器。在遗传算法的求解过程中，可以有效地得到两个可移植的发电机网络.在基准数据集和生成模型上进行的实验表明，所提出的协同进化压缩算法能够充分挖掘GAN中的冗余信息，并获得相当大的压缩比和加速比。此外，使用压缩生成器生成的图像还保持了具有高视觉质量的风格信息，可以直接应用于任何现成的平台。致谢：我们感谢dr.钢牛为有见地的讨论。Chang Xu在项目DE180101438下得到了澳大利亚研究委员会的支持。3245引用[1] 陈文林，詹姆斯·T·威尔逊，斯蒂芬·泰里，基利安·Q·温伯 格 ， 陈益 新 。 压 缩 卷积 神 经 网 络 。arXiv 预 印 本arXiv：1506.04449，2015年。3[2] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. Stargan：用于多域图像到图像翻译的统一生成对抗网络。在CVPR中，第8789-8797页，2018年。2[3] Matthieu Courbariaux、Itay Hubara、Daniel Soudry、RanEl-Yaniv和Yoshua Bengio。二进制神经网络：训练权重和激活限制为+1或-1的深度神经网络。arXiv预印本arXiv：1602.02830，2016。第1、3条[4] Kalyanmoy Deb ，Amrit Pratap ，Sameer Agarwal ，andTAMT Meyarivan.一种快速精英多目标遗传算法。IEEETransactions on Evolutionary Computation ， 6 （ 2 ） ：182-197，2002. 四、五[5] 艾米丽·L·丹顿、沃伊切赫·扎伦巴、琼·布鲁纳、扬·勒昆和罗布·弗格斯。利用卷积网络中的线性结构进行有效评估。在NIPS，2014。第1、3条[6] 罗素·埃伯哈特和詹姆斯·肯尼迪。一种新的粒子群优化算法。微机器与人类科学，1995年。MHS'95.， 第六届国际研讨会论文集，第39-43页，1995年。4[7] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NIPS，第2672-2680页，2014中。1[8] Song Han，Huizi Mao，and William J Dally.深度压缩：使用修剪、训练量化和霍夫曼编码压缩深度神经网络。ICLR，2016年。一、三、八[9] Song Han，Jeff Pool，John Tran，and William Dally.学习权值和连接以实现高效的神经网络。2015年，在NIPS中。3[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习在CVPR，2016年。一二三四五[11] Geoffrey Hinton Oriol Vinyals和Jeff Dean。 提取神经网络中的知识。arXiv预印本arXiv：1503.02531，2015。1[12] Andrew G Howard，Menglong Zhu，Bo Chen，DmitryKalenichenko， Weijun Wang，Tobias Weyand ，MarcoAn- dreetto，and Hartwig Adam. Mobilenets：用于移动视觉应用的高效卷积神经网络。arXiv预印本arXiv：1704.04861，2017。1[13] Hengyuan Hu，Rui Peng，Yu-Wing Tai，and Chi-KeungTang.网络修整：面向高效深度架构的数据驱动神经元修剪方法。arXiv预印本arXiv：1607.03250，2016。1、7[14] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在CVPR中，第1125-1134页，2017年。一、二、八[15] Taeksoo Kim、Moonsu Cha、Hyunsoo Kim、Jung KwonLee和Jiwon Kim。学习发现跨域关系生成对抗网络。在ICML，第1857JMLR。org，2017.一、二[16] Scott Kirkpatrick，C Daniel Gelatt和Mario P Vecchi。用模拟退火法进行优化。science，220（4598）：671-680，1983. 4[17] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的Im-agenet分类NIPS，2012年。3[18] ChristianLedig，LucasTheis，FerencHusza'r，JoseCaballero，Andrew Cunningham，Alejandro Acosta，Andrew P Aitken ， Alykhan Tejani ， Johannes Totz ，Zehan Wang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在CVPR，第2卷，第4页，2017年。1[19] Wei Liu，Dragomir Anguelov，Dumitru Erhan，ChristianSzegedy，Scott Reed，Cheng-Yang Fu，and Alexander CBerg.Ssd：单发多盒探测器。在ECCV，2016年。3[20] Zhuang Liu，Jianguo Li，Zhiqiang Shen，Gao Huang，Shoumeng Yan，and Changshui Zhang.通过网络瘦身学习高效的卷积网络在ICCV，第2755-2763页7[21] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络CVPR，2015。五、八[22] Jian-Hao Luo，Jianxin Wu，and Weiyao Lin. Thinet：一种用于深度神经网络压缩的过滤器级修剪方法。在ICCV，第5058-5066页，2017年。一、三、六、七、八[23] Mohammad Rastegari、Vicente Ordonez、Joseph Redmon和Ali Farhadi。Xnor-net：使用二进制卷积神经网络的Imagenet分类。见ECCV，第525施普林格，2016年。第1、3条[24] Esteban Real 、 Sherry Moore 、 Andrew Selle 、 SaurabhSaxena、Yutaka Leon Suematsu、Jie Tan、Quoc V Le和Alexey Kurakin。图像分类器的大规模进化ICML，第2902-2911页。JMLR。org，2017. 4[25] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn：利用区域建议网络进行实时目标检测。2015年，在NIPS中。3[26] Adriana Romero 、 Nicolas Ballas 、 Samira EbrahimiKahou 、 Antoine Chassang 、 Carlo Gatta 和 YoshuaBengio 。Fitnets：薄而 深的网的 提示。 arXiv预印本arXiv：1412.6550，2014。1[27] 沈成超，王新潮，宋杰，孙立，宋明立.将知识融合到综合分类中。arXiv预印本arXiv：1811.02796，2018。1[28] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络。ICLR，2015年。3[29] Vincent Vanhoucke，Andrew Senior，and Mark Z Mao.在CPU上提高神经网络的速度深度学习和无监督特征学习研讨会，NIPS，2011年。第1、3条[30] Ting-Chun Wang，Ming-Yu Liu，Jun-Yan Zhu，AndrewTao，Jan Kautz，and Bryan Catanzaro.基于条件gans的高分辨率图像合成与语义处理。在CVPR中，第8798-8807页，2018年。一、二[31] 王云鹤，徐畅，邱嘉言，徐超，陶大成。进化压缩。在SIGKDD，2018年。四、五3246[32] 王云鹤、徐畅、游山、陶大成、徐超。Cnnpack：在频域中打包卷积神经网络。在NIPS，2016年。第1、3条[33] 自立一、张浩、谭平、龚明伦。Dualgan：图像到图像翻译的无监督双重学习。见ICCV，第2868-2876页。IEEE，2017年。一、二[34] Xiangyu Zhang，Xinyu Zhou，Mengxiao Lin，and JianSun. Shufflenet：一个非常有效的卷积神经网络，用于移动设备。在IEEE计算机视觉和模式识别会议论文集，第6848-6856页，2018年。1[35] Jun-YanZhu ， PhilippKr ？ henb ？ hl ， EliShechtman ，andAlexei A Efros.自然图像流形上的生成视觉操作在ECCV，第597-613页，2016中。1[36] Jun-Yan Zhu ， Taesung Park ， Phillip Isola ， Alexei AEfros.使用周期一致对抗网络的不成对图像到图像翻译。在ICCV，第2223一二三四五八