MobileStyleGAN.pytorch：基于PyTorch的StyleGAN 2模型压缩工具包

软件影响10（2021）100115原始软件出版物MobileStyleGAN.pytorch：基于PyTorch的工具包，用于压缩StyleGAN 2模型谢尔盖·别洛乌索夫独立研究员A R T I C L E I N F O保留字：图像合成StyleGANMobileStyleGAN生成对抗网络CNN压缩A B标准近年来，生成对抗网络（GANs）在生成图像建模中的使用变得非常流行。虽然基于风格的GAN架构在高保真图像合成中产生了最先进的结果，但在计算上，它们非常复杂。在我们的工作中，我们专注于基于风格的生成模型的性能优化。我们引入了一个名为MobileStyleGAN.pytorch的开源工具包来压缩StyleGAN2模型。代码元数据当前代码版本2021.04.10.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-67可再生胶囊的永久链接https://codeocean.com/capsule/1480388/tree/v1合法代码许可证Apache 2.0使用git的代码版本控制系统使用Python、C++的软件代码语言、工具和服务编译要求、操作环境依赖性1-操作系统Linux/Windows，Python 3.8.+如果可用，链接到开发人员文档/手册https://arxiv.org/abs/2104.04767技术支持邮箱sergei.o. gmail.com1. 介绍近年来，通过使用生成对抗网络（GAN），高保真图像合成得到了显着改进[1]。虽然早期的工作，如DCGAN [2]可以生成分辨率高达64×64像素的图像，但现代网络，如Style-GAN 2 [3-5StyleGAN 2 [3-StyleGAN 2 [3因此，Style-GAN 2是解决各种任务的基础，例如图像生成，语义图像编辑[6]，3D面部生成[7]，无限全景图像生成[8]，虚拟试衣间[9]等。虽然StyleGAN2在许多与图像合成和编辑相关的任务中得到了广泛的应用，但它需要许多计算资源。高计算复杂度使得它很难将基于StyleGAN2的软件部署到移动设备上。因此，我们决定开放我们的工具包MobileStyleGAN.pytorch，它可以将StyleGAN 2压缩为适用于部署到移动设备的轻量级MobileStyle-GAN [10MobileStyle- GAN是一个轻量级的基于样式的生成模型，具有与StyleGAN 2相同的优势，生成的图像质量相当，但计算复杂性较低。例如，对于高分辨率的人脸合成，MobileStyleGAN比StyleGAN 2快10倍，GMAC1和4.5倍更少的MParams。2本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。电子邮件地址：sergei.o. gmail.com。1 GMAC（Giga Multiply Accumulate Operations）是一种计算复杂度度量，它计算所有乘法运算的 总 和 以进行推理。2MParams（百万参数）是网络参数的计数https://doi.org/10.1016/j.simpa.2021.100115接收于2021年6月23日;接受于2021年2665-9638/©2021作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsS. 别洛乌索夫软件影响10（2021）100115表1Fig. 1. （顶部）由StyleGAN2生成的图像。 （下）MobileStyleGAN生成的图像。MobileStyleGAN.pytorch用于创建一个开源Python针对FFHQ的StyleGAN和MobileStyleGAN的比较数据集，1024 × 1024。网络MParamsGMACsFID风格GAN2 28.27 143.15 2.84MobileStyleGAN 8.01 15.09 7.75表2CPU上的推理时间（英特尔（R）酷睿（TM）i5- 8279 U）。网络引擎时间StyleGAN2 PyTorch 4.3MobileStyleGAN PyTorch 1.2MobileStyleGAN OpenVINO 0.162. 描述MobileStyleGAN.pytorch 是 一 个 Python 工 具 包 ， 旨 在 压 缩StyleGAN 2模型，直观地比较原始模型和压缩模型，并将轻量级模型转换为ONNX [11]格式。我们的工具包通过基于训练过程的知识蒸馏[12]提供了一种压缩算法，而无需任何外部训练数据。给定StyleGAN 2 [4]作为教师网络，我们训练MobileStyleGAN来模仿其功能。训练过程需要一个带有现代GPU的工作站（在我们的实验中，我们使用了一个带有4 xNvidia RTX 2080Ti的工作站）和几天的收敛时间。为了证明我们的工具包是可行的，我们压缩了在FFHQ数据集上预训练的StyleGAN2模型[3]。表1显示了我们在FFHQ数据集上对MobileStyleGAN的评估结果， 第3章[13]此外，我们还评估了StyleGAN 2和MobileStyleGAN在英特尔（R）酷睿（TM）i5- 8279 U CPU上的推理时间。表2示出了推断时间评估的结果。正如我们的实验所示，我们的框架提供了一个压缩模型，比实际硬件上的基本StyleGAN2模型快到x27，并且具有可比的生成图像的质量（图）①的人。3. 影响我们的工具包提供的MobileStyleGAN模型可以作为StyleGAN2的轻量级替代品，用于任何使用StyleGAN2的任务。3FID（Fréchet Inception Distance）是生成图像的质量评估指标，用于捕获生成图像与真实图像的相似性2图书馆为不存在的人的脸生成。 该库被称为random_face [14]，专为用户需要生成许多照片级逼真面部的不同应用程序而设计，例如数字广告，数字艺术，媒体制作等。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用[1]IanJ. Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，Bing Xu，David Warde-Farley，Sherjil Ozair，Aaron Courville，Yoonne Bengio，Generative adversarialnetworks，2014，http://arxiv.org/abs/1406.2661.[2]Alec Radford，Luke Metz，Soumith Chintala，深度卷积生成对抗网络的无监督表示学习，2016，http://arxiv.org/abs/1511.06434。[3]Tero Karras，Samuli Laine，Timo Aila，基于样式的生成器架构，生成对抗网络，2019，http://arxiv.org/abs/1812.04948。[4]Tero Karras，Samuli Laine，Miika Aittala，Janne Hellsten，Jaakko Lehtinen，Timo Aila，分析和改善StyleGAN的图像质量，in：Proc.CVPR，2020.[5]Tero Karras，Miika Aittala，Janne Hellsten，Samuli Laine，Jaakko Lehtinen，Timo Aila，用有限数据训练生成对抗网络，在：Proc.NeurIPS，2020年。[6]Elad Richardson，Yuval Alaluf，Or Patashnik，Yotam Nitzan，Yaniv Azar，Stav Shapiro ， Daniel Cohen-Or ， Encoding in style ： a stylegan encoder forimage-to-image translation，2021，http://arxiv.org/abs/2008.00951。[7]Ayush Tewari， Mohamed Elgharib ， Gaurav Bharaj ， Florian Bernard ， Hans-Peter Seidel，Patrick Pérez，Michael Zollhöfer，Christian Theobalt，Stylerig：Riggingstyleganfor3Dcontroloverportraitimages，2020，http://arxiv.org/abs/2004.00121。[8]林杰、李欣颖、郑彦奇、谢尔盖·图利亚科夫、杨铭轩，《无限感：无限分辨率影像合成》，2021年，http：//arxiv.org/abs/2104.03963网站。[9]凯瑟琳·M Lewis，Srivatsan Varadharajan，Ira Kemelmacher-Shlizerman，Try-ongan：通过分层插值实现身体感知试穿，2021，http://arxiv.org/abs/2101.02285[10] Sergei Belousov，Mobilestylegan：一个轻量级的卷积神经网络，高保真图像合成，2021，http://arxiv.org/abs/2104.04767。[11] 白俊杰，方璐，张科，等，ONNX：开放神经网络交换，GitHub Rep.（2019）https://github.com/onnx/onnx.[12] Geoffrey Hinton，Oriol Vinyals，Jeff Dean，在神经网络network，2015，http://arxiv.org/abs/1503.02531.[13] Martin Heusel，Hubert Ramsauer，Thomas Unterthiner，Bernhard Nessler，Sepp Hochreiter，通过两个时间尺度更新规则训练的GAN收敛到局部纳什均衡，2018，http://arxiv.org/abs/1706.08500。[14] 随机面https://github.com/bes-dev/random_face网站。