基于语义解析变换的无监督姿势引导图像生成方法

1基于语义解析变换的宋思杰1，张伟2，刘嘉颖1，陶梅21北京大学计算机科学与技术研究所2JD AI Research，北京，中国摘要在本文中，我们解决了无监督的姿势引导的个人图像生成，这是已知的挑战，由于非刚性变形。与以往的方法学习一个坚如磐石的直接映射人体之间，我们提出了一个新的途径，分解的硬映射-到两个更容易访问的子任务，即语义解析转换和外观生成。首先，提出了一种语义生成网络来实现语义解析图之间的转换，以简化非刚性变形学习。其次，外观生成网络学习合成语义感知的纹理。第三，我们证明了以端到端的方式训练我们的框架可以进一步细化语义图和最终结果。我们的方法是gener-alizable其他语义感知的人的图像生成任务，例如，服装纹理转移和受控图像处理。在DeepFashion和Market-1501数据集上的实验结果证明了该方法的优越性，特别是在保持服装属性和更好的体型方面。1. 介绍姿态引导的图像生成技术近年来受到了广泛的关注，它是在保持图像外观细节的同时，将人物图像的姿态这个主题在时尚和艺术领域具有重要意义，从图像/视频编辑，人物重新识别到电影制作等广泛应用随着深度学习和生成模型的发展[8]，许多研究致力于姿势引导图像生成[19，21，5，27，26，1，20]。最初，这个问题是在完全监督集[19，27，26，1]下探索的。虽然已经提出了有希望的结果，但它们的训练数据必须与成对的图像（即，同一个人穿着相同的衣服但姿势不同）。为了解决这一数据限制，*通讯作者。 这项工作是在JD AI Research完成的。 我们的项目可以在https://github.com/SijieSong/person_generation_spt.git上找到。图1：DeepFash-ion上不同方法的视觉结果[18]。与PG2[19]，Def-GAN [27]和UPIS [21]相比，我们的方法成功地将服装保持在贡品（例如，纹理）并产生更好的身体形状（例如，臂）。灵活的生成，最近的努力已经致力于学习与未配对数据的映射[21，5，20]。然而，如果没有将图像解缠成多个因素（例如，背景/前景，形状/外观）在[20，5]中进行了探索。但忽略了非刚性的人体变形和服装的形状，导致妥协的生成质量。从形式上讲，这种无监督任务的关键挑战有三个方面。首先，由于人体的非刚性性质，目前基于卷积的网络难以转换空间错位的第二，服装属性，套筒长度和纹理通常难以在生产过程中保持。然而，这些服装属性对人类的视觉感知至关重要. 第三，缺乏成对的训练数据，在建立有效的训练目标方面几乎没有线索。为了应对上述挑战，我们提出寻求一种新的途径，无人监督的人的图像生成。具体来说，而不是直接转换的人的形象，我们建议转换姿势之间的语义一方面，人与人23572358图像和语义解析（在两个方向上）已经被广泛研究，其中复杂的模型是可用的。另一方面，语义解析转换是一个更容易处理空间变形的问题，因为网络不关心外观和纹理。如示于图2、我们的无监督个人图像生成模型由两个模块组成：语义解析转换和外观生成。在语义句法分析转换中，利用语义生成网络将输入语义句法分析转换为目标句法分析。 然后设计了一个外观生成网络，在变换后的解析结果上合成大尺寸纹理.在没有配对监督的情况下，我们为语义解析转换创建伪标签，并为训练引入循环一致性此外，还提出了一种语义感知的风格丢失算法，帮助外观生成网络学习相应语义区域之间的基本映射，通过丰富的语义解析可以很好地保留服装属性。此外，我们证明了这两个模块可以以端到端的方式进行训练，以进行更精细的语义解析以及最终结果。此外，对应的语义区域之间的映射启发我们将我们的外观生成网络应用于语义引导的图像生成。在语义映射的条件下，我们能够实现两个人的图像的服装纹理转移同时，通过人工修改语义图，可以控制图像的生成.其主要贡献可归纳如下：• 我们建议解决无监督的人的图像生成问题。因此，问题在于--包括语义分析转换（HS）和外观生成（HA）。• 我们设计了一个精细的培训方案，以端到端的方式仔细优化HS和HA，生成更好的语义图，并进一步改善姿势引导的图像生成结果。• 我们的模型在渲染更好的身体形状和保持服装属性方面是优越的。它也可推广到其它条件图像生成任务，服装纹理转移和受控图像处理。2. 相关工作2.1. 图像生成随着生成对抗网络的发展- s（GANs）[8]，图像生成受到了很多关注，并在许多领域得到了应用[15，29，4，31]。这一研究领域主要有两个分支。一个是监督方法，另一个是无监督方法。在监督设置下，pix2pix [11]建立了一个用于图像到图像转换的条件GAN，这本质上是一个域转移问题。最近，更有效的[15，29]已经致力于通过逐步生成多尺度图像来生成真正高分辨率的照片级逼真图像。对于无监督设置，采用重构一致性来学习跨域映射[34，32，16]。然而，这些无监督的方法主要用于空间对齐任务的外观对于不成对的训练数据，我们的工作更难学习映射以同时处理空间非刚性变形和外观生成2.2. 姿态引导的人物图像生成姿态引导图像生成的早期尝试是通过两阶段网络PG2 [19]实现的，其中目标姿态下的输出在第一阶段中粗略生成，然后在第二阶段中细化。为了更好地建模形状和外观，Siarohin等人。 [27]利用可变形跳跃来转换每个身体部位的高级特征。类似地，[1]中的工作采用身体部位分割掩模来指导图像生成。然而，[19，27，1]是用配对数据训练的。为了缓解这种限制，Pumarola等人。[21]提出了一种完全无监督的GAN，借鉴了[34，22]的思想另一方面，[5，20]中的工作通过根据数据分布从特征空间采样来解决无监督问题。这些基于样本的方法不太忠实于参考图像的外观，因为它们从高度压缩的特征生成结果。相反，我们使用语义信息来帮助保持相应的语义区域之间的身体形状和2.3. 用于图像生成的语义解析在[10，14]中探索了推断场景布局（语义图）的想法，用于文本到图像的翻译。这两个作品都说明，通过估计布局的条件，可以生成更有语义意义的图像。场景布局是从文本[10]或场景图[14]中预测的，并由地面实况进行监督。相反，我们的模型以无监督的方式学习语义映射的预测我们还表明，语义映射预测可以通过端到端训练进一步细化。3. 该方法给定目标姿态pt和姿态p s下的参考图像I ps，我们的目标是生成输出图像Ippt，其遵循I p s的服装外观但在姿态pt下。这一世代可表述为：→Ipt.2359pt不不图2：我们的无监督人物图像生成框架。在训练过程中，我们处于一个无监督的环境中：训练集由{Iii，pi，pi}N，其中对应的地面真值im-优先于生成过程中的姿态联合连接。3.2. 语义解析转换p ssti=1年龄Ii不可用. 对于这个具有挑战性的不成对的每-在这个模块中，我们的目标是预测语义图S∈[0，1]L×H×W在tar下得到姿态p，根据-对于图像生成问题，我们的核心思想是引入ptt将语义分析分解为语义分析转换和外观生成两个模块。我们的整体框架可以在图中看到第2段（a）分段。语义解析转换模块首先生成目标姿态下的语义图，为人体形状和服装属性提供关键先验。在预测语义图和参考图像的指导下，外观生成模块然后合成最终输出图像的纹理。在下文中，我们首先介绍人称表示，这是我们框架的输入然后，我们从独立培训的角度详细描述了每个模块。最后，我们以端到端的方式说明了这两个模块的联合学习。3.1. 人物表示映射到参考语义映射Sps。它是通过基于U-Net [23].如图图2（b）中，我们的语义生成网络由语义映射编码器ES、姿态编码器EP和语义映射生成器GS组成。ES以Sps、ps和Mps作为输入来提取条件se，matic信息，而EP以pt和Mpt作为输入以编码目标姿态。然后，GS根据以下公式预测Spt：编码的特征。如[35]所述，在GS结束时使用softmax激活函数为每个像素生成语义标签 从形式上讲，预测的语义-以Sps和pt为条件的tic映射Spt表示为：S_p_t=G_S（E_S（S_p_s，p_s，M_p_s），E_P（p_t，M_p_t））. 引入Mps和Mpt作为输入是为了帮助产生连续性，语义地图，特别是弯曲的手臂。伪标签生成。 语义生成网络-除了参考图像Ips之外∈R3×H×W，源工作被训练来对空间语义变形姿态ps和目标姿态pt，我们的模型还涉及从Ips提取的语义图Sps、用于ps的姿势掩码Mps和用于pt的姿势掩码Mpt。在我们的工作中，我们将姿势表示为概率热图，即。，ps，pt∈Rk×H×W（k=18）.语义映射Sps是用现成的人类解析器提取的[7]。我们用像素级的一热en表示Sps在不同的姿势下。由于语义映射不关联通过服装纹理，穿着不同服装的人可以共享相似的语义图。因此，我们可以在训练集中搜索相似的语义映射对，以促进训练过程。对于给定的Sps，我们搜索一个处于不同姿态但共享相同的语义映射Sps编码，即，S ∈ {0，1}L×H×W，其中L表示目标ps表示语义标签数量。对于姿态掩模Mps和Mpt，我们采用与[19]中相同的定义，其中提供服装类型为SpS。 然后我们用pt 作为目标姿势，Sps，并将Sps视为伪地面真值。我们为搜索问题定义了一个简单而有效的度量的2360{B}不一S构成一SSttTTT如[27]所述，人体被分解为10个刚体子部分，这些刚体子部分可以用一组二进制掩码来表示对抗性损失。首先引入判别器DA来区分真实图像和生成图像，J10j=1（Bj∈RH×W）. 通过求解Σ10年龄，导致对抗损失LadvLadv=Ladv（HA，DA，Ip，Ip）+Ladv（HA，DA，Ip，Ip），jj2As sSp=arg mintSp||第二条第一款||2,(1)j=1（五）其中H A=G A（E A，E′）.摆个失败的姿势。如在[21]中，我们使用姿势损失L ，其中，fj（·）是用于对齐tw o的a-f精细变换身体部位根据四个角落的相应bina-ry掩码，其中k表示逐元素乘法。注意一检测器P，用于生成忠实于目标姿态的Lpose=||P（Ip）−p t||2个以上||P（Ip）−p s||二、（六）阿t2s2具有非常相似姿势的对被排除在外。内容损失。 含量损失L也被用来交叉熵损失语义生成网络-作品可以在监督下用配对数据进行训练确保周期一致性Lcont=||Λ（Ip）−Λ（Ip）||第二条第七款{S ，p，S，p}。 我们使用交叉熵损失Lce来As s2pss ptt其中Λ（I）是conv21层的图像I的特征图约束语义解析转换的像素级准确性，mation，并且我们使用姿势掩模Mp_pas来赋予人体比背景更多的权重VGG16模型[28]在ImageNet上预训练。风格缺失。正确地将颜色t和纹理从Ip我不知道没有任何限制，因为Lce=−||S plog（Sp）（1+Mp）||1 .一、（二）对抗性损失。我们还采用了一个对抗性损失Ladv与一个candidS，以帮助GS生成语义地图的视觉风格类似的现实。Ladv=Ladv（HS，DS，Sp，Sp），（3）其中H S =GS（ES，EP），Ladv（G，D，X，Y）=EX[logD（X））]+EY[log（1−D（Y）]，Y与G相关联。它们在空间上未对准。 [21]试图解决这个问题。具有补丁样式的损失，这强制在Ips和Ipt中的对应姿势关节周围的纹理是相似的。我们认为，补丁式损失是不够强大的两个-折叠：（1）关节周围的纹理会随着姿势的不同而变化，（2）忽略主体部分的纹理。另一种替代方案是利用身体部位面罩。然而，它们不能提供纹理轮廓。由于语义映射提供的指导，我们能够很好地保留风格，同时语义感知的风格损失来解决上述问题。通过在以下对象之间强制样式一致性，我们的语义生成网络的整体损失如下所示Ips，Ipt 并且，我们的语义风格损失被定义为总Adv测测Lsty=Lsty（Ip，Ip，Sp，Sp）+Lsty（Ip，Ip，Sp，Sp），LS= LS+λLS.（4）Ast sttStS（八）3.3. 外观生成（HA）在这个模块中，我们利用外观生成网络来合成输出图像I的纹理。∈R3×H×W哪里Lsty（I1，I2，S1，S2）ΣL=||G（Λ（I1）l（S1））−G（Λ（I2）l（S2）||二、，由参考图像Sps引导，并预测-˜2l=1语义分析转换生成语义映射module.外观生成网络包括用于提取参考图像Ip的外观的外观编码器EA、用于并且G（·）表示用于Gram矩阵[6]的函数，Rl（S）表示来自S的下采样二进制图，指示属于第l个语义标签的像素。面子损失。此外，我们还添加了一个用于生成的CRDF对预测的语义图Spt进行编码，并且发电机GA。外观生成的架构生成更自然的面孔，L面= Ladv（H，D 、F（I），F（I））网络类似于语义生成网络，例如，我们在[27]中使用可变形跳跃，以更好地进行修改。AA F pspt+Ladv（HA，DF，F（Ip），F（S2361Ip）），（九）S s埃尔斯佩克特湾信息。输出图像由下式获得：其中F（I）表示由姿态引导的面部提取我... =GAEA（Ip，Sp，p s），E′（Sp，p t），如图10所示。第2段（c）分段。t s ss St在没有基础事实Ipt的监督的情况下，我们使用循环一致性训练外观生成网络[34，21]，其中GA应该能够映射回Ips用生成的I_p_t和p_s。我们将其表示为面上的关节，这是通过非参数spa实现的，在我们的实验中，我们使用了一个新的转换网络[12我们的外观生成网络的总体损失如下，Ltotal= Ladv+λpose Lpose+λL图像作为I，并且预测的分割图作为S，A Aa一（十）psp s+λsty Lsty + Lface。映射回来的过程A A2362pS一一不一3.4. 端到端培训由于我们最终输出的形状和轮廓是由语义图指导的，因此外观生成的视觉结果在很大程度上依赖于来自语义解析转换的预测语义图的质量。然而，如果他们是独立训练的，两个原因可能会导致HS和HA的不稳定性。• 搜索错误：搜索到的语义映射不是非常准确，如图。第3（a）段。• 解析错误：从人类解析器获得的语义映射3（b）款。我们的训练方案如算法1所示。算法1为我们的网络进行端到端训练输入：{Si，pi，Si，（p <$）i}N<$，{i，pi，pi}N.pssti=1pssti=1一曰： 初始化网络参数。//预训练H2：具有{Si，pi，Si，（p）i}N，训练{HS，DS}以优化图4：不同方法的示例结果（PG2 [19]，psspt总共有L个。//列车HAt i=1[27][ 21][22][23][24][25][26][ 27 ][29]我们的模型更好地保持服装属性（例如，纹理、服装类型）。3：With{Ii，pi，Si，pi}N和{HS，DS}固定，列车pss p tt i=1{H A，D A，D面}以优化L总数。//联合优化第四章： 训练{HS，DS，HA，DA，Dface}与Ltotal联合，使用{Ii，pi，Si，pi}N。128×64我们采用与[33]中相同的数据分割协议。我们选择了12,000对进行测试[27]。实作详细数据。对于人的表示，使用OpenPose [2]提取2D姿势，并将其与pss p tt i=1输出：HS、HA。(a) 搜索错误（b）解析错误图3：搜索到的语义映射对中存在错误，这可能导致语义解析转换的不准确4. 实验在本节中，我们评估我们提出的框架与定性和定量的结果。4.1. 数据集和设置[18]第十八话我们使用DeepFashion数据集的In-shopClothes Retrieval Benchmark进行实验。它包含了大量的服装图像与各种外观和姿态，其分辨率为256×256。由于我们的方法不需要配对数据，我们随机选择37258张图像进行训练，12000张图像进行测试。市场-1501。该数据集包含来自不同视角的32，668张图像。图像的分辨率使用最新技术人类解析器[7]。 我们整合了[ 7 ]中最初定义的语义标签，并设置L = 10（即，背景、脸、头发、上衣、裤子、裙子、左/右臂、左/右腿）。对于DeepFashion数据集，在128×128的分辨率上执行联合学习以细化语义映射预测。然后，我们对预测的语义图进行上采样，以使用渐进式训练策略[15]在256×256中训练对于Market-1501，我们直接在128×64上进行训练和测试。此外，由于Market-1501中的图像分辨率较低，人脸区域模糊。为了提高效率，Market-1501没有采用L面对 于 超 参 数 ， 我 们 将 λpose ， λmax 设 置 为 700 ，DeepFashion为0.03，Market-1501为1，0.003。对于所有实验，λsty为1。我们采用ADAM优化器[17]以学习率0.0002（β1=0）训练我们的网络。5和β2=0。999）。DeepFashion和Market-1501的批量大小分别设置为4和16。有关每个数据集的更详细网络架构和训练方案，请参阅我们的补充资料。4.2. 与艺术定性比较。 在图1、图4和图5中，我们给出了三种最先进方法的定性比较：[ 19 ]第二节：[19 ]第一节：[19]第二节：[19]第一节：[19]第二节：[11.PG2和Def-GAN的结果是由其作者发布的公共模型获得的，UPIS是基于我们的实现。S∗2363一图5：Market-1501上不同方法（PG2 [19]，Def-GAN[27]和UPIS [21]）的示例结果。我们的模型生成更好的体型。PG2 [19]和Def-GAN [27]是需要配对训练数据的监督方法 UPIS [21] 处 于 无 监 督 设 置 下 ， 其 基 本 上 采 用CycleGAN [34]。我们的模型生成更逼真的图像，具有更高的视觉质量和更少的伪影。如图4、我们的方法在保持服装属性方面特别优越，包括纹理和服装类型（最后一行）。在图中类似。5、我们的方法更好地塑造了腿和手臂。更多生成的结果可以在我们的supple中找到。定量结果。在表1中，我们使用初始评分（IS）[24]和 结构 相似 性（ SSIM ）[30]进 行定 量评 估。 对于Market-1501数据集，为了减轻背景的影响，还使用了mask-IS 和mask-SSIM，如[19]所述，其在计 算IS和SSIM时排除了为了进行公平的比较，我们标记了每种方法的训练数据要求。总的来说，我们提出的模型在两个数据集上都达到了最佳的IS值，即使与监督方法相比，这也与我们的结果中更真实的细节和更好的体型相一致。我们的SSIM评分略低于其他方法，这可以解释为模糊图像总是实现更高的SSIM，但不太真实，如[20，19，13，25]中所观察到的。限于篇幅，用户学习请参考我们的补充资料。4.3. 消融研究我们设计了以下具有不同配置的实验，以首先评估用于未配对人物图像生成的语义信息的引入：• 基线：我们的基线模型，没有引入语义解析，其架构与外观生成网络，但没有语义图作为输入。为了保持输出图像上的风格，我们使用掩码风格损失，它在等式中用身体部分掩码替换语义映射。（八）、• TS-Pred：语义和外观生成网络以两阶段的方式独立训练然后将预测的语义图输入到外观生成网络中得到输出。• TS-GT：网络分为两个阶段进行训练。我们将从目标图像中提取的语义图作为背景真相，并将它们输入外观生成网络以获得输出。• E2E（Ours）：以端到端的方式联合训练网络图6呈现了中间语义图和对应的生成图像。表1进一步显示了定量比较。如果没有语义图的指导，网络很难同时处理形状和外观。语义解析转换的引入始终优于我们的基线。当在两个阶段中训练时，预测语义图中的错误导致直接的图像质量下降。通过端到端的训练，我们的模型能够改进语义图预测。例如，图中的发型和袖子长度。6（a）保存完好。对于DeepFashion来说，端到端的训练策略与使用GT语义映射的结果相当。对于Market-1501，我们的模型（E2 E）实现了比TS-GT更高的IS和SSIM值。这主要是因为人类解析器[7]在低分辨率图像上工作得不太好，并且解析结果中存在许多错误，如图1中的第一行第6（b）段。然后，我们分析外观生成中的损失函数，如图所示。7.第一次会议。我们主要探讨了所提出的风格损失和对抗性损失，因为其他损失对于保证周期一致性是不可或缺的为了避免语义映射预测的影响，本文 在（a）和（b）中，我们替换语义感知花柱缺失L型花柱有面具型和斑块型缺失，恢复期。如果没有语义指导，这两种方法都会导致晕晕乎乎的轮廓。此外，人脸的对抗性损失有效地帮助生成自然的人脸，提高输出图像的视觉质量。4.4. 应用由于外观生成网络本质上是学习语义映射引导的纹理生成，因此它也可以应用于其他条件图像生成任务。2364表1：DeepFashion和Market-1501数据集的定量结果（* 基于实施）。DeepFashion Market-1501模型配对数据是SSIM是SSIM屏蔽IS屏蔽SSIM第二阶段[19]Y3.0900.7623.4600.2533.4350.792[27]第二十七话Y3.4390.7563.1850.2903.5020.805V-Unet [5]N3.0870.7863.2140.353––[20]第二十话N3.2280.6143.4830.0993.4910.614[21]第二十一话N2.9710.7473.431*0.151*3.485*0.742*基线N3.1400.6982.7760.1572.8140.714TS-PredN3.2010.7243.4620.1803.5460.740TS-GTN3.3500.7403.4720.2003.6750.749E2E（我们的）N3.4410.7363.4990.2033.6800.758(a) 不同配置的DeepFashion结果。(Note与TS-Pred相比，E2 E在第一行改进了发型，在第二行改进了袖子长度，在第三行改进了手臂。）(b) 不同配置的Market-1501结果（注：与TS-Pred相比，E2 E在第1行和第3行细化了体型，在第2行细化了裤子图6：语义解析转换的消融研究。2365一图7：外观生成中的损失函数分析（a）用掩模式损失代替Lsty（b）取代L麦粒肿与补丁式损失。 (c)没有L的脸 结果图9：受控图像操作的应用程序。通过手动修改语义映射，我们可以控制图像生成所需的布局。A A我们损失惨重的TS-GT是对的。图8：服装纹理转移的应用。左：条件和目标图像。中间：从A转移到B。右：从B转移到A。我们将我们的方法与图像模拟[9]和神经涂鸦[3]进行了比较。在这里，我们展示了两个有趣的应用程序，以证明我们的模型的多功能性。服装纹理转移。给定条件图像和目标图像及其语义解析结果，我们的外观生成网络能够实现服装纹理的转换。双向传输结果可在见图8。与图像模拟[9]和神经网络[3]相比，该算法不仅能很好地保留和传递纹理信息，而且能自动生成真实感人脸控制图像操作。通过修改语义映射，我们生成所需布局的图像。图9，我们编辑袖子的长度（顶部），和改变衣服裤子的女孩（底部）。我们还比较了图像类比[9]和神经涂鸦[3]。4.5. 故障案例虽然我们的模型产生了吸引人的结果，但我们在图中展示了失败案例的例子10个。第一行中的示例主要是由人工解析器提取的条件语义图错误引起的语义属-图10：我们模型中的失败案例。主动网络不能预测正确的语义图，其中手臂应该被解析为袖子。第二示例中的变换由于罕见的姿态而非常复 杂 ， 并 且 生 成 的 语 义 图 不 太 令 人 然 而 ， 使 用groundtruth语义映射，我们的模型仍然取得了令人愉快的结果。因此，这种故障情况可能通过用户交互来解决。5. 结论在本文中，我们提出了一个无监督的人的图像生成框架。为了解决在不同姿态下学习直接映射的复杂性，我们将硬任务分解为语义解析转换和外观生成。我们首先明确预测语义地图的语义生成网络所需的姿态。然后，外观生成网络合成大小语义感知纹理。结果发现，端到端的训练模型，使更好的语义地图预测和进一步的最终结果。我们还表明，我们的模型可以应用于服装纹理转移和受控图像处理。然而，当条件语义映射中存在错误时，我们的联合训练人类解析器和人物图像生成模型将是一鸣谢。本工作得到了国家自然科学基金项目（项目编号：200000000）的资助. 61602463号61772043，北京市 自 然 科学 基 金 项 目 ， 合同 编 号 ：L182002 和 No.41920252366引用[1] Guha Balakrishnan，Amy Zhao，Adrian V Dalca，FredoDu- rand，and John Guttag.合成人类在看不见的姿势的图像。在Proc. IEEE计算机视觉和模式识别会议，2018年。一、二[2] 曹哲、托马斯·西蒙、魏世恩和亚瑟·谢赫。利用局部仿射场进行实时多人二维姿态估计。IEEE计算机视觉和模式识别会议，2017年。5[3] 亚历克斯·J·尚潘达 语义风格转换和把不起眼的涂鸦变成精美的艺术品。arXiv预印本arX- iv：1603.01768，2016年。8[4] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. Stargan：用于多域图像到图像翻译的统一生成对抗网络。IEEE计算机视觉和模式识别会议，2018。2[5] PatrickEsse r，EkaterinaSutte r，andBjoürnOmme r. 用于条件外观和形状生成的可变u-网IEEE计算机视觉和模式识别会议，2018。一、二、七[6] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。IEEE计算机视觉和模式识别会议，2016年。4[7] Ke Gong ， Xiaodan Liang ， Dongyu Zhang ， XiaohuiShen，and Liang Lin.看人：自我监督结构敏感学习和人类解析的新基准。IEEE计算机视觉和模式识别会议，2017年。三五六[8] Ian Goodfellow 、 Jean Pouget-Abadie 、 Mehdi Mirza 、Bing X-u 、 David Warde-Farley 、 Sherjil Ozair 、 AaronCourville和Yoshua Bengio。生成性对抗网。神经信息处理系统的进展，2014年。一、二[9] 亚伦·赫茨曼形象类比。Proc Siggraph，2001年。8[10] Seunhoon Hong，Dingdong Yang，Jongwook Choi，andHonglak Lee.推理语义布局的分层文本到图像合成。IEEE计算机视觉和模式识别会议，2018。2[11] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AE-fros.使用条件对抗网络进行图像到图像的翻译。IEEE计算机视觉和模式识别会议，2017年。2[12] Max Jaderberg，Karen Simonyan，Andrew Zisserman，等.空间Transformer网络。神经信息处理系统进展，2015年。4[13] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。2016年欧洲计算机视觉会议。6[14] 贾斯汀·约翰逊，阿格里姆·古普塔，李飞飞。从场景图生成图像。IEEE计算机视觉和模式识别会议，2018。2[15] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.为提高质量、稳定性和变异性而进行的干细胞生长。arXiv预印本arXiv：1710.10196，2017。二、五[16] Taeksoo Kim、Moonsu Cha、Hyunsoo Kim、Jung KwonLee和Jiwon Kim。学习发现跨域关系与生成对抗网络。arXiv预印本arX- iv：1703.05192，2017年。2[17] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[18] Ziwei Liu，Ping Luo，Shi Qiu，Xiaogang Wang，andXiaoou Tang. Deepfashion：通过丰富的注释实现强大的服装识别和检索 在proc IEEE计算机视觉与模式识别会议，2016年。一、五[19] 马丽倩、徐佳、孙倩茹、Bernt Schiele、Tinne Tuyte-laars和Luc Van Gool。姿态引导的人物图像生成。神经信息处理系统进展，2017年。一、二、三、五、六、七[20] Liqian Ma，Qianru Sun，Stamatios Georgoulis，Luc VanGool，Bernt Schiele，and Mario Fritz.解纠缠的个人图像生成。IEEE计算机视觉和模式识别会议，2018年。一、二、六、七[21] Albert Pumarola 、 Antonio Agudo 、 Alberto Sanfeliu 和Francesc Moreno-Noguer。任意姿态的无监督人物图像合成 在proc IEEE计算机视觉和模式识别会议，2018年。 一二四五六 7[22] Scott E Reed，Zeynep Akata，Santosh Mohan，SamuelTenka，Bernt Schiele，and Honglak Lee.学习在哪里画什么。 在proc 神经信息处理系统进展，2016年。2[23] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络在Proc.3[24] Tim Salimans 、 Ian Goodfellow 、 Wojciech Zaremba 、Vick- i Cheung、Alec Radford和Xi Chen。改进的gans训练技术。神经信息处理系统进展，2016年。6[25] 放大图片作者：Wenzhe Shi，Jose Caballero，FerencHuszar ， Johannes Totz ， Andrew P.Aitken ， RobBishop，Daniel Rueckert，and Zehan Wang.使用有效的子像素卷积神经网络实现实时单幅图像和视频超分辨率。IEEE计算机视觉和模式识别会议，2016年。6[26] 司晨阳、王伟、王良、谭铁牛。基于姿态的人体图像合成的多阶段对抗损失。IEEE计算机视觉和模式识别会议，2018。1[27] Alia ksandrSiarohin，Env erSangineto，Ste' phaneLathuilie`re，and Nicu Sebe.用于基于姿势的人类图像生成的可变形gans。在Proc. IEEE计算机视觉和模式识别会议，2018年。一、二、四、五、六、七[28] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络。2015. 4[29] Ting-Chun Wang，Ming-Yu Liu，Jun-Yan Zhu，AndrewTao，Jan Kautz，and Bryan Catanzaro.基于条件gans的高分辨率图像合成与语义处理。IEEE计算机视觉和模式识别会议，2018。22367[30] Zhou Wang，Alan C Bovik，Hamid R Sheikh，and EeroP Si-moncelli.图像质量评估：从错误可见性到结构相似性。IEEE Transactions on Image Processing，13（4）：600-612，2004. 6[31] Wenqi Xian ， Patsorn Sangkloy ， Jingwan Lu ， ChenFang，Fisher Yu，and James Hays. Texturegan：使用纹理补丁控制深度图像合成。在Proc. IEEE计算机视觉和模式识别会议，2018年。2[32] Zili Yi，Hao（Richard）Zhang，Ping Tan，and MinglunGong.Dualgan：图像到图像翻译的无监督双重学习。在Proc. IEEE2[33] 郑良，沈丽月，田璐，王胜金，王京东，田琦.可扩展的人员重新识别：基准。在Proc.IEEE5[34] Jun-Yan Zhu ， Taesung Park ， Phillip Isola ， Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。在Proc. IEEE二、四、六[35] Shizhan Zhu ， Sanja Fidler ， Raquel Urtasun ， DahuaLin，and Chen Change Loy.做你自己的Prada：具有结构连贯性的时尚综合。在Proc. IEEE3