不配对领域图像翻译的多模式方法

178600打破循环-同事就是你所需要的0以色列理工学院Ori Nizan0snizori@campus.technion.ac.il0以色列理工学院Ayellet Tal0ayellet@ee.technion.ac.il0输入我们的[42] 输入我们-1 我们-2 [25] 输入我们[7]（a）去眼镜（b）自拍到动漫（c）男性到女性0图1：三个应用的翻译结果。我们的方法是单向的（不需要循环），并且是多模式的（对于给定的输入生成多个结果，例如（b））。结果与最先进的方法进行了比较，并且表现出更好的效果。在（a）中，我们的方法完全去除了眼镜；在（b）中，脸部的形状得到了很好的保持；在（c）中，女性看起来更“女性化”，例如没有胡须残留。更多的结果和比较可以在本文后面找到。0摘要0本文提出了一种新的方法来实现不配对领域之间的图像翻译。我们的方法不依赖于循环约束，而是利用各种GAN之间的合作。这导致了一种多模式方法，对于给定的图像，可以产生多个可选和多样化的图像。我们的模型解决了传统GAN的一些缺点：（1）它能够去除眼镜等大物体。（2）由于不需要支持循环约束，生成的图像上没有不相关的输入痕迹。（3）它成功地在需要进行大形状修改的领域之间进行翻译。我们的结果显示，在几个具有挑战性的应用中，我们的方法优于最先进的方法。01. 引言0不同领域之间的映射与人类发现不同特征之间的相似性的能力是一致的。0在无监督的设置中，没有配对数据可用，共享的潜在空间和循环一致性假设已经被利用[2,7,8,18,21,26,30,39,45,47]。尽管取得了成功和好处，但以前的方法可能存在一些缺点。特别是，循环约束有时可能导致源领域特征的保留，例如在图1(c)中可以看到，女性脸上的胡须仍然存在。这是由于需要通过循环来回。其次，如[25]所讨论的，有时这些方法在需要进行大形状变化的图像翻译任务中失败，例如图1(b)中的动漫情况。最后，如[42]所解释的，完全去除大物体（如眼镜）仍然是一个挑战，因此这个任务留给了他们的未来工作（图1(a)）。0在无监督的设置中，没有配对数据可用，共享的潜在空间和循环一致性假设已经被利用[2,7,8,18,21,26,30,39,45,47]。尽管取得了成功和好处，但以前的方法可能存在一些缺点。特别是，循环约束有时可能导致源领域特征的保留，例如在图1(c)中可以看到，女性脸上的胡须仍然存在。这是由于需要通过循环来回。其次，如[25]所讨论的，有时这些方法在需要进行大形状变化的图像翻译任务中失败，例如图1(b)中的动漫情况。最后，如[42]所解释的，完全去除大物体（如眼镜）仍然是一个挑战，因此这个任务留给了他们的未来工作（图1(a)）。0我们提出了一种新的方法，称为Council-GAN，来处理这些挑战。关键思想是依赖于各种GAN之间的合作。78610在GAN之间实现“同事关系”，而不是利用一个循环。具体而言，它不是使用一对生成器/判别器“专家”，而是利用一组对（委员会）的集体意见，并利用生成器结果之间的变化。这导致了更稳定和多样化的领域转换。为了实现这个想法，我们提出训练一个由多个委员会成员组成的委员会，要求他们互相学习。委员会中的每个生成器都从源领域获得相同的输入，并产生自己的输出。然而，各个生成器产生的输出应该有一些共同的特征。为了在所有图像上实现这一点，生成器必须在输入中找到共同的特征，用于生成它们的输出。每个判别器学习区分其自己生成器生成的图像和其他生成器生成的图像。这迫使每个生成器收敛到其他生成器认可的结果。直观地说，这种收敛有助于最大化源领域和目标领域之间的相互信息，这解释了为什么生成的图像保留了源图像的重要特征。我们展示了我们的方法在几个应用中的好处，包括去眼镜、人脸到动漫的翻译和男性到女性的翻译。在所有情况下，我们都取得了最先进的结果。因此，本文提出了以下贡献:01.我们引入了一种新颖的无监督图像到图像的转换模型，其关键思想是多个生成器之间的协作。与最近的大多数方法相反，我们的模型完全避免了循环一致性约束。02.我们的模型在各种具有挑战性的应用中实现了最先进的结果。02. 相关工作0生成对抗网络（GANs）。自从引入GAN框架以来，已经在许多应用中展示出了令人满意的结果。在这个框架中，生成器被训练成欺骗鉴别器，而鉴别器则试图区分生成的样本和真实的样本。近年来已经提出了各种修改来试图改进GAN的结果；参见[3, 10, 11, 20, 24, 33, 36, 38, 40, 43,46]。我们不是第一个提出使用多个GAN的人[12, 14, 17,23]。然而，以前的方法在架构和目标上与我们的方法不同。例如，一些以前的架构包括多个鉴别器和一个生成器；相反，有些方法提出使用一个关键的鉴别器。0评估生成器的结果并改进它们。我们提出了一种新颖的架构来实现议会的概念，如第3节所述。此外，其他方法的目标要么是推动彼此分开，创造多样的解决方案，要么是改进结果。我们的议会试图找到源域和目标域之间的共同点。通过要求议会成员在彼此的结果上“达成一致”，实际上是在学习关注域之间的共同特征。图像到图像的转换。目标是学习从源域到目标域的映射。早期的方法采用监督框架，其中模型学习成对的示例，例如使用条件GAN来建模映射函数[22,44,48]。最近，已经提出了许多使用无配对示例进行学习任务并产生非常令人印象深刻的结果的方法；例如参见[9, 13,21, 26, 28, 30, 42,47]。这种方法对于没有配对数据或难以获得配对数据的应用非常重要。我们的模型属于不需要配对训练数据的GAN模型。无监督方法中的一个主要问题是应该保留源域的哪些属性。例如，像素值[41]、像素梯度[6]、成对样本距离[4]，以及最近主要是循环一致性[26, 45,47]。后者强制执行将图像转换到目标域然后再转回来应该得到原始图像的约束。我们的方法完全避免使用循环。这有利于避免对生成的输出施加不必要的约束，从而避免保留隐藏信息。大多数现有方法在结果中缺乏多样性。为了解决这个问题，一些方法提出为同一给定的图像产生多个输出。我们的方法能够以多样的输出进行图像转换，但是它以一种方式实现，即议会中的所有GAN在某种程度上都“承认”彼此的输出。集成方法。这些方法使用多个单独训练的学习算法[34, 35,37]，它们的预测结果被组合在一起。它们旨在促进组合模型之间的多样性。相反，我们要求议会一起学习并“收敛”到可接受的解决方案。03. 模型0本节描述了我们提出的模型，它解决了第1节中描述的缺点。我们的模型由一个称为议会的集合组成，其中的成员相互影响彼此的结果。议会的每个成员都有一个生成器和一对鉴别器，如下所述。生成器不需要收敛到特定的输出；相反，每个生成器都产生自己的结果，共同生成多样化的结果集。在训练过程中，它们考虑其他生成器产生的图像。直观地说，生成器们通过相互影响和学习，逐渐提高其生成结果的质量。̸̸+log( ˆDi(Gj(x), x))],̸78620图2：一般方法。议会由三元组组成，每个三元组包含一个生成器和两个判别器：D_i区分生成器的输出和真实示例，而ˆD_i区分G_i生成的图像和议会中其他生成器生成的图像。ˆD_i是使每个生成器收敛到所有其他议会成员都同意的结果的原因。0相互影响使生成器集中于源域图像的共同特征，这些特征可以与目标域中的特征匹配。例如，在图1中，为了将男性转化为女性，生成器集中于脸部的结构，所有生成器都可以达成一致。因此，这个特征将被保留，这可以解释好的结果。此外，我们的模型避免了循环约束。这意味着不需要在源域和目标域之间双向传输。因此，不需要在生成的图像上留下痕迹（例如眼镜）或限制变化的数量（例如动漫）。为了实现这个想法，我们定义了一个由N个成员组成的议会如下（图2）。议会的每个成员i是一个三元组，其组成部分是一个单独的生成器G_i和两个判别器D_i和ˆD_i，1≤i≤N。判别器D_i的任务是区分生成器的输出和来自目标域的真实示例，就像任何经典GAN一样。判别器ˆD_i的目标是区分G_i生成的图像和议会中其他生成器生成的图像。这个判别器是模型的核心，也是我们的模型与经典GAN模型的区别所在。它强制生成器收敛到所有议会成员都能认可的图像，即共享相似特征的图像。D_i的损失函数是[33]的经典对抗性损失。接下来，我们将重点关注ˆD_i的损失函数，它使各个生成器的输出具有共同的特征，同时保持多样性。在每次迭代中，ˆD_i从议会中的所有生成器获得输入对（输入，输出）。ˆD_i不仅区分真实和假的，还区分“我的生成器”的结果和“另一个生成器”的结果。因此，在训练过程中，G_i试图最小化生成器之间的距离。注意，获取输入而不仅仅是输出对于建立源图像的特征与生成图像的特征之间的连接非常重要。设X_s为源域，X_t为目标域。在我们的模型中，我们有N个映射G_i：X_s→X_t。给定图像x∈X_s，我们的情况下，经典对抗性损失的直接适应是：0图3：放大生成器G_i。我们的生成器是一个自编码器架构，类似于[21]。编码器由几个步幅卷积层和残差块组成。解码器接收编码图像（称为相互信息向量）以及一个随机熵向量。后者可以被解释为编码目标域的剩余信息。解码器使用MLP生成一组用于随机熵向量的AdaIN参数[19]。0E_x�p(X_s)�0Naive council loss i(G_i,ˆD_i,{G_j}j≠i,X_s) = (1)0+log(ˆD_i(G_j(x)0j≠i [log(1−ˆD_i(G_i(x),x))0在这里，G_i试图生成与G_j(x)中的图像相似的图像，其中j≠i。类似于经典的对抗性损失，在公式(1)中，两个术语都应该被最小化，左边的术语学习将其对应的生成器G_i识别为“假”，右边的术语学习将其他生成器识别为“真”。为了实现多模态转换，我们对输入图像进行编码，如图3所示，该图放大了生成器的结构[21]。编码图像应在X_s和X_t之间携带有用的（相互的）信息。设E_i为源图像的第i个编码器，z_i为与议会的第i个成员相关联的第i个随机熵向量，1≤i≤N。z_i使得每个生成器能够生成多个不同的结果。公式(1)被修改为获得一个编码图像（而不是原始输入̸Ex∼p(Xs)�j̸=i[log(1 − ˆDi(Gi(Ei(x), zi), x))+log( ˆDi(Gj(Ej(x), αzj), x))].minGi maxDi maxˆDiV (Gi, Di, ˆDi)(3)minGi maxDi maxˆDiV (Gi, Di, ˆDi)(4)kmaski[k]�2(5)+�k1|maski[k] − 0.5| + ǫ.78630(a) 委员会判别器 ˆ D i (b) GAN判别器  D i0图4：ˆ D i 和 D i之间的差异和相似之处。虽然GAN判别器区分“真实”和“假”图像，但委员会判别器区分其自己的生成器的输出和其他生成器生成的图像。此外，GAN的判别器只得到生成器的输出作为输入，而委员会的判别器还得到生成器的输入。这是因为我们希望生成器产生一个与输入图像相似的结果，而不仅仅是在目标领域中看起来真实的结果。0图像）和随机熵向量。ˆ D i 的损失函数定义为：0会议损失 i ( G i , ˆ D i ,  { G j } j � = i , X s , z i ,  { E j } 1 ≤ j ≤ N ) = (2)0在这里，损失函数作为额外的输入得到了所有的编码器和向量 z i 。α控制着其他生成器的子域的大小，这对于收敛到“可接受”的图像是重要的。图4说明了D i 和ˆ D i之间的差异和相似之处。两者都应该区分生成器的结果和其他图像；在 D i的情况下，其他图像是目标领域的真实图像，而在ˆ D i的情况下，它们是由委员会中的其他生成器生成的图像。另一个基本区别是它们的输入：ˆ D i不仅得到生成器的输出，还得到它的输入。这旨在产生一个与输入图像具有共同特征的结果图像。最终损失。对于委员会的每个成员，我们共同训练生成器（假设编码器已包含）和判别器以优化最终目标。本质上，G i ，D i 和ˆ D i进行三方最小-最大-最大游戏，其值函数为 V ( G i , D i , ˆD i )：0=  GAN损失 i  +  λ会议损失 i .0这个方程是对抗损失 GAN Loss i （D i的损失）和方程（2）中的委员会损失 i （ˆ D i的损失）的加权和。λ控制着更“真实”或更符合其他生成器的重要性。较高的值将导致更相似的0图像，而较低的值将需要更少的一致性，并导致生成的图像之间的多样性更高。焦点图。对于某些应用，最好专注于图像的特定区域并仅修改它们，而不触及图像的其余部分。这可以很容易地纳入我们的一般方案中，而不改变架构。这个想法是让生成器不仅产生一张图像，还产生一个相关的焦点图，它基本上将领域中学习到的对象与背景分割开来。所需要的只是在生成器中添加一个第四通道maski，它将在[0,1]范围内生成值。这些值可以被解释为像素属于背景（或对象）的可能性。为了实现这一点，方程（3）变为0=  GAN损失 i  +  λ 1 会议损失 i  +  λ 2 焦点损失 i ,0其中0焦点损失 i = δ �  �0在方程（5）中，mask i [ k ] 是像素 k的第四通道的值。第一项试图最小化焦点掩码的大小，即使其仅集中在对象上。第二项负责将图像分割为对象和背景（1或0）。这样做是为了避免生成半透明像素。在我们的实现中，� = 0.01。结果被归一化为图像大小。λ 1 和λ 2的值是应用相关的，并将在第5节中定义。图5说明了各种损失的重要性。如果只有焦点损失（与GAN损失一起）78640输入 成员1 成员2 成员3 成员40图5：损失函数组成部分的重要性。该图显示了男性到女性应用的四个议会成员在经过100,000次迭代后生成的结果。顶部：使用焦点损失（与经典GAN损失一起）从目标领域生成了漂亮的图像，这些图像不一定与给定图像相关。中部：使用议会损失代替，将输入和输出面部关联起来，但可能改变环境（背景）。底部：我们的损失将上述损失组合在一起，既关联输入和输出面部，又仅关注面部修改。0使用时，输入和输出的面部完全无关，尽管图像的质量很好，并且在大多数情况下背景不会改变。仅使用议会损失时，输入和输出的面部之间有很好的关联，但背景可能会发生变化。我们的损失将上述损失组合在一起，产生了最好的结果。我们注意到，这种添加第4个通道的想法，使生成器专注于图像的适当区域，可以在其他GAN架构中使用。它不仅限于我们提出的议会架构。04. 实验04.1. 实验设置0我们将我们的议会GAN应用于几个具有挑战性的图像到图像的转换任务（第4.2节）。基准模型。根据应用程序的不同，我们将我们的结果与一些最先进的模型进行比较，包括CycleGAN [47]，MUNIT [21]，DRIT++ [28,29]，U-GAT-IT [25]，StarGAN [7]，Fixed-PointGAN[42]。这些方法都是无监督的，并使用循环约束。在这些方法中，MUNIT [21]和DRIT++ [28,29]是多模态的，并为给定的图像生成多个结果。其他方法只产生一个结果。此外，StarGAN[7]在多个领域之间进行转换。数据集。我们在以下数据集上评估了我们系统的性能。0CelebA[31]。该数据集包含202,599张名人的面部图像，每张图像都有40个二进制属性的注释。我们关注两个属性：（1）性别属性和（2）戴眼镜与否属性。训练数据集包含68,261（/10,521）张男性（/戴眼镜）图像和94,509（/152,249）张女性（/不戴眼镜）图像。测试数据集包含16,173（/2,672）个男性（/戴眼镜）图像和23,656（/37,157）个女性（/不戴眼镜）图像。sel�e2anime[25]。训练数据集的大小为3,400个自拍图像和3,400个动漫图像。测试数据集的大小为100个自拍图像和100个动漫图像。训练。所有模型都使用Adam [27]进行训练，其中β1 =0.5，β1 =0.999。为了进行数据增强，我们以0.5的概率水平翻转图像。对于自拍/动漫数据集，由于图像数量较少，我们还使用了色彩抖动（hue =0.15），以0.25的概率进行随机灰度化，以最多35°的随机旋转，以图像的0.1倍的随机平移，以及以0.5的概率进行随机透视，扭曲尺度为0.35。在最后的10万次迭代中，我们只使用原始数据进行训练，没有进行数据增强。在每个鉴别器更新之后，我们进行一次生成器更新，生成器更新次数等于议会的大小。所有实验的批量大小均设置为3。我们使用学习率为0.0001的学习率进行训练，每100,000次迭代后学习率下降0.5倍。在经过10,000次迭代后，我们添加了焦点损失和议会损失。计算成本。当议会成员在同一GPU上顺序运行时，训练时间大约是CycleGAN的两倍。较长的时间是由于（1）有4个成员（2）议会-鉴别器的较长迭代次数，以及（3）需要两倍的迭代次数来达成一致。只需要两倍的时间，因为我们避免了反向学习（例如从动漫到自拍）。为了加速计算，可以并行运行成员或使用较小的议会。评估。我们对结果进行了定性和定量验证。对于定量验证，我们使用了两个常见的指标：（1）Frechet InceptionDistance分数（FID）[16]，它计算真实图像和生成图像的特征向量之间的距离；（2）Kernel InceptionDistance（KID）[5]，它改进了FID并测量了GAN的收敛性。04.2. 实验结果0男性到女性转换的实验结果。给定一个男性脸部图像，目标是生成一个类似于男性脸部的女性脸部[ 1 ,  32 ]。如[ 1]所解释的，这个转换任务具有三个特点：（i）真实数据中没有预定义的领域对应关系。（ii）领域之间是多对多的关系，因为有许多男性到女性的映射可能性。（iii）捕捉生成面部的真实变化需要超越简单的颜色和纹理变化。FIDKIDCycleGAN [47] 20.91 0.0012MUINT [21]19.88 0.0013starGAN [7]35.50 0.0027DIRT++ [29, 28] 26.24 0.0016Council18.85 0.001078650输入 我们的-1 我们的-2 我们的-3 我们的-4 cycleGAN MUNIT StarGAN DRIT++ [ 47 ] [ 21 ] [ 7 ] [ 29,  28 ]0图6：男性到女性的转换。我们的结果比其他最先进的方法生成的结果更加“女性化”，同时保留了输入图像的主要面部特征。0可能。（iii）捕捉生成面部的真实变化需要超越简单的颜色和纹理变化。0图6比较了我们使用四个成员的委员会生成的结果与[ 7 ,  21,  29 ,  47]的结果。请注意，每个委员会成员可能会生成多个结果，这取决于随机熵向量。我们观察到，我们生成的女性更加“女性化”（例如，胡子完全消失，发型更长），同时保留了源男性脸部的主要特征并与之相似。这可以归因于我们不使用循环从男性到女性再到男性的过程，因此我们不需要保留任何男性特征。更多示例请参见补充材料。0表1总结了我们的定量结果，我们的结果是从委员会的不同成员生成的结果中随机选择的。我们的结果在两个评估指标上优于其他方法。0自拍转动漫翻译的实验结果。给定一个人脸图像，目标是生成一个吸引人的动漫图像，它类似于人类。这是一个具有挑战性的任务，因为不仅风格不同，而且0表1：男性到女性转换的定量结果。我们的委员会生成的结果优于其他最先进的结果。对于这两个指标，数值越低越好。0输入和输出的几何结构差异很大（例如，眼睛的大小）。这可能导致结构不匹配，从而产生扭曲和视觉伪影。这种困难增加了前面应用中提到的三个挑战：领域之间缺乏预定义的对应关系，多对多的关系以及超越颜色和纹理。图7显示了我们使用四个成员的结果。我们生成的动漫图像在表情和脸部结构（即下巴的形状）方面往往比[ 21 ,  25 ,  28 ,  29 ,47 ]更接近输入。FIDKIDCycleGAN [47] 149.38 0.0056MUINT [21]131.69 0.0057U-GAT-IT [25]115.11 0.0043DIRT++ [29, 28] 109.22 0.0020Council101.39 0.0020FIDKID78660输入 我们的-1 我们的-2 我们的-3 我们的-4 cycleGAN MUNIT U-GAT-IT DRIT++ [ 47 ] [ 21 ] [ 25 ] [29 ,  28 ]0图7：自拍转动漫翻译。我们的结果保留了输入图像中的脸部结构，同时生成了动漫的特征，如大眼睛。0表2：自拍转动漫翻译的定量结果。我们的结果在FID方面优于其他方法，并且在KID方面具有竞争力。0这可以解释为委员会成员更容易在输入中“达成一致”存在的特征上。表2显示了定量结果。可以看出，我们的结果在两个评估指标上优于其他方法或与其竞争。去除眼镜的实验结果。给定一个戴眼镜的人的图像，目标是生成同一个人的图像，但去除了眼镜。在前一个应用中，整个图像都会发生变化，而在这里的挑战是只修改脸部的某个部分，而保持图像的其他部分不变。0cycleGAN [47] 50.72 0.00380Fixed-point GAN [42] 55.26 0.00410委员会 36.38 0.00260表3:去除眼镜的定量结果。我们的委员会的结果优于最先进的结果0图8将我们的结果（使用四个委员会成员）与[42]的结果进行了比较，该结果显示了这个应用的结果，以及与[47]的结果进行了比较。我们生成的图像几乎没有留下被去除眼镜的痕迹。同样，这可以归因于缺乏循环约束。表3提供了定量结果。对于这个应用，我们的委员会设法超越其他方法，并解决了去除大型物体的挑战。05. 实现0我们的代码基于PyTorch；可在https://github.com/Onr/Council-GAN上获取。我们将主要参数设置如下：α，控制多样性（方程式中的α）78670输入 我们的 Fixed-Point cycleGAN [42][47]0图8:去除眼镜。我们每个输入只展示一个结果，因为对于这个应用来说，多样性是无关紧要的。我们生成的图像几乎完全去除了眼镜，而[42]和[47]的结果中还有痕迹。0tion(2))，设置为0.8。控制掩码大小的δ（方程式（5）），设置为0.001。根据应用程序设置方程式（4）中的λ1和λ2：男性到女性 λ1 = 0.2 & λ2 = 0.025；自拍到动漫 λ1 = 0.5 &λ2 = 0；去除眼镜 λ1 = 0.2 & λ2 =0.2。图9研究了委员会成员数量和迭代次数对结果质量的影响。我们关注代表性的男性到女性应用。委员会成员越少，收敛速度越快。然而，这是以准确性变差为代价的。此外，可以看出，KID随着迭代次数的增加而改善，符合预期。限制。图10展示了我们方法的一个限制。当去除眼镜时，脸部可能也变得更加女性化。这归因于数据集固有的不平衡。具体来说，戴眼镜的男性与女性的比例为0.8，而不戴眼镜的男性与女性的比例仅为0.4。这种目标域中不平衡的结果是，去除眼镜也意味着变得更加女性化。这个问题可以通过提供一个男性和女性戴眼镜和不戴眼镜数量相等的数据集来解决。在不改变数据集中图像数量的情况下处理特征不平衡是未来研究的一个有趣方向。0图9:KID作为迭代次数的函数。迭代次数越多，KID越好。此外，随着委员会成员的增加，模型收敛速度变慢，但结果会改善。0输入 结果 输入 结果 (a) 去除眼镜 (a)男性到女性0图10: 限制。 (a)当摘掉眼镜时，脸部也变得更加女性化。(b)相反，当将男性转变为女性时，眼镜也可能被摘掉。这归因于数据集中相关特征的高度不平衡。0可以通过提供一个男性和女性戴眼镜和不戴眼镜数量相等的数据集来解决。在不改变数据集中图像数量的情况下处理特征不平衡是未来研究的一个有趣方向。06. 结论0本文介绍了GAN委员会的概念，这是一种在不成对的域之间执行图像到图像转换的新方法。其关键思想是通过GAN之间的合作来取代广泛使用的循环一致性约束。委员会成员相互协助以改进各自的结果。此外，本文提出了该概念的实现，并展示了它在三个具有挑战性的应用中的好处。委员会成员为给定的输入生成了几个可选结果。他们成功地从图像中去除了大型对象，不留下输入的冗余痕迹，并处理了大型形状修改。结果在定量和定性上都优于SOTA算法。致谢：我们衷心感谢以色列科学基金会（ISF）1083/18、PMRI-PeterMunk研究所-Technion和NVIDIACorporation捐赠的GPU的支持。[24] T. Karras, T. Aila, S. Laine, and J. Lehtinen. Progressivegrowing of GANs for improved quality, stability, and varia-tion. In International Conference on Learning Representa-tions (ICLR), 2018. 278680参考文献0[1] A. Almahairi, S. Rajeshwar, A. Sordoni, P. Bachman, and A.Courville.增强的CycleGAN：从不成对数据中学习多对多映射。在第35届国际机器学习会议（ICML）上，2018年。50[2] A. Anoosheh, E. Agustsson, and R. Timofte.ComboGAN：图像域转换的无限扩展性.在IEEE/CVF计算机视觉和模式识别会议研讨会（CVPRW）上，页码896-8967，2018年。10[3] M. Arjovsky, S. Chintala, and L. Bottou.Wasserstein生成对抗网络。在第34届国际机器学习会议（ICML）上，2017年。20[4] S. Benaim and L. Wolf. 单向无监督域映射.在神经信息处理系统进展中，2017年。20[5] M. Binkowski, D. J. Sutherland, M. Arbel, and A. Gretton.揭秘MMD GANs。在学习表示国际会议上，2018年。50[6] K. Bousmalis, N. Silberman, D. Dohan, D. Erhan, and D.Krishnan. 使用生成对抗网络进行无监督像素级域适应.在IEEE计算机视觉和模式识别会议（CVPR）上，2017年。20[7] Y. Choi, M. Choi, M. Kim, J. Ha, S. Kim, and J. Choo.StarGAN：统一的生成对抗网络用于多域图像到图像转换。在IEEE/CVF计算机视觉和模式识别会议上，页码8789-8797，2018年。1，5，60[8] C. Chu, A. Zhmoginov, and M. B. Sandler.CycleGAN，隐写术大师. CoRR，2017年。1，20[9] L. M. David Berthelot, Tom Schumm.BEGAN：边界平衡生成对抗网络。CoRR，2017年。20[10] E. L. Denton, S. Chintala, R. Fergus等.使用对抗网络的拉普拉斯金字塔进行深度生成图像模型.在神经信息处理系统进展中，页码1486-1494，2015年。20[11] A. Dosovitskiy and T. Brox.使用基于深度网络的感知相似度度量生成图像。在神经信息处理系统进展中，页码658-666，2016年。20[12] I. P. Durugkar, I. Gemp, and S. Mahadevan.生成多对抗网络. 在国际学习表示会议（ICLR）上，2018年。20[13] L. A. Gatys, A. S. Ecker, and M. Bethge.使用卷积神经网络进行图像风格转移。在IEEE计算机视觉和模式识别会议（CVPR）上，页码2414-2423，2016年。20[14] A. Ghosh, V. Kulharia, V. P. Namboodiri, P. H. Torr, and P.K. Dokania. 多智能体多样性生成对抗网络.在IEEE计算机视觉和模式识别会议（CVPR）上，页码8513-8521，2018年。20[15] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D.Warde-Farley, S. Ozair, A. Courville, and Y. Bengio.生成对抗网络。在神经信息处理系统进展中，页码2672-2680，2014年。20[16] M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, and S. Hochreiter.通过两个时间尺度更新规则训练的GAN收敛到局部纳什均衡. 在神经信息处理系统进展中, 页码6626–6637,2017.  50[18] X. Hua, D. Rempe, and H. Zhang. 无监督的跨域图像生成.在国际学习表示会议(ICLR)上, 2017.  10[17] Q. Hoang, T. D. Nguyen, T. Le, and D. Phung. MGAN:使用多个生成器训练生成对抗网络. 在国际学习表示会议上, 2018.20[20] X. Huang, Y. Li, O. Poursaeed, J. Hopcroft, and S. Belongie.堆叠的生成对抗网络. 在IEEE计算机视觉和模式识别会议(CVPR)上,页码5077–5086, 2017.  20[19] X. Huang and S. J. Belongie.实时任意风格转换与自适应实例归一化.2017年IEEE国际计算机视觉会议(ICCV), 页码1510–1519, 2017.  30[22] P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros.带条件的对抗网络图像到图像的转换.在IEEE计算机视觉和模式识别会议(CVPR)上, 2017.  20[21] X. Huang, M.-Y. Liu, S. Belongie, and J. Kautz.多模态无监督图像到图像的转换. 在欧洲计算机视觉会议(ECCV)上,2018.  1 ,  2 ,  3 ,  5 ,  6 , 70[24] T. Karras, T. Aila, S. Laine, and J. Lehtinen.渐进式增长的GAN提高质量、稳定性和变化性.在国际学习表示会议(ICLR)上, 2018.  20[23] F. Juefei-Xu, V. N. Boddeti, and M. Savvides. GAN的帮派:具有最大边际排序的生成对抗网络. CoRR, 2017.  20[25] J. Kim, M. Kim, H. Kang, and K. Lee. U-GAT-IT:带有自适应层-实例归一化的无监督生成注意力网络用于图像到图像的转换. CoRR, abs/1907.10830, 2019.  1 ,  5 ,  6 ,  70[26] T. Kim, M. Cha, H. Kim, J. K. Lee, and J. Kim.学习使用生成对抗网络发现跨域关系.在第34届国际机器学习会议(ICML)上, 2017.  1 ,  20[27] D. P. Kingma and J. Ba. Adam: 一种随机优化方法, 2014.  50[28] H.-Y. Lee, H.-Y. Tseng, J.-B. Huang, M. Singh, and M.-H.Yang. 多样的图像到图像转换通过解耦表示.在欧洲计算机视觉会议(ECCV)上, 2018.  2 ,  5 ,  6 ,  70[29] H.-Y. Lee, H.-Y. Tseng, Q. Mao, J.-B. Huang, Y.-D. Lu, M. K.Singh, and M.-H. Yang. Drit++:通过解耦表示实现多样的图像到图像转换.arXiv预印本arXiv:1905.01270, 2019.  5 ,  6 ,  70[30] M.-Y. Liu, T. Breuel, and J. Kautz.无监督的图像到图像转换网络. 在神经信息处理系统进展中, 2017.1 ,  20[31] Z. Liu, P. Luo, X. Wang, and X. Tang.野外深度学习人脸属性. 在国际计算机视觉会议(ICCV)上的论文集,2015年12月.  578690[32] Y. Lu, Y.-W. Tai, and C.-K. Tang.使用条件CycleGAN进行属性引导的人脸生成.在欧洲计算机视觉会议(ECCV)上, 页码282–297, 2018.  50[33] X. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. Paul Smol-ley. 最小二乘生成对抗网络. 在IEEE国际计算机视觉会议(ICCV)上,2017. 2 ,  3 ,  40[34] D. Opitz and R. Maclin. 流行的集成方法: 一项实证研究.人工智能研究杂志, 11:169–198, 1999.  20[35] R. Polikar. 决策中的集成系统. IEEE电路与系统杂志,6(3):21–45, 2006.  20[36] A. Radford, L. Metz, and S. Chintala.使用深度卷积生成对抗网络进行无监督表示学习。在第四届国际学习表示会议(ICLR)上，2016年。20[37] L. Rokach.基于集成的分类器。人工智能评论，33(1-2)：1-39，2010年。20[38] M. Rosca, B. Lakshminarayanan, D. Warde-Farley, and S.Mohamed.变分方法用于自动编码生成对抗网络。CoRR，2017年。20[39] A. Royer, K. Bousmalis, S. Gouws, F. Bertsch, I. Mosseri, F.Cole, and K. Murphy. Xgan:无监督的图像到图像的多对多映射。arXiv预印本arXiv:1711.05139，2017年。10[40] T. Salimans, I. Goodfellow, W. Zaremba, V. Cheung, A. Radford, and X.Chen.改进的技术用于训练生成对抗网络。在神经信息处理系统进展中，2016年。20[41] A. Shrivastava, T. P�ster, O. Tuzel, J. Susskind, W. Wang,and R. Webb.通过对抗训练从模拟和无监督图像中学习。在计算机视觉和模式识别国际会议(CVPR)上，页码2107-2116，2017年。20[42] M. M. R. Siddiquee, Z. Zhou, N. Tajbakhsh, R. Feng, M. B.Gotway, Y. Bengio, and J. Liang.在生成对抗网络中学习固定点：从图像到疾病检测和定位。在计算机视觉国际会议(ICCV)上，2019年。1, 2, 5, 7, 80[43] I. Tolstikhin, O. Bousquet, S. Gelly, and B. Schoelkopf.Wasserstein自动编码器。在学习表示国际会议(ICLR)上，2018年。20[44] T.-C. Wang, M.-Y. Liu, J.-