GAN-Tree: 一种多模态数据分布的增量学习层次生成框架

8191GAN-Tree：一种用于多模态数据分布的增量学习层次生成框架Jogendra Nath KunduMaharshi GorDakshit Agrawal R.Venkatesh Babu视频分析实验室，印度科学研究所，印度jogendrak@iisc.ac.in，maharshigor18@gmail.com，dagrawal@cs.iitr.ac.in，venky@iisc.ac.in摘要尽管生成式对抗网络取得了显著的成功，但它们的性能对于不同的训练集似乎不那么令人印象深刻，需要学习不连续的映射函数。虽然多模式先验或多发电机模型已被提出来缓解这个问题，这样的方法可能会失败，这取决于经验选择的初始模式分量。与这种自下而上的方法相反，我们提出了GAN-Tree，它遵循分层划分策略来处理这种不连续的多模态数据。GAN-Tree不需要对模式的数量做任何假设，它利用一种新颖的模式分裂算法将父模式有效地分裂为语义上有凝聚力的子模式，从而促进无监督聚类。此外，它还通过仅更新树结构的单个分支来实现新数据模式到已经训练的GAN-Tree的与现有方法相比，所提出的框架在选择称为GAN集的大量互斥和穷举树节点方面提供了更高程度的灵活性。在包括ImageNet在内的合成和自然图像数据集上进行的广泛实验证明了GAN-Tree相对于现有技术的优越性1. 介绍近年来，生成模型作为一个新兴的研究领域，已经获得了极大的关注，这种模型背后的主要目标是从一组给定样本中有效地捕获底层数据分布。对于复杂的高维目标样本，如图像和文本，任务变得更具挑战性。众所周知的技术，如生成对抗网络（GAN）[14]和变分自动编码器（VAE）[23]，通过定义从高维目标分布之前的预定义潜在映射来实现它。平等贡献图1：理想映射（绿色图，断开的均匀分布到单峰高斯的不可逆映射）及其由神经网络学习的可逆近似（虚线图）近似映射（X→Z）在潜在空间中引入了一个不连续性（顶部），当用于从单峰先验（底部）生成时，其逆（Z→X）显示了难以置信的样本（紫色）。尽管GAN取得了成功，但这种框架的潜力有一定的局限性。GAN被训练为在由潜在变量设置的选择（即，潜在嵌入的维数这种限制在存在高度多样化的类内和类间变化的情况下更加突出，其中给定的目标数据跨越高度稀疏的非线性流形。这表明底层数据分布Pd（X）将构成多个稀疏分布的低密度区域。考虑到生成器架构的足够容量（通用近似定理[19]），GAN保证收敛到真实的数据分布。然而，该定理的有效性并不适用于涉及不连续性的映射函数（图1）。1），如自然图像或文本数据集所表现的那样此外，在训练目标中强加的各种规则化[7，32]不可避免地限制了生成器充分发挥其潜力。解决上述限制的合理解决方案可以是在一般GAN框架中实现多模先验而不是单模分布。最近的几种方法探索了这一方向，明确地，潜空间分布生成的分布真实数据分布（X）转换函数近似值好玩的（NN）理想函数生成的数据分布先验分布（Z）8192迫使发生器捕获不同的多模态目标分布[15，21]。这种方法遇到的主要挑战是由于选择的模式的数量为了更好地分析具有挑战性的场景，让我们考虑一个极端的情况，其中在开始时选择了非常多的模式，而不知道数据集中存在的类别的固有数量。在这种情况下，相应的生成模型将提供更高的初始得分[4]，这是由于针对各个子类别或甚至样本级别层次结构的专用先验模式。这是生成建模中过拟合的明显表现，因为与单模GAN相比，这样的模型将生成减少的或可忽略的量的新样本直觉上，在潜在嵌入空间[38，30]中的两个样本之间插入的能力证明了生成模型的连续性和可推广性。然而，这种插值仅在属于相同模式的一对样本内是可能的，特别是在多模态潜在分布的情况下。它揭示了这两个思想流派之间的一个明显的权衡，即，与单模对应物相比，多模态潜在分布有可能对Pd（X）的更好估计进行建模，但代价是根据模式选择的选择降低了可推广性。这也突出了生成模型[29]的质量（多模式GAN）和多样性（单模式GAN）之间的内在权衡，特别是在缺乏自然数据分布的具体定义的情况下。解决上述问题的理想生成框架必须具有以下重要特征：• 该框架应允许足够的灵活性，在设计选择的模式的数量被认为是潜在的变量分布。• 新样本生成的灵活性取决于质量相对于多样性的不同偏好，具体取决于关注的预期应用（例如无监督聚类、分层分类、最近邻检索等）。• 在没有初始数据样本的情况下，灵活地适应类似但不同类别的附加数据样本（增量学习设置）。在这项工作中，我们提出了一种新的生成式建模框架，这是足够灵活的，以解决在一个给定的多模态数据分布的质量多样性权衡。我们介绍GAN-Tree，这是一种分层生成模型框架，由多个GAN组成，以类似于二叉树结构的特定顺序组织。与最近的多模态GAN[35，21，15]所采用的自下而上的方法相反，我们遵循自上而下的分层分裂聚类过程。首先，GAN-Tree的根节点使用全目标集上的单模潜在分布进行训练，旨在最大化生成水平。可验证性在此之后，一个无监督的分裂算法被纳入到聚类的目标集样本访问的父节点到两个不同的集群的基础上最具歧视性的语义特征的差异。在获得目标样本的清晰聚类之后，实现双模态生成训练过程，以使得能够从预定义的潜伏期分布生成合理的新样本为了证明GAN-Tree的灵活性，我们定义了GAN-Set，一组互斥和穷举的树节点，可以与相应的先验分布一起使用，以生成具有所需质量与多样性水平的样本。注意，叶节点将实现具有降低的多样性的改进的质量，而更靠近根的节点将产生相反的效果。分层自上而下的框架开辟了有趣的未来扩展可能性，这在一般GAN设置中实现其中之一是增量GAN树，表示为iGAN树。它以更有效的方式支持增量生成建模，因为只有完整GAN树的某个分支必须更新以有效地对新输入集的分布进行建模。此外，自顶向下的设置导致作为副产品的底层类别标签的无监督聚类，这可以进一步用于开发具有隐式分层分类的2. 相关工作通常，大多数生成方法将数据分布实现为来自预定义先验分布的映射[14]。BEGAN [5]提出了一种基于自编码器的GAN，其反向最小化从Wasserstein距离[2]导出的能量函数[37]。后来，这种方法的几个缺陷已经被探索，如模式崩溃[33]，不稳定的发电机收敛[26，1]等。最近，几种方法提出使用推理网络[7，24]，E：X → Z，或最小化联合分布P（X，Z）[10，12]来正则化模式崩溃的生成器 尽管这些方法有效地解决了模式崩溃，但它们受到建模断开的多模态数据[21]的限制，使用单模先验和单生成器变换的容量，如第1节所述。为了有效地处理多模态数据，在最近的工作中已经探索了两种不同的方法，即。a）多发电机模型和b）具有多模式先验的单发电机。工作，如[13，18，21]提出利用多个发电机来考虑不连续的多模态自然分布。这些方法单独使用模式分类器网络[18]或嵌入有模式分类器[13]来强制学习专用于单个生成器网络的互斥和穷举数据模式Chen等人[8]提出了Info-GAN，其目的是8193←单峰先验P=N（0，I）预p（x）zz（l）（r）z预i=1kσGkσ算法1GAN-Tree构造/训练算法1：输入：GAN-Tree树2：节点createRoot（tree）3：使用GAN训练程序训练E（0）、G（0）和D（0）（0）z第四章： 而CanFurtherSplit（tree）则5：S ←LeafNodes（树）16：i←argminj∈S|D（j）|（j）x∈D（j）g7：用E（par（i））的参数初始化E（i8：用G⑴的参数初始化G⑴和G（r）9：用D（i）的参数初始化D（l）和D（r）10：P（l）← N（√ 1，I），P（r）← N（− √（第1段，第一节）二维二维（一）11：模式分离过程（GN ）的方式12：π（l）← |D||D(i)|，π（r）←|D||D (i)|13：BiModalGAN-T训练（GN（i））图2：GAN-Tree的分层结构（A部分）和以分层方式对数据样本D进行无监督聚类（B部分）的说明在根级别的单个GN的组成显示了网络如何在GNode内的ALI [12]框架中使用。通过最大化所生成的图像和潜在代码之间的交互信息来利用变化的语义潜在源Gurumurthy等人[15]提出了在单个生成器网络中使用固定数量的组件的高斯混合先验。这些方法使用固定数量的高斯分量，因此在焦点中的最终任务所需的质量与多样性的比例上没有提供太多的灵活性受提升算法的启发，AdaGAN [35]提出了一种迭代过程，该过程通过使用样本重新加权技术引入新的GAN组件来逐步解决未覆盖的数据3. 方法优化映射G：Z → X的参数，使得所生成的样本G（z）的分布逼近随机抽取的潜在向量z的目标分布Pd。最近的生成方法[7]建议同时训练推理映射E：X→ Z以避免模式崩溃。在本文中，我们使用逆向学习推理（ALI）[12]框架作为GAN树每个节点的基本GAN公式。然而，可以使用任何其他GAN框架来训练各个GAN-Tree节点，如果它满足具有推理映射的特定要求根节点（GN（0））。假设D（0）为完整目标样本的集合，首先训练根节点GN（0使用单模潜在先验分布zP（0）。如图2; E（0）、G（0）和D（0）分别是索引为-0的根节点的编码器、生成器和递归网络;它们被训练以生成样本，xP（0）逼近P（0）。 这里，P（0）是真正的目标在本节中，我们提供了一个关于con-gd d的详细概述。GAN-Tree的构造方案和训练算法（第3.1-3.3节）。此外，我们讨论了从训练的GAN树中获取GAN集以生成的推理方法（第3.4节）。我们还详细说明了使用来自不同类别的新数据样本来递增地扩展先前训练的GAN树的过程（第3.5节）。3.1. GAN-Tree的形式化GAN树是一个完整的二叉树，其中每个节点都用i表示，GN（i）（GNode），表示一个单独的GAN框架。根节点表示为GN（0），对应的子节点表示为GN（1）和GN（2）（见图1）。2）的情况。在这里，我们给出了一个通用的GAN树框架的简要概述给定从真实数据分布Pd中提取的一组目标样本D=（xi）n，目标是分布，其样本给定为x∈ D（0）。后获得最佳近似P（0），下一个目标是通过考虑GAN-Tree后续层次中的多模态潜在分布来改进近似。子节点（GN（l）和GN（r））。在没有任何初始模式数量选择的情况下，我们计划将每个GN节点分成两个子节点（见图2）。2）的情况。在一般的设置中，假设p作为父节点索引，对应的两个子节点索引为l和 r ， 为 了 简 化 进一 步 的 讨 论 ， 我 们定 义 l=left（p），r=right（p），p=par（l）和p=par（r）考虑图1所示的示例。2，当父索引p=0时，左子和右子的索引将分别为l=1和r=2。一个新的二进制模式分裂程序（第3.2节），其中，不使用标签信息，A. GAN-TreexD（0）（x，z）（x，z）D（0）0/1E（0预zz~PzG（0）中文（简体）（B.不好聚类D（0）D（1）D（2）D（6）D（3） D4）xD（0）x~P（0）GxD（0）（x，z）（x，z）D（1）0/1E（0）z第一章（1）E（0）z中文（简z~P（l）（x，z）（x，z）（二z~P（r）zG（1x~P（1）D0/1G（2Gx~P（2）Gx丹麦（1）x丹麦（2）英（1）德（5）格x~P（5）G英（1）英（2）D（6）G（6）D（3）（3）第一章（三）x~P（6）Gx~P（3）G英（2）德（4）格（4）x~P（4）G8194{}Bz一←（cj）（j）（tj）（j）← LzzzReconReconNLLNLL信息，有效地利用了潜在的Z空间的最有区别的语义差异，以实现对输入目标样本的我们通过对父集D（p）应用模式分裂使得D（p）=D（l）<$D（r）来获得簇集D（l）和D（r）。注意，单个编码器E（p）网络由子节点GN（l）和GN（r）两者共享，因为它也被用作路由网络，算法2模式分割程序一曰： 输入：GN，索引为i，左子元素l和右子元素r2：用D（i）初始化未分配的行李Bu，用φ，以及具有φ的聚类标号映射L3：当|Bu|/= 0 do4：对于n0次迭代，5：样本小批量xm个数据样本中的u个（一）（二）（m）可以通过遍历不同的层将给定的目标样本x从根节点路由到叶节点之一{xu，xu，.，xu}从Bu。6：样本小批量xa，m个数据样本（一）（二）（m）完整的GAN树在公共编码器E（p）的输出处的双峰潜在分布被定义为xa，xa，.， xa从a.7：对于j从1到m，8：z（j）←E（i）（x（j））;z（j）←E（i）（x（j））左、右子节点分别为z∈ P（r）阿阿乌乌z在同时训练GN（l）和GN（r）us之后，9：cj= L（x（j））（分配的聚类标签）10：tj= argmaxp（k|z（j））（温度标签）双模态生成对抗训练（BiMGAT）k∈{l，r}u<$（一）1Σm¨（j）（cj）（j）（2）（第3.3节），我们得到了一个改进的方法，第11章： 一个女人j=1？a −G（za）¨（p）（p）（p）Σ¨ ¨2真实分布（Pd）的形式（Pg）为Pg=12：L（u）1M<$x（j）−G（tj）（z（j））<$（l）（l）（r）（r）（l）Reconmj=1？uu¨2πPG +πPG. 这里，生成的分布Pg13：L（a）←1m−log（p （z ））和P（r）被建模为G（l）（z<$P（l））和G（r）（z<$P（l））。NLLmj=1z agz14：L（u）←1μm−log（p （z ））P（r））（Algo. ①的人。同样，可以将NLLmj=1z uz15：L（a）+L（u） +L（a）+L（u）与真实数据分布Pd相关联的模式。分割和停止条件的节点选择。 自然16：更新参数ΘE（i）、ΘG（l）、ΘG（r）通过使用Adam优化L分裂17：对于x∈ Bu，问题是如何决定分割哪个节点18：如果最大k∈{l，r}p（k）（E（i）（x））>γ0然后在存在于特定状态的所有叶节点中的第一甘树？为了做出这个决定，我们选择在为其标记的数据样本上给出最小平均似然的叶节点（第5-6行，Algo.①的人。 另外，停止-19：将x从Bu移动到Ba20：L（x）←argmaxk∈{l，r}p（k|E（i）（x））必须仔细定义GAN树分裂的ping标准，以避免对给定目标数据sam的过拟合D（r），通过利用潜在表示对预定义先验P（l）和P（r）的似然性。z z例。为此，我们使用了一个强大的基于IRC的停止标准[16]在嵌入空间Z上，优选标准AIC和BIC度量。然而，可以使用固定数量的模式作为停止标准，并且在需要时从该点扩展训练。3.2. 模式分离程序模式分裂算法被视为自顶向下的分裂聚类思想的基础上，它被纳入到构建层次的GAN-Tree通过执行二进制分裂的单个GAN-Tree节点。分裂算法必须足够有效，以完全无监督的方式成功地利用高度区分的语义特征为了实现这一点，我们首先定义P（l）=N（μ（l），Σ（l））为了有效地实现模式分裂（Algo. 2）定义两个不同的袋子; a）分配的袋子Ba和b）未分配的袋子Bu。Ba以具有代表性的高置信度标记目标样本的形式保持个体模式的语义特征。这里，分配的标记样本是父目标样本的子集，x∈ D（i），其中对应的硬分配的cluster-id使用预定义先验的似然性获得（第11行，Algo. 2）在变换的编码空间中。我们将其称为硬分配，因为一旦这些样品从Bu移动到分配的袋Ba，我们就不更新这些样品的簇标签。这有效地解决了模式分离过程的后续迭代中的模式崩溃。对于Bu中的样本，根据先前的P（r）=N（μ（r），μ（r））作为固定的正态先验分布-最大似然（第12行，Algo.（2）积极进取左、右孩子的贡献（不可训练），分别为。通过将均值向量之间的距离设为kσ，其中k（l）=k（r）=σ2Id，可以实现这两个先验之间的清晰分离，其中Id是d×d识别矩阵。假设i是父节点索引，D（i）是由GN（i）建模的目标样本的聚类。换句话说，模式分割算法的目标是形成两个互斥且穷举的目标数据聚类D（1）和D（2）。树进一步有效地捕捉固有的数量分裂8195将它们移向二进制模式之一（行19-22，Algo. 2）的情况。最后，当把Bu中的所有样本移到Ba时，算法收敛. 该算法涉及三个不同网络参数的同时更新（第18行，Algo.2）使用最终损失函数L分裂，其包括：• - 用于Ba和Bu两者中的样本的似然最大化项L_nll（第15-16行），其鼓励利用二元判别语义特性，以及8196zXzDGBz d dB• 使 用对 应的 生 成器 计算 的 语义 保留 重 建损 失Lrecon，即，G（l）和G（r）（第13-14行）。这被用作正则化以保持个体样本的语义唯一性，避免模式崩溃。3.3. 双模态生成对抗训练模式分割算法不确保所生成的分布G（l）（zP（l））和G（r）（zP（r））与预期的目标分布P（l）和P（r）的匹配。没有明确的注意。因此，为了能够生成从随机抽取的先验潜在向量中提取合理样本，同时为左和右孩子引入生成对抗框架在ALI [12]设置中，损失函数涉及共同编码器的优化以及以对抗方式的两个生成器;利用两个单独的鉴别器，其被训练以区分E（p）（x∈ D（l））和E（p）（x∈ D（r））分别从z<$P（l）和z<$P（r）工程. AdaGAN的另一个主要缺点是它高度关注质量而不是多样性（由过模式划分引起），这不可避免地限制了最终生成模型的潜在空间插值能力。DMGAN- Khayatkhoei等[21]提出了一种使用多生成器方法的断开流形学习生成模型他们建议从高估模式分量的初始数量ng开始，而不是数据分布中模式的实际数量nr。如前所述，我们不考虑DM-GAN所考虑的实际模式的数量nr的确定值的存在，特别是对于像CI-FAR和ImageNet这样的各种自然图像数据集。在实际情况下，如果没有关于数据集中存在的类的数量的任何线索，就不能决定ng的初始值。如作者所讨论的，DMGAN将在ng nr的情况下失败。还要注意的是，与GAN-Tree不同，DMGAN不适合未来的增量扩展。这清楚地证明了GAN-Tree相对于DMGAN的优越灵活性z z所采用的自上而下的分裂策略。3.4. GAN集的生成与推理为了利用跨越整个数据分布Pd的生成模型，最终用户可以从完全训练的GAN树（即GAN集）中选择节点的任何组合，使得他们建模的数据分布是详尽的和互斥的。然而，为了仅生成完整数据分布的子集，可以选择互斥但非穷举的集合-部分GAN集。对于在新样本的数量方面对多样性给予极端偏好而不是所生成样本的质量的用例，选择单例集-{root}将是适当的选择。然而，在对比用例中，可以选择所有叶节点作为终端GAN集，以在生成的样本中具有最佳质量，尽管在生成的样本中失去了新颖性。最实际的任务将涉及将GAN集构造为中间节点和叶节点的组合的用例。GAN-Set还可以用于在完全无监督的设置中对新数据样本执行聚类和标签分配我们在3.5. 增量GAN-Tree：iGANTree我们将GAN-Tree的思想推进到iGAN-Tree，其中我们提出了一种新的机制来扩展已经训练好的GAN-TreeT，以从一组新数据样本D′中算法3和算法4提供了整个过程的概述。为了理解该机制，我们从算法的以下假设开始在T上的这个过程结束时，我们期望有一个单独的叶节点，它只模拟来自D′的样本的分布;而作为这个新节点的祖先的其他中间节点，应该模拟一个也包括来自D′的样本的混合分布。为了实现这一点，我们首先使用查找过程找出插入该新叶节点的正确的高级别和位置（Algo中的第2-8 行 ） 。 4 ） . 这 里 ， p（ l ） （ x ）=p（ l ） （ E（ l ）（x）），并且对于r，在第5-6行中类似。 假设查找过程在节点索引i处停止。我们现在介绍算法3增量节点训练用于执行聚类的补充文件使用GAN-Tree的数据样本。GAN-Tree与以前的作品有什么不同？AdaGAN-[ 35 ]采用的顺序学习方法需要在解决后续未发现的样本之前在先前解决的模式上进行完全训练的模型。 因为它不对金额在要由单个发生器网络建模的数据中，它大多收敛到比数据中实际存在的模式更多的模式。相比之下，GAN-Tree通过同时训练子生成器网络，在父节点的每次分裂时对互斥和穷举集进行建模。1：输入：节点索引c，新数据样本集2：gset=CreateT_ erminalGanSet（GNpar（c））3：用来自D′的所有样品填充分配样品的空袋Ba4：生成|D′| · |格塞特|从P（gset）中提取样本并将它们添加到a;基于GNpar（c）到L的子节点之间的对应祖先分配聚类标签5：仅在GN（par（c））E（par（c））和G（c）在样本上的6：运行BiModalGAN-仅在GAN （par（c））训练上训练E（（c）段）、G（c）和D（c）第七章： 重新评估π（左（par（c）和π（右（par（c）8197←← ←←← ←←← ←←← ←←LL←←GXz算法4增量GAN-Tree训练1：输入：GAN-TreeT，新数据样本集D′B在GN[0]（2）处插入节点- n1[1]第一届中国（2010）在GN[1]（2）处插入节点-n22：i索引（root（T））3：whileiis NOT a leaf nodedo4：l←left（i）;r← right（i）5：如果Avg（p（l）（D′））≥p（l）（μ（l）+d）然后i←l[0]（1）（2）第一章GN[1]（n1）[0]第二届中国（2012）国际汽车工业展览会6：否则如果Avg（p（r）（D′））≥p（r）（μ（r）+di←rx z σ07：否则中断8：这里，i是当前节点索引9：j←NewId（）（新父索引）10：k←NewId（）（新子索引）11：par（k）j; par（j）par（i）; par（i）j12：如果i= index（root（T）），则13：根（T）j;左（j）i;右（j）k十四： 如果我是前一个父节点的左子节点，15：左（par（j））j;左（j）i;右（j）k16：其他17：right（par（j））←j; return（j）; right（j）18：创建具有随机初始化的网络工作G（k），D（k）19：使用recon和adv训练E（j）、G（k）和D（k）20：E（par（j））copy（E（par（i）21：G（j）copy（G（i））;D（j）copy（D（i））;ipar（i）22：whileGN（i）isnotroot（T）do23：IncrementalNodeTrain（i）;ipar（i）end while图24：利用GAN训练过程对来自终端GAN集的D '和基因化样本进行训练G N（i）。2 新节点GN（j）和GN（k）并执行重新分配（Algo.4）.新的子节点GN（k）仅对新的数据样本建模;新的Par-ent节点GN（j）对P（i）和P（k）的混合进行建模。这图3：增量获得的GAN-Tree的不同版本的快照。这里A是Algo在其上预训练的GAN-Tree4运行以获得B，并且随后获得C和D。每个转换都以灰色突出显示更新的分支，新的子节点为红色，新的父节点为橙色，而其余节点保持不变。在B中，标记为红色的节点是更新的节点类似地，在C和D中，更新的说明了仅通过从其先前版本更新节点来增量地添加新分支，它利用GAN树的完全持久性并提供根节点的所有版本-G N[0：4]（0）。新的样品。我们从D'的样本的嵌入中选择其平均向量具有最小平均马氏距离（dσ）的子这个想法也可以实现，以在结构上具有完整的持久性[11]（补充中的进一步细节）。4. 实验在本节中，我们将讨论GAN的全面评估这就引出了一个问题，我们如何学习新的分布（一）祖先的祖先，祖先的祖先。为了解决这个问题，我们遵循从GN（par（i））到GN（root（T））的自下而上的训练方法，使用来自D4）.现在，问题简化为在所选分支中的每个节点处重新训练父E（p）以及子G（c）和D（c）网络，使得（i）E（p）将所生成的数据样本X正确地路由到适当的子节点，以及（ii）在GN（k）的所有祖先节点处通过新分布P’对来自D’的样本进行建模，同时记住来自分布Pg的样本。此外，我们不假设具有数据样本DGAN-Tree之前被训练解决问题′在训练节点GN（i）时，我们使用终端GAN。′以GN（i）为根的子GAN树的集合，以生成sam。用于重新训练节点的请求。Algo中说明了如何增量训练每个节点的完整过程。3 .第三章。此外，请注意，我们使用平均似然度量来确定两个子节点中的哪一个具有建模潜力对照基线和先前的方法进行树分析我们决定不使用任何改进的学习技术（如SNGAN [27]和SAGAN [36]所提出的）用于所提出的GAN-Tree框架，以与针对多模态分布的现有技术[21，13，18GAN-Tree是一个多生成器框架，它可以处理许多基本的GAN形式化（如AAE [25]，ALI [12]，RFGAN [3]等）。在单个节点级别。然而，在大多数实验中，我们使用ALI [12]，除了CIFAR，其中ALI [12]和RF-GAN [3]都用于证明GAN树在各种GAN形式化上的泛化性。还要注意的是，随着我们深入GAN-Tree分层分离管道，我们以系统的方式冻结了编码器和判别器的较低层以及生成器的较高层（接近数据生成层）的参数更新这样的参数共享策略有助于我们在接近终端叶节点的单个节点级别去除过拟合我们对生成器，编码器和编码器网络常用的DC-GAN [30]架构进行修改，同时处理图像数据集，即一中文（简体）[0]（1）[0]第二届中国（2012）国际汽C中文（简体）D在GN[2]处插入节点-n3[3]第三届中国[0]（1）第二章中文GN[3]（n3）[0]（1）第二章GN[2]（n2）（2）第一章GN[2]（n2）（2）第一章GN[1]（n1）[0]第二GN[1]（n1）[0]第二届中国（2012）国际汽σ08198B未分配C0.150左到左群集右群集AdaGAN0.1000.05024681012发电机数量正常GAN-Tree增量GAN-Tree图4：A部分：MNIST+Fashion-MNIST数据集上GAN-Tree训练过程的说明。B部分：我们的模式分裂过程（有bagging）对MNIST根节点上的基线深度聚类技术（没有bagging）的有效性。我们的方法以更清晰的方式将数字分为两组（iter=11k）。C部分：我们评估GAN-Tree和iGAN-Tree算法与先前的增量训练方法AdaGAN [35]。我们训练了多达13个生成器，并评估了它们的平均JS Divergence分数（重复5次）。D部分：增量GAN树训练过程（i）基本GAN树，在数字0-4上训练（ii）添加数字5后的GAN树，dσ0= 4（iii）添加数字5后的GAN树，dσ0= 9。表1：MNIST（×10−2）和Face-Bed（×10−4）的类内变异（JSD）比较;以及Face-Bed的FID评分与[21]一致。模型代数JSD MNIST JSD面床FID面床DMWGAN [21]DMWGAN-PL [21]20200的情况。21± 0。050的情况。08± 0. 030的情况。42± 0。230的情况。11± 0。067 .第一次会议。58±0。107 .第一次会议。30±0。12我们的GAN-Set我们的GAN-Set5100的情况。08± 0. 020的情况。06± 0. 020的情况。10± 0。060的情况。09± 0. 047 .第一次会议。20±0。117 .第一次会议。00±0。10图5：玩具数据集上GAN-Tree进程的图示MNIST(32×32），CIFAR-10(32×32）关于Face-Bed（64×64））。然而，与DCGAN不同，我们使用批归一化[20]，Leaky ReLU非线性与先前的多生成器工作[18]内联。 在训练GAN时-在Imagenet [31]上的树，我们遵循SNGAN [27]使用的生成器架构，生成分辨率为128×128，RFGAN [3]形式化。对于模式分割和BiModal-GAN训练，我们采用Adam opti- mizer [22]，学习率为0.001。协方差参数在这个数据集上的完整GAN-Tree训练过程如图所示。五、如所观察到的，在每对子节点处建模的分布验证了对应父节点的子节点的互斥和穷举性质。对MNIST的评价。我们在MNIST数据集上的各种定性指标中对GAN-Tree与DMWGAN-PL [21]进行了广泛的比较。表1显示了类间变异与先前最先进方法的定量比较。它突出了所提出的GAN-Tree框架的优越性。对组合MNIST的评价。 正如Cheet al. [7]，组合MNIST数据集由位于完整64×64的3个不同象限的3个随机数字所提出的模式分裂算法的有效性。为了验证所提出的模式分离算法的有效性，我们对10类MNIST数据集上的基线深度聚类[34]技术进行了消融分析。GAN-Tree的性能高度依赖于在根节点处执行的初始二进制分割，因为在该阶段的集群分配中的错误可能导致跨两个子树层次结构的单个图像类别的多模式。图4B清楚地示出了当在MNIST根节点处应用时模式分裂玩具数据集的评估。我们通过从具有不同均值的九个不连通高斯分布的混合物中采样2D点来构建合成数据集，一{ F-MNIST，MNIST}{ F-MNIST}联系我们{1，2，{0，3，5，{1，{2}{0}{1}下[001pdf{3，5}{ 8 }{7，9}D实际数据分布中文（简体）中文（简体）中文（简体）中文（简体） ||中文（简体）中文（简体）||中文（简体）生成的数据分布第一章（1）中文（简体）中文（简体）GN （十）中文（简体）中文（简体）||||中文（简体）中文（简体）GN（8）GN（7）||||||||||基线我们JSD（x10-8199分辨率模板，导致1000个独特模式的数据分布。在此之后，预训练的MNIST分类器用于从生成的样本中识别数字，以计算在从所有1000个变体中生成时覆盖的模式数量。表2突出了GAN-Tree相对于MAD-GAN的优势[13]。MNIST上的iGAN-Tree。我们展示了在不同设置下增量添加数据样本后，对训练的GAN树的我们首先在MNIST数字0-4上训练5种模式的GAN-Tree然后，我们用数字5的样本递增地训练它，并展示GAN树的修改结构。图4D显示了该实验的详细说明。8200B{CIFAR-10}图6：RGB图像数据集的生成结果A：FaceBed，B：CIFAR-10，C：ImageNet。FaceBed的根节点代显示了一些难以置信的代，这些代随着进一步的分裂而减少。根节点的左子节点生成面，而右子节点生成床。进一步拆分脸节点，我们看到一个子节点生成背景较暗或头发颜色较深的图像，而另一个生成背景较浅或头发颜色较浅的图像。在A部分的Bed Node分裂中以及CIFAR-10和ImageNet的子节点中也观察到类似的趋势。表2：GAN树与最先进的GAN方法在与[13]内联的组合MNIST数据集上的比较。方法吉隆坡分部↓覆盖模式↑WGAN [1]0.251000[13]第十三话0.0741000GAN-Set（root）0.16980GAN-Set（5个G节点）0.101000GAN-Set（10个G节点）0.0721000MNIST+F-MNIST和Face-Bed上的GAN树。我们在两个混合数据集上执行分裂的GAN-Tree训练过程。对于MNIST+Fashion-MNIST，我们分别从两个数据集组合20 K图像。类似地，在[21]之后，我们结合Face-Bed来证明GAN-Tree对不连通流形上支持的多种多模态数据建模的有效性（如表1所示）。MNIST+ F-MNIST和混合Face-Bed数据集的分层生成如图所示。图4A和图6A分别示出了图4A和图6A中所示的实施例。CIFAR-10和ImageNet 在表3中，我们报告了GAN-Tree针对CIFAR-10和ImageNet数据集的先前工作获得的初始得分[32]和FID [17]。我们分别实现了先前的多模态方法，a）GMVAE [9] b）MITterGAN [28]，以及先前的多生成器工作，a）MADGAN [13]b）具有固定数量的发生器的DMWGAN-PL [21]。此外，为了证明所提出的框架在单个节点级别具有不同GAN形式化的通用性，我们使用ALI [12]，RFGAN [3]和BigGAN [6]实现GAN-Tree作为基本GAN设置。请注意，我们利用Big-GAN的设计特性，而不访问类标签信息，以及RFGAN在表3中，所有针对ImageNet数据集的方法都使用了修改后的ResNet-50架构，其中参数的总数取决于生成器的数量（考虑到分层权重共享策略），如#Param列下所报告的虽然com-表3：CIFAR-10和Imagenet数据集上的初始（IS）和FID评分，使用不同数量的发生器在5 K上计算。方法代数CIFAR-10ImageNetIS↑FID↓IS↑FID↓#参数GMVAE [9]16.8939.2---[28]第二十八话17.0237.1---RFGAN [3]（根节点）16.8738.020.0146.450MBigGAN（无标签）17.1936.720.8942.550M[13]第十三话107.3335.120.9238.3205MDMWGAN-PL [21]107.4133.121.5737.8205M我们的GAN-Set（ALI）37.4232.5---我们的GAN-Set（ALI）57.6328.2---我们的GAN-Set（RFGAN）37.6028.321.9734.065M我们的GAN-Set（RFGAN）57.9127.824.8429.4105M我们的GAN-Set（BigGAN）38.1225.222.3831.2130M我们的GAN-Set（BigGAN）58.6021.925.9327.1210M为了提高生成性能，需要访问选定的GAN集而不是整个GAN树。 在表3中，使用3个发电机（即，GAN-Tree 总 共 有 5 个 生 成 器 ） 优 于 DMWGAN-PL [21]和MADGAN [13]，每个都有10个生成器。这清楚地表明了GAN-Tree相对于以前的多生成器工作的优越计算效率。一组示例性的生成的图像与第一根节点分裂图。6B和6C。5. 结论GAN-Tree是一种有效的框架，可以解决自然数据分布问题，而无需对给定数据中固有的模式数量进行任何假设。它的层次树结构提供了足够的灵活性，通过提供不同的质量与多样性权衡的GAN集这也使得GAN树成为增量生成模型的一个合适的候选者今后将进一步探讨这种框架的局限性和鸣谢。这项工作得到了Wipro博士奖学金（Jogendra）和印度ISRO的资助。一{Face+床}{Face}{床}C{Imagenet}8201引用[1] 马丁·阿乔对k y和Le'onBottou。这是训练生成对抗网络的原则性方法。在2017年国际学习表征会议上。二、八[2] 马丁·阿乔对ky，苏米特·钦塔拉和Le'onBottou。Wasserstein生成对抗网络2017年国际机器学习会议。2[3] 方杜铉和沈贤贞。 高品质的bidirec-生成对抗网络。在2018年的机器学习国际六七八[4] 谢恩·巴拉特和里希·夏尔马关于Inception的说明得分arXiv预印本arXiv：1801.01973，2018。2[5] David Berthelot Thomas Schumm和Luke Metz。开始：边界 平 衡 生 成 对 抗 网 络 。 arXiv 预 印 本 arXiv ：1703.10717，2017. 2[6] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安大用于高保真度自然图像合成的缩放GAN训练。在2019年国际学习代表会议上