TOAD-GAN: 一个基于令牌的程序内容生成算法

10第十六届AAAI人工智能和交互式数字娱乐会议（AIIDE-20）TOAD-GAN：从单个示例生成连贯的风格水平Maren Awiszus，Frederik Schubert，Bodo Rosenhahn德国汉诺威莱布尼茨大学信息学院{awiszus，schubert，rosenhahn} @ tnt.uni-hannover.de摘要在这项工作中，我们提出了TOAD-GAN（基于令牌的One-shotA rbitraryD imensionG generativeA dversarialNetwork），一种新的程序内容生成（PCG）算法，它生成基于令牌的视频游戏关卡。TOAD-GAN遵循SinGAN架构，并且可以仅使用一个示例进行训练。我们展示了它的应用程序超级马里奥兄弟水平，并能够生成任意大小的类似风格的新水平。我们实现了国家的最先进的结果，在建模的模式的培训水平，并提供了一个com-course与不同的基线下的几个指标。此外，我们提出了一个扩展的方法，允许用户控制某些令牌结构的生成过程，以确保一致的全球级布局。我们向社区提供这个工具，通过发布我们的源代码来促进进一步的研究。1介绍关卡设计是游戏创作过程中的一个关键组成部分。设计师在创作过程中必须考虑物理，可玩性和难度等方面。这个任务可能需要很多时间，即使是一个单一的水平。过程内容生成（PCG）有可能通过自动化部分过程来帮助设计师。PCG的早期作品在现有游戏中使用了代币 的共同出 现（例如 ，单个 敌人或地 面块），ELS来识别模式（Dahlskog和Togelius 2012），并使用简单的统计模型将它们组合起来（Stimulgrass和Ontano'n2013）。这些算法的质量主要取决于提取的模式和共现关系，这些模式和共现关系必须手动定义。最近的 方 法 使 用 PCG 通 过 机 器 学 习 （ PCGML ）（Summerville et al. 2018）自动从数据中学习模式和关系 （ Summerville and Mateas 2016; Volz et al.2020年）。然而，简单地将它们应用于级别生成任务会带来一些缺点。机器学习算法需要大量的实例来提取样本。由于手动关卡设计是一个昂贵的过程，通常可用于培训的数量非常有限即使数量足够，生成的级别也是所有示例级别的混合最后，版权所有© 2020，人工智能促进协会（www.aaai.org）。Allrights reserved.单级具有任意大小图1：基于超级马里奥兄弟生成的关卡1-2层。新的级别可以以任何大小生成，并且保留原始级别的令牌分布，同时还包含新的、以前看不见的模式。最新的PCGML算法是黑盒，并且不允许对其生成的内容进行高级控制。在本文中，我们引入TOAD-GAN作为这些问题的解决方案。我们的工作受到SinGAN（Shaham，Dekel和Michaeli 2019）的启发，SinGAN是一种最近的生成对抗网络（GAN）（Goodfellow et al. 2014）架构，它只在一个示例图像的情况下学习生成模型。这是通过在不同的空间尺度上学习基于块的特征来实现的。由于SinGAN是为自然RGB图像开发的，因此无法生成基于2D令牌地图的令人信服的视频游戏关卡。另一方面，我们的方法正是本着这一目的开发的。如图1，TOAD-GAN能够以一个给定示例级别的风格生成新级别。概括而言，我们的贡献是：• 通过TOAD-GAN，我们提出了一种新的生成模型，该模型允许按照SinGAN的一次性训练方法生成级别。• 我们为基于令牌的级别引入了一种下采样算法，专门用于保留重要令牌。• 我们的方法的扩展，使创作的全球水平的结构。我们展示了超级马里奥赛车生成的示例级别。• 我们在一个潜在的空间中可视化我们生成的内容，11×与原始水平进行比较。• 我们通过发布我们的源代码来进行进一步的研究。12相关工作生成超级马里奥兄弟（SMB）级别是向PCG社区提出的第一个挑战之一（Shaker et al. 2011年）。自其引入以来，出现了许多方法，试图从原始水平捕获模式并以新颖的方式将它们由于PCG方法的数量众多，本节仅有关SMB的基于模式的级别生成器的综述，请参见Khalifa et al. （2019年）。超级马里奥兄弟Dahlskog和Togelius（2012）识别并分析了具有不同主题的背景，例如敌人，间隙或楼梯。他们评估了模式对人类玩家的难度，并概述了这些模式如何组合和变化以创建新的关卡。在他们的后续工作中（Dahlskog和Togelius 2014），他们还定义了微观（垂直切片）和宏观模式（模式序列）。使用进化算法（EA），他们通过选择微观模式来生成级别，并根据模式和宏观模式的出现来生成拟合函数应用基于检索的PCG（Togelius等人，2011）toSMB by Summerville，Philip，and Mateas（2015）.作者使用蒙特卡罗树搜索（MCTS）（Coulom 2006）来指导标记的马尔可夫链模型的采样过程。MCTS的奖励是根据可解性、缺口数、敌人数和奖励（硬币或能量）计算的。PCG的神经网络最近的PCGML方法，使用神经网络也被广泛应用到SMB 级 生 成 问 题 。 Hoover ， Togelius 和 Yannakis（2015）用EA训练神经网络以生成新的水平。该网络预测了一个级别切片中的标记的高度，给定了先前切片中所有标记的高度。Summerville和Mateas（2016）通过按顺序预测令牌来训练他们的模型。 他们使用了一种基于长短期记忆（ LSTM ） 细 胞 的 神 经 网 络 架 构 （ Hochreiter 和Schmidhuber 1997）来预测下一个token，给出了展开级别中先前token的上下文最 近 ， GAN 被 用 于 创 建 SMB 级 别 。 在 （ Volz etal.2018）作者在原始关卡的切片上训练GAN，并使用EA通过对敌人和地面令牌的分数进行评分来搜索生成关卡的空间。Torrado等人（2019）采用了类似的方法，他们使用了Self-Attention GAN（SAGAN）（Zhang et al. 2019）架构，并将其生成过程限制在包含所生成级别的目标令牌分布的特征向量上。这种调节增加了它们生成内容的可变性。第1页https://github.com/Mawiszus/TOAD-GAN图2：仅在SMB级别1-1的16 16切片上训练的WGAN-GP的模式崩溃示例。选择此切片大小是因为正方形图像对于GAN更可取发电机停止创造除了地面和天空之外的任何东西。3方法有限的训练数据是PCGML算法的关键问题之一因此，我们工作的目标是 从非常少的训练数据中为中小企业提供新的水平。使用TOAD-GAN，我们将这个问题带到了只从一个训练级别学习的极端状态与其他近期出版物（Volz等人，2018; Torrado等人，2019; Volz等人，2020）相似生成对抗网络GAN能够从给定的训练分布中生成样本（Goodfellowet al. 2014）。它们由两个对手组成：生成器G将随机噪声向量z映射到样本x，而样本xD试图区分，来自真实样本的猜测x.最后，G产生x，与实数x是不可区分的。然而，这一过程可以变得不稳定。在低数据状态下，递归可能能够记住真实样本的分布，并停止为生成器提供有用的梯度为了稳定训练过程，提出了对基本架构的许多不同扩展，例 如 最 小 化 Wasserstein 距 离 （ Arjovsky ， Chintala 和Bottou 2017）和惩罚判别器的梯度范数（Gulrajani et al.2017 ） 。 由 此 产 生 的 Wasserstein GAN 与 梯 度 惩 罚（WGAN-GP）能够模拟各种分布，但它仍然容易出现故障，如模式崩溃。这是当生成器产生的样本，只包含一些功能（或模式）的数据，其中的分类器不能正确分类的情况下。然后，发生器将永远不会学习产生错过的模式。示例见图2尽管GAN已经显示出有希望的结果，但它们的成功取决于来自真实分布的大量样本的可用性。此外，图像中的长程相关性只能通过多层卷积GAN来建模对于更长的级别，这增加了必须优化的参数的数量，这进一步使训练过程复杂化。SinGANSinGAN（Shaham，Dekel和Michaeli 2019）是一种新型的GAN架构，可以从单个图像中学习生成模型。这是通过使用级联的发生器和鉴别器来实现的，这些发生器和鉴别器作用于来自图像的不同缩放版本的补丁。模型在每个尺度上的权重用来自12中国↑≤假的真G0D 0GN-1DN-1GN多尺度补丁生成器DN多尺度斑块鉴别器图3：超级马里奥兄弟1-2级的TOAD-GAN生成过程。该架构改编自SinGAN（参见。图4（Shaham，Dekel和Michaeli2019））。我们在水平的独热编码版本上使用下采样方法，该方法保留了在执行简单空间下采样时会丢失的小但重要的结构刻度之间的向上箭头表示双线性上采样。下面的刻度这个初始化引导了表1：令牌层次结构GAN在较高的规模和稳定的训练过程。为了生成新的样本，将任意大小的噪声图ZN以最低尺度馈送到生成器GN中 在每个后续尺度N

下载后可阅读完整内容，剩余1页未读，立即下载