![](https://csdnimg.cn/release/download_crawler_static/88424355/bg4.jpg)
Hyojin Bahng和Seungjoo Yoo和Wonwoong Cho
条件GAN条件生成对抗网络(cGAN)是使用条件信息作为鉴别器和
生成器的GAN模型[24]。cGANs已经从文本[32,31,43]和图像到图像
转换[16,13,7]中产生了有希望的结果StackGAN [43]是第一个使用条
件 损 失 进 行文 本 到 图 像合 成 的 模 型 。 我 们 的 模 型 是 第一 个 利 用
StackGAN的条件增强技术来输出不同的调色板,即使给定相同的输
入文本。
交互式着色着色是一项多模态任务,同一对象的期望着色结果可
能因人而异[4]。许多研究引入了允许用户控制最终着色输出的交
互式方法[44,20]。在这些模型中,用户通过精确定位要着色的位
置来直接与模型交互即使这些方法实现了令人满意的结果,限制
是用户需要具有一定水平的艺术技能。因此,其他研究不是让用
户直接给图像着色,而是通过利用调色板来重新给图像着色,从
而采取更间接的方法[3,5]。我们模型的基于调色板的过滤器是非
专家重新着色图像的有效方法[3]。
具有注意力的序列到序列递归神经网络(RNN)是一种受欢迎的
工具,因为它们具有从序列数据中学习的卓越能力。
RNN用于各种
任务,包括句子分类[39],文本生成[37]和序列到序列预测[38]。 将注
意力纳入序列到序列模型中可以提高模型性能[22],
因为网络学会选
择性地关注源句子的部分。这允许模型学习不同模态之间的关
系,如我们的模型所做的那样text-colors、text-action [1]和English-
French [40])。
3
调色板和文本(PAT)数据集
本节介绍我们的手动策展数据集,名为Palette-and-Text(PAT)。
PAT包含10,183个文本和五种颜色的调色板对,其中调色板中的
五种颜色的集合与其对应的文本描述相关联,如图1A和1B所示。3
(b)-(d)。单词根据它们与颜色的关系而变化;一些单词是直接
颜色词(例如,粉红色、蓝色等)而其它的唤起特定的颜色集合
(例如,秋天或充满活力)。据我们所知,还没有一个数据集匹
配多词文本及其相应的5色调色板。这个数据集允许我们训练我们
的模型,以预测具有文本输入的语义一致的调色板
其他
Col
或
D
作为
Mun
r
〇e的Col或S urvey [ 26]是广泛使用的大规模颜色
语料库
。基于众包的用户判断,它将文本匹配到
一
个字符
串
。
另
一种
方法,如他的颜色或图像数据集[ 18]所示,是一种建立良好的多
色数据集。小林只用了180个形容词来表达