STGAN ：A UNITED 联合Selective 选择 性transfer Network for Arbitrary Image Attribute任意 图像 属性 网络editing刘 明1关键饰 Yukang Ding 2（ Min Xia ）1小 刘 Xiao Liu 2丁 汝 昌 Errui Ding 2作者 ：Wangmeng Zuo（R）1,3 Shilei 的wen 21哈尔滨Institute Of技术 ，2司Of计算机视力technology 技术） ，baidu 的Inc . ， 3 Peng cheng实验 室 ，Shenzhen 深圳csmliu@outlook.com，csmxia@gmail.com，wmzuo@hit.edu.cn，{地址 ： Liuxiao 12 ， Dingerrui wenshilei 的}@baidu.comRAWimage重建add眼科toFemale布朗 ToBrownHairAdd MustacheTo Light 加入 列表Eyebrows 的addBeard的关于MouthClosed删除 OldRemovebangsRAW图像重建to迟 鹏addbangs关于 MouthOPENaddBeard 的关于BushyEyebrows 的英文 片名 ：To Pale Skinto BlondHair添加 OldAdd眼科Figure 的1 ：High决议（384 × 384）结果Of STGAN为Facial attribute editing ，而more结果are给予于The供应 。Abstract任意属性编辑一般可以由包含编码器解码器和生成广告网络进行处理。1999 年 ： 霍弗 ， 向下 编码 器层 - 解码 器 经常 给 尴尬 和 低 质量 带来 风险编辑 结果 。而添加skip connections可以改善qual—ity的图像，但成本是被削弱的属性操纵能力。Moreover ， existingmethods exploit target attribute vector to 存在 方法 利用目标 属性 矢量guide The灵活 的Translation两 个欲望Target 目 的 domain |In this work ， we suggest toaddress these issues from 我们 建议 解决 这些 问题选择性 的 传输 。考虑 到 特定 的 编辑 任务 是Certainly 确定 性only 只有related 相关两 个The changed attributes相关instead所有 目标 属性 ， 我们 的 模型 选择 性 地采取 了 差异 - 目标 和 源 属性 之间 的 差异 ， 作为 输入。 Furthermore ， 选 择性 transfer 单 位 areIncorporated 公司编码 器 自 适应 地 选择 和 修改 增强属性 编辑 的 编码 器 功能 。2013年12月30日@下午1时 40 分 i'm experiment show the method （ i.e.. ，STGAN ） 同时 改进 - 付款 操作 准确 ， 如 感知 质量 ， 并 表现 最 受 欢迎 的 反对 AR - Bitrary Facial 属性 编辑 和 季节翻译 |关键work 工作done during 的an Internship at baidu 。11. Introduction介绍imageattribute editing ，Aiming at操纵an图片 到 所需 的 属性 ， 这 是 一 个 有趣 的 ， 但 挑战 与 许多现实 世界 的 视觉 应用 的 问题 。2013年12月21日@下午12时26分i == E. G.，Female而Male同一个人的面部 图 像 （ Face Images of the Same Person ） Thus ，unsupervised genera—tive learning models无监督的通用 学 习 模 式 E. G. ， GANs （ Generative AdversarialNetworks ）9] ， have attracted upsurging attention inattribute editing . （ 我 已 注意 到 了 。在另一方面，任意属性编辑AC—实际上是一个多域图像到图像翻译 任 务 。 Learningsingle 单 一 Translation model 为EACH具体 地属性 edit task May achieve 。Limited 限制 Success （ 20 ， 29 ， 34].But It is ineffective inexploiting the entire training data ， and the learned .（ 利用 参与 培训 的 数据 ， 以及 学到 的 知识 ）模型grows exponentially 暴露 的Along 的with The NumberOf 数量attributes 。 to贸易this岛 ，严重arbitrary 任意编辑 工具 （ Edit approaches ）7， ，11， ，26 [ havebeen developed which usually （ i ） use encoder-decoderarchitecture ， and （ ii ） take both source image andtarget attribute vector as ] 通常 使用 的 编码 器 架构 ，以及 使用 两 种 源 图像 和 目标 属性 作为 矢量input .Albeit 其 扩展 部署 ， 编码 解码 器net - Worksremain insufficient for high quality attribute editing ; net -工作 不 充分 ， 高 质量 的 属性 编辑 。属性可以是本地的、全球的或抽象的特征——图像的特徴。In orderto properly manipulate im age - age 相关 信息attribute ，空间POOLING 的or downsampling 下载generally 一般are required 必须 的两 个Obtain 的high-level Abstraction抽象Of image content36733674inputAttgan的starganSTGAN图 2 ： 重建 GAN （11（ Stargan ）7 ◎ 片 名 Our stgan 。和属性。例如 ： auto-encoder architecture is adopted in[ 自动 编码 器 架构 已 被 采用 ] 11， ，17， ，26，and shallow encoder-decoder with residual blocks is usedin （ 使用 剩余 块 的 编码 器 ）7， ，34].片名 ： TheIntroduc - tionOf Bottleneck 的层 ，i.e..， The内在 几乎feature 特性map with minimal spatial size ， gives rise toblurry and low quality editing 最 小 的 空间 大小 ， 给爆炸 和 低 质量 编辑结果 。 As A A Remedy ，some 一些Researchers 研究 员建议两 个Add 一（11] or Multiple（14] SKIP Connections 的Between编码 器 和decoderLayers 。 不 幸运 的 ，AS之后shown于SEC 的 。3.1skip connections 的 部署 提高 了 图像 质量Of editingresult 结果but IS无害 的两 个attribute操纵 - tion abilityOf Learned 学习model . Another可能 的Solution 解决ISemploy spatial attention network to allow 允许 空间 关注网络attribute specific 区域editing（32]，Which ，However ，IS effective only 只有为- - cal attributes 相关而不是designed为arbitrary 任意attribute editing 。Moreover ， most existing methods exploit both source ，- age （ 高级 方法 ， 两 种 以上 来源 ）而Target 目的attribute Vector为arbitrary 任意attribute editing 。在 英语中 的 定义 ： In particular ， the encoders in 11， ，17[ Age as input to produce latent code ， and then thedecoders utilize both latent code and target attribute vectorto gener ate editing result . ] 只有 源 代码 产生 潜在 代码 ， 然后 解码 器 将 使用 两 个 潜在 代码 和 目标 属性 生成 器 。例如 ， StarGAN （7 [ directly takes sourceimage and target attribute vector as input . ] 直接 获取 源图像 和 目标 属性 矢量 作为 输入 。如何—永远，对于任意属性编辑，只有被改变的属性是必需的，将完全目标属性矢量作为输入可能会产生负面影响编辑结果。As Shown 的于Fig. 2，Although （ 英语 ：Although ）all attributes 相关Keep未 改变 ，10 月 28日 ， 联合 国 环境 规划 署 （ UN-Wanted Change andVisual Degradation can be observed in the results byAttGAN ） 发布 了 一 份 报告 ，11） ， 以及 stargan（7主要 原因 是 编码 器 限制 及 使用OfTarget attribute vector as （ 对象 属性 矢量 ）input .这个工作是一个开源的项目，用于解决上面的问题，这个工作的研究人员是一个比特属性编辑从选择性的转移视角和呈现STGAN模型。in terms of 什么 意思选择 性， 我们 的 STGAN is suggested to （ i ） onlyconsider the attributes to be ， 我 们 的 STGAN 是（ 我 ） 只 考虑 到 该 属性changed ，而（ 二 ）selectively 选 择 性 地 concatenate Encoder 的 feature inediting attribute inquiry regions with decoder feature 编辑属 性 无 关 紧 要 的 区 域 。 in terms of 什 么 意 思transfer ， 我 们 的 STGAN 是 expected to adaptivelymodify Encoder 的 feature 特 性 两 个 match 相 关 TheRequirement Of varying editing 编辑任务 ，thereb提供providing A A unified model为处理 both 本地 和 全球attributes 。To this end ， instead of full target attribute vector ，我们 的 STGAN 使 目标 和 源 之间 的 差异AT -3675tribute vectors作为input to encoder解码器。选择 性 转移 单元 （ Subsequently ， Selective Transfer Unit ，STU ）而modify Encoder 的特征 ，Which IS之后包括- 具有 增强 both image qual - ity 和 属性 操纵 能力 的解码 器 功能 。In particular ， STU is added 加入两 个EACH pair Of Encoder 的而decoder Layers ，而两 种编码 器 的 特性 、 内部 状态 和 差异 属性 矢量 ， 以考虑 对 跨 层 开发 的 考虑 - - 技术 和 任务 规范 。来自Figs。1而2 OUR 我们STGAN 可以 产生 高 质量 和照片 现实 的 结果 ， 用于 AR - 比特 属性 编辑 ， 并且 当 目标 和 源 属性 相同 时 ， 可以 产生 近 理想 的重建 。To sum up ， the contribution of this work 这 份工作 的 贡献INVOLVES ：• insteadOf all Target 目的attributes ，Difference 区别attribute VEC - Tor is taken as input to enhancethe flexible translation of attributes and eases thetraining . （ VEC - tor 是 作为 一 项 输入 ， 以 增强 灵活 的 属性 翻译 并 减轻 培训 ）程序 。• Selective transfer units are presented and 存在 的 和选 择 性 转 移 单 元 incorporated with encoder-decoderforsimultaneouslyimprovingattributemanipulation ability and image 同时 改进 编码 解码 器 属性 和 图像 处理质量 。• Experimental results show that our STGAN 性能 受欢迎Against国家 Arts于arbitrary 任意Facial AT -Tribute 编辑 和 季节翻译 |2. related 相关work 工作Encoder解码器Architecture |在Their工业 工程Pioneer （ 12 [ 1 ] Hinton and Zemel proposed anautoencoder network ， 其中 涉及 一 个 编码 器 的 插入潜在 代码and a decoder to recover from the ; 从 数据中恢 复 潜 在代 码 。 Subsequently ，denoisingautoencoders （ 自动 编码 ）30] are pre-sented to learnrepresentation rouble to partical corruption . （ 试 着 学习 清楚 表达 ， 学会 部分 腐败 ）《 王国 与 幸福 》（ Kingma and Welling ）16 [ suggested a VariationalAutoen - coder （UAE ） ， which validates thefeasibility of encoder - decoder architecture to generateunseen images . ] 建议 使用 Variational Autoen 编码 器（ 阿联酋 ） ， 验证 编码 器 的 可行 性 以 产生 看 不见 的 图像 。近期 研究show that SKIP Connections 的（14，28] Between编码 器 和 解码 器 层 通常 需要 适应 训 练 稳 定 性 和 生 成 图 像 的 视 觉 质 量 。however ， as discussed in 讨论 中SEC 的 。 3.1，SKIP Connections 的 实 际上 即 兴 image qual - -editing 。生成对抗网络。因此 ， tan （9， ，27 [ [ 是 的 ， 我们 从 随机 噪声 中 生成 图像 ， 并 从 该 模式 崩溃 问题 中 接受 培训 的 生成 器 和 处理 器 的 一般 情况 下接受 了 处理 。最近，巨大的努力一直致力于提高学习的稳定性。在 （3， ，10 [ 1 ] ， Wasserstein - 1distance and gradient penalty 是 提高 优化 过程 稳定 性的 提示 。在（18]，The阿联酋 UAE decoder而GANgenerator 生成 器are崩溃 成为 一 种 模式 ， 并 因 两种 重 建 和 风 险 损 失 而 乐 观 。 条 件 式 GAN（14， ，24 [ 转 ] takes conditional variable as input tothe generator 使用 条件 变量 作为 输入 到 generator 和discrim - inator两 个generate image with欲望财产 。 AsA A Re -3676method关于Attgan—EDAttgan的ATTGAN—2SATTGAN—UNetSSIM/PSNR22.68/0.75824.07/0.84126.13/0.89729.66/0.929table1 ：重建Evaluation Of Attgan 的（11] variants 。关于Attgan—EDAttgan的ATTGAN—2SATTGAN—UNetinput关于Attgan—ED Attgan的ATTGAN—2SATTGAN-UNetFigure 的 3 ： Results Of Attgan 的 （ 11] Variants 变 量 为Reconstructing 重 建 input image 。 Please zoom in for better（ 请 把 我 的 手 放 进去 ）观察 。SULT ， GAN 已 成为 多 功能 影像 一代 最 杰出 的模特 之 一9， ，27） ， 翻译 成 （14，34]，恢复（19，21]而editing（25] Tasks 的 。image—to—image翻译。图像到图像翻译在监督或不受监督的设置中学习跨域映射。Isola艾尔·。（14 [ 1 ] 提供 了 一 个 uni-fied pix 2 pix 框架 ， 用于 学习 图像 到图像 转换 - 从 配对 数据 中 提取 图像 。改进的网络架构E. G.， Cascaded 的Refinement Networks（4]而pix 2pixHD 的（31 [ ， 这 是 为了 提高 视觉 质量 的 设计thesized 图像 . As for unpaired image to image transla—tion，附加限制，E. G.，cycle consistency （34]《 共享空间 》 （22” [ 11 ] 这 句 话 暗示 着 要 把 责任 放在心上 。Nonetheless，任意贡献编辑实际上是一个多域图像到图像翻译问题，不能用预测方法解决可扩展性。to address this issue （ 解决 这个 问题 ）2） ， 且（ 13 （Decouple Generators by Learning Domain-Specific Encoders ）with共享拉丁空间 ，but are静lim -- ited in scaling to change multiple attributes of an （ lim -扩大 到 改变 多重 属性 ）image .Facial Attribute Editing的功能Facial attribute editing is anin - teresting 问题 编辑multi-domain 多 个 域image toimage 图像Translation问题 ， 并 已 收到 可 接受 的 注意 力 。While sev eral methods have been proposed tolearn single . （ ERL 方法 已 被 提倡 学习 ）翻译 模型为EACH具体 地attribute editing task（5，20，29，32[ ， 他们 从 图像 到 图像 转换 的 限制 ， 并且 不能 很好 地 扩大 到 任意 属性 编辑 。研究者度假村学习单一模型的任意属性编辑。江苏 （26 [ adopts an encoderto generate latent code of an image ， and a cGAN to the -code latent code conditioned on target attributes . ] 采用编码 器 生成 一 个 潜在 的 图像 代码 ， 并 将 cGAN代码 潜在 的 代码 适应 目标 属性 。 这 是 一 个 很 好的 例子 ， 即 IcGAN 的 第 一 列 火车 遵循 其 编码器 ， 极大 地 限制 了 其 可 重建 性 。Lam—PLE—艾尔·。（17 [ 1 ] 通过 加强 高级 约束 ， 使 FaderNet 在潜在 代码 和 属性 之间 建立 依赖 关系 ， 进行 端 到端 的 人员 培训 。Largan - Largan（33] Presents 介绍AA Feasible 容易Solution 解决两 个CONNECT Specificattribute 具体 属性editing 两 个arbitrary 任意attributeediting ，but its Compu-Tation ：时间渐进 式increase增加Along 的with The Number Of关于 - Tributes两 个bechanged 。 stargan（7]而Attgan 的（11] elab - oratelytackle 任意 属性 编辑 ， 通过 目标 执行 - 作为 转换 模型 的 输入 向 贡献 向量 进行 编辑 。在 这工作 ， 我们analyze 分析The limit 限制Of stargan （7]而Attgan 的（11 [ ] ， 并 进一步 开发 STGAN 同时 增强 - ing theattribute manipulation ability and image质量 。36771.00.80.60.40.20.0第 四 节 《 增 肌 减 脂 法 》 （11] variants 。3. 提议methodthisSection Presents 介绍our 我们提议STGAN为任意 属性 编辑 。开始时，我们将使用AttGAN作为前一步来分析skip连接的限制。因此，我们将STGAN设计为使用差异属性Vec—tor作为输入和包含选择性传输单元以进行编码解码器结构。网络 架构 （ networkarchitecture ） 。5（ D ） STGAN 的 客观 模型提供的 。3.1. Skip Connections 的 定义Attgan 的例如 ： Starbucks （7） ， 且 sin （11采用 编码 器结构 ， 空间 抽取 或 downsampling 是 - sential toobtain high abstract representation for at - tributemanipulation 。 Unfortunately ，downsampling irre-versibly （ 疯狂 的 ， 下游 的 ）Diminishes 的空间决议而Fine Details Of Fea - ture map ， which cannot becompletely recovered by trans - posed convolutions andthe results are proned to blurring or missing details .（ 细节 无法 完全 恢复 ， 所 采用 的 转换 结果 将 仅限于 模糊 或 遗漏 的 细节 。Enhance image quality ofedit 编辑 质量， 则 a10 = （11 [ 编辑 本 段 ] One skipconnection between编码 器 和 解码 器 ， 但 我们 会 显示 它 仍然 存在limited 。分析 船舶 的 影响 和 局限 性连接 ， 我们Test 测试Four Variants 变量Of Attgan 的on The Test 测试set ：（i ） AttGAN w/o skip connection （AttGAN-ED ） ， （ ii ） AttGAN model re-leased （ 重新 租赁） By He 他 et AL 。 （ 11] with one 一 SKIPconnection（ Attgan ） ，(iii) 连接 两 个 skip connections 的 AttGAN （ AttGAN -2s ）而(iv) 所有 对称 Skip connections （28 [ 美 股 百科 ] 。table 1 SSIM reconstruction results （ SSIM 重建 结果列表 ）By保持Target 目的attribute Vector The SAME源 ， 一 个 和 图 。3显示 图像 的 重建 结果 。可以看到 ， 添加 skip connections 不福利The重建Of Fine细节 ，而更 好重新 Sult 可以 增加 skip 连接 。Bysetting target attribute vector different from source （ 作者 ） 一 个 ， Fig. 4 进 一 步 评 估 Facial AttributeGeneration AC - Curacy （ 个人 数据 ）via A A Facialattribute分类model 1。 while 什么 时候1我们 训练 Celeba 的 模特 儿23数据 集 （ Dataset which canachieve ）94。5%Mean accuracy on the 13 attributes we 的 意思use .Attribute 世代准确 性3678encTencTenc添加一个Skip Connection i.e..，AttGAN，只有轻微的Decreases生成准确的大多数属性，显着的退化可以通过添加多个skip con—nections观察到。 Thus ，The部署Of SKIP Connections 的IM -attributes ， 而 be 持 续 性 Among 先 生 Different 不 同Encoder 的Layers 。（ 2 ） 改变 gcc 结构 （6，8 buildSTU for passing information from inner layers to outer（ 为 传递 信息 ， 从 内部 层 到 外部 ）Layers 。WithoutLoss Of将军 ，We use The l- TH Encoder 的Layerproves重建image quality at The成本Of weakened 的这是一个例子。 作者 ：Denote ByFlThe Encoder Feature 的 评论Theattribute操纵能力 ，mainly 主要Attributing 的两 个thatskip connection 直接 涉及 编码 器 和 解码 器 fea -tures 。 2013 年 02 月 23 日 @ 下 午 1 时 40 分 Tocircumvent this dilemma ， we present ourSTGAN 选择性 转换 单元 ， 以 适应 性 转换 编码 器 功能 为 指导changed 。3.2. Takingdifference 区别Attribute 的vector ASinput第 二 季 第 10 集 Both Stark （7） ， 且 sin （11[ take target attribu - tion vector ] 接 受 目 标 属 性TTTSource Image 的x然后 输入 到 gener-ator 。实际上，使用完全目标属性矢量是恶意的，可能会对编辑结果有害。在 Fig. 2，Target attribution vector 目标 属性 矢量TTTis exactly the same as on the source . 同样的 ， 来源 一样 。one 一TTs，but stargan （7]而Attgan 的（11] Mayl- TH层 ，而sl+1The Hidden State from The l +1- TH层 。for便利 ，The Difference 区别attribute VectorTTDiff 文件ISStretched 的两 个H A Av eTheSAME空间SizeOfsl+1 。迪 FFerentfrom sequence 结果模型 ，feature 特性Maps across 的Layers 的are Of Different不 同 空 间Size 。 So We FIRST use transsposed 转 换convolution 讨论两 个upsample 问题HiddenStatesl+1，阿索莱sl+1=wT∗t（sl+1，atTDIFF]，（ 2）where 哪 里 （ · ， ·]denotes ： TheConcatenat 。 I on 手术 ，而∗tDE -Notes transsposed convolution 的 意思STU采 用 GRU 的 数 学 模 型 更 新 隐 藏 状 态 slAndtransformed encoder feature 转换 编码 器 功能F l，manipulate some unchanged attributes by mistake.把一些未修改的属性伪装成错误。从Fig. 2，After editing TheFace 脸image with金发Hair Becomesrl=σ（ Wr∗[ Fl，阿索莱sl+1]），（ 3）更多金发Moreover ， they even incorrectly adjust hairlength of a source image with the attribute （ 您 有时 会出现 错误 ， 但 可能 会 出现 错误 ）Female。forarbitrary 任意image attribute editing ，instead OfFull Target 目的zl= σ（ Wzlenc，阿索莱sl+1]），（四 ）attribute vector ， only the attributes to be changed should属性 必须 被 更改请 保留 更多 来源 图像 的 信息 。SoWe define The Difference 区别attribute Vector AS The目标 和 源 属性 的 区别Vector ，TTDiff 文件= TT ;T― ― TTs。（1）sl=rl·阿索莱sl+1，（五 ）阿索莱Fl=TanH（wH∗（Fl，sl]），（ 6）Fl=（1― ―zl）·阿索莱sl+1+zl·阿索莱Fl，（ 7）TTTaking TTDiff 文 件 as input can bring several distinctivemer 它 的 输入 能 带来 显著 的 区别 。首先 ， 要 改变的 属性 只 不过 是 一 个 小 的 属性 向量 集 ， 并且 该值 的 使用TTDiff 文件通常 ， 模特 很 容易 成为 火车 。第 二 ， 比较TTT， ，TTDiff 文 件 Can provide morevaluable information for guid - ing image attributeediting ， including whether an attribute is required to editor not ， toward what direction an 包括 什么 属性 需要编辑 或 不 需要 ， 哪个 方向 需要属性 应该 被 修改 。信息 可以 被 用于 设计 正确 的 模型 ， 以 转换 和 具体 ， 编码 器 特征 ， 并 改进 图像 重建quality withoutSacrifice 的Of attribute Manipulation - 精确 。最 后 ， 在实践 中TTDiff 文件实际 上 ， 更 方便 的 是 由 用户 提∗[F3679TT供 。When taking 的TTTas input ， the user is requiredto either manually supply all tar . （ 用户 需要 手动 支持所有 tar ）attributes ，or modify来源attributes 相关提供By一些 属性 预测method .3.3. 选择 性 转让单位Fig. 5 Show the overall architecture of our STGAN.我们的整个建筑。 直接 连接 编码 器 与 解码 器 fea 通过skip 连接 进行 编码 ， 我们 存在 选择 性 传输选择 转换 编码 器 特性 ， 使 其 兼容而Complementary 的两个decoder feature 。 Natu -where 哪 里 ∗ denotes ： The convolution 讨 论 手术 ，·denotes ：entry - -wise产品 ，而σ（·）stand为Thesigmoid 问题功能 。Theintroduction 介绍Of The reset gate rl而updategate zlallows 的US Control 控制The贡献Of Hidden国家 ，Difference 区别属性矢量，选择器中的特征^（英文）Moreover，theconvolution transform and linear interpola—tion in Eqns.（6（ ） = （7（ 1 ） 提供 一 种 用于 传递 编码 器 特性 及其 结合 的 自 适应 手段Hidden State 隐藏 状态 在Comparison 比较两 个GRU where 哪里F lIS收养 的ASThe Out Of Hidden State ， We Take （ 隐藏 状态 ， 我们 得到 ）sl隐藏 状态 和 隐藏 状态 的 结果Fl作为 变换编码 器 特征 的 输出 。和 实验empirically 正式validatethat SUCH modification 修改可以 带来 适度 的 收益 上的 属性 生成准确 性 。3.4. NetworkArchitecture 建筑我们的STGAN是由两个组件组成的，i.e..，A发电机g一位歧视者A Discriminator D。Fig. 5网络 结构 TheNetwork Structure of g 3
我的内容管理
展开
