“最小调整：提升衣服时尚性的视觉挑战”

1Fashion++：最小化的编辑以改善Wei-Lin Hsiao1， 4 Isay Katsman* 2，4Chao-Yuan Wu* 1，4 Devi Parikh3， 4 Kristen Grauman1，41 UT Austin2 Cornell Tech3 Georgia Tech4 Facebook AI Research摘要对于一套衣服，什么样的小变化最能提高它的时尚性？这个问题提出了一个新的视觉挑战。我们介绍Fashion++，这是一种对全身服装进行最小调整的方法，它将对服装的时尚性产生最大的影响。我们的模型由一个深度图像生成神经网络组成，该网络学习根据学习到的每件衣服编码来合成衣服。根据形状和纹理明确分解潜在编码，从而分别允许对合身/呈现和颜色/图案/材料进行我们展示了如何引导Web照片自动训练时尚性模型，并开发了一种激活最大化风格的方法来将输入图像转换为更时尚的自我。建议的编辑范围从换入新衣服到调整其颜色、如何穿着（例如，卷起袖子），或其配合（例如，使裤子更宽松）。实验表明，Fashion++提供了成功的编辑，无论是根据自动化的指标和人类的意见。1. 介绍“Before – Coco优雅的Coco Chanel的名言倡导小的改变对时尚性的影响。无论是去掉一个配饰，选择一件领口更高的衬衫，塞进一件衬衫，还是换一条颜色更深的裤子，通常小的调整都能让现有的这一策略对消费者和设计师都具有实用价值。对于日常消费者来说，如何修改服装的建议将使他们能够调整自己的外观，使其更加优雅，而不是从头开始或购买全新的衣柜。对于时装设计师来说，设想熟悉外观的新颖增强可能会激发新的服装创作。受这些观察的启发，我们引入了一个新的计算机视觉挑战：最小化服装改进的编辑。为了最小化地编辑服装，算法必须支持-*作者贡献均等。图1：最小的服装编辑建议对现有服装进行微小的更改例如，更改可能需要（左）移除附件;（中）换一件领口较高的上衣;（右）掖好衬衫。对服装/配饰做出轻微的改变，但明显地提高了整体的时尚性。一个它可以是关于穿哪件衣服、脱哪件衣服或换哪件衣服的建议，甚至可以是如何以更好的方式穿同一件衣服的建议。见图1这一目标提出了若干技术挑战。首先，是培训问题。自然的监督方法可能会策划成对的图像，显示每件衣服的更好和更差的版本，以教会系统不同之处;然而，这样的数据不仅获取起来非常昂贵，而且随着趋势的发展，它也变得过时其次，即使具有这样的理想的图像对，模型也需要区分正和负之间的非常细微的差异（有时只是如图1中的像素的一小部分）1），这对于基于图像的模型是困难的。它必须考虑到原始服装中的部件（服装，配饰）以及它们的协同作用如何随着任何候选调整而变化最后，最小编辑的概念意味着调整可以是子衣服级别的，并且穿着衣服的人的固有特性-例如，他们的姿势，身体形状-不应该被改变。有限的先前工作探索了如何为未完成的装备推荐一件装备[9，13，31，44]（例如，填写空白任务）。他们的目标不仅与我们的不同，而且他们专注于干净的每件服装目录照片，他们的建议仅限于从数据集中检索的服装但是，我们注意到在fash中50475048离子域中，该问题需要超越寻找现有的衣服来添加，还需要推断哪些衣服是有害的并且应该脱掉，以及如何调整每件衣服的外观和细节（例如，把牛仔裤的袖口翻到脚踝以上）放在一套完整的衣服里，以改善它的风格。我们介绍了一种新的图像生成方法，称为时尚++，以解决上述挑战。其主要思想是激活最大化[33]方法，该方法对来自深度图像生成网络的本地化编码进行给出一套原始的服装，我们映射它的组成部分（例如，包、衬衫、靴子）到它们各自的代码。然后，我们使用一个有区别的时尚性模型作为一个编辑模块，以逐步更新编码的方向，最大限度地提高服装更新轨迹提供了一系列编辑，从最少更改开始，向最时尚的方向移动我们将展示如何引导时尚服装的Web照片，以及自动创建的“负面”变化，以训练时尚性模型。1为了考虑服装的图案/颜色和形状/合身，我们将每个服装的编码分解调整衬衫的颜色，同时保持其削减与改变领口或把它塞进去）。在优化编辑后，我们的方法以两种格式提供其输出：1）从最佳地实现其推荐的库存中检索到的服装，以及2）根据编辑的服装的编码生成的具有新调整的外观的同一个人的呈现。这两项产出都旨在为现有装备的小而高影响的变化提供可行的我们使用Chictopia数据集[24]验证了我们的方法，并通过自动化指标和用户研究证明，它可以成功地生成最小的服装编辑，优于几个基线。Fash-ion ++为数据驱动的时尚建议和设计提供了一个独特的新工具-一个与现实世界应用相关的新颖的图像生成管道。2. 相关工作对时尚的认可。大多数现有的时尚工作都涉及识别问题，如匹配街道到商店[18，20，26，46]，交互式搜索产品[8，22：56他们也认识他。时尚形象合成。合成方法探索将指定服装映射到新姿势或人物的方法。这包括产生一个以产品为条件的穿着人1时尚性指的是一套服装的时尚性，即它与当前流行趋势的一致程度正如我们将在SEC看到的。3.2，我们的模型通过人们在网络照片中穿的流行服装选择来定义时尚性，这些服装可以随着时间的推移而自然演变。图像[10，47，52]（反之亦然[53]），或者以文本描述为条件（例如，“一个女人穿着无袖的白色衣服”）[37，61]，以及在人与人之间交换衣服的方法[36，55]或合成一个穿着衣服的人在看不见的姿势[2，3，23，28，35，40，57]。鉴于这些问题使人们在目标服装或身体姿势，我们使用图像合成作为一种通信工具，提出建议，以尽量减少编辑服装。图像处理、翻译和样式转换也是编辑图像的常用方法。有大量文献用于使用生成对抗网络（GAN）[7]生成以语义标签图[16，48，58-60]，边缘图[38，51]或3D模型[25，50]为条件的逼真图像在交互式图像搜索中探索了相关的想法，其中用户指定视觉属性以在其查询中改变[8，22，56]。风格转移方法[4-与以前的工作不同，在我们的情况下，地图是生成的;因此，我们能够改变区域的足迹，这概括了时尚图像合成的子对象形状变化。最重要的是，所有这些工作的目标是根据人类指定的输入编辑图像，而我们的目标是自动建议在哪里和如何编辑，以改善输入。兼容性和时尚性。时尚性是指服装的流行性或时尚性，而兼容性是指个人服装的协调程度。先前的工作建议从数据库中检索的服装可以很好地结合在一起[9，11有些人还推荐同样兼容的可互换物品[9，31，44]，或预测未来的时尚趋势[1]。我们提出了一个新的不同的问题：我们的方法不是从头开始推荐兼容的服装，而是调整现有的服装以使其更兼容/时尚。它可以建议删除，修改服装，优化fash-ionability，并确定在哪里编辑-没有一个是由现有的方法处理。使用在线“喜欢”作为时尚性的代理，系统[41]列出了用户应该改变以提高时尚性的服装或风景;但是它以元数据而不是图像为条件，并且建议以文字指定的粗糙属性（例如，海军和袋，黑色休闲），往往dictate改变到一个全新的装备。激活最大化。 激活最大化[33]是一种基于梯度的方法，它优化图像以高度激活神经网络中的目标神经元。它被广泛用于可视化网络所学习的内容[29，34，42，49，54]，最近还用于合成图像[19，32]。特别地，[19]还生成服装图像，但它们生成单件服装产品而不是全身服装。此外，他们优化图像以匹配购买历史，而不是提高时尚性。5049池图2：Fashion++框架概述。我们首先从纹理和形状编码器Et和Es获得潜在特征。我们的编辑模块F++对潜在的纹理特征t和形状特征s进行操作。在编辑之后，形状生成器Gs首先将更新的形状特征s++解码回2D分割掩码m++，然后我们使用它将更新的纹理特征t ++逐区域广播到2D特征图u++中。该特征图和更新的分割掩码被传递到纹理生成器Gt以生成最终更新的服装x++。参见补充了解架构细节。3. 方法最小的编辑建议改变现有的服装，使其保持相似，但明显更时尚的能力。为了完成这项新提出的任务，有三个预期目标：（1）培训必须在监督和适应不断变化的趋势方面具有可扩展性;（2）该模型可以捕捉到影响时尚性的细微视觉差异和服装之间的复杂协同作用;以及（3）编辑应该是本地化的，尽可能少地交换一件衣服或修改其属性，同时保持与时尚无关的因素不变。在下文中，我们首先呈现我们的图像生成框架，该框架将服装图像分解成它们的服装区域，并分解形状/合身度和纹理，以支持后两个目标（第12节）。第3.1节）。然后，我们介绍我们的训练数据源，并讨论它如何促进前两个目标（第二节）。3.2）。最后，我们介绍了我们的激活最大化为基础的服装编辑程序，并显示它如何建议服装（第二节）。3.3）。3.1. Fashion++服装生成框架所有组成部分的协调定义了一个适合为了控制要改变的部分（衬衫、裙子、裤子）和方面（领口、袖子长度、颜色、图案）此外，为了执行最小的编辑，我们需要控制作品纹理通常决定服装的主题（风格）：带有纯色图案的牛仔布给人更休闲的感觉，而带有红色的皮革则给人更街头的感觉。对于同样的材料、颜色和图案的服装，它们是如何穿着的（例如，塞入或拉出）和配合（例如，紧身裤对宽松裤）和剪裁（例如，V领与高领毛衣）将以不同的方式补充人考虑到所有这些因素，我们设计了一个图像生成框架，该框架既可以控制单个件（服装，ac-配件、身体部位），并且还从纹理（颜色、图案、材料）分解形状（适合和我们的系统在测试时具有以下结构：它首先将服装图像x（q）及其相关联的语义分割图m（q）映射到纹理特征t（q）和形状特征s（q）。 我们的编辑模块，F++ ，然后逐步更新t （ q ）和s （ q ）到t++和s++，以提高ashion能力。最后，基于t++和s++，系统生成编辑的服装x++的输出图像。 图 2、我们的制度。上标（q）和++分别表示编辑前后的变量。当从上下文清楚时，我们省略上标接下来，我们描述我们的系统如何将服装映射到潜在特征。纹理特征输入图像x∈XRH×W×C是穿着衣服的人的真实全身照片它由一个区域映射m∈M<$ZH×W来完成，该映射将每个像素分配给衣服或身体部位的一个区域 我们使用Chictopia10k [24]中定义的n =18个唯一区域标签：面部，头发，衬衫，裤子，连衣裙，帽子等。 我们首先将x馈送到学习的纹理编码器Et：X → V，其输出特征映射v∈V<$RW×H×dt.设ri为相关区域标签i 我们在ri中平均池v以获得纹理特征ti= Fi（v，m）∈ Rdt，ri。 整个服装的纹理特征表示为t：= [ t0 ;。. . ;tn−1]∈R n·dt.参见图2左上角。形状特征。我们还开发了一个形状编码，允许每个区域的形状控制从纹理控制分离。具体来说，我们构建了一个二进制分割图，mi∈MB∈ {0，1}H×W，并使用共享形状编码器Es：MB→S将每个mi编码为形状特征si∈S∈Rds。 整个服装的形状特征表示为s：=[s0;。. . ; sn−1] ∈ R n·ds. 参见图2左下角。图像生成。为了生成图像，我们首先使用形状生成器Gs，其接受全身形状特征s并生成图像大小的区域图m^∈M。那我们x（q）v（q）池t（q）t++区域广播Et纹理++X++u++形状++F++M++GtEsm（q）s（q）s++GsEs............5050^^^^执行逐区域广播，其基于m将ti广播到具有标签i的所有位置，并且获得纹理特征图u = Fbroad（t，m）∈ R H×W×dt。2最后，我们按通道连接u和m以构造输入，- 纹理生成器Gt，其生成最终服装Im，年龄这一生成过程总结在图中。2（右）。因此，生成元GtGs学会重新组合服装pos=（，）neg=（，）以服装形状和质地为条件的图像。训练虽然联合训练整个系统是可能的，但我们发现解耦策略是有效的。我们的见解是，如果我们假设一个固定的语义区域地图，生成问题被减少到一个广泛研究的图像翻译问题，我们可以受益于这方面的最新进展。此外，如果我们将形状编码和生成从整个系统中分离出来，它就变成了一个自动编码器，这也很容易训练。具 体 而 言 ， 对 于 图 像 平 移 部 分 （ 图 1 中 的Texture++ ） ， 2 ） ， 我 们 从 条 件 生 成 对 抗 网 络（cGAN）中进行调整，cGAN采用分割标签图和相关特征图来生成照片般逼真的图像[48，60]。我们将纹理编码器Et和纹理生成器Gt与鉴别器D组合以制定cGAN。图像x由Gt（m，u）生成，其中u=F（Et（x），m），F是以下的组合运算：图 3 ： 形 成 训 练 示 例 ： 一 张 时 尚 的 网 络 照 片 是 正 面 的（左）。我们用另一件遥远的衣服的特征覆盖一些衣服(Here为简单起见，仅示出了N个难以建模，并且在编辑期间，掩模更改通常会产生不切实际或无法解释的“欺骗”图像[34，42]。相比之下，我们的VAE设计学习服装形状的概率分布，并且因此可以从学习的分布生成与特征的变体相对应的不可见的形状。这有助于有意义的形状编辑。定义了底层图像生成架构，我们接下来介绍我们的编辑模块修改输入3.2. 从网络照片中学习时尚性i样本池、i和F宽。 鉴别器D旨在区分-我们的编辑模块（Sec. 3.3)需要有区别的从生成的图像中猜测真实图像。Et、Gt和D是与极大极小对抗游戏目标同时学习：Gt，Et=argmin maxLGAN（Gt，D，Et）+LFM（Gt，Et，D），时尚性的模型，这就提出了一个问题：我们如何训练一个时尚性分类器来进行最少的编辑？也许理想的训练集将由成对的图像组成，其中每一对图像都显示同一个人，并且稍微Gt，E tD（一）不同的服装，其中一个被认为是更时尚比一个 然而，这样的一个集合不仅是不-其中LGAN被定义为：E（m，x）。logD（m，x）+log. 1-Dm，Gt（m，u）n（2）对于所有训练图像x，并且LFM表示特征匹配损失。对 于 我 们 模 型 的 形 状 变 形 部 分 （ 图 2 中 的Shape++），我们使用区域变分自动编码器（VAE）[21]来制定形状编码器和生成器。VAE假设数据是由有向图模型生成的p（m|并且编码器学习近似qEs（s|m）到后验分布p（s|m）的长度。编码特征上的先验被设置为具有零均值和一致性协方差的高斯，p（s）=N（0，1）。我们的VAE的目标是最小化q E s（s）之间的Kullback-Leibler（KL）散度|m）和p（s），以及1重建损失：DK L.qEs（s|m）p（s）Σ+Em¨m−Gs。Es（m）Σ¨1。（三）请注意，简单地将2D区域标签映射作为形状编码s传递不足以进行图像编辑。所有可能的面具的广阔搜索空间也是2请注意，u对于区域具有均匀特征，因为它是平均池化的，而v不是。F5051实际上，一旦风格演变，它也会变得过时另一种方法是处理来自特定组的图像集合（例如，名人）作为积极的范例而另一组（例如，日常生活中的行人）作为负面。然而，我们发现这样一个集合遭受混淆身份和风格，因此分类器发现时尚无关的属性区分两个群体。相反，我们建议引导不太时尚的照片自动从网络照片的时尚服装。其主要思想是从时尚达人的照片中创造出我们从一张Chictopia的全身服装照片（一张“正面”）开始为了增加替换件降低时尚性的可能性，我们从与原始服装最不相似的服装中提取它我们通过将服装i的编码zi：= [ti;si]与目标的编码进行比较来实现服装交换参见图3。我们使用这些数据来训练一个3层多层感知器（MLP）时尚性分类器f。它被训练为将图像x的编码z：=[t;s]映射到其二进制方式。5052能力标签y∈ {0，1}。这一培训战略的好处有三：第一，它使数据管理变得容易，并且随着样式的发展也很容易刷新--通过下载新的正面信息。第二，通过在这些分解的（到服装）和因式分解的（形状与形状）上训练时尚性分类器。纹理）编码，一个简单的MLP有效地捕捉微妙的视觉特性和复杂的服装协同作用（见补充。用于消融研究）。最后，我们强调，我们的方法是从街上人们穿着的全身服装照片中学习的，而不是个人服装的干净目录照片[9，11，39，43这样做的好处是可以让我们学习适合和展示的方面（例如，掖在，卷起），这是缺乏在目录数据，以及有机会捕捉有机风格的基础上，什么衣服的人放在一起在野外。3.3. 编辑服装图4：随着Fashion++迭代地编辑服装，时尚性提高并且最终随着服装变得足够时尚而饱和。（在第二节中定义的指标。4.1.点显示所有测试图像的平均结果。）对于用户的编辑范围，可以选择优选的端点（即，他/她在“最小限度”的改变与最大的时尚性）。最后作为上面，z（K）表示更新后的t++;s++，我我利用编码器Et、Es、生成器Gt、Gs和编辑模块F++在手，我们现在解释我们的方法如何执行最小的编辑。给定测试图像x（q），Fashion++返回其编辑后的版本：为了进一步迫使更新保持接近原始，可以添加一个接近目标，z（k）−z（0），就像其他编辑工作一样[25，58]。然而，平衡该平滑度项与其他项（用户X++ ：=G.F++。E. x（q）ΣΣΣ、（四）他们的情况，我们的时尚性）是棘手的（例如，[25]报告不一致）。我们发现我们的梯度步骤方法至少可以有效地实现渐进编辑。其中G和E表示形状和tex的模型是的。当离散服装的库存可用时，我们的方法还返回最接近的真实服装g++，优化编辑位置。用于区域i的服装被表示为其纹理和形状特征的级联（0）我区域I可以用来实现这一变化，我们将显示结果。这两种输出-渲染的服装和最接近的真实服装-是提供zi：= [ti;si]. 我们的方法优化了服装，应该通过循环浏览所有服装来找到最具影响力的服装：为用户提供可操作的建议。imax=argmax最大值f（y=1|（0）¨¨.（六）计算编辑。主要步骤是：计算期望的编辑，并生成编辑后的图像。 计算编辑时，我们采用激活最大化方法：我们i=0，…，n−1¨通过指示tar得到z（0）zi（0）要成为zi（0）¨，我们可以同时-迭代地改变服装形式上，令z（0）：={t0，s0，. . . ，tn-1，sn-1}是服装中的所有特征的集合，并且z~（0）≤z（0）是对应于正在被编辑（例如，衬衫区域、裙子的形状、裤子的纹理我们将服装的表示更新pf.y= 1|z（k）新的优化在哪里和如何改变一套装备。渲染编辑后的图像。然后，我们通过在这些编辑上调节我们的图像生成器Gt、Gs来生成Fash-ion ++图像输出x++=Gt（m++，u++），（7）其中，u++是指编辑的形状分量t++的广播图，并且m++=Gs （s++）是指针对编辑的形状分量s++ 的VAE生成的掩模。z~（k+1）：=z~（k）+λz~（k），k = 0，. . . ，K−1（5）完整的编辑操作概述图。二、通过这种方式，我们的算法自动更新la-其中z（k）表示k次更新后的特征，z（k）表示仅用z（k）替换z（0）中的目标特征，同时保持其他特征不变，pf（y=1|z（k））表示根据分类器f的时尚性概率，并且λ表示更新步长。方程（5）中的每个梯度步长产生对输入拟合的增量调整。图4示出了采用步长为0的10个梯度步长的过程。1（参见第二节）4详情）。通过展示这个5053帐篷编码以提高时尚性，然后将其修正的代码传递给图像生成器以创建适当的图像。一次编辑可能会影响少至一件或多至n件服装，我们可以控制是否允许对形状或纹理或两者进行编辑。这是有用的，例如，如果我们希望坚持服装看起来大致相同，但是被编辑为具有不同的剪裁或呈现（例如，卷起袖子）-仅改变形状。5054时尚++相似开启lyRando我检索与编辑匹配的真实服装。最后，我们返回最佳地实现所编辑的服装的服装g ++。 让我表示一个服装库存。从我检索的最佳匹配服装是：1 .一、61 .一、41 .一、2时尚专用时尚++汽车时尚++3 .第三章。4时尚专用Mgi++ ：=argmingi∈Izgi−zi++� 、（8）1Si随机密接ly3 .第三章。23对于i = 0，. . . ，n-1，其中zgi表示服装的特征。这是通过将gi的真实库存服装图像传递到纹理和形状特征编码器Et来获得的012变化量(a) 自动评估。-4。5- 4-3 5- 保持相似(b) 人类受试者研究B。和Es，并连接它们各自的结果。4. 实验我们现在验证了Fashion++（i）在定量评估（第二节）方面都比基线方法有轻微但明显的改进4.1）和用户研究（第4.2）;(ii) 通过图像生成有效地与用户沟通4.2）;和（iii）支持所有可能的编辑，从交换，添加，删除服装，以调整服装展示通过定性的例子（第4.2节）。4.3）。实验设置。我们使用Chictopia10k [24]数据集进行所有实验。我们用15930张图片来训练生成器，用12744张图片来训练时尚性分类器。我们使用第二节中描述的程序。3.2为训练时尚性分类器准备正例和反例。我们评估了3240个这样的不时髦的例子。我们强调，所有的测试示例都来自真实世界的服装，通过交换不同服装的特征（而不是像素）来这允许在真实数据上进行测试，同时也具有地面实况（见下文）。我们使用Chictopia10k提供的区域地图进行所有方法，尽管可以使用自动语义分割模型架构和培训详情见附录。基线。由于我们的工作是第一次考虑最小编辑问题，我们开发了几个基线进行比较：S IMILARITY-ONLY，它选择最近的邻居数据库I（Chictopia 10 k）中的服装以保持最小的变化量; F ASHION-ONLY，其改变为如我们的分类器所预测的给出最高时尚性分数的作品，使用数据库I作为候选人; R ANDOM 采样，这将改变为随机抽样的服装。由于所有不流行的服装都是通过替换一件衣服生成的，所以我们指示所有方法更新那件衣服。我们还运行结果，自动确定要更改的服装，表示为auto-Fashion++。4.1. 定量比较最小的修改通过提高服装的时尚性而不是改变太多来改变服装因此，我们同时评估性能的时尚性的改善和变化量。我们通过如何评估前者时尚改进时尚改进5055图5：对于自动（a）和人工（b）评估，Fash- ion++在保持相似的同时最好地平衡了改进时尚性。在（b）中，两个轴都是原始的李克特量表;我们对x轴取反，以使其极性与左侧一致。更接近于地面实况（GT）装备。由于每个不时尚的服装是通过从另一个服装交换到服装（我们称之为原始服装）而生成的，并且交换之前的服装（我们称之为GT）只是时尚服装的一种可能性，因此我们为每个测试图像形成一组GT服装，代表多种改进方法（参见Supp.以取得详细数据）。时尚改进度量是原始件到GT的距离与编辑件到GT的距离的比率小于1的值表示没有改善。变化量度量对编辑的服装到原始服装的距离进行评分，通过减去S IMILARITY ONLY的数字进行所有距离都是生成者编码空间中的欧氏距离所有方法都返回库存中最接近其预测编码的服装。图5a示出了结果。3S模仿-只改变服装最少，正如预期的那样，但它不会提高时尚性。FASHION-只提高时尚性最多，但也改变了装备显着。RANDOM既不提高时尚性，也不保持相似。我们的Fashion++提高了时尚性，几乎和FASHION-ONLY基线一样好，同时保持与原始服装的相似性。Auto-Fashion++执行与Fashion++类 似 的 表 单 。 这 些 结 果 支 持 我 们 的 说 法 ， 即Fashion++有轻微但明显的改善。图4示出了通过控制由Fashion++做出的改变量（梯度步长的数量），可以选择是改变更少（同时仍然比Similarity-ONLY更时尚）还是更多地改善时尚性（同时仍然比Fashion-ONLY改变更少）。4.2. 人类知觉研究接下来，我们要求人类判断Fashion++编辑的质量[3]为了清楚起见，我们用K= 6绘制我们的曲线，因为时尚性通常很快就会饱和。所有K值的结果见图1。4、第四点二。5056我编辑。我们执行三个人类受试者测试协议;（i）不时尚++（ii）仅时尚(iii) 西姆只(iv) 随机请看Supp。所有三个用户界面。我们随机抽取了100套不流行的测试服装，并在土耳其机器人（MTurk）上发布任务每个样本由7人回答，总共有282名土耳其人回答。方案A。Fashion++可以向用户显示一系列编辑（例如，图4），从中选择所需的版本。虽然偏好将在用户之间自然地变化，但是我们感兴趣的是知道给定程度的偏好在多大程度上是不同的。x（q）x++g++x++g++x++g++x++改变是最好的，为什么。 为此，我们向特克展示-制作一套原始服装，并从K=1到10进行编辑，并要求他们：（i）选择比原始版本更时尚的所有编辑。(ii)选择哪种编辑在不改变太多的情况下提供了提高时尚性(iii)解释为什么在（ii）中选择的选项是最好的。对于（i），我们发现越是改变一个输出-当K=10时，92%的人认为改变后的服装更时尚。此外，当我们将Fashion++应用于已经时尚的服装时，84%的情况下，人类评委会发现改变后的服装相似或更时尚，这意味着Fashion++对于（ii），没有特定的K占主导地位。最佳选择的K=2在18%的时间内是优选的，并且K=1至6在至少10%的时间内各自是优选的这表明，结果对于K≤6，它们具有类似的代表性，因此我们使用K=6剩余的用户研究。 （3）一个常见的原因是优选的编辑是更吸引人、更吸引人或更有趣。 参见补充对于（i）的K(ii)和更多的Turkers方案B 接下来，我们请人类裁判将Fash- ion++与上面定义的基线进行比较。我们同时给工人一对图像：一个是原始服装，另一个是通过方法（Fashion++或基线）编辑的。他们被要求在五分制的李克特量表上表达他们对两个陈述的同意：（i）改变后的服装比原来的更(ii)改变后的服装仍然与原来的相似。我们用所有的方法做这个调查。我们报告每对7个响应的中位数。图5b示出了结果。它与我们在图11中的定量评估非常一致。5a：F ASHION-ONLY被评为最能提高时尚性的，但它也和RANDOM一样能改变服装。相似性-仅被评定为保持最相似。Fashion++的变化比Similarity-Only多，但比其他所有的变化都少，而提高时尚性几乎和FASHION-Only一样多.这有力地证明了Fashion++所做的编辑是轻微的，但却提高了时尚性。方案C 最后，重要的是，无论图像的精确像素质量有多好图6：与基线的最小编辑比较。 他们在-stances，列是方法的结果：对于除RANDOM（iv）之外的所有结果，我们都显示了渲染结果（左）和检索结果（右）。检索的服装g++在边界框中。最好是pdf。服装因此，我们询问Turkers我们的编辑在五点李克特量表上的“可操作性”如何，并口头描述编辑。在72%的情况下，人类法官认为我们的图像是可操作的，将可操作信息的清晰度评为4. 第一 章16±0。41/5（4表示同意 ，5表示 非常 同意）。参见补充我们的4.3. 最小编辑示例现在我们展示服装编辑示例。我们首先与基线进行并排比较，然后展示Fashion++的变体以展示其灵活性。对于所有的例子，我们显示服装之前和之后的编辑作为重建我们的生成器。与基线相比，常规最小编辑。图6示出了通过所有方法的服装编辑以及检索到的最近服装的示例。FASHION-ONLY （ii）和RANDOM（iv）都能很大程度上改变服装。虽然随机使服装不那么时尚，但FASHION-ONLY用更时尚的服装改进了它们。时尚++（i）也增加了时尚性，并且推荐的改变与最初不太时尚的服装具有相似性（在形状和/或质地上）。例如，图中的底部两个实例。6穿同样的短裤配不同的衬衫。FASHION-ONLY建议两种情况下都换成同样的白色衬衫，上面有红色的花卉印花，看起来很时尚，但与最初的衬衫完全不同;Fashion++建议第一件换一件颜色相近的条纹衬衫，第二件换一件略带腮红的无袖衬衫。S相似性-只有（三）确实看起来类似于最初的装备，但时尚也保持相似。5057（a）（b）（c）（d）裤子长度合身（e）（f）（g）（h）（一）（d）其他事项图9：Fashion++编辑添加/删除衣服。袖腰线图7：Fashion++仅对形状/合身进行最小编辑。（a）（b）（c）（d）（i）（ii）（iii）（iv）(i) 《灰姑娘的故事》(ii) 《穿普拉达的女魔头》Devil Wears Prada调整颜色单色一致性杰出作品（一）（b）第（1）款（e）（f）（g）（h）图10：（a）：Fashion++失败案例（b）：Fashion++在臭名昭著的不时髦的人物身上。杰出作品图案除了改变现有的部分。我们不仅可以调整已经在服装上的部分，而且我们还可以起飞图8：Fashion++仅对颜色/图案进行最小编辑。最小的编辑只改变形状。图7示出了当我们指示我们的模型仅改变形状时的示例（参见图7）。第3.3节）。即使是完全相同的衣服和个人，调整衣服的比例和适合可以有利地影响风格。图7（a）示出了裤子的长度变化。请注意，改变短裤在穿着者腿上的末端是如何延长它们的。（b，c）显示裤子/裙子的合身程度的改变：穿着非常适合强调穿着者身材的衣服。(d)穿着同样的夹克，以更开放的方式，使个性的外观。（e，f）卷起袖子：尽管它很轻，但它使服装更有活力(e)或dresser（f）。（g，h）调节腰围：每一个顶部和底部的组合看起来不同时，塞紧（g）或衬衫了一点（h），并适当调整这对不同的合奏给予更好的形状和结构。最小编辑仅更改纹理。图8显示了当我们指示我们的模型只改变纹理时的示例。(a)把衣服底部的颜色调淡一些来擦亮衣服。(b)把服装换成单色的可以拉长轮廓。（c）交换掉不相干的颜色。（d）-（f）通过添加鲜艳的颜色来交换突出的作品或者图案来表达服装的风格。（g）-（h）正在改变或消除模式：请注意，即使使用相同的颜色成分，改变它们的比例也可以以一种激烈的方式照亮服装。（b）第（1）款（c）第（1）款5058多余的部分，甚至把新的部分。图9示出了这样的示例。在（a）中，女孩穿着时髦的衣服，但穿着不必要的裤子。(b)建议在衣服上加外套，增加层次，而（c）脱掉深色外套，看起来更轻盈，更有活力（d）将裤子改为裙子，以使整套服装的身材更好故障案例。最小的编辑需要良好的服装生成模型、准确的时尚性分类器和鲁棒的编辑操作。任何一个方面的失败都可能导致更糟糕的装备变化。图10a显示了Turkers判断的一些故障示例。编辑名人。图10b示出了对已知不时尚的电影角色进行操作的Fashion++。5. 结论我们介绍了最小时尚编辑问题。小规模的修改是出于消费者我们引入了一种新的图像生成框架来优化和显示最小的编辑，从而产生更时尚的服装，考虑到位置、可扩展的监督和灵活的操作控制等基本技术问题我们的结果是相当promising- ing，无论是在定量措施和人类判断的意见。在未来的工作中，我们计划扩大培训来源的组成，例如，使用更广泛的社交媒体平台，如Instagram [30]，将编辑偏向于可用的库存，或根据个人偏好的风格或场合进行改进5059引用[1] Z.哈拉河Stiefelhagen和K.格劳曼时尚趋势：预测时尚的视觉风格. InICCV，2017. 2[2] Guha Balakrishnan，Amy Zhao，Adrian V Dalca，FredoDu- rand，and John Guttag.合成人类在看不见的姿势的图像。在CVPR，2018年。2[3] Caroline Chan ， Shiry Ginosar ， Tinghui Zhou ， andAlexei A Efros. 大 家 跳 舞 吧 arXiv 预 印 本 arXiv ：1808.07371，2018。2[4] Leon Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络进行纹理合成2015年，在NIPS2[5] 利昂·A Gatys，Alexander S. Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。在CVPR，2016年。2[6] Leon A Gatys，Alexander S Ecker，Matthias Bethge，Aaron Hertzmann，and Eli Shechtman.神经风格迁移中知觉因素的控制。在CVPR，2017年。2[7] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NIPS，2014。2[8] X. Guo，H. Wu，Y. Cheng，S. Rennie和R.费里斯基于对话框的交互式图像检索。在NIPS，2018年。2[9] Han Xintong，Zuxuan Wu，Yu-Gang Jiang，and Larry S.戴维斯学习与双向lstms的时尚兼容性。ACM MM，2017年。一、二、五[10] Xintong Han，Zuxuan Wu，Zhe Wu，Ruichi Yu，andLarry S Davis.Viton：一个基于图像的虚拟试穿网络。在CVPR，2018年。2[11] R.他，C. Packer和J.麦考利学习跨类别的兼容性，用于异构项目推荐。InICDM，2016.二、五[12] Wei-Lin Hsiao和Kristen Grauman。学习潜在的“看”：从时尚图像中无监督地发现风格一致的嵌入。InICCV，2017. 2[13] Wei-Lin Hsiao和Kristen Grauman。用时尚图片制作胶囊衣柜。在CVPR，2018年。一、二[14] Xun Huang和Serge J Belongie.实时任意样式传输，具有自适应实例规范化。InICCV，2017. 2[15] C. Huynh、A. Ciptadi，A. Tyagi和A.阿格拉瓦尔Craft：通过对抗性特征变换进行补充推荐。ECCV Workshopon Computer Vision For Fashion ， Art and Design ，2018。2[16] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。CVPR，2017年。2[17] T. Iwata，S. Watanabe和H.泽田时尚坐标推荐系统使用的照片，从时尚杂志。InIJCAI，2011. 2[18] Y.卡兰蒂迪斯湖肯尼迪和L. J. Li。获得外观：服装识别和分割，用于日常照片中的自动产品建议。InICMR，2013. 2[19] Wang-Cheng Kang，Chen Fang，Zhaowen Wang，andJulian McAuley.视觉感知的时尚推荐和设计与生成图像模型。InICDM，2017. 2[20] M. Hadi Kiapour，X. Han和S. Lazebnik在哪里购买：在网上商店匹配街头服装照片在ICCV，2015年。2[21] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。见ICLR，2014年。4[22] Adriana Kovashka ， Devi Parikh ， 和 Kristen Grauman.Whittlesearch：图像搜索与相对属性反馈。CVPR，2012。2[23] Christoph Lassner，Gerard Pons-Moll，and Peter V Gehler.穿着衣服的人的生成模型。InICCV，2017. 2[24] Xiaodan Liang，Si Liu，Xiaohui Shen，Jianchao Yang，Luoqi Liu，Jian Dong，Liang Lin，and Shuicheng Yan.使用主动模板回归进行深度人工解析Pattern Analysisand Machine Intelligence ， IEEE T