基于风格的虚拟试衣外观流程及其在时尚电商中的应用

人工智能

PDF格式 | 1.12MB | 更新于2025-01-16 | 169 浏览量 | 举报

3470

基于风格的虚拟试衣全局外观流程

何森，宋一哲，陶翔

萨里大学视觉、语音和信号处理中心iFlyTek-Surrey人工智能

{

何

森，y.song，项天

}

@ surrey.ac.uk

服装面料流程PF-AFN我们的服装面料流程PF-AFN我们的服装面料流程

图

我们的基于全局外观流的试穿模型与现有的基于局部流的

SOTA

方法（如

Cloth-flow [13]

和

PF-AFN [10]

）相比具有明显的

优势，特别是当参考图像和服装图像（顶行）之间存在较大的未对准以及困难的姿势

遮挡（底行）时。

摘要

基于图像的虚拟试穿旨在将店内服装适配到穿着者

图像中。为了实现这一点，关键步骤是服装翘曲，其

在空间上将目标服装与人物图像中的相应身体部位对

准。现有方法通常采用局部外观流估计模型。因此，

它们本质上容易受到困难的身体姿势

遮挡以及人和服

装图像之间的大的未对准的影响（参见图

）。为了克

服这一局限性，本文提出了一种新的全局外观流估计

模型

首次采用基于

StyleGAN

的架构进行外观流估计。

这使我们能够利用全局样式向量来编码整个图像上下

文，以应对上述挑战。为了引导

StyleGAN

流生成器更

加关注局部服装变形，引入流细化模块以添加局部上

下文。在一个流行的虚拟试穿基准测试上的实验结果

表明，我们的方法达到了新的最先进的性能。它在

“

野

外

”

应用场景中特别有效

顶部）。代码可在：

https

：

//github.com/SenHe/Flow-Style-VTON

网站。

介绍

近期疫情导致的封城措施加快了线下店内零售向电

子商务的转型2020年，全球零售电子商务销售额达到

4.28万亿美元，预计2022年电子零售收入将增长至5.4

万亿美元。然而，当涉及到时尚时，在线购物者错过

的关键线下体验之一是可以试穿服装的更衣室。为了

降低在线零售商的退货成本并为购物者提供在线相同

的线下体验，最近对基于图像的虚拟试穿（VTON）

进行了深入研究[9，10，13，14，19，24，38，39，

42，43]。

VTON模型旨在将店内服装适合个人图像。VTON

模型的一个关键目标是将店内服装与人物图像中的相

应身体部位对齐。这是因为店内的服装通常在空间上

与人物图像不对齐（见图1）。在没有空间对齐的情况

下，直接将高级细节保留图像应用于图像平移模型

[18，30]以融合人物图像和服装图像中的纹理将导致

生成的试穿图像中产生不真实的效果，特别是在遮挡

和未对齐的区域中。

3471

先前的方法通过服装翘曲来解决该对准问题，即，

他们首先对店内服装进行翘曲，然后将店内服装与人

的图像连接起来，并将其馈送到图像到图像转换模型

中，用于最终试穿图像的生成。他们中的许多人[9，

14，19，38，42，43]采用基于翘曲方法的薄板样条

（TPS）[7]，利用从人和服装图像中提取的特征之间

的相关性。然而，正如在以前的作品[5，13，42]中分

析的那样，TPS在处理复杂的扭曲方面存在局限性，

例如，当衣服的不同区域需要不同的变形时。因此，

最近的SOTA方法[10，13]估计密集的外观流[45]来翘

曲服装。这涉及训练网络以预测表示将服装与相应的

身体部位对准所需的变形的密集外观流场

然而，现有的外观流估计方法是有限的，准确的服

装翘曲，由于缺乏全局上下文。更具体地说，所有现

有的方法都是基于局部特征的对应关系，例如，局部

特征级联或相关

，为光流估计而开发[6，17]。为了估

计外观流，他们做出了不切实际的假设，即来自人物

图像和店内服装的对应区域位于特征提取器的相同局

部接收场中。当服装和相应的身体部位之间存在较大

的未对准时（图1顶部），当前基于外观流的方法将严

重恶化并产生不令人满意的结果。缺乏全局上下文也

使得现有的基于流的VTON方法在必须在局部邻域之

外搜索对应时容易受到困难的姿势/遮挡（图1这严重

限制了这些方法的“野外”使用，由此用户可以具有她

自己/他自己的全身照片作为人物图像来试穿多个服装

物品（例如，顶部、底部和鞋）。

为了克服这一局限性，提出了一种新的全局外观流

量估计模型。特别是，第一次，StyleGAN [21，22]架

构用于密集外观流估计。这与现有方法[6，10，13，

17]有根本区别，现有方法采用U-Net [30]架构来保留

本地空间背景。使用从整个参考图像和服装图像中提

取的全局样式向量使我们的模型可以轻松捕获全局上

下文。然而，它也提出了一个重要的问题：它可以捕

捉当地的空间背景关键的地方路线？毕竟，一个单一

的风格向量似乎已经失去了当地的空间背景。为了回

答这个问题，我们首先注意到StyleGAN已经成功地

值得注意的是，张量相关方法[6，10，17]具有

应用于局部面部图像操作任务，其中不同的风格向量

可以在不同的视点[34]和不同的形状[15，28]生成相同

的面部。这表明全局样式向量确实具有编码的局部空

间上下文然而，我们还注意到，尽管与U-Net相比，

vanilla StyleGAN 架构 [21 ， 22 因此，我们在现有的

StyleGAN生成器中引入了一个局部流细化模块，以获

得更好的效果。

具体来说，我们基于StyleGAN的变形模块（图2）

由堆叠的变形块组成，这些变形块将全局样式向量、

服装特征和人物特征作为输入。全局风格向量计算从

最低分辨率的特征映射的人的图像和在商店的服装的

全局上下文建模。在生成器中的每个变形为了使我们

的流估计器能够对细粒度的局部外观流进行建模，例

如，对于图5中的手臂和手区域，在基于样式的外观流

估计部分之上的每个扭曲块中，我们引入细化层。该

细化层首先扭曲服装特征图，其随后以相同的分辨率

与个人特征图连接，然后用于预测局部细节外观流。

本文的主要工作如下：（1）提出了一种基于风格

的虚拟试衣外观流方法。这种全局流估计方法使我们

的VTON模型对人和服装图像之间的大的不对准更加

鲁棒这使得我们的方法更适用于(2)我们进行了广泛的

实验来验证我们的方法，清楚地表明，它优于现有的

国家的最先进的替代品。

相关工作

基于图像的虚拟试穿基于图像的（2D）VTON可以分

为基于解析器的方法和无解析器的方法。它们的主要

区别是在推理阶段是否需要现成的人类解析器

基于解析器的方法应用人体分割图来掩蔽输入人图

像中的服装区域以用于翘曲参数估计。所述戴面具的

人图像与所述翘曲的服装连结，且接着馈入到用于目

标试穿图像产生的产生器中。大多数方法[9，13，

14，38，42，43]应用预先训练的人类解析器[11]

达到全球接受领域的潜力然而，其计算

相对于输入大小二次增长。为了使其易于处理，其实际实现仍然基

于有限的本地社区。

有时，预训练的姿势[3]和densePose [12]检测模型也用于基于解

析器的模型。

3472

∈

为了将人物图像解析成若干预定义的语义区域，例

如，头，上衣和裤子。为了更好地生成试穿图像，[42]

还转换分割图以匹配目标服装。变换后的解析结果与

翘曲的服装和掩蔽的个人图像一起对解析器的依赖使

得这些方法对糟糕的人类解析结果敏感[10，19]，这

不可避免地导致不准确的扭曲和试用结果。

相比之下，无解析器方法[10，19]在推理阶段仅将

人物图像和服装图像作为输入它们被专门设计来消除

不良解析结果所引起的负面影响这些方法通常首先训

练基于解析器的教师模型，然后提取无解析器的学生

模型。[19]提出了一种流水线，其使用成对的三元组

来提取服装翘曲模块和试穿生成网络。[10]进一步改

善

[19]通过引入循环一致性以获得更好的蒸馏。我们的方

法也是一个无解析器的方法。然而，我们的方法侧重于

服装翘曲部分的设计，在那里我们提出了一种新的全局

外观流，

服装整经模块

3D虚拟试穿与基于图像的VTON相比，3D VTON提供

更好的试穿体验（例如，允许以任意的视角和姿势观

看），但也更具挑战性。大多数3D VTON作品[2，27]

依赖于3D参数化人体模型[25]，并且需要扫描的3D数

据集进行训练。收集大规模的3D数据集是昂贵且费力

的，因此对3D VTON模型的可扩展性构成约束。为了

克服这个问题，最近[44]将非参数双重人类深度模型[8]

应用于单眼到3D VTON。然而，现有的3D VTON仍然

生成较差的纹理细节，

更多的关注，并采用了最近的国家的最先进的VTON

模型[5，10]。从根本上说，外观流被用作服装变形的

采样网格，因此它是信息无损的，并在细节保持优

越。除了VTON，外观流在其他任务中也很受欢迎。

[45]将其应用于新颖的视图合成。[1，29]还应用了外

观流的思想来扭曲人物姿势转移的特征图。与现有的

外观流估计方法不同，本文的方法通过风格调制，应

用全局风格向量来估计外观流。因此，我们的方法本

质上是优越的，在其能力，以应付大的错位。

方法

3.1.

问题定义

给定一幅人物图像（

pR3

×H×W

）和一幅店内服装

图像（

gR3

×H×W

），虚拟试穿的目标是生成一幅试

穿图像（

tR3

×H×W

），其中

中的服装与

中的相应

部位相匹配。此外，

在生成的

中

，来自

和

中的非

服装

区域

的细节都

应该被保留。换句话说，在

中的

同一个

人

在

中

应该看起来没有变化

，

除了现在

穿着

。

为了消除不准确的人类解析的负面影响，我们提出

的模型（图2）被设计为无解析器模型。遵循前无解析

器模型所采用的策略[10，19]，我们首先预训练一个

解析器，

基于模型（F

P B

）。然后，它被用作知识蒸馏的老

师

，以帮助训练最终的无解析器模型F。

F和F

P B

都由

三部分组成，即，两个特征提取器（

P B

，

P B

和

，

），

模块（在和在）和发电机（

P B

2D方法。

用于图像处理的StyleGAN StyleGAN [21，22]最近彻底

改变了图像处理的研究[28，33，41]。它在图像处理

任务中的成功应用通常归功于它在学习高度分离的潜

在空间中的适用性。最近的努力集中在无监督的潜在

语义发现[4，34，37]。[24]应用姿态调节的StyleGAN

进行虚拟试穿。然而，他们的模型不能保留服装细

节，并且在推理过程中速度很慢。

在

和）。以下各节将详细介绍其中每一

项

3.2.

预训练基于解析器的模型

根据现有的无解析器模型[10，19]中的标准，首先

训练基于解析器的模型

它在所提出的无解析器模型

的后续训练中以两种方式使用：（a）生成要用作输入

的人物图像（p），以及（b）通过知识蒸馏来监督的

训练

我们的服装整经网络的设计灵感来自

从StyleGAN在图像处理，特别是其超级

具体而言，

作为输入的语义表示-

形状变形性能[28，34]。代替使用- ing风格调制来生成

翘曲的服装，我们使用风格调制来预测隐式外观流，

然后通过采样来用于翘曲服装。与[24]相比，这种设

计更适合服装细节的保留。

在VTON的上下文中，外观流首先由[13]引入。从那以

后，

训练集中的真人图像（p

×H×W

）和未配对的服装

（g

× H × W

）的分割图

（分割图、关键点姿态和密集姿态）。

的输出是原

始人穿着

gun

的图像p。p将作为培训期间的输入根据

[10]，这种设计受益于我们现在

将分割图中的服装区域翻转为背景区域

剩余12页未读，继续阅读

cpongm

粉丝: 6

基于风格的虚拟试衣外观流程及其在时尚电商中的应用

最新资源