ViBE：个人化服装推荐方法

11059ViBE：适合不同身体的服装Kristen Grauman1，21德克萨斯大学奥斯汀分校2Facebook AI Research摘要体型在决定什么样的服装最适合特定的人方面起着重要的作用这些与身体无关的视觉方法和数据集我们DeepFashion是包容的障碍，没有能力为不同的体型提供好的建议。我们介绍了ViBE，一种视觉身体感知嵌入，它可以捕捉服装与不同体型的亲和力。给定一个人的图像，所提出的嵌入识别服装，将奉承她的特定体型。我们展示了如何从一个在线目录中学习嵌入，该目录显示了穿着产品的各种形状和尺寸的时装模特，我们设计了一种方法来解释该算法对合身服装的选择。我们将我们的方法应用于不同主题的数据集，并根据自动化指标和人类意见，证明了其相对于现状身体不可知论推荐的强大优势。1. 介绍计算机视觉的研究有望改变消费时尚的世界。令人兴奋的最新进展可以将街道照片与目录联系起来[47，54]，推荐服装以完成外观[25，33，34，40，73，76]，发现风格和趋势[3，32，57]，并基于微妙的视觉特性进行搜索所有这些方向都有望增强和加速服装购物体验，为消费者提供个性化推荐，并将基于内容的产品索引放在他们的指尖。然而，当涉及到身体形状时，最先进的推荐方法错误地假设了“一种形状适合所有人”的方法。尽管事实上相同的服装将以不同的方式衬托不同的身体，但是现有的方法在估计给定服装或套装的相关性时忽略了个体的身体形状的重要性。这种限制源于两个关键因素。首先，当前的大规模数据集严重偏向于一组狭窄的体型1-通常是瘦而高，这是由于它们是从时尚达人或名人照片中绘制的[26，51，55，66，1更不用说肤色，年龄，性别和其他人口统计因素CurvyLean群体平均值图1：现有的方法主要是从苗条的时尚人士和名人的图像（最下面一行）中训练出来的，忽略了体型我们提出的嵌入考虑了不同的体型（顶行），并学习哪些服装在真实人群的光谱中更平坦。直方图绘制了SMPL [56]（已知捕获权重[31，69]）的第二主成分的分布，用于我们收集的数据集（橙色）和DeepFashion [55]（紫色）。84]（参见图1）。这限制了下游学习的所有内容，包括考虑虚拟试穿的身体范围[26，63，79]。其次，衡量服装兼容性的现有方法通常从共同购买模式[25，76，77]或基于折扣的规则[40，53]中学习，与任何关于体型的统计数据无关。因此，与身体无关的视觉方法和数据集是多样性和包容性的障碍。与此同时，合身和剪裁的各个方面对于将现实世界的购物体验与虚拟（在线）世界的购物体验区分开来至关重要。众所周知，今天大部分为了克服这一障碍，我们提出了ViBE，一种视觉身体感知嵌入，可以捕捉服装与不同体型的亲和力。学习的嵌入映射给定的身体形状及其最互补的服装靠近在一起。为了训练模型，我们探索了一个新的网络照片数据源，其中包含了时尚模特的照片。11060诗的身体形状。每个模型只出现在所有目录项目的一个子集中，这些配对作为身体-服装兼容性的隐式阳性示例。在了解了这些兼容性之后，我们的方法可以检索针对新体型的身体感知服装推荐-我们表明现有的身体不可知模型处理得很差，并且对于面临冷启动的传统推荐系统来说此外，我们还展示了如何通过突出显示哪些属性（袖子长度，fab- ric，cut等）来可视化嵌入所学习的内容。或局部区域（例如，颈部、腰部、肩带区域）最适合于给定的体型。我们在一个新的身体多样性数据集上展示了我们的方法，该数据集涵盖了数千件服装。通过定量指标和人体受试者评估，我们显示了建模体型服装提供准确的建议。2. 相关工作时尚风格和兼容性早期的计算机视觉时尚工作解决了识别问题，例如将在街上看到的物品与目录相匹配[47，54]，搜索产品[22，46，86]，或将服装解析为服装[17，51，83，87]。除了承认，最近的工作探索模型的兼容性评分服装的相互亲和力[24，33，34，36，73，76，77]。风格--人们穿着的元模式--可以从图像中学习，通常具有视觉属性[？] ，3，32，43，57]，带有时间戳和社交媒体“喜欢”的网络与我们的方法不同，上述模型都没有考虑体型对服装兼容性或风格的影响。时尚图像数据集名人[30，51]，时尚达人社交媒体影响者[43，52，74，83，84]和目录模型[18，26，55，66]都是研究时尚的计算机视觉数据集的自然数据来源。然而，这些源将偏差注入到所表示的身体形状（和其他演示图形）中，这对于某些应用可能是有用的，但对于其他应用是有限的。最近的一些数据集工作利用了社交媒体和照片共享平台，如Instagram和Flickr，这些平台可以访问更具包容性的人群[42，57]，但他们的结果并不涉及体型。我们探索了一个新的丰富的在线目录数据集组成的模型不同的身体形状。虚拟试穿和服装重定向虚拟试穿是将源服装可视化在目标人类主体上，就好像该人实际上穿着它一样。当前方法在3D身体扫描上估 计服 装悬垂[20，48，62，68]，在2D图像或视频中为人们重新定位样式[4，5，7，85]，或使用复杂的图像生成方法渲染虚拟试穿[23，26，63，79]。虽然现有的方法显示人身上的衣服，但是它们不推断衣服是否被穿在人身上。衣服是否适合身体。此外，在实践中，基于视觉的结果限于一组狭窄的身体形状（通常如图1中的高和瘦）1）由于上述现有数据集的隐含偏差。身体和服装形状估计从2D RGB图像估计人和服装67]，和同时但单独的估计[4，5，7，85]。在这项工作中，我们集成了两个基于身体的模型来估计用户的身体形状从图像。然而，与上述任何一种方法不同，我们的方法超越了对体型的估计，以了解人体体型和合身服装之间的亲和力。虽然大多数先前的工作建议基于个人的购买历史[28，35，39，77]或推断的风格模型[33，40，53]的布料，但有限的先前工作探索了给定一个产品和用户的购买历史，这些方法可以预测给定的尺寸是太大、太小还是刚刚好。我们的目标不是预测给定服装的哪个尺寸是合适的，而是推断出哪些服装会使给定用户的体型更好看。此外，与我们的方法不同，现有方法不考虑服装或人的视觉内容[14，21，58，72]。虽然SizeNet[41]使用产品图像，但其任务是预测产品是否会在一般情况下存在不适合任何人基于体型的服装偏好据我们所知，考虑体型与服装的联系的唯一现有工作曲线优美的人更可能穿牛仔裤而不是短裤）[69]，以及[30]的推荐系统，该系统发现了哪些风格在给定已知身体测量的名人体型中与这两种方法相比，我们的方法建议根据个人的体型来设计特定的服装。此外，虽然[69]是关于事后观察一群人的穿着，但我们的方法积极地为新颖的身体和服装提供建议。与[30]不同的是，我们的方法处理的数据超出了高级时尚名人的范围，并使用推断出的人的体型作为输入。3. 方法虽然选择服装的原因很复杂[80]，但服装的合身性是一个重要因素，有助于穿着者的自信和舒适。具体地，很好地贴合穿戴者的服装使穿戴者的身体更美。合身是决定是否购买服装的一个常见原因[6].寻找合适的产品是非常耗时的：11061风格提示：穿A字裙. 此外，颜色阻塞会把注意力从你的腰部转移开风格提示：选择柔软的丝绸，轻轻地垂在你的自然曲线上。西装裤腰带图2：根据时尚博客[1，2]，身体形状的示例类别，造型技巧和推荐的连衣裙女性在找到一条合身的牛仔裤之前，可能会试穿多达20条。“女性形体识别技术（FFIT）系统”将女性身体分为9种形状-沙漏形使用胸围、腰围、高臀和臀部尺寸的比例关系[13]。研究人员发现，无论女性属于哪种体型，女性参与者都倾向于选择服装来为自己创造沙漏外观[19]。服装被战略性地用于管理身体外观，这样可以掩盖感知到的图2展示了来自时尚博客的例子，其中有不同的造型技巧和针对不同体型的推荐服装。我们的目标是发现这样的策略，通过学习身体感知嵌入，推荐与特定身体互补的衣服，反之亦然。我们首先介绍一个数据集和监督范式，允许学习这样的嵌入（第二节）。第3.1节3.2）。然后我们提出我们的模型（第二节）。3.3)以及我们用于服装和体型的表示（第二节）。第3.4段）。最后，除了推荐服装之外，我们还展示了如何将模型学习的策略3.5）。3.1. 人体多样性数据集用于学习身体-服装相容性的理想数据集应满足以下属性：（1）穿着不同体型的人;（2）全身照片，以便可以估计身体形状;（3）某种程度上的评价是否服装奉承的人担任图3：我们收集数据集的网站的示例页面。 它提供了模特穿着卡塔的形象- 日志项目，服装本身的干净目录照片，模特的身体测量，以及项目的属性描述。每个项目是由多种体型的模型磨损。服装款式有限名人[30，51]、时尚达人[43，74，84]和目录模特[26，55，66]的数据集符合（2）和（3），但它们缺乏体型多样性。来自社交媒体平台的数据集[42，57]包括更多样化的体型（1），但通常是混乱的，只显示上半身，防止体型估计。为了克服上述限制，我们从一个名为Birdsnest的在线购物网站收集了一个数据集。2Bird- snest在大多数风格中提供了广泛的尺寸范围（澳大利亚测量的8到18）。图3显示了一个示例cat-push页面。它包含服装的正面和背面视图、穿着该物品的时装模特的图像、她的身体尺寸以及该物品的属性类文本描述。最重要的是，每件单品都有不同体型的各种模特穿着。我们收集了两类物品，958件连衣裙和999件上衣，总共涵盖68个时装模特。虽然我们的方法不是专门针对女性的，因为该网站只有女性服装，我们目前的研究是相应 的 重 点 。 这 些 数 据 为 我 们 提 供 了 性 质 （ 1 ） 和（2）。接下来，我们解释如何从性质（3）中获得正例和反例。3.2. 目录时装模特的内隐评分时装模特穿着特定的目录项目可以安全地假设有身体的形状，是由该服装奉承。因此，目录提供了隐含的积极的身体服装配对。我们怎么得到底片？一种直观的方法是假设数据集中所有未观察到的身体-服装配对都是否定的。然而，在这方面，监管 穿着衣服的人的3D扫描数据集ing [4，5，7，65]满足（1）和（2），但相当小，2https://www.birdsnest.com.au/西装裤腰带西装裤腰带风格提示：目的是创造更多的曲线顶部和底部。尝试裁剪的连衣裙，并在可能的情况下添加腰带，腰围模型图像属性多个模型人体测量目录图像11062图4：列显示从五个发现的身体类型的衣服对于顶部）。每种类型大致对应1）平均，2）曲线，3）苗条，4）高和曲线，5）娇小。about 50% of the dresses are worn by only 1 or 2 distinctbodies (3% of the models), suggesting that many positivepairings are not observed.相反，我们建议传播失踪的积极之间相似的身体形状。我们的假设是，如果两个体型非常相似，那么适合其中一个的衣服很可能也会适合另一个。为此，我们使用k-means [78]聚类（在第二节定义的特征上）。3.4)将数据集中的体型分为五种类型。图图4示出了从每个聚类中采样的身体我们从观察到的每一个穿着衣服的模特身上传播阳性的由于大多数服装都是由多个模特穿的，因此可能是多个类型，我们通过将该类型中的身体与该类型中任何身体从未穿过的衣服通过这种标签传播，大多数衣服都是由两种不同的身体类型穿着的，这大约是数据集中身体的40%为了验证我们的标签传播过程与地面真相，我们进行了一项用户研究，明确询问Mechanical Turk上的人类裁判是否同一集群中的每对身体都可以穿类似的衣服，以及不同集群中的每对身体是否可以穿类似的衣服。他们的回答与传播的标签一致的时间分别为81%和63%。（见附录）以取得详细数据）。3.3. 训练视觉身体感知嵌入现在有了具有所有所需属性的数据集，我们介绍了我们的可视化身体感知嵌入，ViBE，它可以捕捉服装与身体形状的亲和力。在理想的嵌入中，最近的邻居总是相关的实例，而不相关的实例被很大的间隔隔开。这个目标是通过正确地排列所有三元组来实现的，其中每个三元组由锚za、与za相关的正zp和不相关的负zn从这里到Z。嵌入应该将正的排序为比负的更接近锚，D（za，zp）

下载后可阅读完整内容，剩余1页未读，立即下载