411GeoStyle：发现时尚趋势和事件Utkarsh购物中心1utkarshm@cs.cornell.edu凯文·马特森2matzen@fb.comBharath Hariharan1bharathh@cs.cornell.eduNoah Snavely1snavely@cs.cornell.eduKavita Bala1kb@cs.cornell.edu1康奈尔大学，2Facebook摘要了解时尚风格和趋势对零售商和消费者都有很大的潜在利益人们上传到社交媒体的虽然我们现在有工具可以自动识别这些照片中人们穿着的衣服和风格属性，但我们缺乏分析这些属性的空间和时间趋势或对未来进行预测的能力在本文中，我们通过提供一个自动框架来解决这一需求，该自动框架分析街道图像的大型语料库，以（a）发现和预测各种时尚属性的长期趋势以及自动发现的风格，以及（b）识别影响人们穿着的时空本地化事件我们表明，我们的框架做出的长期趋势预测比现有技术准确率高出20%以上，并确定了数百个影响全球时尚的有社会意义的事件。1. 介绍每天，我们集体上传到社交媒体平台上的数十亿张照片捕捉了世界各地广泛的人类生活和活动与此同时，对象检测，语义分割和视觉搜索正在快速发展[13]，并正在大规模部署[22]。随着大规模识别作为我们视觉工具箱中的基本工具，现在可以询问有关世界各地以及随着时间的推移人们如何穿着，饮食和分组的在本文中，我们专注于人们如何穿着。我们特别要求：我们能否发现并预测时空上的时尚趋势和风格？我们通过设计一种自动化方法来表征和预测季节性和年度时尚趋势，检测社交事件（例如，节日或体育赛事），影响人们的穿着，并识别-使概括这些事件的特定于社交事件的风格元素化我们的方法使用现有的识别算法，以确定一组粗糙的时尚属性在一个大型的图像语料库。然后，我们适合这些时尚属性的长期时间趋势这些模型捕捉季节性周期以及受欢迎程度随时间的变化。这些模型不仅有助于了解现有趋势，而且与现有方法相比，在长时间尺度上可以做出高达20%的准确度，时间上的细粒度预测[1]。例如，我们发现每年都有更多的人穿黑色衣服，但他们在冬天穿的比夏天多。我们的框架不仅可以模拟长期趋势，还可以识别出与这些趋势相反的突然的短期流行变化我们发现这些异常值通常与节日、体育赛事或其他大型社交聚会相对应。我们提供了一种方法，通过查看相关的图像标签和标题，从而将视觉分析与基于文本的发现联系起来，自动发现这些离群值背后的事件我们发现，我们的框架为它发现的所有最突出的事件找到了可以理解的原因，并且在这样做的过程中，作者不知道例如，它发现12月初曼谷的黄色异常增加，并将其与“父亲”，“日子”，“国王”，“生活”和“爸爸”等单词联系起来这与国王的生日相对应我们的框架类似地出现在乌克兰（Vyshyvanka日），印度尼西亚（蜡染日）和日本（黄金周）的事件。图1显示了我们的框架发现的更多世界范围内的事件以及人们在这些事件中穿的衣服。我们进一步表明，我们不仅可以在个人时尚属性（如“穿黄色”）的水平上预测趋势和事件，而且还可以在由反复出现的视觉合奏组成的风格的水平上预测趋势和事件这些风格是通过在特征空间中对照片进行聚类来识别的，以揭示风格集群：穿着相似风格的人群。我们412图1：我们的框架发现的主要事件对于每个事件，该图显示了人们通常在该事件中穿的衣服，以及城市，发生的月份之一，以及使用图像标题提取的最具描述性的词插图显示了这些城市的更精确的位置。对未来流行风格的预测与我们对个人属性的预测一样进一步地，我们可以对风格趋势运行上述相同的事件检测框架，从而允许我们不仅自动检测社交事件，而且还将每个事件与其自身的独特风格相关联;每个事件的风格签名。我们的贡献，如图2所示，包括：• 我们提出了一个自动化的框架，用于分析全球各地的时尚元素的时间行为我们的框架模型和预测长期趋势季节性行为。它还自动识别由节日和体育赛事等事件引起的短期峰值。• 我们的框架通过利用文本描述和字幕• 我们通过对自动发现的样式集群执行此分析，将事件与签名样式2. 相关工作对服装的视觉理解。最近在计算机视觉方面有大量关于表征服装的工作。其中一些工作可以识别人们衣服的属性其他工作超越了粗糙的图像级标签，并试图分割图像中的不同布料项目[39，38，40]。产品识别是一种最后，还有关于分类“风格”的先前工作“嬉皮士”、“哥特”等等。[18 ]第10段。在某些情况下，这些标签可能是未知的，需要查询。细化[23，15]，通常是通过利用属性识别系统学习的图像嵌入。我们的工作借鉴了属性和风格的文学。我们在一个小的数据集上使用几个人工注释的属性来形成一个嵌入空间，以探索更大的图像集我们使用嵌入空间在庞大的互联网规模的数据集上标记属性和样式然而，我们的目标不是标记本身，而是发现有趣的地理时间趋势及其相关样式。视觉发现。虽然不太常见，但已有一些先前的研究使用视觉分析来识别趋势。 早期的工作使用低级别的图像特征或挖掘视觉上独特的补丁[9，29，8]来预测地理空间属性，如城市的感知安全[2，25，26]，或生态属性，如雪或云覆盖[41，34，24]。视觉识别的进步使得更复杂的分析成为可能，例如通过识别街景中汽车的品牌和型号来分析人口统计数据[10]。然而，虽然这项工作令人兴奋，但重点是使用视觉来预测已知的地理空间趋势，而不是发现新的趋势。使用视觉识别来为发现和预测未来提供动力的概念尚未得到这方面的一些初步研究集中在面部[16，27，11]和医疗环境中的人类活动[21]。然而，这种先前的工作主要集中在数据的描述性分析和手动探索以发现有趣的趋势。相比之下虽然我们的工作集中在时尚领域，但我们的想法也可能适用于其他应用。时尚趋势分析。趋势分析也413图2：方法概述。(a)来自多个城市的互联网图像的属性识别和风格发现[23]为我们提供了时间趋势。（b）我们将可解释的参数模型拟合到这些趋势中，以描述和预测（红色曲线是用于预测的拟合趋势）。(c)与参数模型的偏差被标识为事件（红点）。(d)我们识别特定于每个事件的文本和样式。应用于时尚领域，是我们工作的重点通常，先前的工作已经考虑了小数据集，例如来自纽约时装秀的走秀图像[14]。在分析较大的数据集时，发现了有趣的趋势，例如马尼拉“高跟鞋”的流行度突然增加 Matzen等人 [23]通过对上传到社交媒体的公开可用图像进行杠杆化处理，显著扩大此类趋势发现的范围。我们在这项工作中建立在StreetStyle数据集的基础上。然而，这些论文中的空间和时间趋势的分析通常是描述性的，并且它们用于发现需要大量的人工探索。第一个问题部分地由Al-Halah等人解决。 [1]，他们试图对时尚趋势进行定量预测，但其时间模型的表达能力有限，迫使他们提前一年做出非常粗略的年度预测。相比之下，我们提出了一个表达性的趋势参数模型，可以提前6个月此外，我们提出了一个框架，自动发现的自动-matically表面有趣的离群事件进行分析。3. 方法我们的总体管道如图2所示。我们首先描述我们的数据集和时尚属性识别管道，我们从StreetStyle [23]中改编，然后描述我们的趋势分析和事件检测管道。3.1. 背景：数据集和属性识别我们的数据集使用来自两个社交媒体网站的照片，英仕格 和Flickr。特别 是，我们从Matzen 等人基 于Instagram的StreetStyle数据集开始。[23]和图3：观察到的趋势的两个例子可以看出，趋势通常具有季节性变化，但周期性趋势不一定是正弦曲线。趋势还可以涉及线性分量（例如，随着时间的推移，开罗的连衣裙发病率下降绿色条表示每周的95%扩展它以包括Flickr 100M数据集的照片[32]。应用于StreetStyle的相同预处理也应用于Flickr 100M，包括将照片分类为6大洲的44个主要世界城市，人体和面部检测以及规范裁剪。详情请参阅[23]。总的来说，我们的数据集包括来自世界各地的770万张图片。Matzen等人还在StreetStyle数据集的27k子集上收集服装属性注释[23]。在他们的工作中，我们使用这些注释来训练多任务CNN（GoogLeNet [31]），其中单独的头部预测单独的属性，例如，一个头部可以预测该训练还具有在网络的倒数第二层中自动产生图像嵌入的效果，该网络将类似的服装属性和这些属性的组合（此后称为“样式”）我们采用这些属性分类器，并将它们应用于完整的未标记的770万人图像集。我们为每个城市的每个属性产生一个时间趋势，通过计算每个星期，该星期和城市的所有照片中的属性的平均概率每个图像的概率是通过验证集上的保序回归校准后的CNN预测得分得出的[23]。3.2. 趋势特征考虑到每个城市每周的服装属性趋势，我们希望（a）以人类可解释的方式描述这种趋势，以及（b）对未来趋势的走向做出准确的预测图3显示了两个随时间变化的属性趋势示例我们在这些例子中观察到几种行为首先，有两个粗层次的趋势，延长了几个月或几年41452图4：我们使用m形式的函数CYCeksin（ωx+φ）−k参数直观意义r线性和周期趋势clin长期偏倚mlin受欢迎程度的长期上升/下降率周期性尖峰k周期性尖峰ω周期性尖峰φ周期性尖峰作为我们的周期成分，因为它能够模拟海-sonal spikes该图显示了三个k和mcyc值的函数。为了便于比较，所有三个函数都已居中并重新调整为相同的动态范围。(e.g.、德里多层穿着的季节性周期）以及在数天或数周内 发生 的 精细 尺度 尖 峰（ 例 如， 2014 年 12月 的峰值）。第二，粗趋势通常具有很强的周期性成分，通常受不同季节的影响。第三，周期性的趋势通常由人气的上升（图3顶部）或下降（图3底部）组成，而不是均匀的正弦上升和下降。第四，在某些情况下，这种周期性的趋势叠加在一种更为渐进的增长表1：所有参数此参数模型中的全套参数为θ={r，m_cyc，k，ω，φ，m_lin，c_lin}。表1提供了这些参数的直观描述。因为每个参数都是可解释的，我们的模型不仅可以预测，我们不仅要了解未来的趋势，而且要发现有趣的趋势并分析它们，正如我们在4.1节中所展示的那样。我们通过解决以下非线性最小二乘问题，将上述模型的参数θ拟合到每个城市每个属性的周趋势Σ。f（t）− T（t）<$2或受欢迎程度下降，如图3（底部）。我们试图找出粗糙的、缓慢变化的趋势θ*= argminθtθσ（t）（四）受季节性周期或受欢迎程度的缓慢变化以及节日（圣诞节，中国新年）或体育赛事（FIFA世界杯）等事件可能引起的细粒度峰值控制前者可能告诉我们在不同季节里，一个特定地方的人们是如何穿着的，而后者可能揭示许多参与者的重要社会事件。我们首先拟合一个参数模型来捕捉缓慢变化的趋势（本节），然后将潜在事件识别为与预测趋势的大幅偏离（第3.3节）。我们使用参数模型f θ（t）对缓慢变化的趋势进行建模，该模型是两个分量的凸组合：线性分量和循环分量：fθ（t）=（1−r）·L（t）+r·C（t）（1）其中参数r∈[0，1]定义了每个分量的贡献。线性分量L（t）由斜率m_lin和截距c_lin表征：L（t）=mlint+clin（2）循环分量的标准选择是正弦曲线。然而，我们想捕捉向上和向下的波动，所以我们使用一个更有表现力的周期性成分：ksin（ωt+φ）−k其中，T（t）表示在特定城市/大陆/世界中第t周观察到的属性平均概率，σ（t）测量测量的不确定性（二项式置信度的我们使用信赖域反射算法[20]来最小化等式（4为了防止过度拟合，我们为ω设置了一个上限，以保持季节变化接近年度变化。我们将其设置为2π×2，允许在一年内最多有两个完整的正弦周期我们选择52是因为我们以周为单位来衡量时间。3.3. 发现事件给定拟合模型，我们现在描述我们如何在每个属性趋势中识别更细粒度的结构，并将这些结构与潜在的重要社交聚会相关联。特别是，我们感兴趣的是特定种类的服装的流行程度的急剧上升，这通常是由于一个事件。例如，人们可能会在比赛之夜穿一件特定的球衣来支持他们当地的球队，或者在圣路易斯穿绿色球衣。帕特里克节为了发现这样的事件，我们首先使用二项式假设检验来识别与拟合模型有较大正偏差的周，或离群值第t周的图像集被认为是一组试验，其中那些图像被分类为对于构成“成功”的属性是阳性的，零假设是概率-通过拟合的参数模型f（t）给出成功的概率。C（t）=m周期.（三）θ因为我们感兴趣的是正偏差当k接近0时，该函数表现得像（移位）正弦曲线，但对于更高的k值，它具有更多的峰值周期（图4）。ω和415Φ分别表示周期和相位为了满足预期，我们使用单尾假设检验，其中备择假设是成功的真实概率大于此预期。我们将异常值确定为周416p值为<0。05.我们使用p值的倒数（由s表示）作为离群值显著性的度量。然后，我们将发现的异常值与导致它们的社会事件（如果有的话）联系起来。要做到这一点，我们注意到，其中一些事件可能是重复的，年度事件（如节日），而其他事件可能是一次性事件（如节日）。FIFA世界杯）。因此，我们将事件形式化为一组离群值，这些离群值要么定位在几周内（一次性事件），要么被大约一年的时间间隔（年度事件，如阳历或日月历上的节日[37]）。为了确定我们检测到的异常值是否适合某个事件，我们需要一种方法来对候选事件进行评分。 如果我们有一个离群值序列g ={t1，. . . ，t k}中的特定趋势。modT）。c= 18，b= 15，∆max= 2和dmax= 5为常数。补充资料中解释了这些设置当g包含单个事件时，CT（g）被定义为1。C（g）给了我们一种对候选事件进行评分的方法，但我们仍然需要首先从发现的离群值中提出一组候选事件随着时间的推移，城市中可能存在多个事件（例如，圣诞节和中国新年），我们需要分开这些事件。我们认为这是一个分组问题：给定一组离群值发生在时间t1，。. . ，t n在特定城市的特定属性的趋势中，我们希望将集合划分为组。然后，每个组都是候选事件。 我们定义分区P={g1，. . . ，g，k}作为每个组的平均成本C（g，i）gi在分区中，并选择最小化cific城，我们怎么说，如果这组离群值是可能的是一个真实的事件吗在这一决定中有两个主要考虑 第一，事件这个成本：P= argminPΣiC（gi）|P|（八）必须是显著的，也就是说，它们应该与背景趋势的显著偏离相对应其次，它们应该具有上述的时间签名：所涉及的异常值应在时间上是局部的，或相隔大约一年。我们通过为每组离群值g={t1，. . .，t k}，使得较小的成本指示g是事件的较高的可能性。C（g）是两项的乘积：激励使用显著离群值的成本（我们使用离群值的平均显著性的倒数），以及测量与理想时间签名的偏差的成本CT（g）这是一个组合优化问题。然而，我们发现每个趋势都有很少的异常值，因此可以使用简单的枚举来最佳地解决对每个趋势运行这个优化问题会给我们一组事件，每个事件对应一组异常值。每个事件然后与成本C（g）相关联。我们将此成本的倒数定义为事件的显着性，并按显着性的降序对事件进行排名。挖掘事件的根本原因。为了得到每个事件的说明，我们分析了伴随图像数据集的图像标题。我们认为来自相关地点的图像被归类为积极的相关-C（g）=CT（g）s¯（五）我们收集了一年中所有的贡品，并将它们分为两个子集：那些在活动周内出现的，以及那些在其他时间出现的。出现在前者标题中而不是后者标题中的CT（g）考虑g中的连续离群值，并分配一个低如果这些连续的异常值在时间上彼此非常接近，或者非常接近于遵循一个年度周期，则会产生成本。如果连续的事件既不是最 近的（它们相隔的周数超过dmax），也不是年度或多年周期的一部分（它们错过周期的周数超过dmax），则成本设置为无穷大。具体地，我们定义CT如下：Σ|G| −1可以指示为什么该属性在那一周更受欢迎为了找到这些单词，我们进行TF-IDF [30]排序，将第一组的标题视为正面文档，将第二组的标题视为负面文档。图像在术语频率中最多可以对术语做出一次贡献。我们使用英语字幕进行此分析。3.4. 风格趋势分析CT（g）=i=1Cp（ti+1−ti）| − 1|− 1（六）我们还希望不仅在单个属性中识别趋势然而，可能的属性Cp（∆）=+c∆max+cd（∆）+bdmax+b如果∆∆max<如果∆≥T−dmax和d（n）
下载后可阅读完整内容，剩余1页未读，立即下载
