抄袭服装检索：基于区域表示和抄袭搜索网络的方法

1什么是抄袭：面向外观设计保护的基于区域表示的服装图像检索郎一宁1，袁贺1，范阳1，董剑锋2，3，薛慧1，阿里巴巴集团1，浙江工商大学2，阿里巴巴-浙江大学前沿技术联合研究院3摘要随着电子商务的快速发展和网上购物的普及，服装检索在计算机视觉领域受到了相当大的关注。与现有的研究主要集中在相同或相似的服装款式检索上不同，本文旨在研究学术界较为忽视的抄袭服装检索问题，而抄袭服装检索本身具有很大的应用价值。其中一个关键的挑战是，通常在原始设计的某个区域修改，以逃避传统检索方法的监督。为了缓解这一问题，我们提出了一种新的网络命名为抄袭搜索网络（PS-Net）的基础上区域表示，在那里我们利用地标来指导学习的区域表示和COM-时尚项目的区域。此外，我们提出了一个新的数据集命名为抄袭的服装检索，它提供了一个有意义的补充，现有的时尚检索领域。在Plagialized Fashion数据集上的实验表明，该方法在抄袭服装检索方面优于其他实例级方法，为原创设计保护提供了一种有效的方法。此外，我们的PS-Net还可以适应传统的时尚检索和地标估计任务，并在DeepFashion和DeepFashion 2数据集上实现最先进的性能。1. 介绍近年来，随着网络购物的兴起，时尚类作品越来越受到人们的关注基于深度学习的方法的快速增长进一步增强了时尚图像分类[30，34]，时尚地标检测[39，27]和时尚检索[45，4，49，31]的能力。传统的服装检索方法[26，16]通常在没有任何焦点的整个服装实例中进行相似性学习，这很容易受到不相关特征的干扰。最近的衣服回收* 通讯作者：Hui Xue（hui. alibaba-inc.com）.图1.与原始物品相同、相似和抄袭的衣服示例。方法[2，4，20，49]学习属性表示来指导检索，从而提高性能。不同于现有的方法[26，45，2，4，49]通常旨在检索视觉上相似或相同的衣服，我们专注于剽窃衣服检索的新问题。抄袭服装检索在学术界有些被忽视，而在工业界却有很大的应用价值相似衣服检索任务与剽窃衣服检索任务有些类似，因为一些检索到的相似物品可能是剽窃的。然而，抄袭的项目并不总是非常相似的原始时尚项目。如图1所示，抄袭的项目比与原始项目相似的项目相对更不相似因此，两个任务的检索目标是不同的。此外，在剽窃衣服检索任务中，地面实况图像可以与原始物品（在示例中为长袖T恤和短袖T恤）处于不同的但在相似或相同的这也表明，抄袭的衣服检索任务更具挑战性。其实，抄袭的服装非常复杂，形式也多种多样。例如，一个项目，只有抄袭的设计，某一部分，可以被认为是剽窃或在没有任何授权的情况下完全复制另一个项目的项目等。此外，抄袭的服装形式是动态的，因为山寨企业不断更新他们的抄袭方式.因此，很难用一个统一的定义来囊括所有的抄袭类型。作为针对衣物检索任务的第一项工作，我们首先定义了衣物检索的plagia-25952596图2.属性驱动检索方法的硬案例：无法识别的袖子（a& b）;无法识别的衣领（c&d）。作为在原始设计上的小于或等于两个区域中修改的样本的经修改的衣服（例如，改变衣领的形状，修改胸部区域内的图案）。这类抄袭的服装在电商平台中占据了很高的比例。此外，所定义的抄袭服装相对容易进行评价，从而有助于抄袭服装检索任务的研究在与时尚相关的作品[1，2]中，服装属性是常用的。但是，衣服属性具有一定的主观性，不太适合于抄袭衣服的检索任务.例如，很难判断袖子的长度或衣领的风格在一些硬的情况下，如图2所示。此外，对于一些有变形和遮挡的衣服，检索性能也明显下降.相反，衣服的几何特性是高度确定性的，并且可以保持变形和闭塞样品的稳定性。因此，我们提出了一种新的PS-Net的区域表示的基础上，服装地标被用来指导学习的区域表示和服装进行比较区域。此外，我们还发现不同类别的抄袭服装在不同的区域容易被修改。因此，我们希望为每个类别的衣服学习不同的区域权重组通过这样做，可以更容易地回忆具有修改区域的抄袭衣服图像。此外，没有可用于剽窃衣服检索任务的数据集。因此，我们收集了一个名为“Pla- giarized Fashion”的新数据集知识产权保护专业的专家。总之，我们的论文的主要贡献是：• 本文提出了一个新的抄袭服装检索问题，并提出了一个新的抄袭服装检索数据集对时尚检索领域有意义的补充• 本文提出了一种基于区域表示的多任务网络PS-Net，它是一种超任务网络。或到其它实例级对应物以检索剽窃的衣服。• 除了抄袭服装检索，我们提出的PS-Net也可以用于传统的时尚检索和地标估计任务，实现了状态-在DeepFashion [27]和DeepFashion2 [14]数据集上的最先进性能。2. 相关工作视觉时尚分析。近年来，随着电子商务和网络购物的兴起，视觉时尚作品引起了人们的广泛关注。随着大规模时尚数据集的发展[27，14]，基于深度学习的技术进一步提高了人们对时尚相关任务的兴趣，如服装识别[6，17，19]，检索[16，26，45，2，49]，建议[23，18]，衣服，论文[5，24]和时尚地标检测[28，39]。最近，一些多任务神经网络，如Fashion-Net [27]和Match-RCNN [14]甚至可以同时执行上述任务。早期的衣服识别工作[40，12]主要依赖于手工制作的功能，如SIFT [29]，HOG [11]。这些方法的性能受到其特征表示能力的限制。最近，已经引入了大量基于深度学习的模型来学习更多的区分表示[49，22]，甚至可以处理跨域场景[16]和近似重复检测任务[33]。此外，一些相关的工作已经使用解析进行服装检索[45，44]，或通过属性驱动的方法实现搜索[12，1，2，49]。然而，我们在实践中发现，对于抄袭服装的图像检索，由于抄袭服装的特点，现有的方法不够有效：修改小于或等于原始设计的两个区域。与上述工作不同的是，本文重点研究了抄袭服装检索这一新课题。据我们所知，本文是第一个工作，为plagiarized服装检索。此外，该任务旨在通过区域操作来检索剽窃的衣服，这在某种程度上与Deepfake检测任务[7，15]有相似的想法。地标引导注意力地标检测技术目前广泛用于许多任务，如人脸对齐[42]和人体姿态估计[36]。为了获得更强的服装特征表示，近年来提出了服装地标估计任务[28，46，39]。另一方面，注意技术也是获得更强特征表征的有效途径S.以前的工作[43，47，38]已经证明注意力机制是有帮助的，因为它使网络能够专注于关键特征并过滤掉不相关的特征。对于给定的图像，典型的注意力模型通过与注意力权重加权求和来学习获得一个完整的图像特征向量。然而，在这项工作中，我们更进一步，在预测地标的指导下将时尚物品划分为几个区域与所提出的区域注意，我们比较图像区域的区域，并发现它比典型的注意抄袭衣服检索任务。2597R rr图3.基于HR-Net主干（隐藏了一些卷积层），由地标分支和检索分支组成的拟议PS-Net的结构。两个输出特征图F∈R28×28×1024的骨干是相同的演示。在ROI池化过程中，将地标引导的区域注意力引入到检索分支。检索分支也分为两部分进行输出，一部分用于传统服装检索，另一部分用于抄袭服装检索。以绿色和红色为方框分别表示抄袭的衣服和相同的衣服3. 我们的方法我们的工作旨在检索图像的抄袭的衣服，修改在小于或等于两个区域的原始设计。 因此，关键是计算两幅服装图像之间的相似度。为此，我们提出了一个剽窃搜索网（PS-Net），它获得图像的区域表示，并计算区域的相似性。特别地，给定一幅衣服I的图像，我们提出用多个区域特征 f1（I）， f2（I），. fR（I），其中R是图像区域的数量。此外，我们从实践中发现，不同类别的服装在不同的地区容易被仿制。因此，我们想要学习区域权重（λ1，λ2，.λR），以便自动控制区域权重，实现抄袭服装的检索。最后，衣服I和I′的图像之间的相似性ΣRλcos（f（I），f（I′）），（1）r=1其中cos表示两个特征向量之间的余弦相似性。图3说明了我们提出的PS-Net的结构，它由主干，地标分支和检索分支组成。由于我们的PS-Net具有地标分支，因此它也可以用于时尚地标检测任务。在下文中，我们首先描述了我们提出的PS-Net的详细3.1. 网络架构网络骨干。在提出的PS-Net中，我们选择HR-Net[36]作为我们的骨干。它的多阶段部分，HR-Net结构简单，可以在深度网络中保持高分辨率，这对于地标估计任务尤为重要。注意，主链的选择不是强制性的，其可以由具有类似效果的任何主链（例如，ResNet [19]，VGG-Net [35]）。此外，如图3所示，PS-Net中的地标分支和在将衣服的图像馈送到骨干之前，我们首先检测图像中的衣服。因此，我们在DeepFashion 2 [14]数据集上训练了一个Faster R-CNN[32]（Res 50-FPN）模型作为检测器，以获取衣服及其类别标签。裁剪的图像是调整为224×224像素作为输入I。地标分行。我们设计了一个地标分支来预测每幅衣服图像上的地标。更具体地，我们将时尚地标估计任务转换为预测k个热图，其中每个第i个热图指示第i个地标的位置置信度。给定主干的输出特征图F，我们使用一个1×1卷积将其转换为28×28 ×128。 然后，利用几组转置卷积来实现，使用与输入相同的缩放比例绘制高分辨率地标热图。最后，我们使用回归器来估计选择地标位置的热图。区域注意力检索处。 另一方面，主干的输出特征图F被馈送到检索分支。在我们的实验中，我们首先在Deepfashion 2 [14]数据集上训练模型，以获得相同衣服图像检索的能力。之后，我们得到一个预训练的模型，用于抄袭衣服检索任务的进一步训练。利用地标分支实现的区域表示，我们微调的检索模型，通过操纵区域的权重。我们终于可以2598类别袖子套环胸部腰总和t恤百分之十二占6%百分之七十二百分之十15,300顶部百分之十三百分之三十四百分之三十八百分之十五15,500外套百分之二十五百分之二十一百分之三十三百分之二十一14,200裙子占6%百分之十七百分之二十一百分之五十六15,000图4.标志点引导区域划分的可视化。估计五个边界框，分别覆盖最大的分割区域。获得一个检索模型，该模型具有两种类型的- m输出，即由界标分支产生的注意力通过以下过程被引入到检索分支：首先，我们把这些表示的串联去掉-把F∈ R28×28×1024放在骨架上，表1.在我们提出的抄袭时尚数据集中，不同类别的抄袭服装之间的修饰区域分布地面实况热图通过应用以每个地标的位置为中心的具有1个像素的标准偏差的2D高斯来生成对于基于区域注意的检索分支，我们使用了检索任务中常用的三重（三重）排序损失[13，48]。损失的形式定义为ΣR下采样地标信息M∈ R28×28×32为L（I，I+，I−）=max（DI，I+−DI，I−+m，0）（2）IJ输入. 第二，我们重塑输入注意力图A，28×28×1024，具有检索的目标规模三R rr=1ΣN分公司然后，受以前的时尚分析工作的启发[25]，注意力被引入到检索分支，′Ltra =n=1L三 （I，I+，I−）（3）制作F=F（1/2 +A），其中代表阿达玛其中，I对应于输入图像，N是数量。产品通过向注意力特征图添加1/2，元素的范围变为（1/2，3/2）。关键的fea-训练样本的个数，R是区域的个数，m表示边缘。损失的目的是尽量减少元素大于1时，结构得到强化，而IR-DI，I+为||f（I）−f（I+）||最大化DI，I−=rr r2r通过小于1的元素过滤掉相关特征例如，在关键区域（如袖口和衣领）周围的标志可以指导特征的提取，这使得这些关键特征有更多的可能性保留。为了学习剽窃检索任务的区域表示，我们进一步将时尚物品划分为几个区域，如图4所示，在预测地标的指导五个边界框被估计为建议区域，它们分别覆盖最大的分割区域然后，我们实现了一个ROI池-ING的基础上提出的区域的Hadamard产品的特征图通过这种方式，地标引导的区域注意被引入到检索分支，并且输入图像I由多个区域特征表示与之前在per-son re-ID领域的工作[50]不同，该工作通过RPN [32]网络生成区域以进行特征分解，我们直接通过地标输出的分布来划分区域这样，我们的方法产生的区域是明确的，而不是implicit，这是更可控的地标估计的高精度。3.2. 优化我们的方法的优化过程可以分为两个阶段：预训练阶段和微调阶段。预训练阶段。对于地标分支，我们选择均方误差（MSE）作为损失函数。的2599||二、||2. fr（I+）和fr（I-）表示对应于区域r的图像I+和I-的分别请注意，三元组是从相同的小批次中选择的对于每个三联体：I和I+必须共享相同的标签，而I-是从其他标签中随机选择的。通过这样做，使得相同衣服的图像在特征空间中彼此接近。然后，我们还将区域表示（f1，f2，. f5）成为一个全球性的。连接特性用于获得图3中提到的一般来说，我们的方法能够通过利用地标引导的区域注意力来学习关键特征表示，这可以在训练过程中增加对特定区域的关注。此外，衣服的几何属性是高度稳定的，与属性驱动的预测相比，几乎没有错误的预测，这可以增强一些硬样本的检索性能（例如，具有变形和闭塞的样品）。微调相位。服装抄袭检索最具挑战性的问题是抄袭者通常会在原始设计的某个区域修改服装，以逃避传统检索方法的监督我们从实践中发现，不同类别的服装在不同地区容易被抄袭，如表1.一、因此，我们想学习不同类别的衣服的区域权重，以便自动操纵区域权重用于抄袭衣服检索。2600RR′′r r2在训练过程中，每个图像的衣服被分为-到5个区域（包括2个袖子）自动，由地标的几何分布的指导。在最后一个卷积层的输出特征上，施加如下所示的剽窃检索损失Lpla以实现区域权重学习，其与传统时尚检索：四类衣服：短袖T恤、长袖上衣、外套和连衣裙。它们的样本数量大致平衡。表1显示了不同类别的抄袭服装中修改区域的分布。由于短裤、长裤和裙子的设计辨识度不够，所以我们不包括这三类衣服。我们考虑在未来的工作中扩大服装类别，′L三（I，I+，I−）=ΣRr=1max（DI，I−-我，我 +m，0）·λr，（四）强大的设计保护能力。我们从亚洲最大的电子商务网站淘宝网上抓取数据集。鉴于一个原始的平均值{||fr（I）−fr（I+）||2;r= 1，2，. R}αtri=max{||f（I）−f（I+）||;r= 1，2，. R}，（5）N′衣服的形象，我们可以获得一组图像（前100）的通过传统的检索方法在网站上找到相似的衣服。然后，我们邀请了三位知识产权保护专业的专家来完成注释。LPLA =[Ln=1三（I，I+，I−）·α三 ]中。（六）专家需要对每组中的服装图像进行相同、抄袭或不相关的注释。如果是普拉吉亚-损失Lpla仅用于更新每个区域，该区域与′传统的检索任务。Ltri是基于三元组的损失，包含区域权重λr。αtri是损失函数Ltri的权重，在训练期间更新。通过αtri的调整，可以减小单个区域特征差异大，其他地区会更低。我们利用坐标上升作为我们的优化方法。每个区域的λr设置为1，具有步长开始时λ= 0.1。步长在40个时期后降至0.05，在60个时期后降至0.01。每个区域的权重在每个iter之前以步长采样（λr±λ→λ′）。每次迭代后，如果损失在修改衣服时，还需要在修改区域贴上标签。构建数据集的挑战是从大量相同的服装中标记出风格略有变化的衣服。5. 实验为了验证我们提出的PS- Net对剽窃时尚任务的有效性，我们在剽窃时尚数据集上对其进行了评估。此外，如前所述，PS-Net也可以适应传统的时尚检索和地 标 估 计 任 务 ， 因 此 我 们 还 在 DeepFashion 和DeepFashion 2数据集上进行了实验。r实现。我们提出的多任务网络重新-减小，则接受当前权重λr;否则重量回到λr。注意，五个的权重区域（包括2个套筒）总是按比例标准化以确保总和为1。迭代地更新每个区域的权重，以减少直到最后一个历元的损失。最后，我们也结合区域表示成一个全球的完成抄袭衣服的搜索。检索分支可以通过操纵特征的区域权重来召回更多部分修改的样本。请注意，四类衣服的区域权重是单独训练的。4. 抄袭时尚数据集时尚数据集（例如，DeepFashion [27]、Shopping100K [3]）为服装检索模型的训练提供了多种数据但目前还没有一个基准数据集用于检索抄袭的衣服。因此，在本文中，我们提出了一个新的数据集命名为抄袭的服装检索。该数据集总共包含60，000幅图像，其中40，000幅图像用于训练，20，000幅图像用于测试。其中1500张为查询图片，其余为图库图片。数据集包括要求对两个数据集进行培训：1）学习DeepFashion 2[ 14 ]数据集中13类衣服的地标估计和检索能力; 2）获得“合理”的区域权重，用于4类衣服的抄袭检索抄袭时尚数据集中的衣服。训练是按顺序进行的，最后，组合起来，以达到抄袭服装检索的目的。对于界标分支，初始学习率设置为0.001。它在第9和第12个历元以0.1的因子减小。训练在12个时期后完成。对于检索分支，初始学习率设置为0.001，并在第61和第71个时期以0.1的因子降低。训练在80个epoch后完成。具体来说，给定一个查询，从Plagiarized Fashion数据集中检索图像大约需要0.75秒。性能在具有64G RAM和GTX1080TI GPU的计算机上进行测试。5.1. 抄袭衣服检索实验设置。我们在Plagiarized Fashion数据集上进行抄袭服装检索。我们比较了我们的方法与传统的方法没有地标引导的区域注意，手动操作+2601图5.抄袭衣服检索结果示例。查询是具有原始设计的衣服图像，并且具有绿色框的目标召回是画廊中的抄袭衣服。对于每个查询，传统方法的结果如上所示，我们的结果如下所示。前10t恤前20地图前10外套前20地图前10顶部前20地图前10裙子前20地图前10整体前20地图PCB [37]0.3880.6100.3060.3900.6320.3210.3830.6670.3490.4010.6450.3340.3910.6400.328传统0.3950.6220.3130.3980.6400.3250.3900.6720.3530.4060.6500.3380.3970.6450.332手动0.5640.8030.4650.5320.7720.4010.5560.7930.4510.5320.7680.4290.5420.7830.443我们0.6270.8620.5130.5870.8340.4820.6130.8540.5050.5770.8270.4740.5970.8420.493表2.通过Top-K回忆和mAP评估剽窃检索的定量结果。我们将我们的方法与没有地标引导区域注意力的传统方法，没有学习区域权重的手动操作方法以及PCB [37]方法进行了比较，PCB[37]方法广泛用于近似重复检索任务。模型的其他设置相同。没有学习区域权重的方法，以及PCB [37]方法，该方法广泛用于近似重复检索任务。对于传统方法，我们将五个区域的权重默认设置为1。对于人工方法，我们收集了25名参与者的人工操作结果，并使用平均权重值来完成plagialized检索。具体来说，在我们提供的交互界面上，用户可以通过拖动滑块来降低或提高每个区域的权重。模型的其他设置是相同的的骨干）。通过Top-K召回率和mAP指标对三种方法的结果进行了评价。评价结果抄袭衣服检索的定量结果如表2所示。传统的重新评估方法在四类衣服上获得了0.645的前20名召回率和0.332的总体mAP，这与PCB [37]方法相似。手动方法-在召回率上有10%以上的提高，总体mAP为0.443，优于传统方法。然后，我们利用从训练中学习的权重来完成检索。我们的方法获得了0.852的前20名召回率和0.493的整体mAP四类衣服，这提高了一个大的幅度，相比其他同行的性能。特别是对于T恤和长袖上衣这两个类别，我们的方法得到的mAP分别为0.513和0.505，明 显 高 于 手 工 方 法 （ 0.465 ± 0.451 ） 和 传 统 方 法（0.313 ± 0.353）。结果可视化。图5显示了我们的方法和传统方法的两组剽窃检索结果。绿色框内的图像是正确的召回，这表明抄袭的衣服。对于T恤和长袖上衣类，抄袭者常用的伎俩是将logo替换为2602方法前10前20前30地图没有注意0.5670.8110.8540.466无操纵0.4130.6820.7430.361没有一0.3970.6450.6980.332我们的（人力资源网）0.5970.8420.8870.493我们的（包围）0.6020.8520.8930.501方法套环套筒腰下摆整体[27]第二十七话.0878.0954.0854.0818.0872DFA[28].0633.0640.0714.0661.0660DLAN[46].0591.0660.0699.0626.0643BCRNN[39].0410.0660.0513.0544.0484DAFE [9].0296.0362.0312.0398.0342我们.0293.0358.0310.0396.0339表3.消融研究的定量结果，由Top-K召回率和mAP。文本，添加马赛克或图案和翻转衣服印花。以第一个查询为例，在使用区域操作后，我们成功地召回了前10个结果中的5个抄袭样本。相比之下，对应方法只完成了前10名中的3次抄袭回忆。对于抄袭的服装样品，它通常不仅有一个小的局部修改，而是模仿整体风格。因此，这种量级的修改使得传统的检索方法很难完成召回。对于第二组查询，传统方法无法回忆起前10个结果中的任何抄袭衣服。通过操纵区域权重，我们可以在前10个结果中回忆起三个抄袭的样本。实验结果表明，该方法显著提高了抄袭服装的检索能力，并减轻了部分修改样本的召回难度总之，我们通过训练学习的区域权重是合理的，区域操作机制是有效的抄袭服装检索。5.2. 消融研究实验设置。我们对剽窃时尚数据集进行了消融研究。我们考虑的因素是：注意机制、区域操作和模型集成。通过Top-K召回率和mAP来评估结果评价结果。消融研究的定量结果如表3所示。我们方法的完整模型在剽窃时尚数据集上实现了0.842的前20名召回率和当我们将五个模型集成在一起时（初始学习率从0.0005到0.01），前20名的召回率增加到0.852，mAP变为0.501。当注意机制从完整模型中移除时，它达到了0.811的前20名召回率，mAP下降到0.466，这证明了注意机制对于检索任务是至关重要为了验证区域操作的效果，我们将学习的区域权重调整为默认值。前20名的召回率显著下降超过15%。最后，我们测试了没有上述任何组件的模型，前20名的召回率下降了约20%，表4. DeepFashion [27]数据集上衣服地标检测的定量结果，通过归一化误差（NE）进行评估最好的分数用粗体标出。抄袭的时尚数据集。从上述比较结果中，我们可以发现我们的方法的两个基本设计：摘要地标引导的区域注意和区域操作是剽窃服装检索的关键。此外，模型集成也是有益的。5.3. 地标估计实验设置。在DeepFashion [27]和Deep-Fashion 2 [14]数据集上进行地标估计实验。DeepFashion是使用最广泛的时尚地标数据集，拥有123，016个服装图像。在之前的工作[39]之后，我们使用标准数据集分割，并对40，000张图像进行评估。DeepFashion 2是目前最具挑战性的时尚地标数据集，每种类型的衣服都有不同数量的地标。它包含491，895张衣服图像，并对33，669张图像进行了实验评估。根据以前的方法[39，14]，通过归一化误差（NE）评估DeepFashion数据集的结果。DeepFashion2数据集的结果通过平均精度（AP）进行评估。评价结果。我们的方法在DeepFashion数据集上获得了0.0339的平均结果，如表4所示，这比以前的方法，如 D-LAN [46] （ 0.0643 ） ， DFA [28] （ 0.0660 ） ，Fashion-Net [27]（0.0872），BCRNN [39]（0.0484）和最近的方法，双重注意[9]（0.0342）。DeepFashion2数据集的结果见表5。请注意，我们在可见和包含的地标上进行实验由于DeepFashion 2数据集是一个没有比较方法的新数据集，我们将我们的方法与Simple-Baseline [41]和CPN [10]（两种最佳人类地标估计方法）的发布网络进行了我们的方法获得了0.633的总体AP，大大高于简单基线[41]（0.591），CPN [10]（0.579）和Match-RCNN [14]（0.563）。一般来说，我们的方法在两个时尚数据集上的地标估计任务中获得SOTA结果。实践表明，标志性分支的设计是有效的。2603方法小规模中度大轻微闭塞介质重没有放大介质大无磨损观点正面侧整体[14]第十四话0.4970.6070.5550.6430.5300.2480.6160.4890.3190.5100.5960.4560.563尼泊尔共产党[10]0.5120.6190.5600.6630.5420.2610.6250.5010.3300.5230.6210.4680.579[41]第四十一话0.5230.6320.5740.6710.5620.2770.6380.5120.3490.5430.6320.4850.591我们0.5810.6820.6330.7130.6060.3320.6910.5670.4080.5920.6790.5330.633表5. DeepFashion2 [14]不同子集的标志估计结果，通过平均精度（AP）进行评估。表现最好的部分用黑体标出。* 表示我们通过发布的网络实现的结果[10，41]。5.4. 传统检索实验设置。我们工作的主要目标是找回抄袭的衣服。另一方面，我们想证明地标引导的区域注意力也可以提高传统检索任务的性能。因此，我们使用与Deepfashion上先前方法相同的ResNet[19]主干来评估我们的[27]和DeepFashion2 [14]数据集。根据之前的方法[33，14]，在图6中绘制了（a）DeepFashion [27] 上 的 Top-K 重 新 调 用 和 （ b ）DeepFashion 2 [14]数据集上的Top-K准确度。Deep-Fashion提供了52，712张服装图像用于商店内的检索，而DeepFashion 2提供了一个具有491，895张图像的客户到商店应用程序场景。我们分别对26，830和33，669张图像进行了评价。评价结果。在DeepFashion数据集上，我们的方法在top-1处实现了0.889的召回率，这明显优于之前的检索方法，如DARN [21]（0.381），WTBI（0.347）[8]，FashionNet [27]（0.533），和各种形式的时尚网。在检索前50个结果时，我们的方法的召回率达到了0.991。Shin等人。[33]提出了一种用于时尚图像检索的半监督特征级操作。与我们相比，它实现了相同的前50名性能（0.991），但其前1名性能（0.887）低于我们。图6（b）显示了DeepFash-ion 2上的检索结果。我们的方法获得了0.745的前10名结果，远高于PCB方法[37]的结果（0.703），基于发布的模型实现。与Match-RCNN [14]（0.573）的最佳性能相比，我们的性能获得了18%的巨大提高。界标的几何分布允许模型在任何情况下都知道衣服的结构，这对于部分遮挡或变形的衣服尤其重要。巧合的是，这些样本经常在客户到商店的场景中遇到。Match R-CNN [14]方法也同时训练地标分支和检索分支，但它只累积损失函数，而不引入任何注意力。从结果可以看出，在相似性学习过程中引入地标引导的区域注意是非常有效的。总之，我们的方法实现了图6.传统衣物检索实验的结果绘制了（a）DeepFashion [27]上的Top-K召回率和（b）DeepFashion 2 [14]数据集上的Top-K准确率在In-Shops和Customer-to- Shops搜索上的最新效果，验证了我们的方法在不同应用背景和图像质量下的检索能力。6. 结论本文提出了一种新颖的服装原创设计保护中的流行服装检索问题，并提出了一种基于流行服装数据集的流行服装检索网络PS-Net，填补了流行服装检索领域的空白。我们提出了一个基于区域表示的注意网络，并让地标的几何信息指导相似性学习，这优于其他SOTA同行。设计了一种区域管理机制来解决抄袭服装的检索问题。我们在建议的数据集上学习不同类别衣服的区域权重，以便在相似性学习期间自动操纵区域权重通过这样做，具有修改区域的抄袭的衣服图像也可以被召回，这与其他方法相比具有显著的改善。总的来说，我们的工作可以有效地缓解抄袭服装检索的问题谢谢。这项工作是部分国家自然科学基金（ No.61902347 ） 、 浙 江 省 自 然 科 学 基 金（No.LQ19F020002）和阿里巴巴-浙江大学前沿技术联合研究院资助。2604引用[1] Kenan E Ak，Ashraf A Kassim，Joo Hwee Lim，and JoYew Tham. Fashionsearchnet：属性操作的时尚搜索。在ECCV，2018。2[2] Kenan E Ak，Ashraf A Kassim，Joo Hwee Lim，and JoYew Tham.学习属性表示与本地化灵活的时尚搜索。在CVPR，2018年。一、二[3] Kenan E Ak，Joo Hwee Lim，Jo Yew Tham，and AshrafA Kassim.面向基于属性的时尚搜索的高效多属性相似性学习在WACV，2018。5[4] Kenan E Ak，Joo Hwee Lim，Jo Yew Tham，and AshrafA Kassim.第一次约会穿哪件衬衫？一个灵活的基于属性的时尚查询系统。模式识别快报，2018年。1[5] Kenan E Ak，Joo Hwee Lim，Jo Yew Tham，and AshrafA Kassim. 时 尚 图像 的 属 性 操作 生 成 对 抗网 络 。 在ICCV，2019年。2[6] Ziad Al-Halah ， Rainer Stiefelhagen ， and KristenGrauman.时尚前卫：预测时尚的视觉风格。在IC中-简历，2017年。2[7] 艾琳·阿梅里尼，莱昂纳多·加尔泰里，罗伯托·卡尔代利和阿尔·贝托·德尔宾博.基于cnn光流的Deepfake视频检测。在ICCV研讨会，2019年。2[8] Huizhong Chen，Andrew Gallagher，and Bernd Girod.用语义属性描述服装。ECCV，2012年。8[9] 陈明，秦英杰，齐立哲，孙云泉。通过双注意特征增强改进时尚地标检测在ICCV研讨会，2019年。7[10] Yilun Chen，Zhicheng Wang，Yuxiang Peng，ZhiqiangZhang，Gang Yu，and Jian Sun.用于多人位姿估计的级联金字塔网络。在CVPR，2018年。七、八[11] Navneet Dalal和Bill Triggs。用于人体检测的定向梯度的直方图。在CVPR，2005年。2[12] Wei Di，Catherine Wah，Anurag Bhardwaj，RobinsonPira- muthu，and Neel Sundaresan.风格查找器：细粒度服装风格检测与检索。在CVPR研讨会上，2013年。2[13] Jianfeng Dong，Xirong Li，Chaoxi Xu，Shouling Ji，Yuan He，Gang Yang，and Xun Wang.用于零示例视频检索的双重编码在CVPR，2019年。4[14] Yuying Ge，Ruimao Zhang，Xiaogang Wang，XiaoouTang，and Ping Luo. Deepfashion2：服装图像的检测、姿态估计、分割和重新识别的通用基准。在CVPR，2019年。二三五七八[15] D a vidGuera和Ed wardJDelp。使用递归神经网络的深度帧视频检测在AVSS，2018年。2[16] M Hadi Kiapour ， Xufeng Han ， Svetlana Lazebnik ，Alexan- der C Berg，and Tamara L Berg.在哪里购买：在网上商店匹配街头服装照片。在ICCV，2015年。一、二[17] Xintong Han ， Zuxuan Wu ， Phoenix X Huang ， XiaoZhang ， Menglong Zhu ， Yuan Li ， Yang Zhao ， andLarry S Davis.全新的空间感知时尚概念发现。InICCV，2017.2[18] Xintong Han，Zuxuan Wu，Yu-Gang Jiang，and Larry SDavis.学习双向l- stms的时尚兼容性。在ACM MM，2017年。22605[19] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。二、三、八[20] Min Hou，Le Wu，Enhong Chen，Zhi Li，Vincent WZheng，and Qi Liu.可解释的时尚推荐：一种语义属性域引导的方法. arXiv预印本arX- iv：1905.12862，2019。1[21] Junshi Huang ， Rogerio S Feris ， Qiang Chen ， andShuicheng Yan.基于双属性感知排序网络的跨域图像检索。在ICCV，2015年。8[22] NaotoInoue，EdgarSimo-Serra，ToshihikoYamasaki，and Hiroshi Ishikawa.多标签时尚图像分类与最少的人的监督。InICCV，2017. 2[23] M Hadi Kiapour ， Kota Yamaguchi ， Alexander CBerg，and Tamara L Berg.潮人战争：发现时尚风格的元素2014年，在ECCV。2[24] 伊宁郎、袁鹤、董剑锋、范阳、回雪。Design-gan：由地标关注驱动的跨类别时尚翻译。在ICASSP，2020年。2[25] 刘静媛和卢红。深入的时尚分析与特征地图上采样和地标驱动的注意力。在欧共体-简历，2018年。4[26] 刘思、宋征、刘光灿、徐长生、卢汉卿、严水成.街道到商店：通过部件对齐和辅助设置进行跨场景服装检索。CVPR，2012。一、二[27] Ziwei Liu，Ping Luo，Shi Qiu，Xiaogang Wang，andXiaoou Tang. Deepfashion：通过丰富的注释实现强大的服装识别在CVPR，2016年。一、二、五、七、八[28] Ziwei Liu，Sijie Yan，Ping Luo，Xiaogang Wang，and Xiaoou Tang.野外时尚地标检测。在ECCV，2016年。二、七[29] 大卫·G·洛从尺度不变关键点中提取独特的图像特征。IJCV，2004年。2[30] Yongxi Lu ， Abhishek Kumar ， Shuangfei Zhai ， YuCheng，Tara Javidi，and Rogerio Feris.多任务网络中的完全自适应特征共享，并应用于个人属性分类。在CVPR，2017年。1[31] 马哲，董剑锋，张耀，龙仲子，袁贺，薛慧，季寿龄。基于属性特定嵌入