深度变分度量学习Xudong Lin，Yueqi Duan，Qiyuan Dong，Jiwen LuJian，and Jie Zhou清华大学，北京100084stein6@163.com，{duanyq14，dqy15}@mails.tsinghua.edu.cn，{lujiwen，jzhou}@tsinghua.edu.cn抽象。深度度量学习最近得到了广泛的研究，它训练深度神经网络来产生有区别的嵌入特征。大多数现有的方法通常强制模型对类内方差进行标识，这使得模型过度拟合训练集，以最小化这些特定变化的损失函数，并导致对未知类的泛化能力较低然而，这些方法忽略了一个事实，即在中央潜在空间中，类内方差的分布实际上是独立于类的。在本文中，我们提出了一个深度变分度量学习（DVML）框架来显式地建模类内方差并解开类内不变性，即类中心。通过学习类内方差的分布，我们可以同时生成有区别的样本以提高鲁棒性。我们的方法适用于大多数现有的度量学习算法，并且在包括CUB-200-2011，Cars 196和Stanford Online Products在内的三个基准数据集上进行的广泛实验表明，我们的DVML显着提高了当前流行的深度度量学习方法的性能。关键词：度量学习·变分自动编码器·判别样本生成。1介绍度量学习的目的是学习一个距离具有协变关系的映射。一个好的度量产生嵌入，其中来自同一类的样本具有小的距离，而来自不同类的样本具有大的距离。最近的监督度量学习方法通过设计采样算法[10，34，18，21，24，8，40，37]或修改损失函数[36，18，7，23，33，37，3]揭示了深度卷积神经网络作为非线性映射函数的潜力。这些方法通常共享更好地最大化类间距离和最小化类内距离的相同动机。在这一动机的背后，实际上是一个基本假设，即来自同一类的每个样本共享相同的嵌入特征。然而，这个假设真的准确吗在本文中，我们提供了一个否定的答案。实际上，存在类内方差，诸如姿态、视点、照明等，并且鲁棒模型应当通讯作者2X. Lin，Y.段角Dong，J.Lu和J.周Fig. 1. 我们的见解：在中心潜空间中，类内方差的分布与类无关。这是在Cars 196测试上使用Barnes-Hut t-SNE [30]对N对损失[23]学习的特征的中央潜在空间的可视化集每个图像的边界框的颜色表示类别标签。在这里，我们通过从样本的特征中减去样本的类中心来构造中心潜在空间。我们假设并验证了原始图像的类似变化，如相同的姿势变化或相同的视点变化，以类似的方式影响它们的特征。(Best放大时查看。）能够处理这些差异。然而，给定有限的训练集，如果我们强制深度模型对这些类内方差不加区分，那么深度模型很容易过度拟合。例如，在图像分类中，如果对象区域的光照在不同样本之间变化太大，则模型可能被训练为忽略这些重要部分，而是对训练样本进行分类。从他们的背景中提取样本。这导致泛化能力差。因此，这种假设是理想的，但不实际。我们的观点是，类内方差的分布实际上是独立于类的。很明显，对于每个类，可能的类内方差来自完全相同的集合。如图所示1，来自不同类别的样本中的类似姿势变化导致中心潜在空间中的聚类。此外，如果我们知道类内方差的分布，那么我们可以通过添加类内方差来从简单样本生成潜在的硬样本。 因此，我们可以自信地提出我们修改后的假设：同类样本的特征嵌入分为两部分;一个表示类内不变性，另一个表示类内方差，它服从不同类之间的同分布。在本文中，我们提出了一个深度变分度量学习（DVML）的框架工作，根据这一假设。利用变分推理，我们可以强制条件分布的类内方差，给定一定的图像样本，各向同性的多元高斯。此外，我们可以利用大多数当前的度量学习算法来训练类内不变性。具体而言，DVML的训练过程同时受到以下四个约束深度变分度量学习3损失函数：1）学习分布与各向同性多元高斯分布之间的KL散度; 2）原始图像和解码器生成的图像的重建损失; 3）学习类内方差的度量学习损失; 4）采样的类内方差和学习的类内不变性的组合的度量学习损失。前两个损失确保类内方差共享相同的分布，并且确实包含每个图像样本的样本特定信息第三个确保类内不变性表示每个类的良好类中心，并且第四个确保类之间的据我们所知，这是第一个工作，利用变分推理来解开类内方差，并利用分布来生成有区别的样本，以提高鲁棒性。值得注意的是，我们的框架也适用于硬负挖掘方法。此外，在包括CUB-200-2011、Cars 196和Stanford Online Products在内的三个基准数据集上的实验结果表明，DVML1显著提高了现有深度度量学习算法的性能。2相关工作近年来，度量学习研究取得了很大进展[6，10，35，9，41，39，15]在传统的度量学习算法中，我们的目标是学习线性马氏距离来度量样本的相似性[19，20，5，36，1]。以前的一些作品[38，32]也试图将度量学习公式化为变分推理问题，同时关注成对距离的分布也有人尝试将潜变量和度量学习相结合[26]，而在这项工作中，潜变量是从图像中裁剪的补丁的特征。最近，深度神经网络的度量学习已经被密集地探索。主要有两个主题：抽样方法和损失函数。通过采样方法[10，34，18，21，24，8，40，37]，我们的目标是挖掘提高鲁棒性的样本。例如，Wu等人 [37]提出了一种距离加权采样方法。通过损失函数[36，18，7，23，33，37，3]，我们的目标是充分利用小批量中的数据来学习类之间的判别边界。例如，Song等人。 [23]提出了一种利用整个训练批次的N对损失。也有关于合成阴性样品的工作。在[16]中，他们为每个类生成了一个代理，代表了该类的严格上限。然而，这与我们在训练过程中同时生成硬样本不同，这更好地揭示了容易负样本的潜力。受中心极限定理和最近的工作[12，14，29，2]的启发，我们开始考虑类间的不变性在[4]中，他们还使用各向同性高斯模型对类内方差进行建模，而它是基于每个类共享相同先验概率的假设 协方差，它的目的是解决长尾数据集样本之间的不平衡。核心区别在于我们解开了类内方差1代码即将在https://github.com/XudongLinthu4X. Lin，Y.段角Dong，J.Lu和J.周z类内I不变性培训目的z类内KL-发散V方差重建损失特征提取器发生器采样解码器μ对数σ2从添加CNN高斯zV合成特征歧视综合特征培训样品z我完全连接层损失输出歧视类内不变特征测试图二. 我们提出的DVML框架。以主干特征提取器的输出作为输入，以下层由两部分组成。上半部分是为了模型类内方差，它只在训练过程中起作用。特征提取器之后的第三个全连接层用于学习类内不变特征zI，即类中心，这也是我们模型的输出。该Gen-erator将类中心zI和从学习的分布N（z V;μ（i），σ2（i）I）中采样的特征作为输入，然后输出它们的元素求和作为合成的判别样本。为了减少计算量，我们重构了作为主干特征提取器的输出的1024维特征，而不是整个图像。（放大后效果最佳。）和班级中心。在[4]中，它们只学习给定输入图像属于某个类的条件概率。相反，DVML是的判别模型和生成模型，其中前者输出 类中心，后者拟合类内方差。我们的DVML能够通过分解类内方差和类中心，并生成潜在的硬样本和正样本来提升当前的度量学习方法。3该方法在传统的度量学习方法中，类内方差和类中心纠缠在一起，这给度量学习算法的进一步改进带来了两个限制：• 给定类内具有大范围方差的有限数据集，当前的度量学习方法容易过拟合并且失去对未见过的类的区分能力;• 在不解开类内方差和类中心的情况下，当前的方法ODS通过探索类之间的边界来学习度量，这意味着大量容易的负样本对训练过程贡献很小我们探索了一种超越这两个限制的方法，提出了深度变分度量学习（DVML）框架。在本节中，我们首先回顾深度变分度量学习5+当前的深度度量学习方法，并介绍了变分推理类内方差分布。在解释了判别样本生成之后，我们给出了深度变分度量学习的全貌。最后介绍了具体的实现细节。3.1预赛最近流行的大多数深度度量学习算法优化适当的目标函数L以获得深度神经网络F的参数。φF=argminLm（φF; X，F），（1）F这里X代表整个训练集。在训练过程中，我们通常构建小批量的训练数据，Xb。根据小批量生产的不同构造方法，设计了不同类型的目标函数。主要有三种类型的方法来构建小批量：基于对、基于三重和基于批。在基于对的mini-batch构造中，mini-batch由正样本和负样本对xp和xn组成。在基于三元组的小批构造中，小批由三元组组成在一个三元组中，有三个样本，负xn、正xp和锚xa。正片和锚点具有相同的类标签，底片来自其他类。在基于批处理的小批处理构造中，我们知道每个样本的类信息。许多硬否定挖掘算法也是基于批处理的，因为它们通常必须利用类信息来挖掘小批处理中的硬对或三元组在这些小批量构造方法中，当前的大多数目标函数旨在强制负样本远离正样本。我们使用以下损失作为我们的基线方法。基于三联体，三联体[36，18]：∑NLm=max（α+D（z（i），z（i））2−D（z（i），z（i））2，0），（2）i=1（一）（p）（一）（个）其中z（i） =F（x（i）），z（i）=F（x（i））和z（i）=F（x（i））. 这里x（i），x（i），x（i）（p）（p）（一）（一）（个）（个）（p）（个）（一）表示正样本、负样本和锚样本。η是数字三胞胎D（z（i），z（i））是从图像嵌入的特征之间的距离样品（p）（个）基于批次，N对[23]：1∑N∑Lm=log（1+exp（z（i）Tz（j）−z（i）Tz（i））），（3）Ni=1正+ +j=i其中zi=F（x（i）），并且蝙蝠ch由x和x+组成。这里x（i）和x（j）是从同一个类，只有当i=j。6X. Lin，Y.段角Dong，J.Lu和J.周VθIkθIkV基于批处理的三元组2，距离加权采样[37]：∑NLm=max（α+D（z（i），z（i））−D（z（i），z（i）），0），（4）i=1（一）（p）（一）（个）其中z（i）（一）（p）（个）对小批量进行加权采样。根据[37]，这种损失比上述三重态损失表现得更好。3.2类内方差我们的洞察力，类内方差的分布是类间不变的，我们可以解开类内方差和类内不变性。因此，我们的模型可以更明确地学习适当的类中心，并具有对大范围的类内方差的鲁棒由于很难直接表示类内方差，而不需要额外的姿态、视点、光照等注释，因此我们参考了生成模型的设置。人们很自然地认为，从良好的类内方差和类中心的总和，我们可以重建原始图像。具体而言，给定X =（x（1），···，x（n））作为数据集，由来自M个类别的N个图像组成，我们假设数据是由随机过程生成的，涉及未观察到的连续随机变量z=zV+ zIk，其实际上是给定样本的嵌入特征该过程包括三个步骤：（1）从某个条件分布p*（z）生成值z（i）其是来自类别k的样本i的类内方差;（2）z（i）是类内方差，来自类别k的样本i的不变性，并且z（i）等于z（i）和z（i）的和;（3）V Ik图像x（i）由某个条件分布p*（x）生成|z）。这里，我们假设先验p *（z）和似然p *（x z）是gen-|θ θ由某些参数分布族pθ（z）和pθ（x）导出|z）。由于我们同时学习了类内方差和类内不变性，所以这里对于来自类别k的样本i，其z（i）是确定性的。因此，所有与z相关的分布都可以看作与zV相关的分布。使用类似于VAE [12]的Monte Carlo估计量，我们可以得到用于类内方差建模的近似损失L（θ，φ;x（i））≈−DKL（q（zV|x（i））||pθ（zV））+1∑LLl=1logpθ（x（i））|z（i，l））。（五）设zV的先验分布为中心各向同性多元高斯分布pθ（zV）=N（zV; 0，I）。对于近似后验，我们假设它是一个具有对角协方差的多元高斯。logq（zV|x（i））=N（zV;μ（i），σ2（1）I）.（六）深度变分度量学习7我们使用全连接层的输出来近似平均值和S.D.（一）后，后（一）后（二）后（三）后（四）后（五）后（五）后）（五）后（五）（五）后）（五）（五）后）（五）（五）（六）（五）后）（五）（五）（六）（五）后）（五）（六）（五）后）（五）（五）（六）（五）（使用重新参数化技巧，我们最终可以得到目标的前两项。L（θ，φ;Xb） ≈1∑B∑J（1 + log（（σ（i））2）−（µ（i））2−（σ（i））2）2Bi=1 j=1j j j1∑B∑L+ TBlogpθ（x（i））|z（i，t））i=1 t=1L1+L2，（7）其中T是生成迭代的次数，B是小批量的批量大小。L1强制类内方差的分布为各向同性中心高斯分布，并且L2确保类内方差保留样本特定信息。衍生细节见补充资料。此外，为了简单起见，在训练过程中，我们使用L-2距离代替原始的最大似然估计来处理解码项pθ（x（i） ）|z（i，t）），其中给出了简化项：L1= 1∑B∑J（1 + log（（σ（i））2）−（µ（i））2−（σ（i））2），（8）2Bi=1 j=11j j j∑B ∑TL2=TB||二、||2.（九）i=1 t=1x（i）表示原始图像样本，并且x（i，t）是从分布N（zV; μ（i），σ2（i）I）采样的类内不变性特征和类内方差特征之和确定大小的fak样本。3.3判别样本生成正如我们之前提到的，大多数当前的度量学习算法都无法揭示简单样本的全部潜力。然而，通过学习类内方差的分布，我们可以通过将容易样本的嵌入特征与从类内方差分布中采样的有偏项相加由于我们已经学习了类内方差的近似条件分布N（zV;μ（i），σ2（1 ）I），因此自然会提出一个想法：我们也可以从这个分布中抽取样本来构造合成的嵌入特征，并将它们作为度量学习损失函数的输入。L3=Lm（z），（10）其中z=zIk+zV，并且zV在跨类方差特征中采样。 通过z/k，我们想要强调不同的类具有不同的类内方差，但是我们不计算类上的类中心。8X. Lin，Y.段角Dong，J.Lu和J.周表1. Cars196数据集上的聚类和检索性能（%）比较方法NMIF1R@1R@2R@4R@8三重[36，18]56.221.358.568.877.184.2DVML+三联体61.128.264.3 73.779.285.1N-pair [23]62.931.972.379.986.890.9DVML+ N对66.0 34.680.4 85.8 91.895.1对比[7]44.811.235.847.559.771.5取消[25]60.027.970.079.586.892.0角度[33]61.230.870.180.286.791.6三重峰2+DWS [37]65.434.378.985.691.094.7DVML+三联体2+DWS67.6 36.8 82.0 88.4 93.396.3HDC [40]--73.783.289.593.8代理-NCA [16]64.9-73.282.486.488.7记住类内方差的分布与类无关，我们可以自信地得出结论，这些合成的嵌入特征包含比原始样本更大的类内方差范围，并且训练 将为我们带来一个更强大的模型。这里有一个简单的例子。在类别A中，原始样本仅包含视点变化，并且在类别B中，原始样本仅包含照明变化。与仅使用原始样本训练的当前模型不同，我们的模型对包含视点变化和光照变化的不可见类也具有鲁棒性。3.4深度变分度量学习最后，我们有我们提出的DVML框架的全貌。除了上述三个损失函数项之外，我们的最终目标还包含类内不变性的约束项：L4=Lm（zI），（11）其中zI是类内不变性特征，也是我们的模型在测试中的输出。这个术语强制类内不变性，即类中心，是有区别的。值得注意的是，这里我们不计算类中心。我们称它们为类中心，因为我们已经将这部分从类内方差中分离出来。因此，我们的方法适用于当前大多数深度度量学习算法。最终的目标函数是：L= λ1L1+ λ2L2+ λ3L3+ λ4L4。（十二）深度变分度量学习9表2. Stanford Online Products数据集上的聚类和检索性能（%）比较方法NMIF1R@1R@10R@100三重[36，18]86.520.254.971.585.2DVML+三联体89.0 31.166.582.391.8N-pair [23]87.927.166.482.992.1DVML+ N对90.2 37.170.085.193.7对比[7]83.510.437.452.769.4取消[25]88.430.665.281.391.7角度[33]87.726.466.882.892.0三重峰2+DWS [37]89.031.166.882.091.0DVML+三联体2+DWS90.8 37.2 70.285.293.8HDC [40]--69.584.492.8代理-NCA [16]--73.7--通过简单地将采样方法应用于原始特征和合成特征，或者用自定义损失函数替换Lm，我们可以将我们的方法与大多数当前的度量学习方法相结合。在此，我们要强调我们的贡献。首先，据我们所知，这是第一个解开类内方差和类内不变性的工作，这使得可以通过同时最小化L4来明确学习适当的类中心。第二，不同于以往的硬负-针对传统的分类器挖掘方法忽略大量容易出现的负样本的缺点，利用学习到的类内方差分布，生成包含整个训练集上可能的类内方差的判别样本。它很明显，我们的判别样本生成完全不同于传统的数据增强方法。我们同时产生的潜变量，即嵌入功能，在训练过程中。更重要的是，我们的合成样本具有整个训练集的方差3.5实现细节我们在Chainer [28]上实现了所有比较的基线方法和我们的方法，其中GoogLeNet [27]在ILSVRC2012 [17]上预先训练作为公平比较的骨干。在标准的数据预处理之后，我们首先将图像归一化为256×256，然后执行随机裁剪和水平镜像以进行数据增强。我们在GoogLeNet的平均池化层之后添加了三个并行的全连接层，具有相同的输出维度，是所需的嵌入大小。其中两个用于近似μ和 logσ2。另一个的输出是类内方差。对于重建部分，由于图像重建的代价很高，我们使用了MSPs的输出特征10X. Lin，Y.段角Dong，J.Lu和J.周表3. CUB-200- 2011数据集的聚类和检索性能（%）比较方法NMIF1R@1R@2R@4R@8三重[36，18]52.719.839.851.963.774.5DVML+三联体55.5 25.043.7 56.0 67.876.9N-pair [23]60.127.150.663.173.882.2DVML+ N对61.128.552.5 64.9 75.384.1对比[7]43.811.032.844.155.269.4取消[25]56.822.947.860.171.481.9角度[33]58.327.850.664.174.183.2三重峰2+DWS [37]58.024.849.861.673.283.6DVML+三联体2+DWS61.4 28.8 52.765.175.584.3HDC [40]--53.665.777.085.6代理-NCA [16]59.5-49.261.967.972.4GoogLeNet我们使用两个完全连接的层，输出维度分别为512和1024作为解码器网络，其中tanh用作激活函数。我们随机初始化所有添加的全连接层。培训过程分为两个阶段在第一阶段中，为了嵌入部分的稳定性，我们从解码器网络中切割梯度的反向传播 我们根据经验设置λ1= 1，λ2= 1，λ3= 0。1，且λ4= 1。在第二阶段，我们释放约束并根据经验设置λ1= 0。8，λ2= 1，λ3= 0。2，且λ4= 0。8.由于[25]中的实验研究表明嵌入大小不会在很大程度上影响性能，因此我们遵循[33]并在所有实验中将嵌入大小固定为512对于基于对和基于批的输入，我们将批大小设置为128，对于三元组输入，设置为120 对于判别样本生成的迭代，我们在整个实验中设置T = 20。 为了优化目标，我们将Adam [11]作为优化器，并将训练率设置为0。00014实验为了证明我们的DVML的effectiveness，我们进行了实验三个广泛使用的数据集检索和聚类任务。4.1设置我们遵循[25，24，33]，以零射击的方式为所有数据集分割训练集和测试集。深度变分度量学习11P+R（H（X）+H（C））表4.三个数据集的平均p值和相对偏差（%）火车中国人196Cub-200-2011产品三重p值七十六。00±1。25七十六。87±1。4283岁87 ±8。24三重79.9986.1473.10DVML+三联体40.7544.5044.48测试中国人196Cub-200-2011产品三重p值74岁87 ±2。29七十七。01±1。1983岁75 ±8。12三重97.98105.8073.46DVML+三联体57.0857.5646.94• CUB-200-2011数据集[31]包含来自200种鸟类的11，788张图像我们将前100个类中的5，864张图像用于训练，其余100个类中的5，924张图像用于测试。• Cars196数据集包含196种汽车类型的16，185张图像。我们将前98个类的8，054张图像用于训练，其余98个类的8，131张图像用于测试。• 斯坦福在线产品数据集[25]包含22，634个产品的120，053张图像。我们将前11，318个类（59，551 张图像）用于训练，其余11，316个类（60，502张图像）用于测试。在检索任务中，我们计算在R个最近邻中至少有一个样本来自同一类的测试样本的百分比在聚类任务中，我们报告NMI [25]得分和F1[25]得分 。 对 于 匪 I ， 输 入 是 群 集 Ω={ω1 ， ··· ， ωK} 的 集 合 和 地 面 真 值 类C={C1，···，CK}。ωi指示被分配给第i个聚类的样本，并且是具有地面真值标签j的样本的集合。NMI是互信息和集群的平均熵和地面真相：NMI（Ω，C）=2I（Ω;C）。F1得分定义为精确率和召回率的调和平均值：F1= 2PR.4.2比较方法我们将我们的深度变分度量学习框架应用于三个上述基线方法。他们是三重损失[36]，N对损失[23]和距离加权采样的三重损失[37]。我们使用我们的DVML框架之前和之后的基线方法的性能进行比较，以证明我们提出的框架的effectiveness我们还比较DVML与其他广泛使用的或国家的最先进的方法，其中有两类：设计- ING采样算法和修改损失函数。对于损失函数，我们将我们的方法与广泛使用的对比损失[7]，提升结构损失[25]和最先进的角度损失[33]进行了比较。对于采样方法，我们12X. Lin，Y.段角Dong，J.Lu和J.周图三. 在CUB-200-2011测试集上使用Barnes-Hut t-SNE [ 30 ]对所提出的DVML+ N对进行可视化。每个图像的边界框的颜色表示标签。（放大后效果最佳。）采用最先进的方法，包括HDC [40]和上限生成方法Proxy-NCA [16]。我们根据他们的原始论文报告最相关的结果除此之外，我们重新实现了所有比较的方法。在重新实现中，我们观察到一些差异，从报告的结果在原始文件，但这并不影响比较的公平性4.3定量结果表1、表2和表3分别呈现了我们的DVML和所有比较方法在Cars 196、Stanford Online Product和CUB-200- 2011数据集上的实验结果从与基线方法的比较中，我们注意到，我们提出的DVML显着提高了基线方法的性能。令人惊讶的是，我们提出的DVML显着提高了N对损失的性能，这已经在Cars196和斯坦福在线产品数据集上取得了成功，这进一步证明了我们之前强调的局限性确实存在。在CUB-200-2011中，我们提出的DVML的有效性是相对较低的显着比其他两个数据集。我们认为这是由于数据集的不同性质。在Cars196和斯坦福在线产品中，困难在于在大范围的类内方差，而在CUB-200-2011，困难在于本地化的歧视性细粒度区域。在与其他方法的比较中，我们观察到，在Cars196数据集上，我们的DVML+Triplet2+DWS比以前的最先进的方法实现了更好的性能。在其他两个数据集上，我们的DVML也达到了深度变分度量学习13见图4。在Cars 196测试集上使用Barnes-Hut t-SNE [ 30 ]对所提出的DVML+ N对进行可视化。每个图像的边界框的颜色表示标签。(Best放大时查看。）性能相当值得注意的是，我们以采样算法和修改的损失函数作为基线，并在这两个类别中与最先进的竞争，这进一步表明了我们的DVML的有效性。为了进一步验证我们的假设，我们首先将Kolmogorov-Smirnov检验[22]应用于使用三重损失[36，18]学习的中心特征并测量p值。表4中的结果表明，每个数据集中的类的中心特征可能服从各向同性高斯分布，并且它们的分布可能相似，因为类上的p值的偏差很小。我们还测量了具有和不具有DVML的特征的平均相对偏差，结果表明，我们的DVML确实从输出特征中去除了类内方差，并有助于明确学习类中心。4.4定性结果使用众所周知的可视化方法t-SNE [30]，我们首先将使用N对损失[23]学习的特征的1.一、图3、图4和图5示出了DVML+ N对在CUB-200-2011、Cars 196和斯坦福在线产品数据集上的可视化。放大后的图形每个样本的图像上的边界框的颜色在[25，33]之后，我们放大某些区域14X. Lin，Y.段角Dong，J.Lu和J.周图五. 在斯坦福在线产品测试集上使用Barnes-Hut t-SNE [ 30 ]对所提出的DVML+ N对进行可视化。每个图像的边界框的颜色表示标签。（放大后效果最佳。）以突出学习特征的可辨别性。可视化明确表明，我们提出的DVML学习一个很好的度量，很好地保留类之间的距离关系，给定一个大范围的类内方差。5结论在 本 文 中 ， 我 们 提 出 了 一 种 新 的 适 用 框 架 ： 深 度 变 分 度 量 学 习（DVML）。我们假设并说明类内方差的分布据我们所知，这是第一个通过变分推理解开类内方差的工作，也是第一个利用类内方差的分布来生成判别样本的我们强调，我们的DVML，目前的度量学习算法可以显着改善。此外，还有许多未来的工作，包括图像生成给定的某些类，并利用这些生成的图像，以进一步提高度量学习模型的鲁棒性。6确认这项工作部分得到了中国国家重点研究与发展计划（2017YFA0700802）的支 持 ， 部 分 得 到 了 中 国 国 家 自 然 科 学 基 金 （ 61672306 、 U1713214 、61572271 ） 的 支 持 ， 部 分 得 到 了 深 圳 市 基 础 研 究 基 金 （ 课 题 安 排 ）（JCYJ201704121706）的支持02564.深度变分度量学习15引用1. 戴维斯，J.V.，Kulis，B.，Jain，P. Sra，S.，Dhillon，I.S.：信息理论度量学习。在：ICML。pp. 2092. 段玉，王志，卢，J，林，X.，Zhou，J.：Graphbit：通过深度强化学习进行比特交互在：IEEE计算机视觉和模式识别会议（CVPR）（2018年6月）33. 段玉，郑伟，林，X.，卢，J，Zhou，J.：深度对抗度量学习。在：IEEE计算机视觉和模式识别会议（CVPR）（2018年6月）1，34. 弗拉戈索Ramanan，D.：Bayesian embeddings for long-tailed datasets（2018）3，45. Globerson，A.，Roweis，S.T.：通过折叠类进行度量学习。在：NIPS。pp.4516. Guillaumin，M.Verbeek，J.，Schmid，C.：是你吗人脸识别的度量学习方法在：CVPR中。pp. 4987. 哈德塞尔河Chopra，S.，LeCun，Y.：通过学习不变映射来降低抽象性.在：CVPR中。pp. 17358. Harwood，B.Carneiro，G.里德岛德拉蒙德，T.：深度度量学习的智能挖掘In：ICCV. pp. 28219. 胡，J，卢，J，Tan，Y.P.：用于视觉跟踪的深度度量学习TCSVT26（11），205610. 胡，J，卢，J，Tan，Y.P.：用于人脸和亲属关系验证的判别式深度度量学习TIP26（9），426911. 金玛，D.P.，Ba，J.：Adam：随机最佳化的方法arXiv预印本arXiv：1412.6980（2014）1012. 金 玛 ， D.P. ， Welling ， M. ： 自 动 编 码 变 分 贝 叶 斯。 arXiv 预 印 本 arXiv ：1312.6114（2013）3，613. Krause，J.，斯塔克M.Deng，J.，菲菲：用于细粒度分类的3d对象表示载于：ICCVW（2013）1114. Larsen，A.B.L.，Sønderby，S.K.，Larochelle，H.Winther，O.：使用学习的相似性度量对像素之外的像素进行自动编码arXiv预印本arXiv：1512.09300（2015）315. 刘志，Wang，D.，中国科学院，Lu，H.：无监督视频人物再识别的逐步度量提升In：ICCV.pp. 242916. Movshovitz-Attias，Y. Toshev，A. Leung，T.K.，Iofe，S.，Singh，S.：没有大惊小怪的距离度量学习使用代理。 In：ICCV. pp. 36017. Russakovsky，O.，Deng，J.，Su，H.，Krause，J.，Satheesh，S.，妈妈，S.，黄志，Karpathy，A.，Khosla，A. Bernstein，M. Berg，A.C.，李菲菲：ImageNet大规模视觉识别挑战。国际计算机视觉杂志（IJCV）115（3），211-252（2015）。https://doi.org/10.1007/s11263-015-0816-y918. Schrof，F.，Kalenichenko，D.Philbin，J.：Facenet：用于人脸识别和聚类的统一嵌入在：CVPR中。pp. 81519. Schultz，M.，Joachims，T.：从相对比较中学习距离度量。在：NIPS。pp.（2004年20. Shalev-Shwartz，S.，辛格，Y.，Ng，A.Y.：伪度量的在线和批量学习。In：ICML（2004）321. Shrivastava，A.，Gupta，A.，Girshick，R.：利用在线硬示例挖掘训练基于区域的对象检测器。在：CVPR中。pp. 76116X. Lin，Y.段角Dong，J.Lu和J.周22. 斯米尔诺夫 编号： 表 为估计的善良的配合的无，无典型分布安 数 学 统 计 学 家。19 （ 2 ）， 279-281 （ 061948 ）。https://doi.org/10.1214/aoms/1177730256，https：//doi.org/10.1214/aoms/11777302561323. Sohn，K.：改进的深度度量学习与多类n对损失目标。在：NIPS。pp. 184924. Song H.O.Jegelka，S.，Rathod，V.，Murphy，K.：通过设施位置进行深度度量学习在：CVPR中。pp. 538225. Song H.O. Xiang，Y.，中国科学院，Jegelka，S.，Savarese，S.：通过提升结构化特征嵌入进行深度度量学习。在：CVPR中。pp. 400426. 孙角，澳-地Wang，D.，中国科学院，Lu，H.：通过具有潜在变量的距离度量学习的人重新识别。IEEE Transactions on Image Processing26（1），23-34（2017）327. 塞格迪角刘伟，Jia，Y.，Sermanet，P.，Reed，S.E.，Anguelov，D.，Erhan，D.，Vanhoucke，V.，Rabinovich，A.：更深的回旋。在：CVPR中。pp. 第128. Tokui，S.，Oono，K.，Hido，S.，Clayton，J.：Chainer：下一代深度学习开源 框 架 In ： Proceedings of Workshop on Machine Learning Systems（LearningSys）in The Twentyth Annual Conference on Neural InformationProcessingSystems（NIPS）（2015），http://learningsys.org/papers/LearningSys_2015_paper_33.pdf929. 托尔斯季欣岛Bousquet，O.，Gelly，S.，Schoelkopf，B.：Wasserstein自动编码器。arXiv预印本arXiv：1711.01558（2017）330. Van Der Maaten，L.：使用树基算法加速t-sne。JMLR15（1），322131. Wah，C.，Branson，S.，Welinder，P. Perona，P.，Belongie，S.J.：Caltech-UCSD Birds-200-2011数据集。Tech. 众议员CNS-TR-2011-001，加州理工学院（2011）1132. Wang，D.，中国科学院，Tan，X.：基于贝叶斯推理的鲁棒距离度量学习。IEEETransactions on Image Processing27（3），154233. 王杰，Zhou，F.，中国科学院院士，Wen，S.，Liu，X.，中国科学院院士，Lin，Y.：带角度损失的深度度量学习In：ICCV.pp. 259334. 王，X.，Gupta，A.：使用视频的视觉表示的无监督学习In：ICCV.pp. 279435. 王，X.，Hua，G.，Han，T.X.：基于度量学习的判别跟踪。In：ECCV. pp.20036. Weinberger，K.Q.，扫罗，L.K.：距离度量学习用于大间隔最近邻分类。JMLR10（Feb），20737. Wu，C.Y.，Manmatha河斯莫拉A.J.Krähenbühl，P.：采样在深度嵌入学习中很重要arXiv预印本arXiv：1706.07567（2017）1，3，6，8，9，10，1138. 杨湖，Jin，R.，Sukthankar，R.：贝叶斯主动距离度量学习。arXiv预印本arXiv：1206.5283（2012）339. Yu，H.X.，Wu，A.，Zheng，W.S.：用于未监督人员重新识别的交叉视图非对称度量学习。In：ICCV.pp. 99440. Yuan，Y.，杨，K.，Zhang，C.：硬感知深度级联嵌入。In：ICCV.pp. 81441. 周杰，Yu，P.，唐，W.，吴Y：通过负样本进行有效的在线局部度量自适应，用于人员重新识别。In：ICCV.pp. 2420
我的内容管理
展开
