大规模负样本动量重识别框架结合硬距离弹性损失能有效提高准确度

+v：mala2255获取更多论文负样本无处不在：利用硬距离弹性损失进行重新识别Hyungtae Lee1 Sungmin Eum1， 2Heesung Kwon11国防部陆军研究实验室2博思艾伦抽象的。 我们提出了一个动量重识别（MoReID）框架，可以利用大量的负样本进行训练，用于一般的重识别任务。这个框架的设计灵感来自于Momentum Contrast（MoCo），它使用一个字典来存储当前和过去的批次，以构建一个大的编码样本集。 由于我们发现使用过去的正样本效率较低，这可能与用当前正样本形成的编码特征属性高度不一致，因此MoReID被设计为仅使用存储在字典中的大量负样本。然而，如果我们使用广泛使用的三重损失来训练模型，仅使用一个样本来表示一组阳性/阴性样本，则很难有效地利用MoReID框架获得的扩大的阴性样本集。 为了最大限度地发挥使用放大负样本集的优势，我们新引入了硬距离弹性损失（HE损失），它能够使用多个硬样本来表示大量样本。我们的实验表明，由MoReID框架提供的大量阴性样本可以在只有HE损失的情况下满负荷使用，在三个re-ID基准VeRi-776，Market-1501和VeRi-Wild上实现了最先进的准确性。关键词：再识别，大规模负样本，动量编码器，MoReID，HE损失1介绍重新识别（re-ID）是查找实例的任务（例如，人、车辆）在从不同位置的不同视点拍摄的图像中具有相同的身份。一般来说，re-ID模型需要这样的能力，即在给定查询的情况下，很好地将具有相同ID的实例（正样本）与具有不同ID的实例（负样本）分开。这种能力可以通过训练模型来获得，使得正样本被放置在更靠近查询的位置，而负样本被放置在学习的特征空间中的较远位置。当相对于给定查询将阳性与阴性分离时，例如在re-ID中，在每个集合中具有足够数量的样本通常有助于在两个集合之间生成更精确的边界。然而，在网络训练中广泛使用的小批量优化方法在每次训练中不能使用超过一定数量的样本arXiv：2207.09884v1 [cs.CV] 2022年7+v：mala2255获取更多论文DpDnt*dhp德亨2H. Lee等人查询d=dn-dp查询三重损耗硬距离弹性损耗图1：硬距离弹性损失与三胎丢失。在三重损失中，阳性和阴性样本均由单个点表示。另一方面，HE损失可以使用多于一个硬样本来分别表示正样本和负样本。已知最优确定的边界t将特征空间划分为正侧和负侧，正样本位于负侧时称为硬样本，反之亦然。代表性样品以粗体绘制。如右图所示，在表示大量阴性样本时，多个点比单个点更好。HE损失与三重损失的更多分析见第4.4节。反覆项目。最近，动量对比（MoCo）[12]提供了一种结构化的方法，可以有效地提供大量样本进行训练。它使用一个字典，以编码特征的形式收集前面的几个批次。为了充分利用在生成精确边界时使用大量样本的优势，期望在一致的特征空间中对这些样本的特征进行编码。为了在培训过程中保持这种一致性，MoCo使用一个额外的慢速编码器，只处理要存储在字典中的样本（这些样本在[12]中被称为“键”）。通过从具有大动量的主编码器为了能够使用大量的负样本来训练re-ID模型，我们设计了MomentumReID（MoReID）架构，该架构是用Siamese网络和MoCo的字典构建的。在训练过程中，由多个组组成的一批样本被馈送到两个网络，其中同一组中的样本共享相同的ID只有次级仅前向编码器的输出我们将来自主网络的每个编码样本视为查询，将其与字典中的每个键进行比较，以验证它们是否匹配。所有具有与查询不同的ID的键被认为是负样本。在与查询共享相同ID的键中，只有刚从当前批次中进来的被用作阳性样品（即，积极的）进行训练。不使用过去的阳性结果。在处理一批256个样本时，当使用4个GPU和48G GPU内存时，MoReID可以利用字典+v：mala2255获取更多论文利用硬距离弹性损失进行重新识别3为了充分利用在MoReID架构内计算的大量负样本，我们使用了一种称为硬距离弹性损失（HE损失）的新损失先前的re-ID方法主要使用三重损失[16，31，15]，其计算到单个正表示的距离和到单个负表示的距离之间的差，一个给定的查询（图1的左图）。一个单一的代表是一个av-在每个组中的所有样品或硬样品上的平均特征。数量随着样本数量的增加，单个表示的代表性变得不那么准确。正因为如此，它不能很好地与样本量相匹配代替用单个表示来处理一组样本，HE损失具有利用多个硬样本的能力，所述多个硬样本在正样本与负样本之间最佳地绘制的边界的另一侧上在负侧上的正和在正侧上的负详细地说，HE损失被计算为惩罚的总和，这是所有硬样本的边界被跨越的程度（图1的右图）。对于每个查询，最佳地确定边界以最小化损失。我们从理论上证明了将边界放置在硬正样本数和硬负样本数相等的区域中是最优的。为了证明MoReID架构和HE损失的有效性，我们对人员重新识别和车辆重新识别任务进行了实验实验表明，仅部署两个模块中的一个并没有带来任何优势，在提高re-ID的准确性。然而，在所有re-ID任务中，与没有模块的基线相比，一起使用这两个模块这两个新模块以互补的方式相互工作，这意味着使用MoReID架构获得的大负训练样本在没有HE损失的情况下无法有效使用，而HE损失只能在“负样本数量很大”时才能展示其全部实力。2相关作品ReID丢失。现有的re-ID方法通常使用具有不同标记形式的两种类型的损失：成对（即，类级标签和模型估计）损失和三重（即，查询，以及查询的阳性和阴性样本）丢失。成对损失，定义为最小化标签和估计值之间的差异主要用于re-ID方法中的ID分类。在re-ID方法中使用三重损失，以使具有相同ID的样本更接近，并使具有不同ID的样本彼此远离对于成对损失，有几种常用的损失，例如，[2019 - 05 - 15][2019 -05][2019 - 0 另一方面，三重损失[15]是re-ID方法中最具代表性的三重损失。三重损失度量查询样本与分别表示阳性和阴性的两个单个代表性样本之间的每一个表示都可以计算+v：mala2255获取更多论文Lp∈Pn∈N4小时Lee等人[11]或[12]，或[13]，或[14]，或[15]，或[16]，或[17]，或[18]，或[19]。然而，随着样本数量的显著增加，用单个表示来充分表示它们变得更加困难，我们称之为样本可扩展性问题。可以用作三重损失的其他度量学习损失也面临类似的限制，例如，c-triplet loss[36]， circle loss[33，45]，基于CDF的加权triplet loss[43]等。为了解决样本可扩展性，N对loss[32]和Ranked List loss[39]被定义为使用多个硬样本作为代表性样本，但由于硬样本的数量没有最佳确定，因此显示出比Triplet loss更低的re-ID性能。在本文中，我们介绍了一种新的损失，称为硬距离弹性损失（HE损失），可以更好地应对样本的可扩展性问题，表现出显着更高的精度比三重损失。探索大量的阴性样本。最近，在训练中对大量负样本的探索在各种无监督表示学习任务中显示出有希望的准确性。大多数呈现这种有希望的准确性的方法都采用了MoCo框架[12]，它提供了一种生成大量阴性样本的结构化方法。该MoCo框架也已用于几种Re-ID方法，但仅限于无监督学习设置[2，8，46，49]。对于监督re-ID的任务，我们的MoReID是第一个采用MoCo的架构，以在所提出的HE损失的帮助下利用大量的阴性样本3方法3.1硬距离弹性损耗他的损失的定义硬距离弹性（HE）损失测量样本穿过边界的程度（即，位于负侧的正样本这里，在边界的相对侧中的样本被认为是硬样本。对于查询q，根据关键样本的ID将关键样本分为其正样本p∈P和其负样本n∈N，其中P和N分别是正样本集和负HE损失Lq用边界t定义如下：Lq（t）=max（dpq−t，0）+max（t−dnq，0）， （1）其中DPq和DNq是距离（例如，在我们的实验中，欧氏距离）分别从q到p和从q到n。最佳边界t_i可以通过如下最小化HE损失来获得：t=arg min q（t）。（二更）不最佳边界的推导使热损失最小的边界的最优点必须满足两个 条件：i）热损 失 的导数+v：mala2255获取更多论文LΣ−Σ·L利用硬距离弹性损失进行重新识别5关于边界t的损失在该最佳点处为零，并且ii）HE损失相对于边界t是凸的。q（t）相对于边界t的导数可以从等式导出。1如下：dLq（t）=1（ddtp∈P> t）+1（dnqn∈N α−β，[3]虽然在[39]中边际参数用m表示，但在本文中我们用β代替，以避免与动量参数混淆。+v：mala2255获取更多论文不含三重态损失79.4带HE损失余弦欧几里得82.983.316小时Lee等人选择满足dnqα的负数作为硬例子。当将排序列表损失与基线或MoReID一起使用时，在穷举搜索后发现α的最佳参数为1.2，β的最佳参数为0.4A.3消融研究：阳性样本也大量存在？为了验证我们只利用“阴性样本”（即，排除具有与来自训练的查询相同的ID的过去样本），我们测试出对比如下所示既往阳性样本0.995M0.9970.999✓80.680.781.3（Ours）82.483.383.0随着训练仅前向编码器进展得更快（即，m变小），则过去样本相对于给定查询的不一致程度变大。为了观察不一致程度的影响，用不同的m进行实验。当包含过去的阳性样本进行训练时，使用较大的m来保持一致性对于获得更好的准确性至关重要。然而，使用在最大一致特征空间中表达的过去的正样本m = 0。999例）的表现比排除这些过去样本A.4消融研究：相似性测量。由于所提出的HE损失是使用查询样本和关键样本之间的相似性来定义的相似性度量定义如下：• 余弦：d（x，y）=−（x/y）||X||2）（y/||y||（二）• 欧几里得：d（x，y）=||x-y||2下表显示了使用不同相似性度量的HE损失训练的模型的mAP：无论相似性度量如何，我们使用HE损失的模型都优于三重损失。虽然微妙，使用欧几里德距离产生比负余弦相似性更好。因此，我们在所有实验中使用了Euclidean+v：mala2255获取更多论文利用硬距离弹性损失进行重新识别A.5消融研究：主干组件正如[14]所研究和建议的那样，我们使用了ResNet-50架构，其中新组件作 为 最 佳 准 确 性 的 骨 干 。 值 得 注 意 的 组 件 是 自 动 增 强 预 处 理（AutoAug），实例批量标准化（IBN）和非本地模块（非本地）。为了验证使用建议的HE损失无论这些组分的影响如何，ResNet-50都是有效的，我们进行了一组AutoAu