基于广义边际的AutoLoss-GMS损失函数用于人员重新识别问题的搜索方法

4744AutoLoss-GMS：基于广义边际的Softmax损失函数搜索用于人员重新识别顾宏阳1，2李建民2* 傅光远1黄志峰2陈兴浩3朱军21西安2智能技术与系统国家重点实验室，清华大学计算机科学与技术系人工智能3华为诺亚guhy18@mails.tsinghua.edu.cnlijianmin@mail.tsinghua.edu.cnfugy402@gmail.comhzf19@mails.tsinghua.edu.cnxinghao. outlook.comdcszj@mail.tsinghua.edu.cn摘要人的再识别是计算机视觉领域的一个热点问题，损失函数在提高学习特征的识别率方面起着至关重要的作用然而，大多数现有的模型利用手工制作的损失函数，这通常是次优的和具有挑战性的设计。 本文提出了一种新的方法AutoLoss-GMS，在广义边缘softmax损失函数空间中搜索更好的损失函数，用于自动重新识别人员。具体来说，广义的基于边际的softmax损失函数首先分解成两个计算图和一个常数。在此基础上，提出了一种基于进化算法的通用搜索框架，以实现对损失函数的有效搜索。计算图的构造采用向前法，它比现有的向后法能构造出更丰富的损失 在基本的图内变异操作的基础上，设计了交叉图变异操作，进一步提高了后代的多样性。提出了丢失拒绝协议、等价性检查策略和基于预测器的承诺丢失搜索器，提高了搜索效率。实验结果表明，所搜索的损失函数具有较好的性能，并可在不同的模型和数据集之间进行迁移。1. 介绍人员重新识别（ReID）[1-随着深度神经网络*通讯作者。（DNN）和智能视频监控需求的不断增长，ReID吸引了越来越多的计算机视觉界的关注。尽管基于DNN的模型在ReID方面取得了重大突破，但由于姿势变化、遮挡或杂乱背景造成的显著类内方差，学习区分特征以从大规模图库集中识别人仍然具有挑战性。近年来，文献[2，4-众所周知，一个高性能的DNN模型离不开设计良好的网络架构和合适的损失函数。然而，现有的研究大多仍采用交叉熵损失和三重态损失的范式，很少有研究探索其他形式的损失函数。受人脸识别（FR）中NormFace [8]的启发，Fan等人。[3]提出了SphereReID来学习超球面流形嵌入，其在提取区分特征方面优于交叉熵损失函数。但根据FR的最新研究，Norm-Face不是基于边缘的softmax（MS）损失函数中的最佳选择[9 Sun等人 [12]提出了一个更灵活的损失函数CircleLoss，它在FR和ReID任务中优于其他MS损失函数。上面提到的损失函数都是广义基于边际的softmax（GMS）损失函数的特例，只是冰山一角。很可能，它们在这个领域并不是最佳选择。因此，我们的目标是探索是否有一个更好的损失函数比这些经典的损失函数在GMS损失函数空间。随着AutoML技术的发展，越来越多的自动化方法被提出.特别是在数据增强[13-16 ]和网络架构[ 17 - 19 ]领域，自动化方法已经超过了手工制作的4745在损失函数领域，近年来也出现了基于AutoML的方法。现有的工作主要使用两种方法来搜索损失函数：1）第一种方法不直接搜索损失函数的具体形式[20，21]，而是像PBT [22]一样，只关心最终训练好的神经网络。因此，一旦数据集或网络发生变化，将再次执行昂贵的搜索过程。2)第二种方法可以搜索由一些预定义的原始操作组成的损失函数[23，24]或具有参数化函数的度量代理损失[25]。另外，第二种方法中搜索到的损失可以直接转移到其他类似的任务中，而不需要重新搜索。然而，第二次搜索的方法往往需要大量的搜索成本像其他AutoML方法，所以它是关键，以提高搜索效率。虽然已经提出了许多方法[23，24]来加速搜索，但搜索效率的提高仍然有限。本文提出了一种新的方法AutoLoss-GMS，在GMS损失函数空间中自动搜索损失函数，以实现基于二次搜索方法的身份识别。具体来说，我们首先表示GMS损失函数与两个计算图和一个常数。在此基础上，提出了一种基于进化算法的通用搜索框架，以有效地搜索损失函数。计算图是用前向方法构造的，它可以构造比[23，24]中使用的后向方法更丰富的损失函数形式。除了基本的图内变异操作外，还设计了交叉图变异操作以进一步提高后代提出了丢失拒绝协议、等价性检查策略据我们所知，AutoLoss-GMS是第一个在损失函数搜索（LFS）中使用预测器的工作。我们总结这项工作的贡献如下：• AutoLoss-GMS是第一个搜索GMS损失功能进行人员重新识别的工作。• 提出了一个通用的搜索框架与性能预测器，有效地搜索GMS损失函数。• 所搜索的损失函数可在具有竞争性能的不同模型和数据集之间转移，并且可以在人员重新识别中实现最先进的性能2. 相关作品2.1. 人员重新识别近年来，人的ReID已成为计算机视觉界的热门话题。在DNN的支持下，基于DNN的模型的性能已经超过了人类的水平。ReID问题的关键是提取鉴别特征。现有的大多数工作都是从网络架构[4，26，27]设计开始的，以提高特征的区分度。然而，损失函数在提取鉴别特征方面也起着至关重要的作用。在ReID中，交叉熵和三重态是常用的范例，很少有研究其他形式的损失函数的工作。受FR中NormFace [8]的启发，Fan等人。 [3]提出了SphereReID，该方法通过实验验证了嵌入在超球体上的特征比通过交叉熵学习的特征更具区分力。然而，SphereReID仅考虑超球面嵌入而不是大边缘，这已在FR中验证为比Norm-Face [9- 11 ]更好Sun等人 [12]提出了一种更灵活的损失，名为CircleLoss，与其他MS损失函数相比有显着改善。然而，设计这样一个好的损失函数需要人类大量的专业知识和精力。因此，AM-LFS [20]试图在MS空间中自动设计损失函数，以减轻人类的负担。然而，AM-LFS不能得到一个固定形式的搜索损失函数，这不利于直接转移到其他数据集或网络，而无需重新搜索。2.2. 损失函数搜索损失函数是深度学习不可或缺的一部分，但手工制作的损失函数往往需要很多专业知识来设计。随着AutoML的发展AM-LFS [20]和Searched-Softmax [28]是两个类似的作品，它们都使用强化学习在MS损失的框架下搜索t（x）。然而，这两种方法的搜索损失没有固定的形式，因此它们很难在不重新搜索的情况下直接在数据集和网络之间传递。其他一些方法更接近于网络体系结构搜索（NAS），并且可以得到固定形式的结果。Auto Seg- Loss [25]搜索可微部分以替换度量的不可微部分，但这种方法很难应用于我们的搜索空间。AutoLoss-Zero [24]和CSE-Autoloss [23]使用由原始数学运算组成的计算图来表示损失函数。这种损失函数表示方法满足我们的目标，但这种搜索方法需要大量的搜索成本。因此AutoLoss-Zero和CSE-Autoloss提出了各种方法来提高搜索效率，但改进仍然有限。3. 方法在这一节中，我们提供了详细的介绍，我们提出的方法，包括设计的搜索空间和搜索算法。4746L−∈∈∈∈联系我们∥ ∥ ∀ ∥ ∥L我−∥ ∥ ∥ ∥OLΣLGMs2S|i ∈ N，0<$i<$Nsexp（s·t（cosθy））+ε·cosθ）表1.t（x）和n（x）的损失函数。m是相应损失函数中的超参数。de（x）表示3.1.2损失函数表示如前一节所述，我们的目标是搜索对于最优的Θ={s，t（x），n（x）}。 因为这些角色损失t（x）n（x）NormFacex xCosFacex m xArcFacecos（arccos（x）+m）xSphereFacecos（marccos（x））xCircleLoss[de（1+m-x）]+（x−1+m） [de（m+x）]+（x-m）GMS中的t（x），n（x）和s是解耦的，我们可以分别考虑这三部分的表示。我们定义了比例因子s1，这与所有手工制作的损失函数一致。我们将s离散为.×i3.1. 搜索空间3.1.1预备知识为了对搜索空间有一个清晰的理解，首先介绍了一些初步的知识首先，我们考虑标准的softmax交叉熵损失：其中，Ns>0并且Ns是预定义值。虽然这种离散化是简单的，但它足以在随后的实验中实现良好的性能。对于t（x）和n（x），我们只引入t（x）的表示，而n（x）是相似的。t（x）可以表示为：计算图（CG）Gt：，exp. WTx+byx，i=1我我• 如图所示，Gt中有两种类型的输入节点Lce= −logEp. WTx+b、（1）图2中的绿色和灰色节点。 绿色节点其中x研发 表示输入特征向量，1，2，，K是它的地面真值标签，K是类的总数，W是RD和BIR分别是第i类的权向量和偏差. 通过去除偏差，将分类器权重和特征归一化为1（即，，Wi= 1，i和x= 1），加上比例因子s> 0，可以得到MS损失函数的统一形式：L=−log，exp（s·t（cosθy）），，（2）我x是网络输出cosθy，单位为gms。灰色节点是预定义的常数，其表示方式类似于比例因子s，并定义为c∈ Cons ={c× i|i ∈ N，0 <$i <$N c}，（6）其中<$c> 0和N c是预定义值。• 中间计算节点（图2中的蓝色节点）是原始的数学运算-表1中所示的集合H中选择的选项。MSyexp（si其中cosθ i=（WTx）/（Wix），t（x）是定义域为[ 1，1]的函数。GMS损失函数可以通过在MS损失函数的非目标部分进一步引入n（x）来获得补编A.• 输出节点（图2中的橙色节点）的结果是t（x）。综上所述，Θ={s，t（x），n（x）}表示为：s∈Scales，Gt和Gn，这是我们的搜索空间。L=− log，exp（s·t（cos θy）），.GMsexp（s·t（cosθy））+εi=y exp（s·n（cosθi））（三）3.2. 搜索算法我们的搜索算法主要基于显然，MS损失函数是GMS损失函数的特殊情况，其中n（x）=x。 如表1所示，常用的MS损失函数[8本文所要探讨的损失函数的形式是基于广义最小二乘法的，即寻找t（x），n（x）和s的具体值的具体表达式。搜索目标可以用公式表示为嵌套优化，问题：进化算法[24，29，30]，易于通过分布式训练并行化。我们算法的搜索管道如图1所示。首先，生成K损失然后在每次进化中，通过两个独立的锦标赛选择[31]（当前总体的T比）选择两个这两个选择的损失函数用于通过精心设计的变异操作产生后代，直到后代通过损失拒绝Θ*=arg maxΘξ. M（Θ）;Dval，（四）议定书提出了基于有限元分析S. t. E（x，y）∈DtrnΘGMs（M（x），y），提出了一种真实向量，避免了重新精确评估数学上等价的损失函数 最其中，M是一个由k参数化的网络，训练数据集和验证数据集分别表示为Dtrn和Dval。是给定的评估度量，并且LΘ是由Θ={s，t（x），n（x）}参数化的Lgms。yΩs∈Scales=、（五）4747基于预测器的有希望损失估计器将在非等价损失函数在[24，30]之后，仅在群体中保持最新的P4748|GG(1)（二）i=1OL{|}联系我们C c c图1. AutoLoss-GMS的搜索管道3.2.1第一千三百零六章变异我们应用两种方法来初始化群体：1）随机生成的损失函数，用于从头开始搜索，如AutoLoss-Zero [24]和2）预定义的手工制作的损失函数，用于从先验知识搜索，如CSE-Autoloss [23]。预定义的手工制作的损失函数主要基于表1。AutoLoss-Zero和CSE-Autoloss以向后的方式构造CG[23，24]，但这种构造方法效率不高。具体地，中间节点的输出不能被多次使用，如图2（b）的purple部分所 示 。 为 了 更 有 效 地 构 造 CG ， 受 网 络 架 构 搜 索（NAS）的启发，提出了一种前向构造方法[17]。通过前向方法构造的图从1 +nc个输入节点开始，这些输入节点是一个特征节点x（图2（a）中的绿色节点）和nc个常数节点（图2（a）中的灰色节点然后，给定当前CG的状态，枚举所有可能的操作和边缘连接，并且随机选择可能的操作及其对应的边缘连接以添加到CG。当所选操作是“输出”操作时，所有没有后续操作的节点都连接到输出节点。当CG到达最大原语操作数n= 0，只能选择“输出”操作。在相同的基元运算次数下，前向法比后向法能构造出更丰富的损失函数形式CG的前向构造过程在附录B的Al-出租m1中示出，并且我们的搜索空间的损失函数可以通过附录B中的算法2来构造。B.除了三个图内变异操作（In-补充中详细说明了插入、删除和替换。 C ）像AutoLoss-Zero [24]一样，引入了交叉图变异操作。具体地，在每次进化中，给定两个损失函数（Θ（1）和Θ（2）），Θ（2）中的t或n用概率pc替换Θ（1）中相应的CG以获得突变的Θ′，并且Θ′中的s′改变如下：s′= 2[（log2（s）+log2（s））/2|（7）其中[xs]表示将x的精度标准化为s。一般来说，损失函数中的超参数会对结果产生重大影响，因此我们还引入了s和coninc上的突变操作，而不是像AutoLoss-Zero和CSE-Autoloss那样保持这些常数不变常数项的具体变异操作如下：s′= 2Clamp[log2（s）+sr; 0;sNs]c′=Clamp[c+r; 0;N]，（8）其中，Clamp[x;xmin;xmax]表示在[xmin，xmax]中箝位x，并且r从1、0、1中随机选择。给定比赛选择的两个损失函数Θ（1）和Θ（2），后代由Suppl.C.3.2.2丢失拒绝协议受CES-Autoloss [23]和AutoLoss-Zero [24]的启发，我们的丢失拒绝协议从两个方面开始：基本属性协议。通过分析GMS损失函数gms，通常应满足以下性质（详见附录D）：.4749−L∈∈联系我们--Gb=1−b=1b=1−GMs|L0b=1b b=1{x}b|BBB.|Σ其中f tRN和f nRN是t（x）的值，n（x）在域[1，1]中的均匀离散点上。 但dΘ不能识别在双尺度变换 下 数 学 上 等 价 的 损 失 函 数 ， 如 Θ0=t （ x ） ， n（x），s和Θk，b=t（x）/k+b，n（x）/k+b，ks，k=0，bR对gms是数学等价的。我们引入以下变换来归一化t（x）和n（x）：Nmin=min.Xmin t（x），min Xn（x）最大值=max[−1，1]XMax[−1，1]t（x），maxXn（x）图2. CircleLoss中t（x）的t。图中有两个常数节点（灰色节点），m= 0。二十五（a）中的图是用向前方法构造的，而（b）中的图是用向后方法构造的。红色节点中的数字表示构建顺序。b=（TN最小值+TN最大值）/2k= max{（TNmax-TNmin）/2，1/s}s<$=k·st<$（x）=（t（x）−b）/kn<$（x）=（n（x）−b）/k、（11）• t′（x）<$0，x∈[−1，1];• n′（x）<$0，x∈[−1，1];• n（x）−t（x）<$0，x∈[−1，1].玩具任务。 给定B个随机样本{（xb，y b）|B}从其中，变换后的S⩾ 1，以及t（x）的范围n（x）在[ 1，1]中。 dΘ可以很好地识别在尺度变换下数学上等价的损失函数。但dΘ[2N]∈[0，+∞]，严重影响了预测性能训练数据集Dtrn和随机初始化的网络M<$0，我们将网 络 预 测和相应的标签记录为{（x<$b=M<$（xb），yb）|B{\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F} 这是一个下一节提出的预测器控件的缩放约束提出了搜索空间来解决这个问题。具体地，生成的CG需要满足以下约束：任务设置为仅通过优化来解决以下问题继续前进。xb|B Σ：Blog2（（TN最大值-TN最小值）·s/2）τr，（12）其中，r>sNs。在这种约束下，.x|B=arg minb=11LΘb=1（xx，y）。（九）2.在[0，r]中， 总之，我们定义了具有参数θ的损失函数的特征向量为：综上所述，丢失拒绝协议首先判断Θ的基本属性，然后执行玩具任务。只有满足基本性质的Θ和评价尺度θ（x<$bB）大于预定阈值τ y，则该任务可以通过该协议，否则它将被拒绝。3.2.3等效性检查策略的自动失零使用的初始梯度范数fvΘ= [ft，f n，2 log2（s）/Γ− 1]。 （十三）fvΘ中的每个元素都在[1，1]的区间内，达到了预测器训练归一化的目的。此外，fv Θ可以用作等价性检查，以检查数学上等价的损失函数，这避免了3.2.4有希望的损失补偿器{}LΘ/xbB2b=1 }在玩具的任务来判断数学-虽然丢失拒绝协议可以过滤无效的损失函数，一些通过协议的损失函数仍然这是一个在语义上等价的损失函数，但当仅使用初始梯度范数时，这可能是不准确的。考虑到gms中s、t（x）和n（x）之间的关系，Θ可以形式化为一个简洁的特征向量，其能够准确地判断等效损失函数。首先，我们将Θ离散为dΘ=[ft，fn，log2（s）/（logsNs）]∈R2N+1，（10）.[−1，1][−1，1]} BGMs4750表现不佳。为了进一步节省计算预算，受NAS中性能预测器的启发[32，33]，我们提出了一种基于CNN的损失函数性能预测器，以进一步从候选群体中选择最有希望的损失。当在代理任务上评估的损失函数的数量达到E0时，预测器P将在4751- --- --P||i=1{|}我ΣPi=1我 i=1C2i jΘiΘjKC2 i jΘiΘj表2.搜索的损失函数。PIP：预定义的初始种群。每一个损失都是在特定的数据集上使用特定的模型进行搜索的，无论是否使用PIP。de（1. 3x）（x1. 0） 0。35x0。3526. 0AutoLoss-GMS-COSNetMar k et-1501（x 0. 84）（0. 95x）[d e（arcsin（x））]+（x0. 5）+0。057. 5AutoLoss-GMS-DMGNMarket-1501x +0.15x +0。24岁。0当前评估集（损失函数Θi和相应的性能pi对）Eva=（Θi，pi）E0。然后，每当Eva的数量增加一个单位时，预测器根据当前Eva更新一次。 在预测器第一次训练后，每个通过等价性检查策略的新损失函数将被添加到承诺损失预测器的候选群体中。当候选种群数达到预定义的NP时，根据当前预测器的预测结果选择最有希望的一个，清除候选种群 选择有希望的损失的算法在补充中显示。算法4.在本文中，我们选择ResNet [34]作为基于CNN的预测器，一些调整后的细节见补充。F. 形式上，给定B个不同的转换损失函数和地面实况性能{（xΘ，yi）|B }的情况下，图3.预测器的分析。PLC：承诺损失补偿器。4. 实验4.1. 数据集和评估指标和{P（xΘ）|B }是预测器的输出。com-Mon使用的MSE损失函数可以定义为：B三个常用数据集上的管道实验：Market- 1501 [37]，CUHK 03 [38]和MSMT 17 [39]。LMSE=1（（xBΘii=1）− y i）2.（十四）遵循ReID社区的约定[37，39]，所有方法都使用累积匹配字符进行评估正如[32，33]所指出的，确定损失函数排序的预测器比准确预测损失函数性能的预测器更鲁棒Kendall1Σ。K Tau=si gn（y−y）·si gnP（x）−P（x），特征（CMC）曲线和平均精密度（mAP）。4.2. 实现细节对于搜索算法，种群初始化为K= 20个损失函数，并被限制为最多B1ijB（十五）P= 1000损失函数。锦标赛选择的比率被设置为T=当前群体的5%。的其中sign（x）是符号函数。 受[36]启发，我们通过替换等式（1）中的第二个符号（x），将不可微的KTau转换为可微的KTau。（15）与tanh（x/τ）：1Σ。ΣL=si gn（y−y）·tanh（P（x）−P（x））/τ，停止搜索的条件是在代理任务上评估500个模型在五个NVIDIA Telsa-V100 GPU上，搜索过程大约需要2.5天。更多细节见补编G。在不同的设置下得到了五个损失函数，如表2所示。B1ijB（十六）4.3. 消融研究其中，τ决定了替代sign（x）函数的tanh（x）的温度。因此，我们预测器的最终损失函数为：L=LMSE+λLK，（17）其中λ是控制两个不同损失函数之间的重要性的超参数为了验证AutoLoss-GMS的性能，我们搜索损失模型数据集PIPt（x）n（x）日志2（s）AutoLoss-GMS-ZeroResNet50Market-1501✗（0。22+ e=0。22）x +arcsin（0. （二十二）x+0。85五、547524.3.1预测因子分析我们首先随机抽取1000个损失函数，并使用它们在不同的设置下，实施了十次培训。随机选取一定量的数据作为训练数据集4753表3.使用ResNet 50搜索Market-1501时，AutoLoss-GMS中组件的有效性。RS：随机搜索。EA：进化算法。CGM：交叉图突变。LRP：丢失拒绝协议。BPP：基本属性协议。玩具任务。ECS：等同检查策略。PIP：预定义的初始种群。PLC：承诺损失补偿器。表4.查找损失和手工制作损失的可转移性。仅报告mAP度量。R：ResNet50。O：OS- Net。括号中的结果表示直接跨数据集或网络传输后的结果，而无需对超参数进行任何修改。括号外的结果表示针对我们搜索的损失或手工制作的损失的其他当只有一个结果时，它是微调手工制作的损失或在此设置下搜索的损失的表现。向前1×方法市场-1501 CUHK 03天真EA 83.39 1 ×500+CGM 83.77 1 ×500+LRP（BPP）84.52×30× 1。5 ×10+LRP（TT）84.95× 36×101。8 ×104+ECS85.2454 ×2。7 ×104+PIP85.8058× 2。9 ×104+PLC88.02转540×转2.7×105在每次训练中，其余的被用作测试数据集。训练结果如图3（a）所示从实验结果可以得出以下结论：1）单纯使用LMSE的结果比LMSE+LK，这表明我们的可微KTauNormFace 81.74 58.48（55.91）CosFace 84.23 61.94（57.41）ArcFace 85.06 65.03（56.54）CircleLoss 85.41 66.87（59.21） AutoLoss-GMS-A87.00 68.33（67.18）AutoLoss-GMS-B 78.03（76.10）67.11AutoLoss-GMS-C86.64（86.23）67.95（67.79）AutoLoss-GMS-Zero84.1664.32（64.32）AutoLoss-GMS-A88.99（88.87）70.60（70.60）AutoLoss-GMS-B 86.20（84.65）71.15（70.27）AutoLoss-GMS-C 88.9472.57（72.17）AutoLoss-GMS-Zero 85.79（84.59）68.95（67.59）有效; 2）未归一化的dΘ表现不佳; 3）将fvΘ转换为三通道xΘ表现良好。在图3（b）中，我们显示了有或没有预测因子的AutoLoss-GMS的性能。从结果可以看出，在搜索100个损失函数后引入预测器时，大量性能较差的损失函数被过滤掉，这进一步说明了我们的有希望损失预测器的有效性。4.3.2AutoLoss- GMS中组件的有效性为了验证AutoLoss-GMS中组件的有效性，使用不同组件进行搜索，结果如表3所示。结果表明：1）前向构造优于后向构造，验证了前向构造的CG具有更丰富的损失函数形式; 2）交叉图变异操作可以提高搜索性能;3）两步损失拒绝协议可以将损失函数的探索量扩大36倍，并快速过滤掉不满足基本性质或在玩具任务中表现不佳的损失函数; 4）通过等价检查策略避免了对等价损失函数的重新评估，可以进一步探索50%以上的损失函数; 5）手工构造的损失函数引入的先验知识有利于更好的搜索结果; 6）基于预测器的承诺损失搜索器可以进一步提高搜索效率约10倍.4.3.3查找损失为了验证在不同数据集和不同网络上搜索的损失函数的可转移性，我们对这些损失函数进行了深入的比较，如表4所示。手工制作的损失函数中的超参数通过Suppl.H的图3所示的网格搜索在两个数据集上进行了仔细的微调。我们搜索的AutoLoss-GMS-A的mAP比手工制作的损失函数中最好的CircleLoss高1.59%。如果没有预定义的初始种群，AutoLoss-GMS-Zero可以实现与CosFace相当的性能。保持Market-1501上的超参数设置，AutoLoss- GMS-A仍然可以在CUHK 03数据集上 以 67.18% 的 mAP 超 过 CircleLoss 的 59.21% 。 当CUHK03数据集上的超参数进一步微调时，CircleLoss可以达到66.87%的性能。为了快速适应其他数据集（网络），我们还可以对搜索损失的s进行AutoLoss-GMS-A在CUHK 03上微调后可以达到68.33%，仍然比CircleLoss高出1.46%。AutoLoss-GMS-B 和 AutoLoss-GMS-C 用 于 测 试AutoLoss-GMS-A跨数据集和网络的性能。AutoLoss-GMS-B仅在CUHK 03上表现良好，但在Market-1501上不够好主要原因是CUHK 03的数据少于Market- 1501。因此，在大数据集上搜索可以获得具有良好泛化能力的损失函数。通过对不同模型的搜索，得到AutoLoss-GMS-A和AutoLoss-GMS-C。不管对s进行微调，这两个损失函数的性能几乎是最好的，4RO地图提速探索损失RS向后81.3282.671×∼500∼5004754表5.与最先进方法的比较。双线以上部分是基于全局特征的模型，双线以下部分是基于局部特征的模型。在每一部分中，单行下面的是我们的方法，上面的是其他方法。雷德博尔德是我们表演得最好的。Bluebold是其他人中最好的表现。mAP等级-1各自的模型。即使在迁移后，所搜索的损失函数的性能也足以超过手工构造的损失函数，这表明所搜索的损失函数具有一定的迁移能力。4.4. 与最先进方法的我们与SOTA方法的比较是基于两种类型的模型，即基于全局特征的模型和基于局部特征的模型。我们报 告 了 AutoLoss-GMS-A 、 AutoLoss-GMS-C 和AutoLoss-GMS-D的性能，比较结果如表5所示。在基于全局特征的模型中，ResNet 50骨干，ResNet 50 + AutoLoss-GMS-A在所有三个数据集上实现了最高的mAP。特别是在Market-1501上，我们的AutoLoss-GMS-A可以超过使用交叉熵和三重态范式的StrongBaseline 1.1%。在最大的数据集MSMT 17上，我们的AutoLoss-GMS-A在mAP方面显著超过CircleLoss4.9%。在这三个数据集上，在AutoLoss-GMS-A的支持下，ResNet 50可以使用专门为ReID设计的网络架构（即OSNet，AutoReID）实现类似的性能。当配备OSNet时，AutoLoss-GMS-C可以进一步显着改进原始OSNet。特别是在MSMT 17上，OS-Net + AutoLoss-GMS-C可以达到62.6%mAP。将AutoLoss-GMS-A和AutoLoss-GMS-C直接应用于MGN模型的性能此外，MGN + AutoLoss-GMS-D以90.1%的mAP超过Market-1501上的其他方法。总之，我们搜索的损失函数的性能明显优于手工制作的CircleLoss和基于AutoML的AM-LFS的性能，这进一步说明了我们方法的有效性。5. 结论本文提出了一种新的方法AutoLoss-GMS，在基于广义边缘的softmax损失函数空间中搜索更好的损失函数，用于自动身份识别。实验结果表明，所搜索的损失函数达到了最先进的性能，并且可以在不同的模型和数据集之间转移。然而，目前良好的搜索结果仍然严重依赖于先验知识，后续的研究将集中在进一步提高搜索结果的性能没有先验知识。我们亦计划将搜寻架构应用于更多任务，以进一步验证我们的搜寻算法的有效性。鸣 谢 本 工 作 得 到 国 家 重 点 研 究 发 展 计 划 项 目（No.2017YFA0700904）、国家自然科学基金项目（No.2017YFA0700904）和国家自然科学基金项目（No.2017YFA0700904）的资助。U1811461）和北京NSF项目（No.JQ19016）方法市场-1501CUHK03mAP等级-1MSMT17mAP等级-1TriNet [40]69.184.9----SphereReID [3]83.694.4----[41]第四十一话85.994.5----[12]第十二话84.994.2--50.276.3OSNet [42]86.794.867.872.355.179.1[43]第四十三话85.194.569.373.352.578.2[20]第二十话84.495.0----ResNet 50+ AutoLoss-GMS-A（我们的）87.094.768.370.455.179.5OSNet+ AutoLoss-GMS-C（我们的）88.995.772.674.562.683.7PCB+RPP [27]81.693.857.563.7--MGN [4]86.995.766.066.8--MGN+CircleLoss [12]87.496.1--52.176.9MGN+ AM-LFS [20]88.195.8----MGN+ AutoLoss-GMS-A（我们的）88.795.673.275.258.280.9MGN+ AutoLoss-GMS-C（我们的）89.395.772.375.358.379.9MGN+ AutoLoss-GMS-D（我们的）90.196.274.375.663.083.74755引用[1] Mang Ye，Jianbing Shen，Gaojie Lin，Tao Xiang，LingShao，and Steven CH Hoi.深度学习用于人的重新识别：调查与展望。IEEE Transactions on Pattern Analysis andMachine Intelligence，2021。1[2] Guangyi Chen，Tianpei Gu，Jiwen Lu，Jin-An Bao，andJie Zhou.通过注意力金字塔进行人员再识别。IEEETransactions on Image Processing，2021。1[3] 邢凡、魏江、罗昊、飞梦娟。Spher-ereid：深度超球面流形嵌入，用于人员重新识别. 视觉传达和图像表示杂志，60：51-58，2019。一、二、八[4] Guanshuang Wang，Yufeng Yuan，Beiong Chen，JiweiLi，Xi Zhou.学习具有多粒度的鉴别特征用于人的重新识别。 第26届ACM多媒体国际会议论文集，第274-282页，2018年。一、二、八[5] Feng Zheng，Cheng Deng，Xing Sun，Xinyang Jiang，Xi-aowei Guo ， Zongqiao Yu ， Feiyue Huang ， andRongrong Ji.通过多损失动态训练的金字塔人重新识别。在IEEE/CVF计算机视觉和模式识别会议论文集，第8514- 8522页1[6] Shuting He，Hao Luo，Pichao Wang，Fan Wang，HaoLi，and Wei Jiang. Transreid：基于转换器的对象重新识别。CoRR，abs/2102.04378，2021。1[7] Hongyang Gu，Guangyuan Fu，Jianmin Li，and Jun Zhu.Auto-reid+：搜索多分支网络以重新识别人员。神经计算，435：53-66，2021。1[8] 王锋，香香，简成，艾伦·洛登·尤伊尔。Normface：用于人 脸验证 的L2 超球 面嵌入 . In Qiong Liu ，RainerLienhart ， Haohong Wang ， Sheng-WeiACM ， 2017 。一、二、三[9] 刘未央，温延东，余智定，李明，拉吉比丘，宋乐Sphereface：用于人脸识别的深度超球面在IEEE计算机视觉和模式识别集，第212一、二、三[10] 王昊、王一通、周征、纪兴、龚地宏、周景超、李志峰、刘伟。Cosface：用于深度人脸识别的大幅度余弦损失。在IEEE计算机视觉和模式识别会议的论文集，第5265-5274页，2018年。一、二、三[11] 邓健康，贾国，薛念南，Stefanos Zafeiriou。Arcface：用于深度人脸识别的附加角度余量损失。在IEEE/CVF计算机视觉和模式识别会议论文集，第4690-4699页一、二、三[12] Yifan Sun ， Changmao Cheng ， Yuhan Zhang ， ChiZhang，Liang Zheng，Zhongdao Wang，and Yichen Wei.圆损失：对相似性优化的统一观点在IEEE/CVF计算机视觉和模式识别会议的论文集，第6398-6407页一二三八[13] Ekin D Cubuk ，Barret Zoph ，Dandelion Mane，VijayVasude-van，and Quoc V Le.Autoaugment：从数据中学习增强策略。在IEEE/CVF计算机视觉和模式识别会议论文集，第113-123页1[14] Sungbin Lim、Ildoo Kim、Taesup Kim、Chiheon Kim和Sungwoong Kim。快速自动扩增。在汉娜M.放大图片作者 ： Wallach ， HugoLarochelle ， AlinaBe ygelzimer ，FlorenceFox和Roman Garnett，编辑，神经信息处理系统 的 进 展32 ： 神 经 信 息 处 理 系 统 年 度 会 议 2019，NeurIPS 2019，2019年12月8日至14日，温哥华，BC，加拿大，第6662-6672页，2019年。1[15] Xinyu Zhang ， Qiang Wang ， Jian Zhang ， and ZhaoZhong.对抗性自动扩增。第八届国际学习表征会议，ICLR 2020，亚的斯亚贝巴，埃塞俄比亚，2020年4月26日至30日。OpenReview.net，2020年。1[16] Keyu Tian，Chen Lin，Ming Sun，Luping Zhou，JunjieYan，and Wanli Ouyang.通过增强式权重共享改进自动增强。In Hugo Larochelle，Marc1[17] Barret Zoph和Quoc V. Le.神经架构搜索与强化学习。在第五届国际会议上学习表示，ICLR 2017，土伦，法国，2017年4月24日至26日，会议跟踪程序。OpenRe-view.net，2017年。1、4[18] 柳寒笑，凯伦西蒙尼扬，杨一鸣。DARTS：微分架构搜索。在第七届国际学习表征会议，ICLR 2019，新奥尔 良 ， 洛 杉 矶 ， 美 国 ， 2019 年 5 月 6 日 至 9 日 。OpenReview.net，2019年。1[19] 张新邦，黄泽浩，王乃燕，席明，潘春红.你只搜索一次：通过直接稀疏优化的单次神经架构搜索。IEEETransacti