异构目标检测器的优化及应用

+v：mala2255获取更多论文HEAD：异质物体探测器王绿婷1，3李晓杰2廖跃1，3姜泽仁4吴建龙5王飞2，6陈倩2刘思1，31北京航空航天大学人工智能研究院2商汤科技研究院3北京航空航天大学杭州创新研究院4苏黎世联邦理工学院5山东大学6中国科学技术大学https://github.com/LutingWang/HEAD抽象的。传统的目标检测知识提取方法主要集中在同质师生检测器上。但是，用于部署的轻量级检测器的设计通常与高容量检测器有因此，我们研究KD之间的异质性教师和学生对广泛的应用。我们观察到，异构KD（hetero-KD）的核心困难是由于不同的优化方式，异构检测器的骨干特征之间存在显著的语义差距。传统的均相KD（homo-KD）方法存在这样的差距，并且难以直接获得对异源KD的满意性能。在本文中，我们提出了HEAD框架，利用异构检测头作为助手来指导学生检测器的优化，以减少这一差距。在HEAD中，助理是一个附加的检测头，其结构与连接到学生骨干的教师头相同。因此，异源KD被转化为同源KD，允许从教师到学生的有效知识转移。此外，我们扩展HEAD到教师免费的HEAD（TF-HEAD）框架时，一个训练有素的教师检测器不可用。我们的方法已经取得了显着的改进相比，目前的检测KD方法。比如说，在MS-COCO数据集上，TF-HEAD帮助R18 RetinaNet实现了33. 9 mAP（+2. 2），而HEAD进一步将限制推到36。2mAP（+4. 5）。关键词：知识蒸馏，目标检测，异构。1介绍随着深度学习的发展，目标检测的性能得到了巨大的提高。然而，将检测器部署到边缘设备通常会对参数、计算和内存的数量施加限制。因此，参数压缩和精度提升是目标检测走向实际应用的核心问题，通讯作者（liaoyue.ai@ gmail.com）arXiv：2207.05345v1 [cs.CV] 2022年7+v：mala2255获取更多论文2Wang等人(a) RetinaNet（b）FCOS（c）更快的R-CNN（d）TF-HEAD图1：具有相同主干架构的不同检测器的激活模式比较。特征响应的强度从蓝色到红色增加这些检测器产生不同的骨干特征表示。我们使用RetinaNet作为学生，并应用TF-HEAD来利用FCOS助手和R-CNN助手的特征提取能力。因此，TF-HEAD的激活图以更高的强度突出了斑马的更多区域，这表明特征图包含了最多的信息。蒸馏（KD）是最流行的解决方案之一。KD旨在通过从高能力模型（教师）转移知识来培训紧凑模型（学生）最近，随着KD方法[16，23，32，38，48，52]在一般视觉模型中的发展，KD在目标检测中引起了越来越多的关注。为了清楚地展示，我们首先简要定义了现代基于CNN的检测器的一般架构[27，37，40]，其中输入图像表示为特征图，然后使用不同的方法来解码特征图的检测结果以这种方式，检测器可以分为包括FPN [26]的主干和检测头。我们进一步定义具有相同头部架构的探测器为同质的，否则为异质的。在此基础上，我们将基于师生对体系结构的目标检测KD归纳为两种方案：同质KD（homo-KD）或异质KD（hetero-KD）。homo-KD方案通常允许教师检测器具有比学生检测器更强的骨干，但需要相同的头部架构。例如，R18 RetinaNet [27]可以由R50 RetinaNet通过homo-KD进行教导，但不能由R50 RepPoints [45]或R50 Faster R-CNN [37]进行教导。在同源KD方面已经取得了重大进展[3，6，10，38，42，46，53]。然而，homo-KD的实际应用是有限的，因为部署的学生和最强大的老师通常是从不同的动机设计的，并产生非常不同的头。因此，我们的目标是探索异KD，对象检测的一个重要和重要的课题。我们首先提出了一个分析异构检测器。我们观察到，两个异构检测器共享相同的骨干架构，而他们的骨干特征表示仍然是非常不同的。如图1所示，来自具有R50骨架的不同检测器的激活图，例如，更快的R-CNN [37]，RetinaNet [27]和FCOS [40]是不同的。因此，我们认为，异质检测头引导不同知识的骨干我们认为，学生模仿教师主干知识是异源KD的重要一步。直观的想法是直接对异质检测器执行homo-KD方法，但学生的精度提高是显著的。+v：mala2255获取更多论文HEAD：异质物体探测器的异质辅助蒸馏3有限公司这主要是因为主干知识的差异扩大了教师和学生之间的语义鸿沟。为此，我们设计了一个简单而有效的异KD机制，即异辅助蒸馏（HEAD），通过自适应助手弥合异检测器之间的语义差距，从而简化为同质KD问题。对于一个特定的教师-学生对，我们首先设计了一个额外的辅助头与教师头相同的架构，并将其连接到学生骨干。通过这种方式，我们构建了一个均匀的探测器对，I.E.教师和学生骨干配备助理。在训练过程中，助理和原学生负责人并行处理学生骨干特征。然后，我们提出了两种KD机制，即：基于助理的KD（AKD）和跨架构KD（CKD），分别监督助理和学生的头部学习。在AKD中，我们直接将homo-KD应用于助理和教师头部，因为它们是同质的。因此，高层次的知识[48]，即。用于检测的信息流被有效地从教师头传送到助理。此外，教师骨干知识也通过梯度反向传播从助教传递到学生骨干。直观地，助理教导学生骨干学习再现教师信息流的关键知识[48]。因此，异构检测器之间的语义差距是由助理桥接在CKD中，我们进行了从学生头到教师头的特征模仿CKD起辅助作用，在头部水平上整合异构知识，以弥补AKD。在实践中，为特定的学生找到合适的教师并不总是那么容易，这限制了传统的以教师为基础的KD方法的应用[11，49]。因此，我们进一步探索了一种无教师[20，22，49，51]方法，该方法使我们的HEAD适应这些情况，即TF-HEAD。TF-HEAD通过向学生注入不同的知识来工作具体来说，我们使用助手来处理学生骨干功能，这与HEAD相同。由于辅导员和学生组长的异质性，他们对学生骨干的优化作用不同，从而丰富了学生骨干的知识内涵。虽然我们用地面真实标签训练助理，而不是来自教师的监督，但助理模块带来的性能改善仍然是显著的。为了进一步推动限制，TF-HEAD使用多个彼此异构的助手。大量的实验证明了我们的框架的有效性。在MS-COCO数据集[28]上，我们的HEAD和TF-HEAD方法分别在基于教师的检测KD方法和无教师检测KD方法中实现了最使用R50 Faster R-CNN作为老师，R18RetinaNet 的 mAP 从 31 提 高 到 32 。 7 到 362 （ +4. 5 ） 和 来 自 32 的 R18FCOS。5到360（+3。5）。在没有经过预先培训的教师的情况下，TF-HEAD将R18 RetinaNet从31. 7到339（+2. 2），这表明简单地整合异质知识有助于训练更好的检测器，使得异质KD与同质KD相比具有优势。+v：mala2255获取更多论文4 Wanget al.2相关工作2.1对象检测目标检测有三种范式：两阶段[5，9，12，13，26，37，54]，锚-基于单级[4，27，29，36]和无锚单级[7，8，40，54，55]。两阶段检测器使用区域建议网络（RPN）来生成感兴趣区域（RoI），然后采用区域预测网络（R-CNN头）来预测对象。虽然两级架构获得了高精度，但其复杂的流水线阻碍了在边缘设备上的部署而一级检测器则直接根据主干提取的特征得到目标的分类和包围盒，实现了实时推理。基于锚的一级检测器使用密集锚框作为检测目标的建议然而，锚盒的数量远远多于目标，这就带来了大量的额外计算量.无锚点检测器学习预测关键点，然后生成边界框来检测对象，而无需预定义的锚点，从而以更低的成本实现更好的性能。不同的检测器提取的特征由不同的检测头进行优化，这将导致较大的语义间隙。因此，用传统的在这项工作中，我们引入了自适应助理，有效地弥合异质师生对之间的差距。2.2知识蒸馏KD将军KD是一种技术，有助于在强大的教师模型的监督下训练紧凑的学生模型。Hinton等人[16]提出这一概念，并通过用教师生成的类分布训练学生来实现极大的性能改进。扩展辛顿TAKD [31]采用中等规模的网络作为助手，以提高师生能力差距较大时KD的有效性。与TAKD不同的是，我们的方法采用了助手来解决检测器对之间的异质性均匀检测KD。 Chen等人[3]首先通过为Faster R-CNN实现基于特征和基于响应的丢失来将KD应用于对象 Li等[24]对学生提案所采样的特征应用L2损失Wang等人[42]发现从前景区域模仿特征比背景更重要，并且仅提取对象锚位置附近的特征。DeFeat [10]表明背景特征的信息也是必不可少的，因此前景和背景区域是用不同的因素同时提取的。LabelEnc [11]首先训练一个自动编码器来模拟位置类别信息，然后使用标签表示来监督检测器的训练。虽然这些方法在异构主干上取得了巨大的成功，但由于结构和特征语义的巨大差异，很少探索检测架构之间的异构性。异质检测KD。 为了在异构检测器之间传递知识，MimicDet [30]将细化模块引入到一级检测头中，以模仿两级检测头的工作流程，然后进行+v：mala2255获取更多论文×.ΣD·D·HEAD：异质物体探测器的异质辅助蒸馏5来自教师和学生头部的对齐特征之间的KD。虽然MimicDet提高了准确性，但很难将学生头部的结构修改转移到其他异构检测器。与MimicDet不同通过微小的修改，我们的框架可以支持各种异构检测器。G-DetKD [47]首先为对象检测器提出了一个通用的蒸馏框架，它在所有金字塔级别上执行软匹配，为学生提供最佳指导。然而，在特征模仿之前，使用学习的相似性分数来组合不同水平的学生的特征，并不能从本质上缩小语义鸿沟。在我们的工作中，我们附加了一个助手，这是相同的教师检测头，到学生网络直接从教师学习。由于助理和教师具有同质的检测头，他们的特征语义差距小于异构头，有助于更有效的知识转移。3方法节中3.1、我们简单回顾一下检测KD的流水线然后，我们详细阐述了我们提出的异KD机制，异辅助蒸馏（HEAD）3.2.最后，我们在第二节介绍了HEAD的一个无教师扩展（TF-HEAD）三点三3.1Detection KD检测我们专注于使用中间特征的蒸馏[38]。特征的蒸馏损失通常可以用公式表示为：L=DFT，N（FS），（1）其中（）是衡量教师和学生之间知识差异的蒸馏损失。训练层是一个适应层，用于将学生特征的维度与教师匹配。FT和FS分别是教师和学生的中间特征在本文中，我们定义（）为MSE损失。的形式取决于F-S的形状。对于具有不同数量通道的三维特征，使用11个卷积层。对于具有不同维数的二维特征，线表示线性层。3.2头我们通过实例化一个例子来阐述HEAD的管道，其中Faster R-CNN [9]被用作老师，RetinaNet [27]是学生。图2显示了相应的框架。为了弥合教师和学生之间的语义鸿沟，HEAD构建了一个与Teacher的R- CNN头同构的助手助手使用教师的R-CNN头部的预训练权重进行初始化，并与学生一起请注意，HEAD只作用于训练阶段，而助手在推理过程中不使用。+v：mala2255获取更多论文∈∈GTLGTCLSLGTRetinaNet（学生）reg-branch转换x4脊柱（带颈部）ROIscls-branch转换x4样本图像ROIs助理ℒ���ROIAlign12ℒ���ℒ���2脊柱（带颈部）R-CNN1前向路径ROIAlign12更快的R-CNN（教师）蒸馏损失反向传播冻结模块6 Wanget al.图2：HEAD概述，其中教师是Faster R-CNN [37]，学生是RetinaNet[27]。我们构建了一个与老师的R-CNN头部同质的助手我们首先提取教师和学生的骨干特征。然后，学生骨干特征并行地输入到原始学生头和助理中。教师带头处理教师骨干的特点。KD机制包括教师负责人和助理之间的AKD，以及教师负责人直接监督学生负责人的CKD给定一幅图像，首先提取学生和教师的骨干特征为PSRC×H×W和PTRC×H′×W′是对称的。 我们遵循原始检测器管道，采用学生头（RetinaNet [27]头）来计算学生损失，表示为S。如图2所示，学生头包括回归分支和分类分支。学生损失是通过总结两个分支的损失来计算的：S s sLSLgt= Lreg+ Lcls.（二更）根据原始RetinaNet计算。为了方便起见，我们采用Sreg ∈RC×H×W 和FS∈RC×H×W表示最后一个中间特征分别是回归分支和分类分支接下来我们介绍由两个KD过程组成的KD机制，即：基于助手的KD（AKD）和跨架构KD（CKD）。AKD是HEAD的核心。我们利用教师的R-CNN头和助手分别处理相应的骨干特征P T和P S。 同时，我们采用AKD损失A作为助手来模仿教师头部的中间特征。为了完整性，我们采用CKD，其中教师负责人直接为学生负责人提供监督。 CKD损失表示为LC。在训练阶段，总体损失为头 =LS+LA+LC .（三）我们的HEAD框架不限于一级和两级检测器之间的蒸馏，但可以应用于广泛的异构检测器。FL+v：mala2255获取更多论文D·GTLLL1 ∈regLCLSLLLA=LA+λLA，（5）HEAD：异质物体探测器的异质辅助蒸馏7辅助KD。 当教师是两阶段时，教师头和助理分别对P T和P S执行RoIAlign [12]，并预先计算一组RoI。对于两阶段学生，学生RPN的输出对于没有RPN的单阶段学生，我们将学生头的输出作为替代。对于图2中的示例，我们将每个锚点的分类logit转换为类不可知的对象logit，并遵循原始RPN协议来生成ROI。此外，我们将ROI的数量表示为N。我们将主干特征PT和PS（或RoI Aligned特征）分别馈送到教师头和助理中中间特征部教师和助理的平均值分别表示为FT，FT，，FT12升和FA，FA，. . . 、FA. L表示中间特征的数量图2，12升R-CNN头由两个线性层组成我们使用两者的输出层，从而将L设置为2。最后，由于教师头与助理是同质的，所以我们简单地在中间特征对LA = D。FT，FS。（四）为了简单起见，我们使用MSE损失作为（），线性层作为（）。除了教师的监督外，我们还使用地面真值标签来监督助手。在图2中，我们遵循原始的Faster R-CNN，使用标准的交叉熵损失和L1损失来监督助手的分类和回归输出一般来说，助理A的地面真值损失与教师相同，因此当教师犯错误时，助理从地面真值标签中学习总AKD损失定义为ALGT其中λA表示失重。Lll=1直觉上，A要求助教再现老师的推理过程。为了实现这一目标，学生骨干需要在PS中捕获足够的信息。因此，助理经由梯度反向传播优化学生骨干跨架构KD。虽然AKD是有效的和普遍的，它只是提炼知识到学生的骨干。因此，我们将CKD设计为毛皮-通过教师对学生的直接监督来提高学生的成绩。如图2所示，我们应用CKD损失是-在老师的R-CNN头和学生的RetinaNet头之间。 首先，教师 RN×C′，而学生SCLS∈RC×H×W。 C′表示R-CNN头部隐藏的尺寸层.我们忽略回归特征FSG-DetKD之后[47]。第二、受MimicDet [30]的启发，我们追溯到每个RoI的原始锚第三，由于每个锚点对应于FS上的像素，，我们采样这些像素F+v：mala2255获取更多论文ROIsD·F COSC.DFCLSF COS1ROIs8 Wanget al.RetinaNet（学生）FCOS助理一骨干RetinNet头部ℒ���地面图像（带颈部）样品真相ROIsℒ���一R-CNN助理���−���������ℒ���−���������前向路径蒸馏损失反向传播图3：TF-HEAD训练管道的示例我们使用R-CNN头[37]和FCOS头[40]作为两个助手来指导RetinaNet [27]。形成FS∈RN ×C。之后，我们使用EQ。（1）进行CKDLC= λCD。FT，FS， （6）其中λC是损失权重，（）是MSE损失，并且λ C是从C维特征到C′维特征的线性层映射。如果教师和学生都是单阶段或都是两阶段，CKD简单地在教师头部和学生头部的对应中间特征之间应用MSE损失假设教师是FCOS[40]，学生是RetinaNet [27]。设FT表示最后一个中间特征FCOS头的分类分支则CKD损失表示为LF COSCFCOS不FCOS，J.FS中国（7）其中λC是损失weight，D（·）是MSE1os，λ c是1×1卷积层. 对于两级管道的教师和学生来说，适配层使用线性层。3.3TF-HEAD在实践中，并不总是有适合特定学生的教师基于导师的KD方法，包括我们的HEAD，在这种情况下失败因此，我们将HEAD扩展为一个无教师的方法，即TF-HEAD。TF-HEAD是基于实验观察而设计的如图1，不同的检测器[27，37，40]具有不同的激活图，证明了骨干中的不同知识异构检测体系结构融合了不同的人类先验知识，采用了不同的骨干优化方式。因此，异构检测器产生不同的知识。即使没有HEAD中的预先训练的教师，我们观察到助理仍然可以从地面真实标签中学习。在此基础上，我们设计了一种无教师知识分配机制TF-HEAD。如图3、TF-HEAD使用助手将知识从异构检测器传递给学生。请注意，我们在TF-HEAD中允许多个助手虽然TF-HEAD框架ℒℒ=λ+v：mala2255获取更多论文⋆⋆LLGT×D·LLGTF COSF COSR−CNNR−CNNGT⋆⋆⋆HEAD：异质物体探测器的异质辅助蒸馏9是普遍的，我们使用图中的例子3展示了它的应用，其中FCOS头和R-CNN头被用于示教RetinaNet头。对于每个助理，我们分别将其地面真实损失和CKD损失表示为A和C，如第2节所述。3.2. 表示助理的姓名。对于图3中的示例，总损耗为LT F−HEAD=LS+LA+LC+LA+LC.（八）更一般地说，我们的TF-HEAD框架的总体损失是LT F −HEAD = LS+。LA+LC，（9）其中， 是学生探测器的地面真实损失。我们代表辅助因子的权重为λA和λC。⋆ ⋆4实验实验在COCO 2017数据集[28]上使用平均精度（mAP）指标进行。我们采用默认的120 k/5 k分割进行训练和验证。所有蒸馏损失（）均以MSE形式表示。适配层104是11卷积层或线性层，这取决于其输入的形状。对于AKD，我们将λA设置为5。如果学生负责人和助理都是一级负责人，则CKD损失重量λC设置为1，否则为2。训练在8个GPU上进行，批量大小总共为16 我们使用随机梯度下降（SGD）优化器，0。 9的势头和0。0001重量衰减。使用1x（12epochs）训练时间表。在第8和第11个时期，学习率除以10，初始学习率为0。01为一级检测器和0。02用于两级探测器。输入图像的短边缩放到640-800像素，长边缩放到1333像素。4.1主要结果与homo-KD方法的比较 在本节中，HEAD与以前的同质检测KD方法进行了比较。由于这些方法最初是针对同质检测器提出的，因此只能应用主干模仿部分。为了公平起见，我们不使用CKD损失C，而只使用 AKD 损 失 A 。 我 们 使 用 两 个 学 生 架 构 （ Reti- naNet [27] 和 FCOS[40]），两个学生骨干（R18 [14]和MNV 2 [39]）和两个教师选择（R50 Faster R-CNN [37]和R50 RepPoints [45]）进行实验。在所有八对师生中，泰伯。1表明HEAD的性能大大优于以前的方法。具体来说，在R50 Faster R-CNN的指导下，我们的HEAD框架将RetinaNet [27]性能提升了3。8和四、对于R18和MNV2主链分别为0 mAP对于FCOS，性能增益也很突出。我们观察到3。当使用R50 Faster R-CNN作为老师时，两个主干上的5 mAP增益。有趣的是，我们观察到homo-KD方法在某些情况下会降低学生+v：mala2255获取更多论文−−10Wang等人表1：与均相KD方法的比较。†表示在HEAD中仅使用基于辅助的KD损失。学生骨干R18 [14]MNV2 [39]方法老师地图映射50 映射75 地图 映射50 映射75[27]第二十七话-31.749.533.528.544.829.9[第38话]34.152.236.031.648.733.5FGFI [42]R5034.452.236.430.847.332.6[第10话]Faster R-CNN 34.152.136.331.147.932.7FGD [46]（40.3）[37]34.452.636.731.948.934.0HEAD†（我们的）35.554.537.932.550.434.4[第38话]31.549.033.327.543.228.9FGFI [42]R5033.150.835.329.145.130.8[第10话]RepPoints30.948.032.828.244.229.6FGD [46]（38.6）[45]31.348.633.228.344.330.0HEAD†（我们的）34.2 52.436.630.547.132.3FCOS [40]-32.550.934.130.047.531.3[第38话]R5034.252.236.132.049.333.7FGD [46]Faster R-CNN 35.453.837.332.950.534.6HEAD†（我们的）（40.3）[37]36.054.938.433.551.635.2[第38话]R5032.750.934.430.347.631.7FGD [46]RepPoints33.852.135.731.248.832.5HEAD†（我们的）（38.6）[45] 35.0 53.836.832.550.434.3异质探测器对由于异构检测器之间的语义间隙比同构检测器大得多，因此同构KD方法容易过度规范学生，导致这种现象[34]。与异源KD方法的比较 我们进一步比较我们的HEAD与以前的异源KD方法。当使用Faster R-CNN作为老师时，我们将HEAD与G-DetKD进行比较[47]。对于RepPoints [45]教师，由于G-DetKD中的对比损失不适用于这种一级检测器，因此我们仅使用其主干模拟损失（SGFI损失）。为了公平起见，我们也禁用了CKD损失。如tab所示。2、我们的HEAD在各种师生对上超过G-DetKD和SGFI。请注意，Faster R-CNN使用FPN[26]功能的26个级别，而RetinaNet，FCOS和RepPoints使用37级。结果表明，语义引导的特征水平匹配机制不能有效地弥合教师和学生之间的语义差距，如果两个检测器使用相同的FPN水平。相比之下，我们的HEAD通过引入助手来同质化教师-学生对，从而弥合了语义鸿沟，结果超过2。所有场景下的5 mAP增益。与无教师教学法的比较 一些方法已经在对象检测上实现了无教师KD，例如MimicDet [30]和LabelEnc [11]。为了在不改变学生模型结构的情况下验证我们的TF-HEAD在无教师方法中的优越性，我们只选择LabelEnc用于com。+v：mala2255获取更多论文HEAD：异质物体探测器的异质辅助蒸馏11表2：与异源KD方法的比较。†表示在HEAD中仅使用AKD损失。学生骨干R18 [14]MNV2 [39]方法老师mAP mAP50mAP 75 mAP mAP 50 mAP75[27]第二十七话-31.749.533.528.544.829.9G-DetKD [47]R50更快的R-CNN35.454.237.932.650.934.5HEAD（我们的）（40.3）[37]36.255.238.8 32.850.834.4SGFI [47]R50 RepPoints31.649.533.227.943.929.2HEAD†（我们的）（38.6）[45]34.252.436.630.5 47.132.3FCOS [40]-32.550.934.130.047.531.3G-DetKD [47]R50更快的R-CNN34.152.636.332.150.433.6HEAD（我们的）（40.3）[37]36.0 54.938.4 33.551.635.2SGFI [47]R50 RepPoints32.650.934.430.247.631.7HEAD†（我们的）（38.6）[45]35.053.836.8 32.550.434.3更快的R-CNN[37]-33.954.136.328.347.029.5G-DetKD [47]R50级联R-CNN36.157.339.033.454.235.3HEAD（我们的）（43.5）[2]36.758.039.333.854.435.8表3：与无教师检测KD方法的比较为了公平起见，我们使用R50 [14]骨干和2x（24 epoch）训练计划进行所有实验。*表示FCOS的改进，包括中心采样，bbox的归一化，回归分支的中心性和GIoU。方法[27]第二十七话[40]第四十话更快的R-CNN[37]基线38.741.039.4标签Enc [11]39.641.839.6TF-HEAD（我们的）40.242.340.5- 是的LabelEnc采用两步训练过程，其中两个步骤都需要12个epoch（1x）进行训练。因此，我们对TF-HEAD使用2x（24 epoch）训练计划三个检测结构与R50骨干，即探索。RetinaNet [27]，FCOS [40]和更快的R-CNN [37]。我们的TF-HEAD为每个架构使用两个助手。对于RetinaNet，TF-HEAD使用FCOS头和DH R-CNN头[43]。对于FCOS，使用RetinaNet头和DH R-CNN头对于更快的R-CNN，我们使用RetinaNet头和FCOS头来引导RPN模块。如tab所示 3、HEAD将基线提高1。五，一。3和1。1 mAP，分别比LabelEnc的提高幅度高67%、63%和350%4.2消融研究头的有效性。为了评估助理作为教师和学生之间的桥梁的有效性，我们进行了实验，没有CKD损失。如tab中所示 4，HEAD †将R18 RetinaNet提高3. 8 mAP和+v：mala2255获取更多论文12Wang等人表4：股骨头的消融研究。我们使用R50 Faster R-CNN作为老师，RetinaNet作为学生。†表示在HEAD中仅使用AKD损失。学生骨干R18 [14]MNV2 [39]方法老师mAP mAP50mAP 75 mAP mAP50mAP 75[27]第二十七话-31.749.533.528.5 44.8 29.9头部†R50更快的R-CNN 35.554.537.932.550.4头（40.3）[37]36.255.238.832.850.8 34.4头部†R50 RepPoints34.252.436.630.5 47.132.3头（38.6）[45]34.352.836.430.647.7 32.3表5：TF-HEAD的消融研究。学生是R18 RetinaNet [27]。我们使用FCOS头和R-CNN头作为两个助手来指导学生。一LF COSCLF COS一LR− CNNCLR− CNN 地图 映射50 映射75 图s 地图m 图l31.749.533.516.834.742.1✓32.951.234.817.836.043.5✓✓33.051.435.017.336.343.9✓33.452.135.118.136.444.8✓✓33.752.335.617.836.944.9✓✓33.852.535.618.236.845.2✓✓✓✓33.952.735.918.537.445.2MNV2 RetinaNet 4. 0 mAP。增加CKD损失进一步带来0. R18 RetinaNet和0. MNV2 RetinaNet的3 mAP增益。TF-HEAD的有效性在这里，我们调查的有效性，每个蒸馏组成部分，在方程。（九）、我们使用FCOS头和R-CNN头作为辅助来引导R18RetinaNet。如tab所示5、我们提出的TF-HEAD实现了二、与原始RetinaNet相比有2 mAP的改进，证明了我们的TF-HEAD结构的有效性。FCOS助手为主干带来基于点的知识，将基线提高1。2mAP。然后，FCOS助手和RetinaNet头之间的CKD损失增加0。1 mAP增益。相比之下，R-CNN助手本身带来1. 7 mAP增益。CKD损失进一步增加0。3 mAP。同时使用两个助手达到33个。9 mAP。提前停止以防止助手的误导。 如图4.从第8个历元开始，CKD损失异常增加，而所有其他损失突然减少.这种现象表明，CKD的损失已经停止帮助学生的头从那时起。注意，第8个epoch是第一次降低学习率。退火KD[19]认为，有害的影响是因为教师干扰学生学习地面真值标签。在第8个时期学习率下降后，助手和学生头的优化方向开始发散，这扩大了语义鸿沟在中间从这一刻起，CKD的损失开始过度正规化[34]的研究，+v：mala2255获取更多论文0.40.30.2HEAD：异质物体探测器的异质辅助蒸馏13表6：及早停止CKD损失可提高学生的成绩，0。1 mAP。反复实验证实，它不是由随机因素引起的。20000 40000 60000 80000迭代图4：CKD损失和地面实况损失的可视化TF-HEAD 1x RetinaNet 3x FCOS 3x Faster R-CNN 3x图5：TF-HEAD，RetinaNet [27]，FCOS [40]和Faster R-CNN [37]的骨干特征的可视化。TF-HEAD以更高的强度突出显示更多的前景区域，而背景保持不激活。dent.直觉上，学生负责人和助理具有不同的架构，因此他们应该以不同的方式预测对象强迫学生的大脑去模仿助手会阻碍它有效地自主学习知识因此，我们使用early-stop来确保学生和助手收敛到他们的局部最优值。选项卡. 6表明，提前停止略有改善的性能。4.3可视化骨干特征图的可视化 通过可视化的特征图，我们验证了TF-HEAD训练更强的骨干。如图5所示，HEAD生成的特征图准确地识别了包含对象的区域，表明RetinaNet [27]，FCOS [40]和Faster R-CNN [37]的知识可以相互补充。因此，TF-HEAD的主干生成更多信息的特征图，这进一步帮助学生更加准确。COCO错误分析的可视化 图6呈现了对所有班级和两个随机选择的班级的分析从RetinaNet到TF-HEAD，背景误差和假阴性误差显著降低，表明学生已经从异构检测器中学习了知识，以做出更准确的预测。因此，正确率显著提高。使用loss_clsloss_regloss_ckd早停地图图s 地图m图l✓33.818.537.344.933.9 18.537.445.2+v：mala2255获取更多论文14 Wanget al.RetinaNetTF-HEAD头百分之十五点三百分之十二点一8.6%3.7%百分之五十二点七7.6%0.0%0.0%0.0%百分之二十四点六百分之三十九点五百分之十三点九13.7%百分之十八点六百分之四十七点八百分之十点二 百分之十二点八百分之十五点三百分之八51.0%百分之十一点二百分之四点二6.8%2.3%2.8%3.0%2.0%二点二2.0%5.8% 3.0%百分之八十点九85.0% 正确 子类别分类错误 背景误差 定位误差 超类别分类错误 假阴性图6：使用[17]中的工具进行COCO错误分析预先训练的教师检测器HEAD进一步提高了准确性，背景错误和假阴性错误甚至更低。5结论在本文中，我们研究了异构对象检测器之间的KD，发现异构模型之间的语义鸿沟是负责异构KD的困难。在此基础上，我们设计了一种简单而有效的异相辅助蒸馏（HEAD）机制。HEAD通过一个自适应助手在异构检测器之间架起了语义鸿沟的桥梁，从而简化为一个同质KD问题。对于没有经过培训的教师的情况，我们进一步提出了一种名为TF-HEAD的无教师方法大量的实验证明了我们的框架的有效性。致谢。本研究得到了国家自然科学基金（62122010，61876177）、中央高校基础研究基金和浙江省重点研究发展计划（2022C01082）的部分资助。百分之十四点五7.7%8.3%百分之五十四点五3.6%7.4%百分之十六点八百分之四十九点七9.1%7.4%4.3%百分之一点七3.0%4.4%2.7%百分之零点七百分之八十七点五小鼠培养基所有类别所有区苹果大号+v：mala2255获取更多论文HEAD：异质物体探测器的异质辅助蒸馏15引用1. Ahn，S.，Hu，S.X.，Damianou，A.，劳伦斯，北达科他州，Dai，Z.：知识转移的变分信息蒸馏。在：CVPR。IEEE（2019）42. 蔡志，Vasconcelos，N.：Cascade R-CNN：深入研究高质量的对象检测。在：CVPR。IEEE（2018）113. 陈，G.，Choi，W.，Yu，X.，Han，T.，Chandraker，M.：利用知识蒸馏学习有效的目标检测模型。In：NeurIPS（2017）2，44. 陈昆，王玉，杨，T.，张，X.，Cheng，J.，Sun，J.：你只看一个层次的功能。在：CVPR。IEEE（2021）45. Dai，J.，李，Y.，他，K.，Sun，J.：R-FCN：通过基于区域的全卷积网络进行目标检测。在：NeurIPS（2016）46. Dai，X.，蒋志，吴志，鲍，Y.，王志，Liu，S.，Zhou，E.：用于目标检测的通用实例提取。在：CVPR。IEEE（2021）27. 董，Z. Li，G.，廖，Y.，王福，Ren，P.，Qian，C.：Centripetalnet：追求高质量的关键点对进行对象检测。在：CVPR（2020）48. Duan，K.，Bai，S.，谢，L.，Qi，H.，黄，Q，Tian，Q.：CenterNet：用于对象检测的关键点三元组。In：ICCV. IEEE（2019）49. Girshick，R.：快速R-CNN。In：ICCV. IEEE（2015）4，510. 郭杰，汉，K.，王玉，吴，H.，陈旭，徐，C.，Xu，C.：通过解耦功能提取对象检测器。在：CVPR。IEEE（2021）2，4，1011. Hao，M.，Liu，Y.，张，X.，Sun，J.：LabelEnc：一种新的目标检测中间监督方法。In：ECCV（2020）3，4，10，1112. 他，K.，Gkioxari，G.，Dollar，P.，Girshick，R.：屏蔽R-CNN。TPAMI42（2）（2020）4，713. 他，K.，张，X.，Ren，S.，Sun，J.：用于视觉识别的深度卷积网络中的空间金字塔池。In：ECCV. 04第一次约会（2014）14. 他，K.，张，X.，Ren，S.，Sun，J.：用于图像识别的深度残差学习。在：CVPR。IEEE（2016）9，10，11，1215. Heo，B.，李，M.，Yun，S.，Choi，J.Y.：通过隐藏神经元形成的激活边界的蒸馏进行知识转移。AAAI33（2019）416. Hinton，G.，Vinyals，O.，Dean，J.：在神经网络中提取知识。arXiv预印本arXiv：1503.02531（2015）2，417. Hoiem，D.，Chodpathumwan，Y.，Dai，Q.：诊断对象检测器中的错误。In：ECCV（2012）1418. 黄志，Wang，N.：喜欢你喜欢的：通过神经元选择性转移的知识提取arXiv预印本arXiv：1707.01219（2017）419. Jafar