空中目标检测中的有效自适应点学习方法

1829空中目标检测中的定向代表点李文通1，陈一杰1，胡凯旋2，朱建科1，31浙江大学2电子科技大学3阿里巴巴-浙江大学前沿技术{李文通，陈永杰，jkzhu}@ zju.edu.cn，201922100522@std.uestc.edu.cn摘要与一般目标相比，空中目标是十个非轴对准的任意取向，具有杂乱的环境。与传统的基于包围盒方向的方法不同，本文提出了一种有效的自适应点学习方法，该方法利用自适应点表示能够捕捉任意方向实例的几何信息。为此，提出了三种定向转换函数，便于分类定位，并具有准确的定向性。提出了一种有效的自适应点学习质量评估和样本分配方案，用于在训练过程中选择具有代表性的代表点样本，能够从相邻物体或背景噪声中捕获非轴向对齐的特征。引入空间约束对离群点进行惩罚，以实现鲁棒自适应学习.在DOTA、HRSC 2016、UCAS-AOD和DIOR-R等四个具有挑战性的航空数据集上的实验结果证明了该方法的有效性。源代码可在https://github.com/LiWentomng/OrientedRepPoints获得。1. 介绍空中目标检测作为一项重要的计算机视觉任务[4，34，37与一般目标检测不同，空中目标定位有其自身的困难，包括具有任意方向的非轴对齐目标[3，9，24]和具有复杂背景的密集分布[7，37，45]。主流方法通常将空中目标检测视为旋转目标定位问题[3，8，9，24，42，45]。其中，直接角度为基础的orienta-通讯作者是朱建科。(a) [19]第十九话(b) 推荐的面向RepPoints框架图1. (a)表示基于方向回归的方法的常用基线RetinaNet [19]，（b）是我们的Oriented Rep Points的基线方法。与直接方向回归方法相比，该方法通过学习标记为红色的自适应点来估计更精确的方向回归方法在该研究领域占主导地位，这些方法来自具有额外方向参数的一般香草检测器[18，19，28，53尽管已经取得了有希望的性能，但直接定向预测仍然存在一些问题，包括损失的不连续性和回归不一致性[25，40，41，43]。这主要是由于有界周期性质的angu，最大方向和旋转边界框的方向定义。尽管它们的有吸引力的定位结果，但是基于取向回归的检测器可能不能准确地预测取向，如图1所示。1-（a）.为了有效地解决上述问题，我们重新审视空中物体的表示，以避免敏感的方向估计。作为一种细粒度的对象表示，点集显示出在传统的通用检测器（如RepPoints）中捕获关键语义特征的巨大潜力[46]。但其简单的转换函数只能产生垂直-水平的包围盒，无法精确估计空中目标的方位。而且，RepPoints只对关键点进行1830根据语义特征对学习点进行分类，而忽略了对学习点质量的有效度量。这可能会导致航空图像中的非轴对准对象的密集分布和复杂的场景的在这项工作中，我们提出了一个有向目标检测器的航空图像，命名为定向RepPoints，它引入了自适应点表示为不同的方向，形状和姿态。与传统的方向回归方法相比，我们提出的方法不仅实现了具有精确方向的精确空中检测，而且还捕获了任意方向空中实例的潜在几何结构，如图1所示。具体地，从中心点生成初始自适应点，其被进一步细化以适应空中物体。为了获得有向包围盒，根据学习点的布局，提出了三个有向转换函数此外，提出了一种有效的自适应点评估和分配（APAA）方法，该方法不仅从分类、局部化的角度，而且从训练过程中的方向和逐点特征相关性的角度来衡量有向表示点的质量这种方案使检测器能够从相邻物体或背景噪声中捕获非轴向对齐的特征，以分配代表性的定向代表点样本。此外，提出了一个空间约束，以方便脆弱点找到他们的实例所有者从复杂的背景下，在空中场景。与基于方向回归的方法相比，该框架获得了更精确的检测结果。定位准确的性能。综上所述，本文的主要贡献在于：(1)提出了一种有效的空中目标检测器OrientedRep-Points，其中引入了灵活的自适应点作为表示来实现有向目标检测;（2）一种新的自适应点学习的质量评估和样本分配方案，该方案不仅从分类、定位中选择点样本，而且从方向、逐点特征提取中选择点样本;（3）在四个具有挑战性的数据集上进行了广泛的实验，显示了良好的定性和定量结果。2. 相关工作与大多数基于水平包围盒的目标检测器不同，航空图像中的目标往往是任意方向且密集分布的。我们在下面讨论相关的工作。2.1. 面向对象检测目前的空中目标检测方法主要是在经典目标检测器的基础上引入方向回归的方法。 SCRDet [45]，CAD-Net [47]，DRN [24]，R3 Det [42]，ReDet [9]和OrientedR-CNN [35]通过预测边界框的旋转角度。滑动顶点[36]和RSDet [25]通过回归四边形改善检测结果。为了解决基于角度的方向估计中的边界不连续性，Yang等人 [41]将角度回归转换为角度分类[40]。后来，Yang等人。 [43]将旋转边界框的参数化转换为2-D高斯分布，这为定向对象检测获得了更鲁棒的结果。这些方法致力于使用旋转角度表示来改进取向估计。另外，我们介绍了一种更有效的表示，在本文中使用自适应点。2.2. 非轴对齐特征学习大多数传统的目标检测方法[26，28，30，46，48，49，53]都集中在直立或轴向对准的目标上，这可能对复杂背景中密集分布的非轴向对准目标有困难为了解决这个问题，Ding等人。 [3]采用轴对齐ROI上的空间变换，并在定向边界框的监督下学习非轴对齐表示。SCRDet++ [44]增强了非轴对齐功能，并带来更高的对象响应来训练网络。 Han等人 [8]设计了一个特征对齐模块以减轻轴对准的卷积特征和任意定向的物体之间的未对准。DRN [24]提出了特征选择模块来聚合来自不同内核大小、形状和方向的Guo等人。 [7]采用凸壳表示来学习不规则的形状和布局，旨在通过可学习的特征自适应来避免特征混叠我们的点集为基础的方法是捕捉非轴对齐的空中目标的关键功能。2.3. 用于目标检测的大量的检测方法采用简单的方式设置IoU阈值来选择阳性样本。然而，由于潜在的噪声和困难情况，这种方案不能保证训练样本的整体质量[15，22]。一般对象检测中的一些最近的样本分配方法，例如ATSS[50]，FreeAnchor [51]，PAA [13]和OTA [6]，采用学习匹配优化策略[52]来选择高质量样本。在航空场景中，由于目标的方向多样性和密集分布，选择高质量的样本对有向检测器的学习Ming等人 [23]引入了一种匹配度度量来评估基于有向锚的空间对齐，该度量使用匹配敏感损失来增强分类和有向定位之间的相关性。在这项工作中，我们提出了一个有效的质量评估和样本分配方案，以选择阳性点样本。1831GR···单列车试验自适应点评估分配APAA动态k重分配预先分配分类本地化取向Q逐点相关FPN骨干共享头初始化阶段DCN炼气期DCNlocS.C.DCNCLS偏移定向CN翁韦尔西奥功能图2.面向代表点的框架。该方法是一种无锚点的方法，自适应点作为表示，其中的骨干与FPN网络用于特征编码。除了所提出的APAA和定向转换函数之外，对于FPN的每个尺度，共享头部的结构与RepPoints [46]相同。基于来自初始化阶段的学习点，仅在训练期间执行APAA方案。3. 定向代表点3.1. 概述不同于像传统方法[3，8，9，45]那样直接回归方向，我们利用自适应点集[46]作为细粒度表示，其能够在杂乱环境中捕获具有方向急剧变化的空中物体的几何结构。为此，我们引入了不同的转换函数，其中的代表点被驱动到自适应地移动到适当的位置在一个有向对象。为了有效地学习高质量的自适应点，没有直接的点对点监督，我们提出了一个质量测量方案，选择高质量的定向代表点在训练阶段。为了促进鲁棒的自适应点学习，空间约束被用来惩罚易受伤害的离群点，并从复杂的空中上下文中找到它们的实例所有者。图2示出了我们提出的定向代表点方法的概述。3.2. 自适应方向点学习为了方便点集表示的有向检测器让定向转换函数表示如下：OB=G（R）（1）其中OB表示从学习点集转换的定向框。在本文中，我们研究了三个定向转换函数：MinAeraRect旨在从定向对象上的学习点集找到具有最小面积的旋转矩形NearestGTCorner使用地面实况标记。对于每个角，我们从学习的点集中找到最近的点作为预测角，其中选择的角点用于构建四边形作为定向边界框。凸壳定向实例多边形可以被定义为由Jarvis March算法[7，11]驱动的一组点的凸包，该算法被许多基于轮廓的方法所使用。请注意，NearestGTCorner和ConvexHull是可区分的函数，而MinAeraRect不是。因此，我们在后处理中使用MinAeraRect来获得标准的旋转矩形预测，并且在训练期间使用另外两个可区分的函数来优化自适应点学习。在有向地面实况标注的监督下，点自适应地向每个空中目标的语义关键字和几何特征移动，这同时由分类和局部化丢失驱动。拟议的框架包括两个阶段。初始化阶段通过从对象中心点（特征图箱）细化来生成自适应点集。细化阶段通过如下最小化损失函数来进一步获得精确调整：L=Lcls+λ1Ls1+λ2Ls2（2）其中λ1和λ2是平衡加权。Lcls表示1832我RJLLFFLΣΣ--RCDn我JOCO我BJ2NJ我 J我 J.ǁ− ǁ对象分类损失：L=1ΣF我（Rcls（θ），bcls）（3）评估和分配方案，以衡量学习点的质量，这对分配的代表性样本的自适应点的积极样本在CLSNclsclsij训练阶段自适应点的质量度量首先，我们定义哪里cls（θ）表示预测类置信度基于学习点，而bcls是分配的地面。真理课 [19]这 Ncls表示点集的总数。S1和S2分别表示在初始化和细化阶段的空间定位损失。对于每个阶段，Ls可以表示如下：Ls=Lloc + Ls.c.（四）质量度量Q，用于从四个方面评估学习的自适应点，包括每个定向点集的分类和定位能力Qcls、Qloc、定向对准Qori和逐点相关性Qpoc。因此，Q如下导出：Q=Qcls+µ1Qloc+µ2Qori+µ3Qpoc（8）其中Lloc 是基于转换后的面向点集Ri的分类能力Qcls直接关系到Ri的分类能力。反映了其分类置信度Rcls（θ），其中相应的盒和Ls.c.，表示空间约束损失。我响应分级损失L设Nloc 表示正点集的总数cls测量兼容性具有地面实况类标签bcls的点特征的。我们样品bloc表示地面实况框的位置J因此，LJloc定义如下：定义Qcls如下：CLSCLS（九）L=1<$[bcls≥1]F我（OBloc（θ），bloc）（5）Qcls（Ri，bj）=Lcls（Ri（θ），bj）locNlocj洛克伊杰为了评估点位置与地面实况块，我们采用本地化损失作为哪里[29]这是一个有方向的多边形的GIoU损失[29由于航空图像中不同类别的多样性和杂乱的背景，一部分学习点容易受到背景或具有强关键特征的相邻观测点的影响，从而可能移动到地面实况边界框之外。为了便于可识别点捕捉其实例J基于IoU转型当点集的中心靠近对象的几何中心时，因此，Qloc定义如下：Q10c（Ri，bj）=L10c（0B10c（θ），b10c）（10）我们在刑法中引入了一个有效的空间限制将自适应点调整到边界框之外。设ρij由于Q loc 可以被看作是一种空间位置的度量，表示惩罚函数。空间损失s.c. 对于每个定向对象，定义如下：由于距离较远，它对方位变化不敏感，特别是对于航空图像中的方形物体。为了解释方向对齐，我们使用了Cham-L s.c. =1 1ρNN iji=1j =1（六）fer距离[5]来评估预测点集和地面实况框轮廓点之间的定向差异。我们首先采用MinAeaRect转换其中，Na表示每个对象的分配的正点集样本的数量。No是每个点集中GT盒外的点的数量。令pc表示地面实况边界框的几何中心。给定边界外的采样点po函数来获得四个空间角点v1、v2、v3、v4从学习的点集。 然后，一个有序点集v（默认为40个点）是从两个相邻角点以相等间隔采样的。类似地，为地面实况角点生成点Rg在方框中，惩罚期限定义如下：{g1，g2，g3，g4}。因此，Qori定义如下：哪里p p，p在GT0，否则。GT表示地面实况框。Qorri（Ri，bj）=CD（Rv（θ），Rg）（11）其中，表示上述两组采样点之间的倒角距离3.3. 自适应积分评估和分配由于缺乏直接的监督，学习高质量的点是必不可少的，以捕捉几何特征aOρ=（七）218332N我我J我 JCD（Rv，Rg）=1min<$（xv，yv）−（xg，yg）<$i=1n（十二）自适应密集包装和任意定向的对象，在空中拍摄的照片。 为此，我们提出了一个有效的+1min<$（xv，yv）−（xg，yg）<$j=121834××我，我，我E∈R1.00.80.60.40.20.650.700.750.800.850.900.95一元定向代表点的本地化得分(a) w/o。APAA1.00.80.60.40.20.700.750.800.850.900.95一元定向代表点的本地化得分(b) W. APAA在训练过程中，点分配器[46]用于在初始化阶段获得中心点的样本分配。在细化阶段，提出的自适应点评估和分配（APAA）计划被用来选择高质量的点样本，根据质量度量Q。只有选定的正点集才被分配目标的地面实况边界框。如图3、APAA方案使检测器能够预测高质量的有向代表点，以改善两者图3.在有和没有APAA方案的情况下，预测的分类置信度与定向代表点的定位得分之间的相关性（xv，yv）∈ Rv表示预测spa的采样点。分类置信度和定位得分。值得一提的是，所提出的方案仅用于训练，这不会在推理阶段引起计算负载4. 实验我jg gg真实角点，并且（xi，yj）表 示 从 真 实 角 点生成的采样点。为了测量面向对象的点集上的逐点关联，我们提取逐点特征，并采用特征向量之间的余弦相似性作为学习的自适应点的相关性度量Qpoc令ei，k表示的第k个逐点特征向量，第i组适配点。ei，k和ei表示归一化的嵌入特征向量及其来自第i4.1.评估测试平台DOTA [34]是一个大规模的数据集，用于评估航空图像中定向物体的检测性能，其中包含2806张图像，188，282个实例和15个类别，具有各种方向，尺度和形状。训练集有1411幅图像，而验证集包含458幅图像。测试集由937张图像组成。图像尺寸从800× 800到4000× 4000不等在我们的实验中-点集：埃吉=ei，k阿雷岛（十三）最后，利用训练集和验证集对提出的检测器进行训练，并利用无标注的测试集进行评估。我们把原始的-e=1e（十四）年龄为1024× 1024，步幅为824。iNp k=1i，k在训练阶段，我们随机调整大小和翻转im-年龄，以避免过度。其中Np表示点集中的点的数量。默认设置为9。基于上述符号，第i个点集的Qpoc可以被公式化为逐点特征多样性，如下所示：HRSC2016 [21]包含大量从几个著名港口收集的具有不同外观的条状整个数据集有1061张图像，范围从300×300到1500 × 900。Q=1 −1cose，e><为了进行公平的比较，训练集（436张图像）和val-POCNpi，k我K1ei，k·ei（十五）使用了一组（181幅图像）进行训练，测试集（444张图像）用于评估。UCAS-AOD [54]有1510张图片和510张汽车图片=1−N Σ¨∗¨∗动态k标签分配。基于质量测度Q，在不同的迭代过程中，通过一种高效的动态topk项选择方案来分配有向代表点样本.对于每个对象，我们从初始化阶段根据它们的质量分数对所有点集样本进行排序。为了检索高质量的自适应点集样本，我们设置采样率σ以将每次迭代时的前k个样本分配为用于训练的正样本，其计算如下：k=σ<$Nt（16）其中，Nt表示在初始化阶段针对每个定向对象的点集样本的总数。年龄用于训练，302张图像用于验证，453张图像用于测试，比例为5：2：3。所有图像的大小约为1280659。DIOR-R [2]基于DIOR数据集[16]为定向检测任务提供定向边界框有23，463幅图像，大小为800 800和192，518个实例，覆盖20个对象类。4.2. 实现细节我们基于ResNet-50 [10]和ResNet-101骨干网以及FPN [18]实现了我们提出的方法。在我们的工作中，FPN由P3到P7随机梯度下降（SGD）优化器用于分类置信度分类置信度pK1000张飞机照片总共有14，596个实例。整个数据集被随机分为755个im-1835训练初始学习率被设置为0.008，预热500次迭代，并且学习率在每个衰减步骤中以0.1的因子减小。动量设为0.9，重量衰减为10−4。我们用40个epoch、40个epoch、120个epoch和120个epochDOTA，DIOR-R，HRSC 2016和UCAS-AOD的时代，分别在训练阶段采用比例抖动。焦点损失的超参数设置为α=0.25γ= 2.0。由方程式（2），我们根据经验为每个阶段设置平衡权重λ1= 0.3和λ2=1.0我们设定方法骨干地图角基探测器ResNet-50-FPN67.50定向代表点ResNet-50-FPN68.89（+1.39）角基探测器ResNet-101-FPN68.73定向代表点ResNet-101-FPN70.19（+1.46）表2.直接基于角度的方向回归和定向代表点之间的比较，用于定向对象检测。空间限制BD BR RA HC mAP质量评价Q，µ1=1.0，µ2= 0.3，µ3当量（八）、进行了几个实验以选择表6中的采样比σ的适当值。我们在具有4个RTX 2080Ti GPU的服务器上进行实验，使用总批量大小为8（每个GPU 2张图像）进行训练，同时使用单个RTX 2080Ti GPU进行推理。4.3. 消融研究为了检查我们提出的框架中每个组件的有效性，使用ResNet-50-FPN在DOTA数据集上进行了一系列消融实验。定向转换函数的评价。传统的基于点集的对象检测器RepPoints [46]通过平方转换函数（如min-max）获得直立边界框，其不能处理具有任意取向的空中对象。为了建立合理的基线，我们比较了在训练和后处理过程中将自适应点映射到定向框中表1显示了实验结果。在原始RepPoints的基础上，在训练和后处理中使用min-max函数，它能够实现49.69%的mAP。利用所提出的面向MinAeraRect函数进行后处理，得到旋转后的利用可微的有向NearestGTCorner和ConvexHull函数，我们的Oriented RepPoints获得了66.97%的mAP和68.89%的mAP，这表明有向转换函数对于空中目标检测是必不可少的。方法训练后处理mAPRepPoints [46]min-maxmin-max四 十九点六九最小值-最大值MinAeraRect53.21定向代表点 最近的GT角MinAeraRect66.97ConvexHull MinAeraRect68.89表1.不同转换函数的比较与基于角度的探测器进行比较。为了检验自适应点表示的有效性，我们在基于锚点的检测器上将我们的方法与基于角度的方向回归进行了比较。与S2 A-Net[8]中一样，基于角度的检测器为每个76.85 41.72 67.09 41.552019 -01 - 29 00：00：00改善+3.14 +3.61 +4.30+10.02+1.22表3.空间限制的性能评价。BD、BR、RA和HC分别表示棒球钻石、桥梁、环岛和直升机的类别。在初始化阶段的特征图位置，其中预测的基于角度的框被认为是下一阶段的细化锚，以获得定向边界框。表2示出了具有不同主链的两个检测器的结果。使用ResNet-50-FPN和ResNet-101-FPN主干，定向RepPoint的性能优于基于角度的定向回归，分别具有+1.39%和+1.46%的mAP改善。空间约束评价 为了研究空间约束的有效性，我们将其与不使用空间约束的基线方法进行比较。表3显示了实验结果。可以观察到，我们提出的空间约束是非常有效的，特别是对于具有弱特征表示的空中目标，例如HC（直升机），以及与背景相似的目标，例如BD（棒球钻石），BR（桥梁）和RA（环形交叉口）。这是因为空间约束强制自适应点在其所有者实例对象上。自适应点学习的APAA方案。为了研究所提出的自适应点学习的APAA计划，我们首先报告的性能的质量测量逐项。表5给出了质量评估措施Q的不同设置的结果。检测结果逐步改善，所提出的方法实现了最佳性能与75.97%的mAP和+5.86%的增益使用所有四项。结果表明，该质量评价指标能够有效地反映空中目标检测自适应点的质量在APAA方案中，分配的自适应点样本数由采样率σ决定。如表6所示，当σ = 0时，模型实现最佳性能。4.第一章此外，我们将我们的APAA方案与其他样本分配方案进行比较，以训练所提出的检测器，包括Max-IoU [28]，ATSS [50]，PAA [13]和CFA [7]。如表7所示，1836方法骨干PLBDBRGTFSVLVSHTCBCStSBFRAHASPHC地图单阶段方法RetinaNet-O [19]R-50-FPN88.6777.6241.8158.1774.5871.6479.1190.2982.1874.3254.7560.6062.5769.6760.6468.43DAL [23]R-101-FPN88.6179.6946.2770.3765.8976.1078.5390.8479.9878.4158.7162.0269.2371.3260.6571.78RSDet [25]R-152-FPN90.1082.0053.8068.5070.2078.7073.6091.2087.1084.7064.3068.2066.1069.3063.7074.10[42]第四十二话R-152-FPN89.4981.1750.5366.1070.9278.6678.2190.8185.2684.2361.8163.7768.1669.8367.1773.74S2A-Net[8]R-50-FPN89.1182.8448.3771.1178.1178.3987.2590.8384.9085.6460.3662.6065.2669.1357.9474.12R3 Det-DCL [40]R-152-FPN89.7883.9552.6369.7076.8481.2687.3090.8184.6785.2763.5064.1668.9668.7965.4575.54两阶段法[28]第二十八话R-50-FPN88.4473.0644.8659.0973.2571.4977.1190.8478.9483.9048.5962.9562.1864.9156.1869.05CAD-Net [47]R-101-FPN87.8082.4049.4073.5071.1063.5076.6090.9079.2073.3048.4060.9062.0067.0062.2069.90SCRDet [45]R-101-FPN89.9880.6552.0968.3668.3660.3272.4190.8587.9486.8665.0266.6866.2568.2465.2172.61FAOD [14]R-101-FPN90.2179.5845.4976.4173.1868.2779.5690.8383.4084.6853.4065.4274.1769.6964.8673.28RoI-Trans。[3]第一章R-101-FPN88.6582.6052.5370.8777.9376.6786.8790.7183.8382.5153.9567.6174.6768.7561.0374.61[36]第三十六话R-101-FPN89.6485.0052.2677.3473.0173.1486.8290.7479.0286.8159.5570.9172.9470.8657.3275.02MaskOBB [31]R-50-FPN89.6185.0951.8572.9075.2873.2385.5790.3782.0885.0555.7368.3971.6169.8766.3374.86[32]第三十二话R-50-FPN88.8881.2453.1560.6578.6266.5578.1088.8377.8083.6149.3666.1972.1072.3658.7071.74ReDet [9]ReR-50-ReFPN [9]88.7982.6453.9774.0078.1384.0688.0490.8987.7885.7561.7660.3975.9668.0763.5976.25面向R-CNN [35]R-101-FPN88.8683.4855.2776.9274.2782.1087.5290.9085.5685.3365.5166.8274.3670.1557.2876.28无锚方法[53]第五十三话DLA-34 [53]81.0064.0022.6056.6038.6064.0064.9090.8078.0072.5044.0041.1055.5055.0057.4059.10PIOU [1]DLA-3480.9069.7024.1060.2038.3064.4064.8090.9077.2070.4046.5037.1057.1061.9064.0060.50[33]第三十三话H-104战斗机[39]89.3182.1447.3361.2171.3274.0378.6290.7682.2381.3660.9360.1758.2166.9861.0371.04DRN [24]H-10489.7182.3447.2264.1076.2274.4385.8490.5786.1884.8957.6561.9369.3069.6358.4873.23CFA [7]R-101-FPN89.2681.7251.8167.1779.9978.2584.4690.7783.4085.5454.8667.7573.0470.2464.9675.05定向代表点R-50-FPN87.0283.1754.1371.1680.1878.4087.2890.9085.9786.2559.9070.4973.5372.2758.9775.97定向代表点R-101-FPN89.5384.0759.8671.7679.9580.0387.3390.8487.5485.2359.1566.3775.2373.7557.2376.52定向代表点Swin-T-FPN89.1182.3256.7174.9580.7083.7387.6790.8187.1185.8563.6068.6075.9573.5463.7677.63表4.与DOTA数据集上的最新方法进行比较所有报告的结果均在单尺度DOTA数据集上进行红色的结果表示每列中的最佳结果，蓝色’-O’ means the detection results with oriented bounding box (the same自适应点的质量度量QQclsC C C CQlocC C CQoriC CQpocC平均值70.11 72.34 74.46 75.3275.97表5. APAA方案中质量度量Q4.4. 与最先进方法的关于DOTA 我们报告了单尺度的完整实验结果，以与DOTA数据集上的先前方法进行公平的比较。以ResNet-50-FPN和ResNet-101-FPN为骨架，我们的方法分别获得了75.97%和76.52%的mAP。它优于其他方法与相应的骨干。使用Swin-Transformer [20]（Swin-T-FPN）的微型版本作为具有随机旋转和HSV变换的骨干，我们实现了77.63% mAP的最佳性能σ0.20.30.40.5图4显示了DOTA测试集上的一些视觉结果地图75.4575.3475.9775.67HRSC2016的结果 做一个全面的总结--在HRSC2016上，我们报告了表6.APAA格式动态topk赋值中各σ的评价方法Max-IoU [28] ATSS [50] PAA [13] CFA [7] APAA平均值70.11 72.87 74.62 74.8975.97表7.在Oriented RepPoints检测器上比较不同的样本分配我们的APAA方案在没有复杂运算的情况下取得了最好的性能，这表明我们提出的APAA是有效的自适应点学习。VOC 2007和VOC 2012指标。表8显示了实验结果。基本结果。我们的Oriented RepPoints在使用ResNet-50-FPN主干的VOC 2012指标下实现了最佳性能，在VOC2007指标下实现了第二佳性能。UCAS-AOD的结果 UCAS-AOD数据集包含大量具有复杂周围场景的小对象。表9显示了UCAS-AOD数据集上最新方法的评估结果我们提出的方法达到了最好的性能90.11%的mAP。DIOR-R的结果。DIOR-R数据集由20类空中物体组成 。 与 该 数 据 集 上 的 最 新 方 法 相 比 ， 我 们 使 用66.71%mAP实现了最佳性能，并且优于其他方法，如表10所示。1837PLBDBRGTFSVLVSHTCSBFRAHASP图4.DOTA测试集上的Oriented RepPoints检测结果示例方法RetinaNet-O[19]FasterRCNN-O[28]RoI-T rans。[3]第一章S2A-Net[8]mAOE 9.53 6.01 6.35 10.43方法ReDet [9]面向R-CNN [35]面向RepPoints mAOE 6.35 7.535.93表11.与DOTA定位误差的比较所有实验均使用训练集进行训练，使用值集进行测试。表8. HRSC2016测试集的结果。mAP（07）和mAP（12）表示在VOC2007和VOC2012mAP度量下的结果方法车飞机地图[27]第二十七话74.6389.5282.08RetinaNet-O [19]84.6490.5187.57更快的R-CNN-O[34]86.8789.8688.36RoI Trans. [3]第一章87.9989.9088.95DAL [23]89.2590.4989.87定向代表点89.5190.7090.11表9.UCAS-AOD数据集上的性能比较[28]第二十八话：我的世界 [36]第三十六话平均值57.55 59.54 60.06方法RoI-Trans. [3] AOPG [2] Oriented RepPoints mAP 63.8764.4166.71表10. DIOR-R数据集上的检测精度。所有实验结果都是用ResNet-50-FPN主干进行的。4.5. 定向精度我们进一步进行实验，以评估定向检测器在具有ResNet-50-FPN主干的DOTA数据集上的定向精度我们采用所有类别的平均方向误差（mAOE）作为评估指标。如表11所示，我们提出的方法得到最小的方向误差，这表明我们的点集为基础的方法是有效的精确定向目标检测，相比传统的方向回归为基础的方法。5. 结论提出了一种有效的空中目标检测器，该检测器利用自适应点作为细粒度表示，能够捕获任意方向、杂乱和非轴向排列的目标的关键几何特征。为了有效地学习自适应点，我们引入了质量评估和样本分配方案来衡量和选择高质量的点样本进行训练。此外，一个空间约束被用来惩罚的点外的有向框的鲁棒自适应点学习。广泛的实验已经进行了四个测试平台，其可喜的结果证明了我们所提出的方法的有效性。致谢本课题得到了国家自然科学基金项目（61831015）的资助。方法骨干mAP50（07）mAP50（12）R2 CNN [12]R-101-FPN73.0779.73RRD [17]VGG1684.30-RoI-Trans。[3]第一章R-101-FPN86.20-[53]第五十三话DLA-3487.89-[36]第三十六话R-101-FPN88.20-DRN [24]H-104-92.70[32]第三十二话R-50-FPN-92.80RetinaNet-O [19]R-101-FPN89.1895.21PIOU [1]DLA-3489.20-MFIAR-Net [38]R-101-FPN89.81-[42]第四十二话R-101-FPN89.2696.01R3 Det-DCL [40]R-101-FPN89.4696.41[41]第四十一话R-101-FPN89.6296.10DAL [23]R-101-FPN89.77-S2A-Net [8]R-101-FPN90.1795.01面向R-CNN [35]R-50-FPN90.4096.501838引用[1] Zhiming Chen，Kean Chen，Weiyao Lin，John See，Hui Yu，Yan Ke，and Cong Yang. Piou loss：Towardsaccurate oriented object detection in complex environments.在ECCV，第195-211页，2020年。七、八[2] 龚成，王家宝，李珂，谢星星，郎春波，姚延庆，韩俊伟。无锚定向建议生成器的对象检测。arXiv预印本arXiv：2110.01931，2021。五、八[3] 丁 健 ， 薛 南 ， 杨 龙 ， 夏 桂 松 ， 陆 启 凯 。 学 习 roiTransformer用于航空图像中的定向对象检测。在CVPR中，第2849-2858页，2019年6月。一、二、三、七、八[4] Jian Ding，Nan Xue，Gui-Song Xia，Xiang Bai，WenYang ， Michael Ying Yang ， Serge J. Belongie ， JieboLuo ， Mihai Datcu ， Marcello Pelillo ， and LiangpeiZhang.航空图像中的目标检测：大规模基准和挑战。IEEE TPAMI，第1-1页，2021年。1[5] Haoqiang Fan，Hao Su，and Leonidas Guibas.从单幅图像重建三维物体的点集生成网络在CVPR中，第2463-2471页，2017年7月。4[6] Zheng Ge，Songtao Liu，Zeming Li，Osamu Yoshie，and Jian Sun.Ota：用于对象检测的最优传输分配。在CVPR，第303-312页，2021年。2[7] 郭宗浩，刘畅，张晓松，焦晓刚，季向阳，叶启祥Beyond bounding-box：面向密集包装对象检测的凸壳特征自适应。在CVPR中，第8792-8801页，2021年。一二三六七[8] Jiaming Han，Jian Ding，Jie Li，and Gui-Song Xia.对齐深度特征以进行定向对象检测。IEEE TGRS，第1-11页，2021年3月。一二三六七八[9] 韩家明，丁健，薛楠，夏桂松。Redet：用于空中目标探测的旋转等变探测器在CVPR中，第2786-2795页，2021年。一、二、三、七、八[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。CVPR，第770-778页，2016年。5[11] 雷贾维斯 凸壳的识别 平面上的有限点集。InformationProcessing Letters，2（1）：18-21，1973. 3[12] Yingying Jiang，Xiangyu Zhu，Xiaobing Wang，ShuliYang ， Wei Li ， Hua Wang ， Pei Fu ， and ZhenboLuo.R2cnn：Rota- tional region cnn