#959#1782#1856#16#323#815UDAT-CARUDAT-BANSiamCARSiamBAN#102#64#86(a) Qualitative comparison in typical night scenes.0.340.360.380.400.420.440.460.48Success rate0.400.420.440.460.480.500.520.540.56Normalized precisionUDAT-CAR (Ours)UDAT-BAN (Ours)SiamCAR (CVPR2020)SiamBAN (CVPR2020)HiFT (ICCV2021)LUDTplus (IJCV2021)LUDT (IJCV2021)SiamAPN (ICRA2021)D3S (CVPR2020)SiamFC++ (AAAI2020)Ocean (ECCV2020)UpdateNet (ICCV2019)SiamRPN++ (CVPR2019)SiamDW (CVPR2019)DaSiamRPN (ECCV2018)(b) Overall performance comparison on NAT2021-test.to-noise ratio (SNR). These differences cause the discrep-ancy in feature distribution of day/night images. Due to thecross-domain discrepancy, current SOTA trackers general-ize badly to nighttime scenes [48, 50], which severely im-pedes the broadening of relevant aerial robot applications.Regarding such domain gap and the performance drop,this work aims to address the cross-domain object trackingproblem. In particular, we target adapting SOTA trackingmodels in daytime general conditions to nighttime aerialperspectives. One possible straightforward solution is tocollect and annotate adequate target domain data for train-ing. Nevertheless, such a non-trivial workload is expensiveand time-consuming, since backbones’ pre-training alonegenerally takes millions of high-quality images [9].We88960无监督领域自适应夜间航空跟踪0叶俊杰†，傅长虹†，*，郑光泽†，Danda Pani Paudel‡，陈光†0†同济大学，中国 ‡苏黎世联邦理工学院，瑞士0{ye.jun.jie, changhongfu, mmlp, guangchen}@tongji.edu.cn, paudel@vision.ee.ethz.ch0摘要0以往的目标跟踪研究大多报告了在有利的照明条件下的良好表现，而忽视了夜间的性能，这严重阻碍了相关航空机器人应用的发展。本文提出了一种新颖的无监督领域自适应夜间航空跟踪框架（称为UDAT）。具体而言，我们提供了一种独特的对象发现方法，从原始夜间跟踪视频中生成训练补丁。为了解决领域差异，我们在特征提取器之后采用了基于Transformer的桥接层，以对齐来自两个领域的图像特征。通过Transformer的白天/夜晚特征鉴别器，白天跟踪模型经过对抗训练可以在夜间进行跟踪。此外，我们构建了一个名为NAT2021的先驱基准，用于无监督领域自适应夜间跟踪，其中包括180个手动注释的跟踪序列的测试集和超过276k个未标记的夜间跟踪帧的训练集。详尽的实验证明了所提出框架在夜间航空跟踪中的鲁棒性和领域适应性。代码和基准可在https://github.com/vision4robotics/UDAT上获得。01. 引言0作为计算机视觉中的基本任务之一，目标跟踪在各种航空机器人应用中受到广泛关注，例如无人机自定位[49]，目标跟随[25]和航空摄影[2]。在大规模数据集[10, 17, 32]的推动下，借助细致的手动注释，新兴的深度跟踪器[4, 8,14,22]近年来不断刷新最新技术。尽管取得了进展，但当前的基准或方法主要针对有利的照明条件下的目标跟踪。与白天相比，夜间拍摄的图像对比度低、亮度低、信噪比低。这些差异导致了白天/夜晚图像特征分布的不一致。由于跨领域的差异，当前的最新技术跟踪器在夜间场景中的泛化能力较差[48,50]，这严重阻碍了相关航空机器人应用的拓展。针对这种领域差距和性能下降，本文旨在解决跨领域目标跟踪问题。具体而言，我们的目标是将白天通用条件下的最新技术跟踪模型适应夜间航空视角。一种可能的直接解决方案是收集和注释足够的目标领域数据进行训练。然而，这样的工作量非常大，耗时长，因为仅仅进行骨干网络的预训练通常需要数百万张高质量图像[9]。我们0*通讯作者0目标对象0NAT2021测试集上的整体性能0图1. (a)提出的无监督领域自适应跟踪器（即UDAT-CAR和UDAT-BAN）与它们的基线[8, 14]的定性比较。 (b)SOTA方法在构建的NAT2021测试基准上的整体性能。提出的UDAT有效地将通用跟踪器适应夜间航空跟踪场景，并获得了良好的性能。88970因此，我们将问题视为无监督的领域自适应任务，其中源领域的训练数据具有良好注释的边界框，而目标领域的训练数据没有手动注释的标签。因此，我们提出了一种无监督的领域自适应跟踪框架，称为UDAT，用于夜间航空跟踪。为了生成目标领域的训练补丁，我们开发了一种对象发现策略，以探索未标记夜间数据中的潜在对象。此外，我们提出了一个桥接层来弥合提取特征的领域差异。此外，在对抗学习过程中，通过鉴别器来区分特征领域。借鉴Transformer在特征表示中的巨大潜力，桥接层和鉴别器都采用了Transformer结构。图1展示了采用UDAT和相应基线的跟踪器的一些定性比较。UDAT显著提高了基线的夜间航空跟踪性能。除了方法论之外，我们构建了NAT2021，这是一个基准，包括180个完全注释的视频序列的测试集和超过276k个未标记的夜间跟踪帧的训练集，它是无监督领域自适应夜间跟踪的第一个基准。本文的主要贡献有四个方面：0•提出了一种无监督的域自适应跟踪框架，即UDAT，是目前为止第一个用于目标跟踪的无监督自适应框架。0•引入了具有Transformer结构的桥接层和昼夜判别器，用于对来自不同域的提取特征进行对齐，并缩小白天和夜晚之间的域差距。0•构建了一个先驱性的基准测试集NAT2021，包括一个完全注释的测试集和一个未标记的训练集，用于域自适应夜间跟踪。引入了一种用于未标记训练集预处理的目标发现策略。0• 在NAT2021-test和最近的公开数据集UAVDark70[21]上进行了大量实验证明了所提出的UDAT在夜间航拍跟踪中的有效性和域自适应性。02. 相关工作02.1. 目标跟踪0一般来说，最近的目标跟踪方法可以分为基于判别相关滤波器（DCF）的方法[12, 16, 19,27]和基于Siamese网络的方法0方法[4, 8, 14,22]。由于复杂的在线学习过程，基于DCF的跟踪器很难实现端到端的训练。因此，受限于劣质的手工特征或不适合分类预训练的深度特征提取器，基于DCF的跟踪器在恶劣条件下失去了效果。借鉴于目标检测，B.Li等人[23]将区域建议网络（RPN）[33]引入到Siamese框架中。SiamRPN++[22]进一步采用更深的主干网络和特征聚合架构来提高跟踪精度。为了减轻随着RPN引入而增加的超参数，无锚点方法[8, 14,47]采用逐像素回归直接预测每个像素上的四个偏移量。最近，Transformer[43]被纳入Siamese框架[4, 6,45]中，以建模全局信息并进一步提升跟踪性能。尽管取得了很大的进展，但是在恶劣条件下的目标跟踪，例如夜间航拍场景，迄今为止缺乏深入研究。在[21]中，构建了一个DCF框架与低光增强器相结合，但缺乏可转移性，并且受限于手工特征。一些研究[48,50]为跟踪流程中的数据预处理设计了与跟踪相关的低光增强器。然而，这种范式在与跟踪模型的弱协作和级联结构无法学习特征级的域差距缩小方面存在困难。02.2. 域自适应0为了缩小源域和目标域之间的差异，并将知识从源域转移到目标域，域自适应引起了广泛关注，并在图像分类中被广泛采用[3, 26, 40]。除了分类之外，Y.Chen等人[7]设计了一个域自适应的目标检测框架，并解决了图像级和实例级的域偏移问题。在[18]中，训练了一个图像转换模型，用于在学习检测模型之前进行白天到夜晚的转换以进行数据增强。Y. Sasagawa和H.Nagahara[37]提出了将低光图像增强模型和目标检测模型合并起来实现夜间目标检测。对于语义分割任务，C.Sakaridis等人[36]通过中间的黄昏域，提出了一个课程框架，将语义分割模型从白天适应到夜晚。X.Wu等人[46]采用对抗学习的方式训练了一个用于夜间语义分割的域自适应网络。S. Saha等人[35]#85#99#121#13188980特征提取器0Transformer桥接层0跟踪器头0特征提取器0Transformer桥接层0跟踪器头0白天/夜晚0特征对齐0源域0目标域0原始视频0无人机0对象发现0裁剪0数据预处理0Transformer鉴别器0分类和回归损失函数0域自适应损失函数0图2.提出的无监督域自适应夜间航空跟踪框架的示意图。对象发现模块用于在原始视频中找到潜在对象以生成训练补丁。通过Transformer桥接层对不同域中提取的特征进行对齐。训练一个Transformer白天/夜晚鉴别器来区分源域和目标域之间的特征。0挖掘跨任务关系，构建一个用于无监督域自适应设置中的语义分割和深度估计的多任务学习框架。尽管其他视觉任务的发展迅速，但目标跟踪的域自适应尚未得到研究。因此，迫切需要一个有效的无监督域自适应框架来进行目标跟踪。03. 提出的方法0所提出的UDAT框架的范例如图2所示。对于无标签目标域的数据预处理，我们采用基于显著性检测的策略来定位潜在对象并裁剪成对的训练补丁。在训练流程中，特征提取器生成的特征通过桥接层进行调制。在这个过程中，对抗学习有助于减少源域和目标域之间的特征分布差异。通过这个简单而有效的过程，跟踪器可以在夜间场景中实现与白天跟踪相当的高效性和鲁棒性。03.1. 数据预处理0由于深度跟踪器在每个训练步骤中将训练补丁作为输入，我们开发了一种用于无标签训练集的数据预处理的对象发现策略。图30图3说明了预处理流程。对象发现策略包括三个阶段，即低光增强、显著对象检测和动态规划。由于夜间图像的低能见度，原始图像首先通过低光增强器[24]进行亮化。然后，增强后的图像被输入到视频显著性检测模型[52]中。候选框通过构建检测到的显著区域的最小边界矩形来获得。为了生成一个跨时间线定位相同对象的框序列，受[55]的启发，我们0原始图像0对象发现0裁剪的补丁0图3.对象发现的示意图，包括低光增强、显著对象检测和动态规划。粉色掩码表示检测到的显著区域，而框则是这些区域的外接矩形。动态规划选择红色框并过滤蓝色框。绿色框是通过两个相邻帧之间的线性插值获得的。注意，裁剪的补丁是为了可视化而增强的，实际训练过程中使用的是原始补丁。0采用动态规划来过滤噪声框。假设第j帧和第k帧的两个框为[xj,m, yj,m, wj,m, hj,m]和[xk,n, yk,n, wk,n,hk,n]，其中m和n表示框索引，(x,y)，w，h分别表示框的左上坐标、宽度和高度，归一化距离Dnorm计算如下：0D norm =(xj,m−xk,n0wk,n）2 +（yj,m−yk,n）20hk,n）20+（log（wj0wk,n）2 +（log（hj,m）0hk,n）2。（1）0在动态规划中，候选框之间的归一化距离用作平滑奖励，而在帧中添加一个框到框序列中意味着增量奖励。对于没有通过动态规划选择任何框的帧，线性插值被用于在最接近的两个帧之间生成新的框。最终，根据获得的框序列从原始图像中裁剪出成对的训练补丁。F = GRL(Softmax( �ϕ(X))).(5)F′ = Concat(c, Flat(Conv(F))).(6)889903.2. 网络架构0特征提取器。Siamese网络的特征提取通常包括两个分支，即模板分支和搜索分支。两个分支都通过采用相同的主干网络ϕ从模板补丁Z和搜索补丁X生成特征图，即ϕ（Z）和ϕ（X）。通常，跟踪器采用最后一个或多个特征块进行后续的分类和回归，可以表示如下：0ϕ（Z）=Concat（FN−i（Z），...，FN−1（Z），FN（Z）），（2）0其中F�（∙）表示从总共N个块中的第�个块中提取的特征，Concat表示按通道连接。由于ϕ（X）和ϕ（Z）都将通过以下Transformer桥接层和鉴别器，为了清晰起见，在下面的介绍中我们选择ϕ（X）的实例。Transformer桥接层。从白天和夜晚图像中提取的特征存在巨大差距，这种领域差异导致夜间跟踪性能较差。在将获得的特征馈送给跟踪器头部进行目标定位之前，我们提出通过桥接层来弥合特征分布之间的差距。考虑到Transformer对长距离相互依赖关系的强建模能力，我们设计了一个具有Transformer结构的桥接层。以搜索分支为例，位置编码P首先添加到输入特征ϕ（X）∈RN×H×W中。接下来，求和结果被展平为（P +ϕ（X））∈RHW×N。然后进行多头自注意力（MSA）操作：0ϕ（X）' = MSA（P + ϕ（X））+ P + ϕ（X），0ϕ（X）= LN（FFN（Mod（LN（ϕ（X）'）））+ϕ（X）'），（3）0其中ϕ（X）'是一个中间变量，LN表示层归一化。此外，FFN表示完全连接的前馈网络，由两个线性层和一个ReLU层组成。Mod是[4]中的调制层，用于充分探索内部空间信息。最终输出被展平为N×H×W。对于MSA的每个头，注意力函数可以表示为：0注意力（Q，K，V）= Softmax（QKT）0√dk）V。（4）0在我们的情况下，查询Q，键K和值V等于（P +ϕ（X））和相应的投影矩阵的乘积。凭借自注意力的优越信息整合，所提出的Transformer桥接层足以调节由主干输出的夜间物体特征，以获得有效的相似性图。0目标领域0源领域0目标领域0源领域特征提取器0桥接层0领域自适应跟踪器0预训练跟踪器0特征提取器0图4. 使用t-SNE[42]对白天/夜晚相似场景的特征进行可视化。金色和紫色分别表示源领域和目标领域。从上到下的散点图分别表示预训练跟踪器中特征提取器、领域自适应跟踪器中特征提取器和桥接层中的白天/夜晚特征。所提出的Transformer桥接层有效地缩小了领域差异。0注1：图4显示了基线特征提取器、领域自适应跟踪器的特征提取器和连接层的特征的t-SNE[42]可视化结果。我们可以观察到，由骨干网络提取的特征存在明显差异，而由连接层修改的特征在分布上显示出一致性。Transformer判别器。提出的UDAT框架采用对抗学习的方式进行训练。设计了一个昼夜特征判别器D，用于对齐源域和目标域的特征，该判别器由一个梯度反转层（GRL）[13]和两个Transformer层组成。给定调制特征图 � ϕ ( X )，执行softmax函数并跟随一个GRL：0然后，中间特征 F ∈ R N × H × W 通过一个卷积层进行卷积，卷积核大小为 4 ×4，步长为 4，用于进行补丁嵌入。然后，F 被展平为 ( H04 × W 4 ) × N 并与一个分类令牌 c 连接在一起：0随后，F ′ 输入到两个Transformer层。最终，分类令牌 c被视为最终的预测结果。在对抗学习过程中，优化判别器以正确区分特征是来自源域还是目标域。跟踪头。在Transformer连接层之后，对调制特征 � ϕ ( X ) 和 � ϕ ( Z )进行互相关操作，生成相似性图。最后，跟踪头执行分类和回归过程，预测物体位置。03.3. 目标函数0分类和回归损失。在源域训练线中，分类和回归损失 L GT为：Ladv = (D( �ϕ(Xt)) − ℓs)2 + (D(�ϕ(Zt))) − ℓs)2,(7)Ltotal = LGT + λLadv,(8)LD =�d=s,t(D( �ϕ(Xd))−ℓd)2 +(D(�ϕ(Zd))−ℓd)2. (9)89000为了确保跟踪器的正常跟踪能力，我们采用了基线跟踪器一致的跟踪损失。在对抗学习中，引入了最小二乘损失函数[30]来训练生成器G，目的是从目标域图像中生成类似源域的特征，以欺骗判别器 D。在此，生成器 G可以被视为连接层的特征提取器。考虑到模板和搜索特征，对抗损失定义如下：0其中 s 和 t 分别表示源域和目标域。此外，ℓ s表示源域的标签，其大小与 D的输出相同。总之，跟踪网络的总训练损失定义为：0其中 λ 是平衡损失项的权重。我们在实现中将 λ设置为0.01。在训练过程中，跟踪网络和判别器 D交替优化。我们将 D 的损失函数定义为：0使用输入特征的真实域标签进行训练，D学习有效地区分特征域。04. NAT2021基准0夜间航空跟踪基准NAT2021旨在全面评估夜间航空跟踪的性能，并为无监督训练提供充足的未标记夜间跟踪视频。与文献中现有的夜间跟踪基准[21]相比，NAT2021具有两倍大的测试集、一个未标记的训练集和新的光照导向属性。04.1. 序列收集0NAT2021中的图像是由DJI Mavic Air2无人机以30帧/秒的帧率在各种夜间场景（例如道路、城市景观和校园）中拍摄的。序列类别包括各种目标（例如汽车、卡车、人物、群体、公共汽车、建筑物和摩托车）或活动（例如骑自行车、滑冰、跑步和球类01更多关于无人机的信息可以在https://www.dji.com/cn/mavic-air-2找到。0N080080N050060N010030N020430N090060N020270N030090N070040N080140N010110N040280N040130图5.NAT2021-测试中选定序列的首帧。绿色框标记跟踪对象，图像左上角显示序列名称。0游戏）。因此，测试集共包含180个夜间航空跟踪序列，总共超过14万帧，即NAT2021-测试。图5显示了一些选定序列的首帧。为了提供长期跟踪性能的评估，我们进一步构建了一个长期跟踪子集，即NAT2021-L-测试，包含23个长度超过1400帧的序列。此外，训练集包括1400个未标注的序列，总共超过27.6万帧，足够进行域自适应跟踪任务。NAT2021的统计摘要如表1所示。备注2：NAT2021中的序列是我们使用无人机自行录制的，并获得了许可。不涉及任何个人可识别信息或冒犯性内容。04.2. 注释0NAT2021-测试和NAT2021-L-测试中的帧都是由熟悉目标跟踪的注释员手动标注的。为了准确性，注释过程在通过低光增强方法[24]增强的图像上进行。然后，由专家进行视觉检查，并由注释员进行边界框的优化，进行多轮迭代，以确保高质量的注释。04.3. 属性0为了对跟踪器进行深入分析，我们将测试序列注释为12个不同的属性，包括纵横比变化（ARC），背景杂波（BC），相机运动（CM），快速运动（FM），部分遮挡（OCC），完全0表1.NAT2021的统计数据。测试：测试集；L-测试：长期跟踪测试集；训练：训练集。0NAT2021-测试 NAT2021-L-测试 NAT2021-训练0视频 180 23 1,400 总帧数 140,815 53,564 276,081 最少帧数 81 1,425 30最多帧数 1,795 3,866 345 平均帧数 782 2,329 197 手动注释 � �SiamCAR0.6630.5420.4530.6690.5800.491UDAT-CAR0.6870.5640.4830.6950.5920.512ΔCAR (%)3.624.066.623.892.074.28SiamBAN0.6470.5090.4370.6770.5700.489UDAT-BAN0.6940.5460.4690.7020.5970.510ΔBAN (%)7.267.277.323.694.744.2989010环境亮度：70环境亮度：120环境亮度：260环境亮度：360图6.一些场景的环境亮度。平均环境亮度低于20，肉眼难以区分物体。这些序列被标注为低环境亮度属性。0遮挡（FOC），视野外（OV），尺度变化（SV），相似物体（SOB），视角变化（VC），光照变化（IV）和低环境亮度（LAI）。特别地，为了更详细地观察光照对跟踪器的影响，我们重新思考和重新设计了与光照相关的属性。具体而言，计算以物体为中心的局部区域的平均像素强度，并将其视为当前帧的照度强度。一个序列的平均照度水平被认为是跟踪场景的环境亮度。图6显示了具有不同环境亮度的序列，我们观察到当环境亮度低于20时，肉眼难以区分物体。因此，这些序列被标记为LAI属性。备注3：与以往的跟踪基准直观地注释IV属性不同，本工作根据跟踪序列中照度强度的最大差异来判断IV。有关属性的更多细节可以在补充材料中找到。此外，我们还评估了当前排名靠前的跟踪器在提出的基准上的性能（见第5.2节），结果表明，在夜间航空视图中，SOTA跟踪器很难获得令人满意的性能，就像在白天的基准测试中一样。05. 实验05.1. 实现细节0我们使用PyTorch在NVIDIA RTX A6000GPU上实现了UDAT框架。鉴别器使用Adam[20]优化器进行训练。基础学习率设置为0.005，并且按照幂为0.8的多项式学习率策略进行衰减。桥接层采用基础学习率为0.005，并与基准跟踪器进行优化。整个训练过程持续20个时期。采用提出的基准中排名靠前的跟踪器[8,14]作为基准。为了实现更快的收敛，使用在通用数据集[10,17, 28, 32,34]上预训练的跟踪模型作为基准模型。为了公平起见，在源域中采用了跟踪数据集[17,32]上预训练模型的学习，没有引入新的数据集。我们采用一次通过评估（OPE）并使用成功率、精度和归一化精度对性能进行排名。0精度。评估指标定义和更多实验可在补充材料中找到。05.2. 评估结果0为了对夜间航空跟踪器进行全面分析并促进未来研究，我们在NAT2021-test上评估了20个SOTA跟踪器[1, 4, 5, 8, 11,14, 15, 22, 29, 39, 44, 47, 51, 53, 54,56]，以及提出的UDAT。为了清晰起见，由UDAT进一步训练的两个跟踪器分别命名为UDAT-BAN和UDAT-CAR。此外，UAVDark70[21]包含70个夜间跟踪序列，总共有66k帧，也可以作为评估基准。05.2.1 整体性能0NAT2021-test。如图7(a)所示，提出的UDAT-BAN和UDAT-CAR在与基准相比有很大的优势，排名第一和第二。在表2中报告了UDAT和基准跟踪器的性能比较。具体而言，UDAT在所有三个指标上提升了SiamBAN超过7%。在成功率方面，UDAT-BAN（0.469）和UDAT-CAR（0.483）分别将原始的SiamBAN（0.437）和SiamCAR（0.453）提高了7.32%和6.62%。UAVDark70。图7(b)的结果表明，现有跟踪器的性能仍然不令人满意。UDAT跟踪器将其基准的性能提升了约4%。需要注意的是，UAVDark70中的数据分布与NAT2021中的数据分布非常不同，而UDAT仍然能够带来有利的性能提升，这证明了它在不同夜间条件下的泛化能力。UDAT在不同基准上为不同跟踪器带来的收益验证了所提出的域自适应框架的有效性和可迁移性。05.2.2 长期跟踪评估0作为航空跟踪中最常见的场景之一，长期跟踪涉及多个具有挑战性的属性。我们进一步在NAT2021-L-test上评估跟踪器。表3报告了前10个性能。结果显示，UDAT实现了有竞争力的长期跟踪性能，并显著提升了基准跟踪器的性能。0表2.UDAT和基准跟踪器的性能比较。Δ表示UDAT带来的百分比增益。0基准 NAT2021-test UAVDark70 精度 归一化精度 成功率 精度 归一化精度成功率01020304050Location error threshold00.10.20.30.40.50.60.7PrecisionPrecision plots on NAT2021-test00.10.20.30.40.5Normalized distance error threshold00.10.20.30.40.50.60.7Normalized precisionNormalized precision plots on NAT2021-test00.20.40.60.81Overlap threshold00.10.20.30.40.50.60.7Success rateSuccess plots on NAT2021-test01020304050Location error threshold00.10.20.30.40.50.60.70.8PrecisionPrecision plots on UAVDark7000.10.20.30.40.5Normalized distance error threshold00.10.20.30.40.50.60.70.8Normalized precisionNormalized precision plots on UAVDark7000.20.40.60.81Overlap threshold00.10.20.30.40.50.60.70.8Success rateSuccess plots on UAVDark7000.050.10.150.20.250.30.350.40.450.5Normalized distance error threshold00.10.20.30.40.50.60.7Normalized precisionIllumination variation (98) on NAT2021-test00.10.20.30.40.50.60.70.80.91Overlap threshold00.10.20.30.40.50.60.70.8Success rateIllumination variation (98) on NAT2021-test00.050.10.150.20.250.30.350.40.450.5Normalized distance error threshold00.10.20.30.40.50.60.7Normalized precisionLow ambient intensity (49) on NAT2021-test00.10.20.30.40.50.60.70.80.91Overlap threshold00.10.20.30.40.50.60.70.8Success rateLow ambient intensity (49) on NAT2021-test00.050.10.150.20.250.30.350.40.450.5Normalized distance error threshold00.10.20.30.40.50.60.70.8Normalized precisionIllumination variation (48) on UAVDark7000.10.20.30.40.50.60.70.80.91Overlap threshold00.10.20.30.40.50.60.70.8Success rateIllumination variation (48) on UAVDark7000.050.10.150.20.250.30.350.40.450.5Normalized distance error threshold00.10.20.30.40.50.60.70.8Normalized precisionLow ambient intensity (42) on UAVDark7000.10.20.30.40.50.60.70.80.91Overlap threshold00.10.20.30.40.50.60.70.8Success rateLow ambient intensity (42) on UAVDark70Prec.0.4330.4250.4540.4310.4340.4920.4640.4770.4960.5066.945.99Norm. Prec.0.3160.3440.3700.3420.3140.3640.3660.3750.4060.41311.019.96Succ.0.2870.2970.3150.2990.2750.3320.3160.3300.3520.37611.5114.2589020(a) NAT2021-test上的精度、归一化精度和成功率曲线。0(b) UAVDark70上的精度、归一化精度和成功率曲线。0图7. SOTA跟踪器和UDAT在夜间航空跟踪基准上的整体性能。结果显示，提出的UDAT跟踪器实现了排名靠前的性能，并且对基准跟踪器进行了有利的改进。0（a）NAT2021-test上的照明变化。0（b）NAT2021-test上的低环境强度。0（c）UAVDark70上的照明变化。0（d）UAVDark70上的低环境强度。0图8. NAT2021-test和UAVDark70上与照明相关属性的归一化精度图和成功图。0表3. NAT2021-L-test上前10个跟踪器的性能。Δ表示超过相应基线的UDAT跟踪器的百分比。用粗体字体强调了前2个性能。UDAT跟踪器在长期跟踪性能上具有竞争力。0跟踪器HiFT [4] SiamFC++ [47] Ocean [54] SiamRPN++ [22] UpdateNet [51] D3S [29] SiamBAN [8] SiamCAR [14] UDAT-BAN UDAT-CAR Δ BAN (%) Δ CAR (%)05.2.3 面向照明的评估0由于白天和夜间跟踪之间最大的差异是照明强度，我们进行了深入的面向照明的评估，以更好地分析照明对跟踪器的影响。结果如图8所示。请注意，我们还使用提出的LAI属性对UAVDark70中的序列进行了额外的注释。结果显示现有的跟踪器在与照明相关的0属性。对于IV挑战，现有跟踪器的最佳成功率分别为NAT2021-test上的0.408和UAVDark70上的0.468。在提出的领域自适应训练的辅助下，UDAT-CAR分别实现了0.442和0.485的成功率，相比现有最佳性能有了较大提升。对于LAI，UDAT-BAN将其基线SiamBAN的归一化精度提高了超过9%。通过比较，我们可以看到跟踪器Succ.0.6030.5911.96%↓0.6010.5921.58%↓Prec.0.7880.7840.52%↓0.7930.7930.04%↓0.6630.5420.453✓0.6620.19%↓0.5400.33%↓0.4591.33%↑✓✓0.6640.16%↑0.5471.04%↑0.4642.45%↑✓✓0.6761.95%↑0.5491.42%↑0.4673.24%↑✓✓✓0.6873.62%↑0.5644.17%↑0.4836.82%↑89030跟踪器的与照明相关的性能仍有很大的改进空间，而在逆境照明场景中采用领域自适应是有效且关键的。05.2.4 可视化0如图9所示，我们使用Grad-Cam[38]可视化了UDAT及其基线的一些置信度图。基线模型在逆境照明下无法集中注意力于物体，而UDAT大大增强了基线的夜间感知能力，从而实现了令人满意的夜间跟踪性能。05.2.5 源域评估0除了在夜间具有良好的性能外，我们希望跟踪器在适应过程中不会在源域中出现性能下降。在白天跟踪基准UAV123[31]上的评估结果如表4所示。结果表明，UDAT在成功率和精度上带来了轻微的性能波动，波动范围在2%以内和0.5%以内。05.3 实证研究0为了证明所提出的模块的有效性，即领域自适应训练（DA）、目标发现预处理（OD）和桥接层（BL），本小节提供了UDAT的实证研究。具体来说，我们首先对基线跟踪器进行了BL的消融实验，并将OD替换为随机裁剪以采用朴素的DA。表5的第二行结果显示，DA略微提高了夜间跟踪的成功率，但采用随机裁剪作为预处理会导致大量无意义的训练样本，因此模型很难学习目标域上的数据分布。在这种情况下，进一步激活BL只会产生有限的差异。如表5的第四行所示，当em-0表4.源域上的评估结果。结果显示，适应过程只会在源域上带来轻微的性能波动。0跟踪器 SiamBAN UDAT-BAN SiamCAR UDAT-CAR0表5.对NAT2021-test上的UDAT的实证研究。DA、OD和BL分别表示领域自适应训练、目标发现预处理和桥接层。0DA OD BL Prec. Norm. Prec. Succ.0帧 SiamCAR UDAT-CAR0N020510N030090N040120图9.基线和提出的UDAT生成的置信度图的视觉比较。目标对象由绿色框标记。在昏暗的光线中，基线难以提取出有区别的特征。UDAT大大提高了基线在恶劣照明条件下的感知能力。0通过使用OD而不是随机裁剪，目标域上的性能在成功率上提高了3.24％，验证了基于显著性检测的数据预处理的有效性。此外，BL使OD带来的提升翻倍，完整的UDAT实现了0.687的精度和0.483的成功率，实现了良好的夜间跟踪性能。结果验证了所提出的桥接层公平地使跟踪器能够从夜间图像中生成有区别的特征。06. 结论0在这项工作中，提出了一种简单但有效的无监督领域自适应跟踪框架，即UDAT，用于夜间航空跟踪。在我们的UDAT中，引入了一种用于无标签数据预处理的目标发现策略。采用Transformer桥接层来缩小白天和夜晚图像特征之间的差距。通过与Transformer鉴别器进行对抗学习进行优化，学习到的模型在SOTA方法上显著提高了夜间跟踪性能。我们还构建了NAT2021，一个开创性的无监督领域自适应夜间跟踪基准。对夜间跟踪基准的详细评估显示了UDAT的有效性和领域适应性。这项工作的局限性在于目标域中缺乏伪监督。未来的工作将集中在可靠的伪监督上，我们相信夜间跟踪的性能可以进一步提高。总之，我们相信UDAT框架以及NAT2021基准可以促进夜间和其他恶劣条件下的视觉跟踪研究。致谢：本工作部分得到了中国国家自然科学基金项目（编号62173249）和上海市自然科学基金项目（编号20ZR1460100）的支持。89040参考文献0[1] Luca Bertinetto，Jack Valmadre，João F.Henriques，Vedaldi Andrea和Philip H. S.Torr。用于目标跟踪的全卷积Siamese网络。在ECCVW中，页码850-865，2016年。2，60[2] Rogerio Bonatti，Cherie Ho，Wenshan Wang，SanjibanChoudhury和SebastianScherer。走向一个稳健的航拍平台：在非结构化环境中定
我的内容管理
展开
