TCTrack:空中跟踪的时间背景增强框架

0 下载量 52 浏览量 更新于2024-06-20 收藏 1.82MB PDF 举报
"TCTrack是一种创新的空中跟踪框架,旨在充分利用时间背景信息来提高跟踪性能。该框架在特征提取和相似性图细化两个层次上整合时间上下文,以应对空中跟踪中的挑战,如运动模糊、相机运动和遮挡。TCTrack包括在线时间自适应卷积(TAdaCNN)和自适应时间Transformer(AT-Trans)两个关键组件。TAdaCNN动态校准卷积权重以增强空间特征,并提取时间信息。AT-Trans则高效编码和解码时间知识,精确调整相似性图。在四个空中跟踪基准上的评估显示TCTrack表现出色,且在NVIDIA Jetson AGX Xavier上实现了超过27FPS的高速处理,证明了其在实际应用中的高效性。" TCTrack的提出是为了解决视觉跟踪任务中的问题,尤其是在空中跟踪中遇到的特殊挑战。传统的视觉跟踪器通常依赖标准检测框架,每一帧独立处理,忽视了连续帧之间的关联信息。TCTrack针对这一不足,设计了一个全面的时间背景框架。 在特征提取阶段,TCTrack采用了时间自适应卷积神经网络(TAdaCNN)。这个模块的核心是动态校准卷积权重,使得模型能够根据连续帧的信息变化来适应和增强空间特征,同时捕获到时间维度的模式,从而提高特征的代表性,特别是在面对运动模糊和相机运动等复杂情况时。 接着,在相似性图的构建和优化过程中,TCTrack引入了自适应时间Transformer(AT-Trans)。AT-Trans有效地编码和解码时间知识,这有助于更准确地调整相似性图,使得目标与背景的区分更加清晰,从而提高跟踪的准确性。这种时间Transformer的设计考虑了空中平台计算资源有限的实际限制,确保了方法的实时性和效率。 在实际应用中,TCTrack展示了其强大的鲁棒性和效率。在四个空中跟踪基准的评估中,它的表现令人印象深刻,不仅在理论性能上表现出色,而且在NVIDIA Jetson AGX Xavier这样的嵌入式平台上也能实现超过27FPS的实时跟踪速度,这对于无人机和其他移动设备上的实时应用至关重要。 TCTrack是视觉跟踪领域的一个重要进展,通过巧妙地整合时间信息,提升了空中跟踪的性能,解决了计算资源受限环境下的跟踪难题。该框架的贡献在于提出了一种新的时间背景利用策略,为未来空中跟踪算法的设计提供了新的思路。