没有合适的资源?快使用搜索试试~ 我知道了~
4799难以跟踪具有不规则运动和相似外观的物体通过缓冲匹配空间使其更轻松杨凡,小岛重之,增井正一,山江富士通研究所,日本联系人:杨凡@ fujitsu.com摘要我们提出了一个级联缓冲IoU(C-BIoU)跟踪器跟踪多个对象,具有不规则的运动和难以区分的外观。当外观特征不可靠且几何特征被不规则运动混淆时,应用传统的多目标跟踪(MOT)方法可能产生不令人满意的结果。为了解决这个问题,我们的C-BIoU跟踪器增加了缓冲区来扩展检测和跟踪的匹配空间,这在两个方面减轻了不规则运动的影响:一种是直接匹配相邻帧中相同但不重叠的检测和轨迹,另一种是补偿匹配空间中的运动估计偏差。此外,为了降低匹配空间过度扩展的风险,采用级联匹配:首先用小的缓冲器匹配有效的轨迹和检测,然后用大的缓冲器匹配不匹配的轨迹和检测。尽管它很简单,我们的C-BIoU跟踪器工作得非常好,并在MOT数据集上实现了最先进的结果,这些数据集专注于不规则运动和可识别的外观。此外,C-BIoU跟踪器是我们在CVPR'22 SoccerNetMOT和ECCV'22 MOTComplex DanceTrack挑战赛中获得第二名的解决方案的主要组件。最后,我们分析了我们的C-BIoU跟踪器在消融研究中的局限性,并讨论了其应用范围。1. 介绍多目标跟踪(MOT)被广泛应用于识别序列数据中每个目标的轨迹(例如,视频)。它为现实世界的应用提供了重要信息,包括但不限于自动驾驶[14],体育和舞蹈分析[26,9]以及动物调查[1,17]。尽管MOT研究已经得到了很大的发展[5,31,30,35,34,18],但最近一个新的挑战引起了人们的关注:与包含具有不同外观和规则运动的对象的传统MOT任务不同,MOT任务图1:MOT17 [21]和DanceTrack [26]测试集的跟踪性能。为了公平比较,所有方法都是在线方法,并使用YOLOX生成的相同检测结果[13]。在MOT 17上,我们的方法与其他方法具有 相 似 的 HOTA 分 数 , 而 在 DanceTrack 上 , 与DeepSORT[31],SORT [5],ByteTrack [34]和OC-SORT [7]相比,我们的方法显著提高了HOTA分数。包括动物、集体舞蹈者和运动员的运动员可能具有不可区分的外观和不规则的运动,这可能导致现有的MOT方法失败。特别是,如图所示1,在MOT17 [21]上表现良好的几种MOT方法[5,31,34,7]可能会在DanceTrack [26]上经历显著的性能下降。为什么HOTA分数在DanceTrack上会显著下降?我们假设跟踪失败是由两个原因引起的:(i)相同对象的检测和跟踪在相邻帧之间不重叠(例如,由于快速移动),因此跟踪失败;(ii)在轨道初始化之后,不匹配的轨道(例如,被遮挡的对象)继续更新其MOT17测试集:DanceTrack测试集:•不同的盒子尺度·相似的盒子尺度•独特的外观·相似的外观•之后的规则运动·移除后的不规则运动相机运动移除相机运动HOTA4800先前帧当前帧IOU= 0BIoU > 0图3:BIoU形成更好的跨帧ge的说明-计量一致性高于IoU。相同对象的边界框具有相同的颜色。品红色物体在相邻帧之间没有重叠检测。无论这是由快速运动或不正确的运动估计引起的,我们的BIoU扩展了匹配空间,以减少误匹配。图2:缓冲IoU(BIoU)的计算方式示意图。我们的BIoU添加了一个与原始边界框成比例的缓冲区。它不改变原始边界框的位置中心、比例和形状,但扩展了原始匹配空间。然而,如果多个帧的运动估计不准确(例如,由于突然的加速或转弯),当在随后的帧中可获得相应的检测时,它们错过了匹配的机会。当可以区分对象的外观时,可以采用外观特征来通过基于它们的外观相似性匹配跨帧检测来缓解问题(i)和(ii)。然而,当不规则运动伴随着不可区分的外观时,大多数现有的MOT解决方案可能无法执行可靠的跟踪,因此需要新的解决方案。在这项研究中,我们提出了一个级联缓冲区相交的联盟(C-BIoU)跟踪器跟踪多个对象,有不规则的运动和难以区分的外观。我们的BIoU(图2)被应用于缓解问题(i)和(ii)。与IoU不同,IoU只在重叠的检测和跟踪之间形成时空相似性,如果它们在缓冲区的范围内,我们的BIoU会为最初不重叠的检测和跟踪构建时空相似性(图2)。(3)第三章。 由于缓冲区与原始检测和跟踪成比例,因此BIoU不改变它们的位置中心、比例和形状,而是扩展它们的匹配空间。有了这些特性,我们的BIoU在两个方面减轻了不规则运动的影响:一种是直接匹配相邻帧中相同但不重叠的检测和轨道,另一种是补偿匹配空间中的运动估计偏差。此外,为了降低匹配空间过度扩展的风险,我们将BIoU合并到级联匹配方案中:首先,使用小缓冲器来匹配活动轨迹和检测,然后,使用大缓冲器来再次匹配不匹配的轨迹和检测。为此,我们的C-BIoU跟踪器可以减轻不规则运动引起的失配,提高跟踪性能。我们在各种MOT数据集上报告了有希望的结果[9,10,1,26],这些数据集专注于不规则运动和难以区分 的 外 观 。 与 其 它 强 MOT 方 法 ( 例 如 , OC-SORT[7]),我们的C-BIoU跟踪器大大提高了跟踪性能,范围从二、六比七。2、以德为先[19]。此外,C-BIoU跟踪器是 我 们 在 CVPR'22 SoccerNet MOT 和 ECCV'22MOTComplex DanceTrack挑战赛中获得第二最后,我们分析了我们的C-BIoU跟踪器在消融研究中的局限性,并讨论了其应用范围。2. 相关作品2.1. MOT中的外观一致性和几何一致性在MOT研究中,外观一致性和几何一致性是用于关联跨帧检测的两个关键假设。通常,相同对象的先前外观应该与其当前外观相似(即,外观一致性),并且添加到其估计运动的其先前位置和形状应当近似于其当前位置和形状(即,地质网,BWWbhh原始框和缓冲框共享相同的中心原始框高度和宽度:w,h缓冲箱高度和宽度:bw,bh=一B一B一B一B4801Ric稠度)。在最近的工作中,利用MOT的外观特征在传统的MOT数据集上取得了巨大的成功(例如,MOT17[21])。特别是,在将变换器[28]引入MOT研究[27,33,20]之后,可以以高度准确的方式测量跨帧检测之间的外观相似性,这导致良好的跟踪性能。然而,Dance- Track[26]研究进行了实验,以证明当跟踪目标具有相似外观时,外观并不总是可靠的。其他MOT数据集,如SoccerNet [9,10]和GMOT-40 [1],也揭示了现实世界MOT任务的挑战:跟踪目标可能看起来相似,这可能使在常规MOT数据集上实现最先进性能的MOT方法失败(例如,MOT17[21])。几何匹配可以减少由不可区分的外观引起的歧义通常,IoU通常用于测量几何一致性[6,5,31,30,35,34,7]。检测和跟踪预测之间的IoU分数用于表示它们的跨帧亲和力。为了估计运动,通常应用神经网络[22]和贝叶斯滤波器[2,12]虽然大多数MOT方法[5,31,30,35,34]由于其简单性而应用卡尔曼滤波器[15],但OC-SORT[7]增强了卡尔曼滤波器以处理拥挤和遮挡场景。然而,在实际例如,在某些情况下,足球运动员和舞者可能会做出不规则的运动,这会导致运动估计模型失败。此外,对于非固定摄像机,尽管图像配准[8]可用于校准摄像机运动,但它很耗时,且无法保证准确性。为了缓解这些问题,我们引入了一个新的几何一致性度量解决方案。2.2. 几何一致性测量当给定不规则运动时,难以正确地初始化和估计运动,这可能导致在相邻帧中没有重叠几何特征的相同对象。因为IoU为所有非重叠的几何特征产生相同的0值(即,边界框),使用IoU进行几何一致性测量可能会导致跟踪初始化和正在进行的跟踪失败。因此,我们提出了一种BIoU来扩展原始匹配空间以度量几何一致性,这对快速运动和运动估计偏差是鲁棒的。与MOT [32]中的搜索窗口不同,它将扩展的边界框作为空间约束,我们的BIoU将扩展的边界框作为匹配特征。在某种程度上,使用GIoU[24]和DIoU[36]缓解了与我们的BIoU相同的问题,但我们验证了我们的BIoU在相同条件下可能会产生更好的结果(第二节)4.3)。2.3. 级联匹配在获得跨帧一致性度量之后,匹配(即,数据关联)被应用于相应的跨帧检测。除了跨框架一致性,我们还可以采用其他策略来优化匹配过程.级联匹配是MOT研究中常用的方法:首先匹配置信样本和简单样本 , 然 后 匹 配 模 糊 样 本 和 困 难 样 本 。 例 如 ,ByteTrack[34]比非置信检测更早地匹配置信检测,而DeepSORT[31]在较早匹配的轨道之前将数据关联应用于最近匹配的轨道。由于我们的BIoU改变了匹配空间,因此使用较大的缓冲区规模比使用较小的缓冲区规模具有更高的过度扩展风险。因此,我们将BIoU和级联匹配集成在我们的跟踪器中(图11)。4). 我们首先用一个小的缓冲区匹配活动轨迹和检测,然后用一个大的缓冲区匹配未匹配的轨迹和保留的检测。3. C-BIoU跟踪器我们的级联缓冲IoU(C-BIoU)跟踪器的架构如图所示。4.第一章它是专门设计来跟踪多个对象,具有难以区分的外观和不规则的运动。我们从SORT[5]继承了部分轨迹管理,并提出了用于几何一致性测量的C-BIoU。3.1. 跟踪流水线我们的跟踪管道遵循检测跟踪的范例-对象检测器和MOT框架是单独设计的。给定一个视频,我们应用现成的对象检测器(例如,YOLOX[13]),以在每个帧处生成然后,我们的C-BIoU跟踪器将这些边界框作为输入来生成跟踪结果。这样的流水线提供了很大的灵活性,可以将我们的C-BIoU跟踪器应用于任意检测。在我们的实验中(Sec. 4.2),我们还表明,类似的管道[5,31,34,7]在我们的目标数据集上产生了强有力的结果。3.2. 缓冲IoUBuffered IoU(BIoU)是我们在这项工作中的主要贡献如图2,BIoU简单地添加与原始检测成比例的缓冲区,并跟踪用于计算IoU。我们的BIoU保留了原始检测和跟踪的相同令o=(x,y,w,h)表示原始检测,并且(x,y,w,h)分别是检测的左上假设缓冲区规模为b,我们有缓冲检测4802- -−≤≤n−1i=t−n+1Σ−通过使用i) 新轨道ii) 当前状态+对其他人更新跟踪时间i) 年龄+= 1对于不匹配的曲目ii) 重置匹配曲目活着的足匹配的曲目匹配的曲目检测BIoU匹配w/小缓冲区(例如,b1=0.3)无与伦比的曲目BIoU匹配(带有大缓冲区)(例如,b2= 0.5)无与伦比的检测新曲目年龄Unmatched Unmatched检测跟踪年龄>max_age删除级联匹配图4:我们的C-BIoU跟踪器的框架。其从不匹配的检测中去除轨迹,应用活动轨迹来匹配新的检测,并且当轨迹对于给定量的帧没有被匹配时终止该轨迹(即,最大年龄)。两个BIoU,分别装备小和大的缓冲器,被分组为级联匹配。首先,我们将活动轨迹和检测与具有小缓冲区的BIoU(即,b1)。然后,我们继续将不匹配的轨迹和检测与具有大缓冲区的BIoU(即,b2)。对于运动估计,我们简单地平均最近帧的速度,以快速响应不可预测的运动变化。如ob=(x bw,y bh,w+bw,h+bh)。为了接近我们的级联匹配,我们应用网格研究[3]来找到训练集上两个缓冲尺度b1和b2因为我们有b1
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- JSP+SSM科研管理系统响应式网站设计案例
- 推荐一款超级好用的嵌入式串口调试工具
- PHP域名多维查询平台:高效精准的域名搜索工具
- Citypersons目标检测数据集:Yolo格式下载指南
- 掌握MySQL面试必备:程序员面试题解析集锦
- C++软件开发培训:核心技术资料深度解读
- SmartSoftHelp二维码工具:生成与解析条形码
- Android Spinner控件自定义字体大小的方法
- Ubuntu Server on Orangepi3 LTS 官方镜像发布
- CP2102 USB驱动程序的安装与更新指南
- ST-link固件升级指南:轻松更新程序步骤
- Java实现的质量管理系统Demo功能分析与操作
- Everything高效文件搜索工具:快速精确定位文件
- 基于B/S架构的酒店预订系统开发实践
- RF_Setting(E22-E90(SL)) V1.0中性版功能解析
- 高效转换M3U8到MP4:免费下载工具发布
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功