Global Tracking Transformers
时间: 2023-11-14 07:06:11 浏览: 48
Global Tracking Transformers是一种基于transformer的全局多目标跟踪体系结构。该网络以一个短时间的帧序列作为输入,并为所有对象产生全局轨迹。其中的核心组件是全局跟踪转换器,它对序列中所有帧中的对象进行编码,并使用track query将它们分组。通过track query,每个帧的对象特征可以自然地生成独特的轨迹。与传统的成对分组或组合关联方法不同,Global Tracking Transformers不需要这些中间步骤,并且可以与一个目标检测器联合训练。在推理过程中,该模型以滑动窗口的方式运行,将时间窗口内的轨迹进行在线链接。整个模型是端到端可微分的。
相关问题
global tracking transformers
"全局追踪变压器"是指一种用于自然语言处理的模型,它采用了变压器(transformer)的结构,并通过跨文档信息抽取来进行全局上下文建模。该模型可以有效地解决文本中存在的跨句和跨文档的语义依赖关系,从而提高了文本理解的效果。
global tracking transformer
Global Tracking Transformer是一种基于transformer的全局多目标跟踪体系结构。它以短时间的帧序列作为输入,并为所有目标产生全局轨迹。其核心组件是global track transformer,它对序列中所有帧的目标进行操作。transformer对所有帧中的目标特征进行编码,并使用trajectory queries将它们分组为轨迹。trajectory queries是来自单个帧的目标特征,可以产生独特的轨迹。与传统的成对分组或组合关联不同,该方法不需要中间的成对分组或组合关联,并且可以与目标检测器联合训练。该方法在流行的MOT17基准测试上取得了具有竞争力的性能,具有75.3 MOTA和59.1 HOTA。此外,该方法还无缝地集成到最先进的大型词汇量检测器中,以跟踪任何对象。\[2\]该方法的结构如图3所示,它的工作流程如下:首先,目标检测器独立地在所有帧中检测目标。然后,将目标特征与轨迹查询进行拼接,并输入到全局Tracking transformer (GTR)的编码器中。GTR还将轨迹查询作为解码器的输入,并生成每个查询和目标之间的关联分数。关联矩阵将每个查询与目标进行连接。在测试过程中,轨迹查询是最后一帧中的目标特征。\[3\]该方法受到了最近transformer模型在计算机视觉中的成功经验的启发,特别是在目标检测中的应用。它利用了查询和编码器特征之间的交叉注意结构,挖掘了对象之间的相似性,并适用于多目标跟踪中的关联目标。与基于transformer的检测器不同,该方法的查询来自现有的检测特征,并适应图像内容。此外,该方法对检测到的对象进行操作,而不是原始像素,这使得它能够充分利用已有的目标检测器。
#### 引用[.reference_title]
- *1* *2* *3* [【论文速递】CVPR2022 - 全局跟踪Transformers](https://blog.csdn.net/Never_moresf/article/details/128704693)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]