FAMNet：端到端的多目标跟踪，联合学习特征、相似度和分配
47 浏览量
更新于2024-06-20
收藏 1.02MB PDF 举报
"FAMNet是一种端到端的深度学习模型，专为在线多目标跟踪(MOT)设计，它融合了特征提取、相似度估计和多维分配的联合学习，旨在简化传统MOT方法的复杂性，提高鲁棒性。FAMNet的所有层都是可微的，允许网络在训练过程中被联合优化，学习区分性的特征，以适应不同目标类别和跟踪场景。通过集成单目标跟踪技术和专门的目标管理方案，FAMNet能够有效恢复外部检测器产生的误报和非噪声目标候选，从而增强跟踪性能。
1. 引言
多目标跟踪在各种领域，如视频监控和自动驾驶，都具有重要的作用。典型的检测跟踪策略依赖于外部检测器生成的目标候选，然后通过数据关联来建立跨帧的轨迹。这个关联问题通常分解为三个步骤：特征提取、亲和度计算和关联决策。然而，这种方法设计复杂，参数调整困难。
2. FAMNet模型
FAMNet通过将这三个步骤整合到一个单一的神经网络中，解决了这一问题。网络不仅学习特征表示，还学习估计亲和度，同时进行多维分配的细化，所有这些都在一个端到端的框架内进行。这种设计减少了人工调整的需求，并使模型能够自适应任务和场景的特性。
3. 深度学习与关联
尽管深度学习已经在特征提取和亲和度度量方面取得进展，但传统的关联算法仍然独立于网络之外。这可能导致训练和推理阶段之间的数据分布不匹配，影响模型的泛化能力。FAMNet通过将整个关联过程纳入网络，避免了这个问题，使得网络能够学习全局优化的关联策略。
4. 应用与评估
FAMNet在多个基准数据集上进行了测试，包括MOT2015、MOT2017、KITTI-Car和UA-DETRAC，其性能表现优于现有的先进技术。特别是在处理拥挤场景、目标外观变化和快速运动时，FAMNet显示出了良好的鲁棒性。
5. 结论
FAMNet的提出是为了解决传统MOT方法的局限性，通过联合学习和端到端优化，提高了多目标跟踪的效率和准确性。这种创新方法为未来的研究提供了新的思路，尤其是在如何更好地整合深度学习和多目标跟踪的各个组件方面。"
6174
k=0
I
k
ii
k
−
k
J
K
我
基于FAMNet的跟踪系统（概述见图①的人。
3.1. 问题公式化
在[44]中的符号之后，MOT的输入是de。
候选项首先用于生成假设序列。候选目标的图像块与
轨迹假设一起被传递到FAMNet中以计算局部分配集，
如图所示1.一、美创商内部
记为O=
{
O
（
k
）
}
K
，其中包含
K
+
1目标
Net的基础上，通过
从
K
+
1
帧的候选集。时间
复杂
度
O
（
k
）
特征子网络。 然后，亲和力子网络计算-
{
o
（
k
）
}
I
k
是要匹配的Ik
个
在这些FEA上对所有假设轨迹的亲和力
i
k
i
k
=1
其中O
（
k
）
表示候选的状态，诸如其在图像帧上的中心
坐标。
对于输入候选集O，MOT是要找到一个多维关联，
使整体亲和力
tures形成的亲和张量，如第节中所述4.1.
利用亲和张量，通过MDA子网络估计最佳多维空间，
如第二节中所解释的。第4.2和4.3节。
受关联约束。具体而言，c
.
i
0
：
i
K
为
在训练期间，任务地面实况直接
c
i
0
i
1
.
I
K
≥0
表示对一种可能缔合物的亲和力
与网络输出进行比较以计算损失。的
然后，损耗信号反向传播通过网络，
或根据
MOT
，一个假设轨迹
t
i
0
：
i
K
由候选人组成
。
o
（
0
）
，
o
（
1
）
，
.
，
o
（
K
） 我们使
用
.
i
0
i
1
i
K
用于学习的特征子网络和亲和子网络，如图中的红色
路径所1，并详细介绍了。4.4
z
i
0
：
i
K
=
z
i
0
i
1
. i
K
指示假设轨迹是否
在跟踪阶段，输出分配与sin-
toryistrue
（
z
i
0
：
i
K
=
1
）或不（
z
i
0
：
i
K
=
0
）。如果进一
步
表示张量
C
=
（
c
i
0
：
i
K
）
和
Z
=
（
z
i
0
：
i
K
）
，
MO T
可以
用公式
表示为以下
MDA
问题，以在给定
C的情况下求
解Z：
Σ
ar
g
m
ax
c
i
0
：
i
K
z
i
0
：
i
K
=
ar
g
m
ax
C
Z
1
，
（
1
）
{
z
i
0
：
i
K
}
i
0
：
i
K
Z
Σ
i
K
=
1
，
k
=
0
，
1
，
.
，
K
角目标跟踪（SOT）预测用于通过目标管理方案更新
4.5和4.6。
我们设计我们的方法在网上跟踪框架，旨在为更休
闲的应用程序。在恒定速度假设下，三个帧是计算运
动亲和力的最小时间跨度。因此在
S
.
t
.
i
0
：
i
K
/
{
i
k
}
z
i
0
：
i
K
∈
{
0
，
1
}
，
i
k
=
1
，
2
，
.
，
I
k
（
二
）
在论文的其余部分，
K
=
2
，在关联批次之间有两个
帧重叠，用于平衡计算成本
其中，
λ
表示逐元素乘积，
λ
·
λ
1
是主
和足够的深度的关联，包括更高的-
1-norm，和
i
0
：
i
K
/{i
k
}
表示对所有
排序辨别线索。
下标
i
0
：
i
K
除了
i
k
。
要求解方程1，我们遵循秩1张量近似-
mation（R1TA）框架[44]。多维as-Z首先被分解为一
个se-Z的乘积
4.
FAMNet
4.1.亲和子网
局部赋值序列X
（
k
）
=
（
x
（
k
））
1
），其代表
─
亲和子网络采用候选者的特征
在相邻帧中的候选者之间发送分配
I.E.
时间
复杂
度为
O
（
k
）
如果我们进一步将局部分配矩阵
重写为向量形式
x
（
k
）
=
（
x
（
k
）
），其中
j
k
=
（
i
k−1
−1
）
×
I
k
+
i
k
，
则
等式
1
中定义的优化问题。
1
可以重写如
下：
和假设轨迹作为输入，并生成仿射张量作为输出。
对于每个关联批次，首先使用特征子网络，这是一
种Siamese风格的网络，用于从所有帧
arg maxA
×
1
X
x
（1）
×
2
x
（
2
）
···
×
K
x
（
K
）
，
（
3）
在批次中该批次的中间帧中的候选被视为
锚候选
，并
且中间帧被
称为
锚定帧
。 例如，在一个示例中， 对于
K
=
2，锚
其中，
A
=
（
a
j
1
：
j
K
）
是从
（
K
+
1）阶C张量到
K
阶张量遵循
-
使用[44]中定义的规则，×
k
是k-
模
张量
帧是指帧
k
=
1
。对于每个锚候选人
〇
（
1
）
，分别从三个
1
.
（一）
（
二
）
Σ
（
K
）
帧，记为
F
i
=
{f
（
0
）
，
f
（
1
）
，
f
（
2
）
}
。这些特征
乘积，
X
=
x
，
x
、
...
、
X
是本地as的集合-
1
i
1
i
1
i
1
我们正在优化的分配向量。
3.2. 体系结构概述和跟踪管道
剩余14页未读，继续阅读
164 浏览量
237 浏览量
2024-07-25 上传
130 浏览量
点击了解资源详情
353 浏览量
cpongm
- 粉丝: 5
- 资源: 2万+
我的内容管理
展开
最新资源
- PIC24FJ64GA004
- 30秒清除你电脑中的垃圾（使你电脑急速如飞）
- 基于NS2无线传感网路由协议模型的设计与研究
- MATLAB 图像处理命令
- GCC中文用户手册(PDF)
- 架构风格与基于网络的软件架构设计
- c与c++嵌入式系统编程
- 8051单片机指令系统
- 开发JavaScript程序最优秀的IDE
- Microsoft Windows Internals
- VIM7.2中文用户手册
- 嵌入式笔记开发入门、入门经典
- 键盘的应用-按键上每个键的作用
- java自考大纲试验代码
- 解决checkstyle出现的问题:Got an exception - java.lang.RuntimeException Unable to get class information for Exception
- java执行系统命令
