可在www.sciencedirect.com在线获取ScienceDirectCAAITransactions on Intelligence Technology 1（2016）210e224http://www.journals.elsevier.com/caai-transactions-on-intelligence-technology/原创文章基于场景自适应分层数据关联和深度不变部分外观模型的室内多目标跟踪刘红*，王灿，高元北京大学深圳研究生院机器感知教育部重点实验室、物联网智能感知工程实验室2016年11月1日在线发布摘要室内多目标跟踪由于经常受到遮挡、视点截断、尺度变化和姿态变化等因素的影响，给目标表示和数据关联带来了较大的不可靠性和模糊性，因此具有比室外多目标跟踪更大的挑战性。因此，区分和可靠的目标表示是在多跟踪数据关联的准确性至关重要以往的研究往往将多个特征组合起来以提高识别能力，但这容易造成错误积累和不必要的计算开销，反而会增加模糊度。此外，同一特征在不同场景下的可靠性可能会有很大差异，特别是对于目前广泛使用的网络摄像机，它们分布在各种复杂的室内场景中，以前的固定特征选择方案无法满足一般要求。针对这些问题，首先提出了一种场景自适应的分层数据关联方案，该方案在应用场景中自适应地选择对目标表示具有较高可靠性的特征，并逐步将特征组合到区分模糊目标的最低要求;第二，提出了一种新的基于深度不变部分的RGB-D数据的外观模型，该模型使外观模型对尺度变化具有鲁棒性，部分遮挡和视图截断。RGB-D数据的引入增加了特征的多样性，为数据关联中的特征选择提供了更多类型的特征，提高了最终的多目标跟踪性能。在不同的室内场景下，从场景自适应特征选择方案、分层数据关联方案和基于RGB-D的外观建模方案等几个方面验证了该方法Copyright © 2016，重庆理工大学. Elsevier B. V.制作和托管这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：多目标跟踪;场景自适应;数据关联;外观模型; RGB-D数据1. 介绍近年来，由于对智能家居应用的需求不断增长[1e3]，多跟踪[4，5]和重新识别[6e8]等问题越来越受到关注，*本工作得到国家自然科学基金（NSFC，No. 61340046）、国家高技术研究发展计划（863计划，No. 2006AA04Z247）、深圳市科技创新委员会（JCYJ20130331144631730，JCYJ20130331144716089）、高等学校博士点专项研究基金（No.20130001110011）。* 通讯作者。电子邮件地址：hongliu@pku.edu.cn（H.Liu），canwang@pku.edu.cn（C.Wang），ygao@sz.pku.edu.cn（Y. Gao）。同行评议由重庆理工大学负责。计算机视觉领域的研究人员，也有许多问题需要解决。多目标跟踪一直是计算机视觉领域的一个研究热点。它的目的是定位移动的物体，保持他们的身份和检索他们的轨迹[4]。然而，这在具有频繁遮挡、目标具有相似外观和复杂交互的人群环境中具有高度挑战性。大多数以前关注多对象跟踪的方法可以分为两大类：一类从未来帧[9e13]中获取信息，以通过全局分析获得更好的关联，如全局轨迹优化[9]，网络流[11]，分层轨迹关联[14]等。然而，它们基于所有帧中的检测响应都已给出的前提，http://dx.doi.org/10.1016/j.trit.2016.10.0082468-2322/Copyright © 2016，重庆理工大学由爱思唯尔公司制作和主持这是一篇基于CC BY-NC- ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。H. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224211从过去和未来，所以它不适合于时间关键的应用程序，并在执行全局优化时是相对计算消耗。另一类只考虑过去和当前帧来进行关联决策[15e18]。它们通常依赖于卡尔曼[19]或粒子滤波器[20]来处理数据关联。由于它们的递归性质，这类算法适用于时间要求严格的应用，但在具有相似外观和复杂交互的拥挤场景中，这类算法容易导致不可恢复的错误数据关联。这就要求系统不仅要有足够的能力区分当前帧上的所有目标，而且要对连续帧中的每个目标有稳定的表示。为了提高识别能力，许多前人的工作[4，14，22]通常结合一堆特征来表示检测响应，并计算它们与现有轨迹之间的亲和矩阵。但是，由于两个原因，它们在处理相对复杂的场景时表现不理想：第一，由于光照变化和宽范围的姿态，同一目标的特征表示可能会表现出很大的变化。这表明很难获得目标的稳定表示。第二，目标表示的观测误差在杂波背景中是普遍存在的。例如，由于频繁的视图截断和部分遮挡（如图1所示），检测响应的位置可能不精确地位于目标的中心，特别是在室内场景中，与室外场景相比，传感器的视场相对有限。此外，检测响应的准确性还依赖于检测器在应用场景中的性能，其在不同场景中可能变化很大。这导致相同的特征表示在不同的场景中可能具有不同的可靠性。因此，组合一堆特征可能不会有助于检测响应与现有轨迹之间的更好关联。反之，可靠性或区分力较低的特征可能会对可靠性和区分性特征产生不利影响，也可能带来不必要的计算量成本此外，目前网络摄像机的应用程序苛刻地要求更通用和场景自适应的计划，以处理广泛的场景的多样性和多样性因此，出于正确处理上述问题的动机，为了实现时间关键的室内多跟踪系统，我们的工作集中在准确的数据关联，场景自适应的特征选择，以及更好的外观模型。我们的主要贡献在于三个方面：第一，提出了一种新的基于层次特征空间的层次数据关联方案。在数据关联过程中，根据区分歧义检测响应的需要，逐步进行特征融合，与同时融合多个特征相比，避免了不必要的计算开销，减少了误差积累;其次，提出了一种场景自适应的特征选择方案，该方案衡量了用于目标表示的特征在应用场景中的可靠性和不可分辨性，并选择相对可靠和有区别的特征用于数据关联。第三，提出了一种新的深度不变外观模型作为目标表示的高级特征，该模型能够很好地处理室内环境中常见的二维图像的尺度问题、频繁的视图截断和部分遮挡问题。在多种场景下进行的实验证明了可靠的特征选择和层次数据关联的有效性。基于RGB-D数据的深度不变外观模型在处理复杂室内场景中的遮挡和尺度变化时也表现出了其有效性2. 相关工作2.1. 数据关联近年来，随着目标跟踪技术的发展，基于数据关联的多目标跟踪方法越来越受到人们的重视Fig. 1.多跟踪任务的棘手问题。第一行显示了各种室内和室外场景，具有各种照明条件，拥挤程度和视角。底部两行是从我们的室内数据集获得的检测响应，具有大尺度变化，视野频繁截断，部分遮挡以及比室外行人更宽的姿势范围[21]。212H. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224J我不不T-检测和行人检测[23]，其在多跟踪期间将当前检测响应与现有轨迹相关联。最近，越来越多的工作采用基于数据关联的跟踪方案来实现鲁棒的多跟踪[24e26]，同时利用不同的框架。基于数据关联的跟踪方案将每个检测响应视为一个数据单元，并尝试将属于同一目标的连续帧之间的这些数据单元关联起来。基于每个帧中的检测响应，大多数相关工作利用未来帧通过全局分析获得更好的关联，如全局轨迹优化[9]和网络流[11]。由于引入了未来的信息，这增加了数据关联的准确性，但它不适合于时间关键型应用。因此，在这项工作中，为了实现一个时间关键的多跟踪系统，我们倾向于只使用过去和当前的检测响应来执行数据关联在线，这有一个更准确的数据关联在每个当前帧的要求。显然，检测响应的特征表示对于数据关联的准确性至关重要，因此可靠的特征选择方案是重要的，并且是这项工作的主要焦点之一2.2. 特征表示和外观模型目标的特征表示是数据关联中的关键，它决定了目标表示是否能够区分不同的目标，并在时间序列上保持自身的标识性。以前的研究人员倾向于使用基本特征来实现对每个目标的生成描述[14，27]，如颜色，大小，运动，位置等，并且为了更好的实际性能，我们的框架也遵循该方案。与这些经典特征不同的是，外观模型可以被视为一个高层次的特征，这是至关重要的检测响应的准确表示。许多研究人员致力于更复杂的外观模型来表示多跟踪领域的检测响应[4，28，29]给定这些基本特征，如何将它们与空间信息相结合，决定了外观模型的有效性。毫无疑问，空间信息在描述外观方面起着至关重要的作用，因为它本质上意味着基本特征的空间布局。[31]中的工作将检测响应的边界框平均细分为十个水平条纹，[28]中的工作使用十五个正方形来构建基于部件的外观模型，以便部件不会太大而不能模拟遮挡，基于RGB-D数据的外观模型，将在第4节中详细描述。2.3. 室内应用最近，将RGB和深度数据组合用于计算机视觉应用变得越来越流行[37]，因为最近出现的深度传感器（例如，Microsoft Kinect）已经使得不仅实时捕获彩色图像而且还捕获具有适当分辨率和准确度的深度图变得可行且经济合理[33]。深度数据的引入提供了更多的三维信息，减少了二维图像处理中不适定问题带来的麻烦。此外，深度数据很少受到室内环境中常见的不良光照条件的影响，这可以是RGB数据的补充线索。因此，为了应对更多的实际挑战，并实现一个时间关键的室内多跟踪系统，深度数据被采用在我们的工作。以前的工作采用深度数据进行运动检测[32]，背景减除[38]和3D身体姿势估计[34]，这提供了鲁棒和各种目标检测方案。许多基于深度的特征也由以前的作品[35，36]提出，用于目标检测和表示。在这项工作中，基于深度数据的各种基于深度的线索用于目标表示，如三维位置，三维运动和三维空间布局的基本特征的外观建模。这些基于深度的特征的引入增加了特征的多样性，这为目标表示提供了更可靠的特征。这大大提高了系统在实际应用中对环境杂乱、光照条件恶劣、二维图像平面尺度变化等问题的鲁棒性3. 场景自适应分层数据关联3.1. 预赛在多线索数据关联框架中，关键问题是将当前帧中的n个检测响应与m个现有轨迹片段相关联。 通过出来这纸张， 设t= 1/4 f ri g n表示帧t处的n个检测响应，且设ri表示一个检测响应。令T： 1/4 fTj gm表示m个现有轨迹片段，并且令Tj表示一个轨迹片段，公式化为：T：¼n/;rt-2;rt-1o1jj j包括有意义特征。除了这些简单直观的空间布局外，[30]中的工作进一步结合了空间人体对称性与手观变化。虽然以前的工作尝试了各种空间布局方案，以更好地引入空间信息，他们有本质的缺陷，因为他们使用的空间信息是纯粹的基于图像补丁的2D图像平面。但在实际应用中，由于检测器在复杂环境中的性能不理想，检测区域往往会出现错位、截断或遮挡等现象。因此，为了处理这个问题，我们提出了一种新的基于深度不变部分的这里，R_t-1表示在时间t1与轨迹片段j相关联的检测响应可以看出，一个轨迹片段实际上包含过去与其相关联的所有检测响应。在数据关联期间的时间t，对于每个新的检测响应，r_t_j，我们应该将其关联到其对应的trackletj。最常用的方法是在一个或多个特征的表示下计算检测响应ri和轨迹片段j之间的亲和力，然后将所有亲和力相乘以获得最终的关联概率。H. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224213不不不TTTT.- 是的- 是 的- 是 的Σ阿泰FHKHK在经典关联框架[4，14，28]中，ri和j之间的链接概率通常被定义为基于几个特征（如位置、大小、外观等）的属性的乘积，公式如下：Plinkri;Tj ¼ Aposri; Tj Aszri; Tj Aapri; Tj/200其中，ri;j表示检测响应ri和轨迹片段j之间的亲和度，并且订阅 ‘ap对于每一个关联，以往的工作总是结合这些特征来计算链接概率，以增加响应的可区分性。这在一些文献中似乎是有意义的，并且确实取得了很好的结果。然而，实际的实验和分析表明，基于多个特征的相似度相乘并不一定能提高鉴别能力，相反，它容易导致多个特征表示的误差积累，带来不必要的计算开销。图2给出了观测误差如何影响数据关联的一个简单例子。设1和2表示真值在给定特征空间中的两个轨迹，换句话说，在给定特征fk的表示下。因为任何特征表示都可以看作是其自身特征空间中的一个数据点。设1和2表示其观测值。这里riR1和R2表示在当前帧中检测到的两个检测响应，并且R1和R2是它们对应的真值。可以看出，1和两个响应ri和ri之间的观测亲和力几乎相同，但真实值不同很多这是由于观测误差e ri，e rl 和eT1 之间某些特征表示较大，即使检测响应和tracklet属于同一目标，亲和度也可能较小。因此，这需要一个更合理的数据关联方案与可靠的特征表示，这是在这项工作中的主要重点。3.2. 层次数据关联如上所述，组合一堆特征可能不会有助于检测响应与现有轨迹片段之间的更好关联。反之，特征的可靠性或鉴别力较低，则会对其他可靠的、具有鉴别力的特征产生不利影响，也会带来不必要的计算开销。这些问题在室内多目标跟踪中比较突出，原因有二：一是经典方法中最常用的位置、大小、颜色和外观模型等特征容易受到室内场景中常见的部分遮挡、视点截断和光照不良等情况的影响，从而可能给目标表示带来较大的观测误差;二是在这些复杂情况下，即使是同一目标的检测响应也可能存在较大的变化。为了解决这些问题，提出了一种新的分层数据关联方案：3.2.1. 层次特征空间构造首先，构造具有用于描述检测响应的各种常用特征ffk g的特征空间F。基于特征空间F，给出了一种生成式的链接fk fk fk观察到的检测响应及其在特征空间。不幸的是，在实际应用中，几乎所有的特征表示都是这种情况。这表明，如果在几个特征表示下甚至存在非平凡的观测误差，则当乘以特征亲和度时，它们将累积，如公式（2）中的经典工作那样。因此，公式（2）中的最终链接概率Plink可能不反映检测响应与轨迹片段之间的真实亲合性。即使存在具有较小观测误差的可靠和鉴别特征表示，由于观测误差的累积，它们的鉴别能力也会大大降低。另一方面，如果在一个概率公式为：P链接。ri; T j jF YA fk. ri;Tjf2Fk然后，特征空间被重构为K个层次，遵循两个规则：1) 特征空间的较低层次应该用在目标表示上表现出更高可靠性的特征来构造。换句话说，基于特征fk的目标表示应该具有较小的观测误差和真实变化。2) 特征空间的较高层次逐渐比较低层次多一个特征，可以用公式表示为FHk < $FHk-1<$f fk g。中给出了分层特征空间的简要说明。J其中fri g和fT g表示检测响应，tracklet被分别关联在层级Hk中。基于分层数据关联方案，根据区分歧义检测响应的需要，逐步融合特征，避免了不必要的计算开销，与同时融合多个特征相比，减少了误差积累。图二、观察误差如何影响数据关联的简单示例3.2.2. HFS上的数据关联在前面模块的基础上，假设选取了K个可信度较高的特征，214H. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224HKHK链路我Jfk我J通过在特征空间Hk1中组 合 更 多 特 征 来 实 现。最后，这一迭代过程被终止，直到最后一次迭代。fk我Jfk我JfkKfkkMk.IJ按照3.2节中的规则进行构建。对于第k层次Hk，假设存在Mk个轨迹波和Nk个检测响应，J相关 让 TH： ¼ fTg 表示 MK tracklet和并且如果在随后的帧中有足够的响应与它相关联，则将被正式初始化。因此，新的条目将得到妥善处理。对于未命中检测集合中的每个轨迹段Tj，表示Nk个响应。KMHk，分析了脱靶的原因如果未命中检测到期，首先，亲和矩阵MHk 在T Hk之间 而K 是退出，T j从T中移除。如果是由于阻塞，一个OC-计算了设A ij表示第i行中的元素和我们以前的工作[47]中提出的第j个结论处理策略柱 的MHKHkAHk是r和我 而Tj被采纳。它能有效地找到重现的响应和使用考虑到FHk中的所有特征ffkg，给出为：在集合CHk中的链接是四分之一便士。r; T.F公司简介 A. r;Tβ4转移到更高层次Hk1为了进一步区分，F哪里 A.r; T = G.D.r t; T;m;S 5或者区分所有冲突链路。例如图 3、所有冲突的 环节都 变得可靠然后，基于亲和矩阵MHk，提出了一种层次化的数据关联算法来处理第k该算法在算法1中的伪码过程中给出.它的功能是在每个层次Hk中找到可靠链路RHk、冲突链路CHk、丢失检测MHk和噪声检测NHk。分层数据关联的简要说明如图所示。 3.之后，在RHk中的可靠链路被关联。对于集合NHk中的任何噪声检测，非正式地初始化新的轨迹片段链接在层次结构H3.最后剩余的冲突链路，如果有的话，为了简单起见，使用最近邻策略相关联。因此，通过这种分层数据关联方案，一方面可以优先使用可靠性较高的特征进行数据关联，与经典方案相比，减少了观测误差的累积。另一方面，该框架可以处理多目标跟踪的实际问题，如脱靶检测、噪声检测等。一HKHKfk2FHkIJH. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224215J不JJAT不....不A.r; T=G.-p--mðÞrj¼PJ;mj;cj;aj;/pj¼ Xc;Zc ;Zc¼ad$dj;Xc ¼Cfu uj-u0我 J图三.场景自适应特征空间上的层次数据关联的简要说明。在该层次框架中，噪声检测、丢失检测、可靠链路和冲突链路被统一处理。3.2.3. 特征表示在这一部分中，将详细阐述特征空间的构建。在多跟踪中广泛使用的经典特征，如位置，大小，颜色，外观模型[14，27]，都被采用在这项工作中，因为它们本质上是适合多跟踪问题的性质。这项工作的区别在于，对于RGB-D数据，特征表示设计不同于RGB数据，与RGB版本相比，它结合了更多的空间信息。结合深度数据可以得到更准确可靠的描述。在这里，我们重点介绍了我们用于特征空间构建的经典特征的RGB-D版本，例如位置p，运动状态m，颜色c，外观模型a等，其一般公式阐述如下：假设对于每个轨迹片段j，其最新响应rt-1可以表示为：如上一节所述，给定任何检测响应ri和tracklet T j，用户定义的度量F fk$用于计算亲和度fk ri;J 基于每个特征fk。这里，类似于以前的相关工作，如[14]，假设位置亲和力服从高斯分布，这也是因此，Tj和新检测响应ri之间的位置亲和性通过下式计算：Ap.r i; T j G.pi-pt-1;mp;Sp8其中mp和Sp是根据每个场景中的特征的可靠性的场景自适应参数，这将在第3.3节中详细阐述。类似地，运动提示及其亲和距离度量的细节如下给出。使用一阶马尔可夫模型将轨迹片段j中的tt-1的运动mj公式化为：jt-1t-2t-1nt-1t-1om¼ pj-pj.j和ri之间的运动亲和性也被给出，具有自身场景自适应参数的高斯分布其中pt-1、mt-1、cj和aj表示位置的特征，mo-mm和Sm，公式为：J J色和外观模型。在多目标跟踪中，位置是最重要的特征，也是最常用的特征。除了2D版本的位置，它总是被设置为在2D图像平面上的检测响应的中心或顶部位置pt-1表示为欧几里得位置t1J与基于位置的特征如位置和运动不同，基于内容的特征如颜色直方图和外观模型被广泛用于目标的表示多跟踪中的j jjX c;Z c 在基于深度数据的相机坐标中，避免2D图像平面中的透视效应，公式为：颜色特征cj可以被设计为直方图向量，t-1.j jjjZj。Σ一些常用颜色空间如HSV、RGB、YUV等等，或者它们的组合。 同样，颜色T之间的亲和力如下所示我和rJ其中dj是检测响应的平均深度JDu0是摄像机的内部参数，u j 是宽度.- 是 的一个！深度图像和是量化的比例因子。在这里fu和Acri; Tj ¼GCorr.c; c; mc; Scð10Þ2D图像平面上的坐标。其中corr=vi;vj=计算向量vi和vj的相关性。ð6Þð7Þ216H. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224DfkP联系我们fkfkJJ¼l¼1j¼1fkð Þ对于外貌模特来说，也算是一种高表示在rt和rt-1之间稳定，这是至关重要的J J特征空间中的特征。由于其复杂的设计，将在第4节中详细阐述。除了上面提到的这些功能，其他广泛使用的特征，如纹理、边缘、类Haar特征、兴趣用于数据关联。它们之间的变化定义为：vjtd.rt;T11点，图像补丁，分割区域[44]以及这些基本特征的组合[45][46]也包括在我们的特征池中。3.3. 场景自适应特征选择如前所述，同一特征在不同场景下的可靠性可能会有很大差异，特别是对于目前广泛使用的网络摄像机，因此以前的固定特征选择方案不能满足一般要求。在本节中，我们提出了一个场景自适应的特征选择方案，它有助于在每个场景中选择更可靠的特征，并使用它们来构建分层特征空间。遵循3.2.1节中提出的两个规则，构造分层特征空间时，应首先选择可靠性较高的特征。它是基于这样的观察，即同一特征的可靠性在不同的场景中变化很大，但可靠的目标表示对于准确的数据协会 因此，场景自适应特征选择同样，在fk $表示之间在特征fk的表示下的两个检测响应。目标表示变化的简要说明在图4中给出，其中选择三个不同的特征用于描述两个场景中的相同目标。从图4中可以看出，不同的特征在同一场景中具有不同的可靠性，同一特征在不同场景中也具有不同的可靠性。我们的动机是为每个给定场景选择具有更高可靠性的目标表示特征，因此提出了可靠性度量标准，并描述如下：3.3.1. 可靠性度量为了探索特征在给定场景中对目标表示的可靠性，研究了一个统计量是变异的平均值mfk，公式为：PtPNrlvjl方案是必要的，建议如下：fktl¼1 Nrl 1首先，为了便于下面的描述，令rit表示帧t处的检测响应ri，并且轨迹片段j表示与目标j在帧t之前，写作Tj：¼f/; rt-2; rt-1g。Soifriis其中，Nr_t_t是在时间t处与轨迹片段相关联的检测响应的数量。该统计量mfk基本上指示特征fk在表示目标时的平均真实变化。关联到J Jðt Þ给定场景。更低的真实变异意味着更高的稳定代表性，Tj，则ri也可以写为rj。如果ri已经在帧t处与Tj相关联，移动目标的信号变异的另一个统计量是特征fk，我们感兴趣的是该特征是否fk变化sfk，公式为：图四、两个不同场景中的特征表示变化的简要说明，其中特征1e 3分别是HSV（红线）、RGB（绿线）和YUV（蓝线）颜色空间中的颜色直方图向量可以观察到，特征1在两个场景中具有较低的变化特征2在场景1中比场景2具有更好的性能特征3在两个场景中具有较大的变化Mð12ÞH. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224217P俄.西.¼fkBKKvfk DfkRi ;rjl<$1i <$1j <$i <$1fku.þΣ0B0 112l¼1j1fkÞ-fk这里参数Ufk也被用来转化异-BPtPNrl.vjl2. m2C将不同特征的异构统计数据转化为异构数据sfk¼B@不l¼1 Nrl1CAð13Þ以确保它们可以放在一起比较如所提及以上，mfk 描述特征fk的平均真实变化，表示连续帧中的相同目标，并且dfk描述连续帧中的不同目标之间的平均距离。其中，N是与以下各项相关联的检测响应的数量：在时间t处的tracklet。该统计量sfk基本上指示特征fk在表示给定场景中的目标上的稳定性。较高的观测误差带来较高的sfk值，这意味着较低的稳定性的特征表示。在实际应用中，理想的特征表示应该具有较小的真实变化和较高的稳定性，这表明变化vj不超过均值mf和标准差sf的低值。给定场景。自 然 ，具有相对较高d fk的特征 但相对较低的Mfk更适合于所应用场景中的区分性目标表示。以位置特征为例，在拥挤场景中，与不太拥挤的场景相比，特征mpos相对接近平均位置距离dpos这表明位置特征在较短的时间内具有更强的区分能力拥挤的场景比拥挤的场景。因此，dis-在该框架中，特征fk在目标表示可以给出为：犯罪性度量Dk基本上给出了选择特征以减少数据关联中的模糊性的标准，Rk<$Ufk1美元 1fkfkð14Þ现场最后，在实际应用中，将可靠性测度Rfk和判别性测度Dfk结合起来计算其中Ufk是用于每个特征fk的先验参数，以将不同特征的异构统计数据转换为同质数据，以确保可以一起比较不同特征的可靠性。参数ur是控制mfk和sfk对可靠度Rfk影响的加权因子。3.3.2. 辨别力测量在实际的多目标跟踪中，可靠的和有区别的特征表示对于数据关联都是至关重要的。因此，在场景自适应特征选择中，不仅要考虑特征的可靠性，还要考虑特征的区分度。例如，在一个非常拥挤的场景中，即使是位置特征对目标的描述也是非常可靠和稳定的，但是它们之间的距离相对太小，所以位置特征不是一个令人满意的特征。假设在时间t的特征fk的表示下的任何两个检测响应之间的距离被给出为：在给定的条件下，目标表示的特征fk的质量场景，公式如下：Q fk R fk 18岁以下儿童其中uq是控制可靠性和可辨别性对特征的最终质量4. 基于深度不变部件的外观模型除了第3.2.3节中提到的一些低级特征，如颜色、运动等，外观是一个重要的高层特征的目标表示，这是广泛使用的人体相关的应用，如人的重新识别[30，39]，行人检测[40e43]，多目标跟踪[4，29，28]等。i j.别说了歧视本文提出了一种基于深度不变ð15Þ提出了一种基于外观模型的目标表示方法，基于对给定场景的一定时间段的观察，引入另一个统计量dfk，其公式如下：PtPNrlPNrlvijlDRR16Þ描述如下：4.1. 深度不变变换首先，将深度不变变换（DIT）应用于对原始图像的补丁进行检测响应，并进行变换提出了一种新的深度不变图像坐标（DIIC）。什么...fk ¼PtNl N l-1=2其中，N是在时间t处与轨迹片段相关联的检测响应的数量。本质上，统计数据dfk描述了使检测响应的原始图像坐标被写为（u，v），深度不变图像坐标被写为u;v，则深度不变变换可以在给定条件下，检测响应之间的平均距离场景，在特征fk的表示下。然后，区分度测量D fk 提出公式为ebdb：这是一个很好的例子。Wd$u-u$1采用两个统计量d fk mfk 考虑到，作为：u1fkvΣð19ÞDfk1个dUfk-mfkΣð17Þv¼as$Hopushed$push-v0pushed$f$ cosappushed$ sinap.l¼1218H. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224ðÞ其中u0;v0;fu;fv是RGB传感器的内部参数，as是比例因子，d是深度图像上坐标（u，v）对应的深度值。在这里，Wo是偏移量，以确保在DIT trans.应用场景中的水平地面。这两种方法都不够通用，因为深度传感器可能由于平滑的地板表面或遮挡而无法捕获地面上的数据，这是室内场景中常见的情况。形成，并且u的最小值为1。和H设置为在这里，我们对每一个的检测响应进行统计，Bo确保所有深度不变补丁的顶部对应于世界坐标中的相同高度。公式（19）中的参数αp是传感器的俯仰角。从图5中可以看出，不同块中的目标头部几乎处于同一水平位置。图7中给出了外观建模过程的示例。将同一目标的两个探测响应变换到同一尺度、同一水平上。DIT变换后的长度度量与世界上的绝对长度度量成比例，并且两个补丁的顶部都对应于现实世界中的1.8m。值得一提的是，公式（19）中的参数αp是传感器的俯仰角。为了使DIT变换在各种场景中的不同相机俯仰角下都能很好地工作而无需手动校准，我们提出了一种适用于深度数据的自动俯仰角估计方法，该方法在算法2中给出。以前的作品，如[52，51]通常计算地平面的法向量，并使用它来估计相机俯仰角。例如，[51]中的工作手动选择对应于地平面的深度图像区域的一部分。虽然[52]中的工作是一种基于3D点云确定地平面的自动方法，但它是基于一个强烈的假设，即存在许多垂直墙以及大而粗略目标基于对应用场景的一段时间的观察。图6中给出了相机俯仰角估计的简要说明。对于每个轨迹片段，收集属于该轨迹片段的检测响应的头部3D位置坐标。在给定的场景中，经过长时间的观察，可以收集足够的可靠数据，并可以估计传感器的俯仰角。算法2中给出了详细的过程。在DIT变换之后，无论目标位于场景中的何处，目标表面上具有相同高度（相对于地平面）的点将始终对应于DIIC坐标上的相同水平位置，为后续空间信息与基本特征的结合奠定了坚实的基础。因此，DIT变换使得外观模型在二维图像平面上对尺度变化和视图截断具有4.2. 零件建模空间布局信息对于外观建模是相当关键的信息，并且人类目标由于其复杂的运动学而不是刚性对象，因此可以使用基于部分的模型更好地描述它[53]。在DIT变换后，基于新的深度不变图像坐标系下的检测响应，H. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224219图五、该图显示了跟踪过程中DIT前后两个目标的检测响应的补丁两个版本的图像补丁与黑色和白色的背景显示，以提供更好的可视化的变换补丁。红线表示真实世界中的相同身体部位对应于DIT后图像块上的相同部位图第六章简要说明了通过在应用场景中的长期观察来估计相机俯仰角220H. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224J;m; Sc;m; Sa不0t-1sðÞJJ2½1/n]21JJJJ块、每个检测响应rCorrci;cj我JJ我Jfgfg不.！Corrai;aj无论是采用多方位还是单方位外观见图7。在二维图像平面上，红色目标的检测响应尺度随目标运动的远近而变化，但经过深度不变变换（DIT）后，其尺度保持相对稳定。根据零件的空间布局完成外观造型。对于基本的功能选择，我们的框架中测试并选择了几个最常用的功能。与之前的工作[53]相同，几个低级特征用于外观建模，包括加权HSV（wHSV）颜色直方图、SIFT描述符和LAB颜色直方图，其中提取加权wHSV颜色直方图以捕获颜色信息，如[54]中所建议的，SIFT描述符用于捕获纹理信息并处理照明变化，提取LAB颜色直方图以增强照明不变性。不同 从 透水 基于零件 方法，其中通常将检测响应的图像块划分为根据第3.3节中提出的算法，在长期观察期间，基于统计平均值mfk和标准划分sfk给出方差mfk和Sfk。4.3. 基于方向的建模在室内环境中，同一个目标的外观可能会因为转身而变化很大，如图7所示，目标的背面和正面外观变化很大。为了解决这一问题，本文利用目标的方向性来指导外观模型。对于轨迹段Tj，其在时间t-1的响应tt-1的粗略取向由下式给出.Zct-1-Zct-2！OjnoXct-1-Xct-2在2D图像平面中的几个部分块，在这项工作中，块j j每个部分的大小具有深度不变的大小（Wj;Hj），其中sn是量化函数，其量化对应于世界坐标中的固定值，如图所示在图7中，这使得外观模型可以容忍大规模的变化。为了避免视角截断的不良影响，由于下半体经常被视野截断，所以只对目标的上半体对于每个零件，一个或多个基本特征用于外观矢量构造， 根据 的 任务重将响应定向到NO水平。 因此，轨迹片段j的外观aj和颜色模型cj被划分为n个模型a1;i; ano和c1;/; cno.因此，考虑到检测响应的取向，其颜色亲和性和外观亲和性可以重新公式化如下：应用场景的要求。假设部分块的外观向量表示为abi，其中bi是J可以被进一步制定作为一级联矢量梭里岛T jG1.奥奥特-1号卫星ð22Þaj∈ab1;ab2;/;abn∈，并且每个abn是appearank e向量因此，给定两个构造的外观向量a，我和一个，.. Σ.一个！和bn是部分块的数量Aari Tj ¼G.奥奥特-1号卫星ð23Þj和ri之间的外观亲和力也可以给出为一般形式：.. - 是 的一个！我 J其中corrvi;vj 计算向量vi和VJ。Aari Tj ¼GCorr. a; a; ma;Sað20Þ在实际应用中，也是一个场景适应性问题在这个框架中，类似于[14]中的相关工作，特征的亲和度都由高斯分布定义模型例如，在某些场景中，目标总是移动到-方向规则，这意味着arctanH. Liu等人/CAAI Transactions on Intelligence Technology 1（2016）210e 224221BBJJfgfg当目标在视场中移动时，其在连续帧之间很少变化或平滑变化，因此在这种场景中不太需要多方位方案。相反，在某些场景中，目标可能会出现圆运动或长期遮挡，其检测响应往往具有多个方向。表1实验数据集的详细配置。数据集名称数据集类型进/出距离 拥挤 RGB-D/RGB场景1e场景5室内关闭拥挤的RGB-D场景6e场景10室内关闭拥挤的RGB场景11e场景15室外遥远的不拥挤的RGB5. 试验与分析[49]第四十九章：一个女人户外远距离少拥挤RGB在本节中，我们从以下三个部分进行了多次实验观察、比较和分析，以验证所提出的框架的有效性：首先，我们在分析不同场景下特征的可靠性差异的基础上，验证了5.2然后，我们进行了一系列的实验，以评估性能的深度不变的部分为基础的外观模型（DIAM）在各种场景中，这是在第5.3节。第三，我们分析了所提出的分层数据关联框架和非分层框架的优点和缺点，在RGB-D数据集上进行实验并结合各种特征，这在第5.4节中详细阐述。5.1. 数据集和设置目前还没有普遍接受的多追踪基准[5]。因此，我们记录了我们自己的多跟踪数据集，包括RGB和RGB-D数据，室内和室外场景，这显示了很大的差异。这个具有挑战性的数据集呈现频繁的交互、显著的遮挡、各种照明条件和杂乱的背景。RGB-D数据集由Kinect传感器记录。我们的实验主要是基于RGB-D数据集，可以评估整个框架，如深度不变的外观模型，俯仰角估计模块和场景自适应特征选择模块，场景自TUD campus[50]户外关闭拥挤的RGBTUD crossing[50]户外关闭拥挤的RGB选取使用过的特征构建特征空间，然后对该场景中记录的一个或多个多跟踪序列进行数据关联。然后基于关联序列，按照算法计算特征空间中所有特征的两个统计量ufk、sfk和可靠度Rfk在第3.3节中。由于其统计性质，偶尔的id切换在数据关联中可以被忽略。公式（14）中的变化参考Ufk可以通过在不同场景中的若干序列中对关联期间的每个特征fk它是基于先验统计的恒定值，与场景无关。加权因子ur根据经验设置为0.5，以控制mfk的影响和S FK 对于可靠性R fk 在公式（14）中。对于我们的方法，在公式（7）和（19）中a和as被设置为10。在公式（19）中，Hoff被设置为100。对于基于部件的外观模型，部件编号bn被设置为9，并且块大小H;W（图7所示）被设置为30; 20，由于深度不变的性质，这些参数对应于世界坐标中的绝对值，它们在人类跟踪系统中是相对一致的（参见图7）。（ 八）。5.2. 场景自适应特征选择评价首先，通过分析
