没有合适的资源?快使用搜索试试~ 我知道了~
1使用无线电信号范立杰李天宏李荣耀方鲁门赫里斯托夫袁元迪娜卡塔比麻省理工学院CSAIL摘要人一人员重新识别(ReID)旨在识别不同地点和时间的感兴趣人员。前向ReID方法依赖于使用RGB相机收集的图像或视频。它们提取外观特征,如衣服、鞋子、头发等。然而,这些特征可能会从一天到下一天发生剧烈变化,导致无法在长时间内识别人在本文中,我们介绍了RF-ReID,这是一种利用射频(RF)信号进行长期人员ReID的新方法。 RF信号穿过衣服并从人体反射;因此,它们可以用于提取更持久的人类识别特征,如身体大小和形状。我们会评估-(一)视频ReID:0.936人B(c)第(1)款RF-ReID在跨越几天和几周的纵向数据集上的作用,其中人可能在几天内穿着不同的衣服。我们的实验表明,RF-ReID优于最先进的基于RGB的ReID方法,用于长期的人ReID。 我们的研究结果还揭示了两个内在的特征:首先,由于RF信号在存在遮挡和照明不良的情况下工作,因此RF-ReID允许在这种情况下进行人员ReID。其次,与照片和视频不同,RF信号更能保护隐私,因此可以帮助将个人ReID扩展到隐私相关领域,如医疗保健。1. 介绍人员重新识别(ReID)旨在在不同的时间和地点,在不同的摄像机上匹配它在城市规划、智能监控、安全监控等方面有着广泛的应用。这是具有挑战性的,因为人跨相机的视觉外观可能由于照明、背景、相机视角和人姿势的改变而显著改变。随着深度学习的成功,几个ReID模型[3,25,7,8,14,39,11,60]已经设法提取了在相机中视图不变的外观特征,从而在各种人ReID数据集上获得了良好的性能[6]。*表示平等捐款。图1. 通过RF-ReID计算的人与人之间的相似性得分,最先进的基于视频的ReID模型(分数越大,相似度越高)。(a)和(b)显示同一个人穿着不同的衣服,(c)显示不同的人穿着与左上角的人相同的套头衫。基于视频的ReID模型依赖于外观特征,因此错误地预测(a)接近于(c),而RF-ReID捕获身体形状和行走风格,并且可以正确地将(a)与(b)相关联。然而,另一个巨大的挑战却很少被研究:人类视觉外观也可以随时间急剧变化。例如,人们可能会在不同的日子穿着不同的衣服和发型再次光顾同一家商店,小偷可以故意改变他的衣服来误导监控系统。一个强大的人ReID系统应该能够匹配的人,尽管外观的变化。不幸的是,现有的基于RGB的个人ReID系统在实现该目标方面具有严重的限制,因为它们本质上依赖于外观信息,例如衣服、鞋子、头发、包等。[39、49、52]。所有这些功能都是短暂的,第二天就可能失效。为了实现强大的个人ReID,系统应该能够提取持续数周和数月的长期识别特征。但是,我们如何才能捕捉到适合个人ReID的持久特征呢?无线信号提供了一个很好的解决方案。Wi-Fi频率范围内的射频(RF)信号穿过衣服并反射离开人体。与摄像头不同,无线信号可以提取人体的内在特征,如身体大小或形状。这些功能在几天和几个月内相对稳定,从而实现更高的10699人一RF-ReID:(10700强大的长期ReID系统。此外,以前的工作已经显示了使用RF信号跟踪人的3D骨架和行走模式的可能性此外,与基于RGB的人ReID方法不同,该方法在存在遮挡和弱照明的情况下挣扎,RF信号穿过墙壁并且可以通过遮挡和在黑暗环境中启用ReID。然而,将RF信号应用于人ReID提出了若干挑战。首先,只使用人们的ID作为标签来训练端到端模型会导致过拟合问题。ID标签提供了相当弱的监督。该模型将倾向于学习依赖于环境的捷径,例如一个人通常停留的位置。其次,与RGB图像不同,单个RF快照包含来自少数身体部位的反射,并且错过身体的其余部分。这是由于一个特殊的属性称为镜面反射[4]。对于Wi-Fi范围内的RF信号,人体就像一面镜子,从接收器反射回来的信号将不会被捕获。因此,单个RF快照不包含关于整个身体的足够信息来识别人。为了解决过拟合问题,我们提出了一个多任务学习框架和一个环境学习器.除了预测人的身份外,我们还强制模型中的特征包含足够的信息来预测人的3D骨架。我们进一步添加了一个环境控制器,以强制这些特性独立于环境。该鉴别器以对抗的方式与特征提取网络共同训练,使得鉴别器无法区分来自不同环境的特征。为了解决RF信号的镜面反射性,我们添加了分层注意力模块,该分层注意力模块有效地组合了关于人的形状和跨时间的行走风格的信息,即,跨多个RF快照。我们介绍了RF-ReID,一个基于RF的人ReID模型,可以提取长期可识别的特征,并在遮挡或光照不足的条件下工作。RF-ReID将无线信号作为输入,从人体的反射中提取可识别的特征,并使用提取的特征识别人。它在时间和空间上都能执行鲁棒的每个ReID。图1显示了一个演示RF-ReID有效性的示例。在(a)和(b)中穿着不同衣服的同一个人被最先进的视频ReID误认为是不同的个体,而在(a)和(c)中穿着相同衣服的两个不同的人被错误地识别为同一个人。相比之下,RF-ReID可以准确地识别(a)和(b)。(b)是同一个人,(a)和(c)是不同的。我们在两个数据集上评估RF-ReID。(A)RRD-校园:第一个数据集是使用五个无线电部署在我们校园的不同地点地面实况ID标签是使用RGB视频摄像机与每个无线电共址收集。 结果数据集包含100个不同的-输入ID,跨度为15天。不同的人会穿不同的衣服,不同的人可能会穿相似的衣服。(B)RD-Home:第二个数据集最初是为了评估使用RF信号跟踪帕金森病患者在家中运动的可行性而收集的。它包括来自19个家庭的数据,平均每个家庭一周。地面实况ID通过将来自可穿戴加速度计的运动与来自RF信号的运动进行有关数据集的更多详细信息,请参见第5节。我们在两个数据集中训练一个模型来识别ReID人。如上所述,我们使用鉴别器来确保表示与环境无关。由于RRD- Campus包括共定位的RGB视频,我们将我们的模型与最先进的基于视频的ReID进行比较[11]。结果表明,RF-ReID优于最先进的基于RGB的ReID方法的大幅度。它们还显示了RF-ReID在遮挡和摄像机完全故障时在较差照明条件下工作的能力。RF-ReID在RRD-Home上也能很好地工作,RRD-Home包含来自帕金森病患者家中的RF信号这一结果表明,我们的方法可以在私人环境中重新识别人,如家庭,更衣室和其他无法部署摄像头的私人位置有趣的是,这一结果导致了一个新的概念-图片或音频剪辑。总而言之,本文做出了两个关键贡献:• 首先,它调查了长期人员ReID的任务,ReID可以识别一个人,而不考虑外表随着时间的推移而变化。它提出了一种新的模型,利用RF信号来实现长期的人ReID。它进一步表明,该模型是强大的闭塞和照明不足。• 第二,它引入了隐私意识ReID的概念,即识别与同一人的遭遇的能力人,而不收集个人或私人数据,如图片,视频或音频剪辑。本文还展示了第一个这样的隐私意识的ReID模型。2. 相关作品(a) 基于RGB的ReID。基于RGB的ReID主要有两类:基于图像和基于视频。基于图像的ReID的早期方法依赖于基于颜色描述符的手工特征,并相对于这些描述符优化一些距离早期的基于视频的ReID模型使用时空描述符,如HOG3D [21]和步态能量图像(GEI)[13]来提取额外的时间信息。最近的方法依赖于深度学习,可以分为两类。第一类使用类似于图像或视频分类的分类模型10701垂直垂直热图水平热图图2. 同时记录RF热图和RGB图像。任务[23,5]。第二类使用连体模型,将一对或三组图像或视频作为输入,并使用成对或三组损失来训练模型[3,14,8]。一些基于视频的ReID模型进一步通过时间注意力或RNN网络聚合节奏信息[11,29,32,47,48]。基于图像和基于视频的ReID方法都倾向于提取短期特征,如衣服、鞋子、包包、发型等。[6]因此,他们很难在几天和几周内重新识别一个(b) 基于RF的人员识别。 无线系统的研究已经探索了利用无线电信号进行身份识别的方法.以前的工作可以分为两类。第一类使用由便携式设备(例如,手机)跟踪和识别每个人[22,46,41]。这样的系统需要人佩戴或携带传感器,这限制了它们的效用。性和鲁棒性。第二类分析人们身体的信号反射,以识别每个人[17,2,16,18,35,36,44,45,15,38,43,50]。然而,过去的系统对同一环境中的少数人(10)进行分类,无法推广到训练集中看不到的新身份,并且通常需要人在某些受限路径上行走[43,50]。与过去的所有工作相比,我们是第一个在野外使用RF信号实现人的ReID,并且不需要人们佩戴传感器或在特定路径上移动。此外,我们的模型可以推广到训练过程中看不到的新人和新环境3. 射频信号入门我们使用在先前基于RF的人体感知工作中广泛使用的FMCW无线电[56,27,51,9,34,40,17,53,57,55,24]。无线电配备有两个天线阵列:水平和垂直。它的工作频率在5.4到7.2 GHz之间,可以感应到距离设备12米远的人。(a) RF热图:射频输出端的RF信号采用两个2D热图的格式:一个来自水平阵列,另一个来自垂直阵列,如图2所示(红色表示大值,蓝色表示小值)。水平热图是RF在一些实施例中,垂直热图是RF信号在平行于地面的平面上的投影,并且垂直热图是RF信号在垂直于地面的平面上的投影。直观地说,我们可以将这些热图视为深度图,其中较高的值对应于来自位置的较高强度的信号反射无线电每秒产生30个水平-垂直热图对;我们将每一对称为RF帧。图2揭示了RF信号具有与视觉数据不同的特性。人体在我们的频率范围内是镜面反射的[4]。当信号的波长大于物体表面的粗糙度时,就会发生射频镜面反射。在这种情况下,物体就像一面镜子,而不是一个散射体。来自每个身体部分的信号可以根据取向朝向我们的传感器反射或远离它反射。因此,每个RF帧包含来自身体部分的子集的反射,使得难以从单个RF帧获得可识别的信息。(b) RF Tracklets:先前的工作已经证明,RF信号可以用于检测,定位和跟踪人[1]。我们使用这种技术来提取RF tracklet从RF热图。如图3的左侧所示,轨迹片段从水平和垂直热图中提取从人反射的RF信号以及每个时间步长处的该人的边界框(图中的白色框由于一个RF tracklet始终对应于一个人,因此跨不同的RF tracklet执行ReID任务。(c) 来自RF的骨骼:3D人体骨骼可以使用[56]中的方法从RF信号生成。生成的3D骨架数据包含每个时间步的18个主要人体关节的3D坐标,如[10]中所述,其可用于辅助人ReID的任务4. RF-ReIDRF-ReID是使用RF信号的人员ReID的端到端模型。如图3所示,我们的模型将RF tracklet作为输入。然后,它使用RF特征提取网络从轨迹片段中提取特征。然后,它通过一个可学习的分层atten- tion模块聚合时间信息,以生成一个特征图。在训练期间,这些特征以多任务学习方式使用身份分类丢失、三重丢失和骨架丢失来监督。我们还添加了一个额外的环境鉴别器损失,以迫使模型学习环境不变的特征。这使得我们的模型可以推广到训练过程中没有看到的新环境。下面,我们将详细解释每个RF-ReID组件。4.1. RF特征提取网络由于RF tracklet可以具有不同的持续时间,我们首先在每个tracklet上执行时间采样,然后从中提取特征。对于每个RF轨迹片段,我们从其均匀地采样25个片段,其中每个片段包含3秒(90帧)的RF热图。10702射频特性提取网络射频特性提取网络. - 是的-是的射频特性提取网络输入轨迹RF热图片段帧级特征第一层注意段级特征第二层注意图3. 模型架构。RF-ReID将RF tracklet作为输入。它对3秒(90帧)的RF段进行采样,并使用RF特征提取网络(以绿色显示)提取帧级特征。这些特征由多头分层注意模块(即,MHA)具有两个子模块;第一个注意力子模块(深蓝色)提取片段级特征,第二子模块(浅蓝色)提取轨迹级特征。用于训练RF特征提取网络和第一注意力子模块的监督被添加到片段级特征,并且用于第二注意力子模块的监督被添加到轨迹段特征。我们采用类似于[56]的架构用于我们的骨干特征提取网络。该网络首先使用时空卷积从输入RF帧中提取全局特征。然后,我们在特征图中裁剪出轨迹轨迹周围的感兴趣区域。最后,将裁剪的特征馈送到子网络中以生成人ReID的帧级可识别特征。4.2. 分层注意力模块RF特征提取网络从每个RF片段生成相关特征,其中片段是90个RF帧(3秒)的剪辑。如第3节所述,由于镜面反射,每个RF帧仅包含关于某些身体部位的信息因此,我们需要在同一tracklet中跨帧为了解决这个问题,我们提出了一个可学习的两步分层注意力模块来聚合每个轨迹的信息。RF轨迹片段中有两种与人员识别相关的信息:形状和行走方式。人的粗略形状可以通过聚合来自几秒钟的RF信号的信息来获得这是因为当一个人移动时,我们可以根据其相对于无线电的方位接收从不同身体部位反射的信号。因此,第一关注块被添加到帧级特征上,以聚合每个90帧段(3秒)内的另一方面,行走风格是只能从较长的时间跨度推断然而,在RF小轨道内,可以有许多非行走的人可以停下来、站在旁边、坐下、系鞋带等的非行走的人。这些时间段不能用来推断行走样式的因此,我们使用第二个关注块来关注来自轨迹片段上不同片段的特征,并将它们聚合以生成每个轨迹片段的一个最终特征向量4.3. 可识别特征的多任务学习为了训练RF特征提取网络,我们将超级视觉添加到段级特征(图3中的橙色框如图4所示,我们首先添加了在基于RGB的人员ReID的先前工作中广泛使用的两个损失:Lid和三联体丢失Ltriplet。对于识别损失,分段级特征进一步通过另一个具有两个全连接层的分类网络来执行ID分类。该任务有助于模型从RF信号中学习人类可识别信息三重态损失[14]计算为L=max(dp −dn+α,0),其中dp和dn分别是来自同一个人的片段级特征和来自不同人的特 征的 L2α是三重态 损失的裕度( α设定为0.3)。这种损失迫使来自不同人的特征彼此远离,而来自同一个人的特征彼此接近。第一关注层可以与特征提取网络端到端地训练对于第二个关注层,我们首先为每个片段生成特征,然后使用第二关注层对它们进行聚合,并使用聚合特征上的ID loss L id _ t和triplet lossLtriplet_t来训练第. -是. -是FFMHA. -是Tracklet功能F第二层注意力缺失$#_t+特征提取网络层1注意力损失−#$s+$#+t($)*+t+sk*F…MHAF…MHA. -是. -是F…MHA时间采样10703Ldis=−ΣMc=1yclog(D(F(x))c),射频热图段其中x是输入tracklet,M是环境的总数,yc是当前tracklet属于哪个环境的二进制指示符优化目标为:最小值最大值V(F,D)=−Ldis+Lid+Ltriplet+LsklF D图4. RF-ReID中的多任务学习图解。蓝色框对应于人重新识别的任务,黄色框对应于3D骨架预测的任务。除了这两个损失之外,我们强制模型学习从RF信号推断人具体来说,我们在特征提取中采用中间特征将帧级特征以上的两层网络化,并将它们馈送到生成3D人体骨架的姿态估计子网络中。骨架损失是与[56]中使用的相似的二进制交叉这种损失迫使特征包含用于骨架生成的足够信息,这可以帮助ReID任务捕获人的身高和行走风格。骨架损失还充当提取特征上的正则化器以防止过拟合。4.4. 环境鉴别器RF轨迹可以具有与环境强烈相关的可识别图案例如,一个人比其他人更有可能进入他或她自己的办公室。因此,该模型可以使用这些环境特征作为快捷方式,根据他们的路径来识别人。这将严重损害模型在不同环境中泛化的能力,或者当人们不遵循通常的路径时识别他们的例如,在我们的校园数据集中,模型将难以识别正在访问办公室的另一个教师的教师在我们的家庭数据集中,模型将学习每个人在家中行走的特定路径,并且无法推广到新的看不见的房屋。要解决这一问题,需要在训练过程中消除环境依赖因素。因此,我们将来自每个无线电位置的信号视为一个环境,并训练神经网络来预测信号的环境。该模型以对抗性的方式进行训练,因此最终模型将消除依赖于环境的特征鉴别器对段级特征进行操作,如图3所示交叉熵损失用于训练鉴别器以预测环境。从特征提取网络中的多任务训练的损失中减去训练损失将RF特征提取网络表示为F,将环境SNR表示为D,则SNR损失为:5. 数据集我们使用以下两个数据集。5.1. RRD校园RRD-Campus是指在我们校园收集的RF-ReID数据集它包含RF信号和同步RGB视频数据。视频数据既用于地面真值标记,也用于与基于RGB的视频和基于图像的ReID方法进行比较。这些数据是通过在我们校园的5个不同位置部署5台无线电设备收集的,并收集了15天的数据每台收音机都与一台RGB摄像机共址。我们使用NTP协议同步视频数据和RF信号,最大时间差为10ms。标签:我们将数据收集系统部署在同一个人经常光顾的地方,比如实验室或办公室前面的休息区。我们收集960×720分辨率和15FPS的视频,以帮助标签过程 然后我们用视频给所有的人贴上即使他们穿着不同的衣服也会反复出现我们进一步要求数据集中的人仔细检查他们自己的数据,并确保所有带有他们身份的RF轨迹都被正确标记。统计:数据集总共包含100个身份。平均而言,每个身份有8个。63个RF tracklet,每个tracklet跨度超过11。0秒。数据集中的人可能会在不同的日子里换衣服,我们的数据收集系统不会干扰人们5.2. RRD主页RRD-Home基于先前使用RF信号进行帕金森病分析的工作中的数据集[20]。该数据集是通过在19个不同的家庭中部署RF设备来收集的,以获得用于移动人员的RF轨迹,其中每个家庭被帕金森患者和正常人(通常是配偶)抑制要求帕金森患者佩戴加速度计以收集加速度数据。所收集的数据集包含每个家庭中的人的RF轨迹,以及患者的相应加速度计数据。请注意,加速度数据仅用于标记,而不是我们模型的输入。标签:加速度计广泛用于家庭行为分析[17]。在RRD-Home中,我们使用加速器数据来协助标记过程。在每个家庭,我们任务1:人员重新识别…F F1级注意力F帧级功能CLSID丢失:段级净库存编号特征…F F位姿估计网络骨架损失:100%&中级3D骨架特征预测任务2:人体骨骼预测三重态损耗:t(i)*t射频特性提取网络10704首先计算每个RF轨迹片段的位置、移动距离和速度,然后基于移动属性的相似性将患者其运动与来自患者身上的可穿戴设备的加速度数据同步的RF轨迹片段被标记有患者(我们忽略了没有加速度数据期间的RF滑车。)统计数据:数据集包含19个不同家庭的38个不同身份。数据跨度为127天,平均每家一周。每个身份都有165个。平均91个RF tracklet。每个RF tracklet跨度超过9。24秒数据集中的人可以跨天更换衣服,数据收集系统不会干扰人们5.3. 基于RF的以太网如第4.3节所述,为了帮助训练我们的ReID模型,我们迫使它学习用于从RF信号推断个人骨架的特征这是通过利用来自基于3D RF的姿势和动作估计的过去工作的数据集来完成的[24,54]。6. 实验我们评估了RF-ReID的有效性和实用性,并将其与基于图像和视频的ReID进行了比较。6.1. 实验装置培训&测试:(1)RRD校园。我们将RRD- Campus分成具有60个身份的训练集和具有其他40个身份的测试集。与基于RGB的ReID数据集一样,我们从测试集中的每个身份中随机选择一个样本来构建查询集,并将剩余样本分组为图库集。(2)RD-Home。RRD-Home的训练集和测试集分别包含13个和6个不同的家庭每个家庭都有两个不同的身份,对应于两个居民。查询集和图库集的构造类似于RRD-Campus。(3)RRD。我们还将RRD-Campus和RRD-Home结合起来,形成一个更大的数据集RRD。RRD的训练集是RRD-Campus训练集和RRD-Home训练集的组合。我们在单个数据集和组合数据集上评估我们的模型。我们执行5重交叉验证,每次我们随机将身份分配给训练集和测试集。评估指标:在测试过程中,使用RF-ReID将查询样本和图库样本编码为特征向量。然后我们计算每个查询样本的特征和每个图库样本的特征之间的余弦距离每个查询样本的样本。我们根据排名结果计算人员ReID的标准评估指标:平均精密度评分(mAP)和累积匹配曲线(CMC)在秩-1和秩-5。RGB基线模型:为了证明RF-ReID的有效性,我们将其与一种最先进的基于图像的人物ReId模型[30]和一种最先进的基于视频的模型[11]进行了比较。比较是在RRD-Campus上执行的,因为只有RRD-Campus与同步的 RGB 视 频 一 起 收 集 。 我 们 首 先 分 别 在 常 用 的Market1501 [59]和MARS [58]上训练基于图像和基于视频的人ReID模型然后,我们在训练集中的RGB视频数据上对它们进行微调。为了微调视频模型,我们使用与训练集中的RF轨迹片段相对应的视频片段,并且为了微调基于图像的模型,我们使用训练集中的相应图像。在测试过程中,我们在用于评估RF-ReID的相同查询和图库集上评估了基于RGB的模型的性能。对于基于视频的ReID,输入是每个轨迹片段的对应RGB视频。对于基于图像的ReID,我们计算视频中每帧的特征,并将其平均以获得样本的特征6.2. 定量结果我们将RF-ReID与RRD-Campus上最先进的基于图像和基于视频的人ReID模型进行了比较。如表1所示,我们的RF-ReID模型比基于图像和基于视频的模型都有显著的这主要是因为RRD校园里的人倾向于在不同的日子穿不同的衣服。传统的基于RGB的ReID模型专注于从衣服中提取特征相比之下,RF-ReID专注于一个人的形状和行走方式,这些在很长一段时间内仍然有效。我们还报告了RF-ReID在RRD- Home上的性能。由于隐私原因,此数据集不包括RGB图像或视频,因此我们无法与基于RGB的基线进行比较。相比之下,由于RF信号是隐私保护,它被用来跟踪人们在他们的家中。表1中RDD-Home的结果表明,我们的模型不仅在RRD-Campus上实现了高精度,而且在现实家庭场景中表现良好。此外,由于人类无法从RF信号中识别人,因此我们的模型可以用于ReID人,而无需收集个人信息,如人们在家中进行私人活动的图像或视频。表1中的结果突出了以下几点:• RF-ReID适用于跨越数天、数周或更长时间的长期重新识别• RF-ReID可以在不收集或暴露任何人类可以使用的信息的情况下10705RRD-校园RRD-家庭表1.在RRD-Campus和RRD-Home上比较RF-ReID和基于RGB和基于视频的ReID。RF-ReID(单独)分别在RRD-Campus和RRD-Home上进行培训和在RRD-Campus和RRD-Home两者上训练RF-ReID(组合的)(即,RRD数据集),并在两者上进行测试。识别人;我们将此属性称为隐私意识ReID系统。该性质在医疗保健应用和临床研究中是关键的,其中需要对受试者进行ReID,使得可以跟踪患者的健康随时间的变化或作为治疗的结果的变化;然而,保持主体去识别化并且避免收集或存储暴露主体的个人信息的数据是必要的。• 最后,结果表明,对于RDD-Home,ReID比RDD-Campus更难。我们认为这是由于两个原因:第一,从家庭铲球较短(9.2比。11秒)。其次,帕金森病患者的行走方式可能会随着药物的影响逐渐消失而改变,他们需要服用下一剂药物。6.3. 消融研究我们进行了几项消融研究,以评估RF-ReID每个组件的贡献。所有消融结果均针对RRD-Campus。多任务学习:传统的ReID方法仅使用三联体损失和ID分类损失。在我们的RF-ReID模型中,我们添加了一个额外的骨架损失,用于正则化和学习人类相关信息。我们评估这种骨架损失的性能表2显示添加骨架损失提高了RF-ReID我们还报告了常用的度量:平均每关节位置误差(MPJPE)[19,55],以评估生成的骨架的准确性。如表2的最后一列所示,RF-ReID的特征包含足够的信息来生成准确的人体骨架。方法地图 CMC-1 CMC-5 MPJPE无skl损失57.378.294.4-w/ skl损失59.582.195.57.44表2. 有和没有骨架损失的RF-ReID性能。分层注意力模块:RF-ReID有一个层次化的注意力模块,用于聚合跟踪小程序中的特征。注意模块有两个模块:第一个集合每个片段(3秒)内的形状信息,而第二个集合整个轨迹片段上的行走风格信息。表3证明了每个块的有效性。如果两个块都被平均池化在时间维度上,mAP的性能将下降4.1%,CMC-1的性能将下降7.6%。每个块将mAP增加3 〜 4%,将它们加在一起可实现最高性能。方法地图CMC-1CMC-5平均池+平均池55.474.593.8平均池+第二属性58.380.394.4第一属性+平均池58.681.094.3第一属性+第二个属性59.582.195.5表3. 带和不带注意力模块的RF-ReID性能。第一关注层(1st Att.)表示在每个段(3秒)内操作的层,并且第二关注层(2nd Att.)表示在整个轨迹片段上操作的环境鉴别器:RF-ReID使用判别器来防止模型生成环境相关特征。我们评估RF-ReID的性能,有和没有鉴别器。如表4所示,增加了一个参数,可以帮助模型大幅提高性能。图6显示了使用t-SNE [31]通过RF-ReID学习的特征空间图中的每个点对应于从测试集中的轨迹片段提取的特征向量RRD-Campus测试集共有5个环境,我们根据每个点的环境对其进行着色。该图示出了在没有鉴别器的情况下,特征分布与环境强烈相关相比之下,使用鉴别器,特征成功地与环境解耦并且更均匀地分布。这个结果进一步表明,所提出的环境鉴别器可以帮助模型学习识别专注于人而不是环境的特征。方法地图CMC-1CMC-5不含酒精56.774.293.3w/w59.582.195.5表4. 使用和不使用环境信标的RF-ReID性能。6.4. 定性结果在图5中,我们展示了来自RRD- Campus测试集的示例每个示例对应于图库中的查询样本及其最接近的样本。我们将RF-ReID生成的结果与基于视频的基线进行比较。地图CMC-1CMC-5地图CMC-1CMC-5Luo等人[30]第三十话41.361.484.3---Gao等人[11]第十一话48.169.289.1---RF-ReID(单独)RF信号59.582.195.546.474.689.5RF-ReID(组合)RF信号60.783.696.549.475.892.510706不适用查询视频预测RF预测查询视频预测RF预测不适用图5. RRD-Campus测试集的定性结果。每行显示两个示例,由虚线分隔。每个示例的第一列都是RRD-Campus测试集中的查询示例第二列是图库集合中基于视频的ReID模型的前1个预测第三列是图库集合中RF-ReID的前1个预测。蓝色框代表查询样本。绿框表示预测正确,红框表示预测错误。第一行显示了基于视频的ReID和RF-ReID都成功匹配正确人员的场景第二行显示了基于视频的ReID失败的场景,并且匹配到错误的人,因为他有相似的衣服,而RF-ReID提供准确的预测。第三行显示基于RGB的ReID在黑暗和遮挡条件下失败,但RF-ReID仍然可以工作。最后一行显示了RF-ReID的局限性,它强调人的行走方式,当他拖着自行车或滑板时可能会感到困惑。图6. RF-ReID从不同环境中提取的特征分布。颜色表示要素所属的环境。左边的子图显示了没有环境约束的特征分布,其中来自相同环境的特征由于环境相关信息而被强烈聚类。右边的子图显示了环境中的特性分布.在这里,特征的间隔更均匀,表明它们更具有环境不变性。该图显示,基于RGB的ReID专注于颜色和服装,而RF-ReID对颜色和服装项目的变化具有弹性特别是,在图中的第二行中,基于RGB的ReID失败,因为图库包含穿着与查询样本相似的衣服的其他人相比之下,RF-ReID识别正确的人,即使他/她在画廊穿着完全不同的衣服这证明了RF-ReID对衣服变化的鲁棒性此外,图中的第三行示出了当面对不良照明或遮挡时基于RGB的ReID失败。在左边的示例中,灯被关闭,因此基于RGB的ReID模型无法检测到人,而基于RF的模型准确地工作,而不受不良照明的影响。此外,在右侧的示例中,人在门后,因此摄像机只能看到一个模糊的影子。RF-ReID在这种情况下仍然可以工作,因为RF信号自然地穿过墙壁和闭塞。我们还观察到基于RF的ReID在某些情况下可能会失败在左边的示例中,查询中的人正在骑自行车。自行车改变了人另一个失败的情况是当人在滑板上时。由于RF-ReID专注于人7. 结论我们提出了RF-ReID,这是一种使用RF信号进行人员ReID的新方法我们的方法可以从RF信号中提取长期识别特征,从而使人能够在几天,几周等时间内重新识别。这与基于RGB的ReID方法形成对比,基于RGB的ReID方法倾向于关注诸如衣服、包、发型等的短暂特征。此外,与相机不同,RF信号不会泄露私人或个人信息。因此,我们的ReID方法可以用于医疗保健应用和临床研究,其中重要的是随着时间的推移跟踪每个受试者的健康,同时保持数据去识别。最后,射频信号在存在遮挡和光线不足的情况下工作,使我们能够在这种情况下识别人。我们相信这项工作为ReID的许多新应用铺平了道路,在这些应用中,人们希望在相对较长的时间内跟踪人们,而不必收集他们的个人信息。10707引用[1] Fadel Adib,Zach Kabelac,Dina Katabi,and Robert CMiller. 通 过 身 体 无 线 电 反 射 进 行 3D 跟 踪 第 十 一 届{USENIX}网络系统设计与实现研讨会-第317-329页,2014年。3[2] Fadel Adib , Hongzi Mao , Zachary Kabelac , DinaKatabi,罗伯特C米勒。监测呼吸和心率的智能家居。在第33届年度ACM会议上,计算机系统中的人为因素,第837-846页。ACM,2015. 3[3] Ejaz Ahmed,Michael Jones,and Tim K Marks.一种用于人员重新识别的改进的深度学习架构。在IEEE计算机视觉和模式识别会议论文集,第3908-3916页,2015年。第1、3条[4] 彼得·贝克曼和安德烈·斯皮齐奇诺。电磁波从粗糙表面散射。马萨诸塞州诺伍德Artech House,Inc. 1987年,第511页。,1987年。二、三[5] Joao Carreira和Andrew Zisserman。你好,动作识别?新模型和动力学数据集。在IEEE计算机视觉和模式识别会议的论文集,第6299-6308页,2017年。3[6] Xiaobin Chang,Timothy M Hospedales,and Tao Xiang.用于人员重新识别的多级分解网络。在IEEE计算机视觉和模式识别会议论文集,第2109-2118页,2018年。第1、3条[7] 陈世哲,郭春超,赖建煌。通过联合表示学习进行人员重 新 识 别 的 深 度 排 名 。 IEEE Transactions on ImageProcessing,25(5):2353-2367,2016。1[8] Weihua Chen , Xiaotang Chen , Jianguo Zhang , andKaiqi Huang.除了三重态损失:一个深度的四元组网络用于人的重新识别。在IEEE计算机视觉和模式识别会议论文集,第403-412页,2017年。第1、3条[9] Kevin Chetty ,Qingchao Chen , Matthew Ritchie,andKarl Woodbridge.用于远距离作战和活动探测的低成本穿墙fmcw雷达。在Radar Sensor Technology XXI中,第10188卷,第1018808页。国际光学与光子学会,2017年。3[10] 方浩树,谢淑琴,戴玉荣,陆策武。区域多人姿态估计。在IEEE计算机视觉国际会议论文集,第2334-2343页,2017年。3[11] Jiysang Gao和Ram Nevatia。再论基于视频的人的时间建模。arXiv预印本arXiv:1805.02104,2018。一二三六七[12] Shaogang Gong,Marco Cristani,Shuicheng Yan,andChen Change Loy,editors. 人员重新识别。计算机视觉与模式识别进展Springer,2014. 2[13] 朱汉和比尔巴努。利用步态能量图像进行个体识别。IEEE Transactions on Pattern Analysis and MachineIntelligence,28(2):316-322,2005。2[14] 亚历山大·赫尔曼斯、卢卡斯·拜尔和巴斯蒂安·莱布。为三胞胎的丢失辩护,进行人员重新鉴定。arXiv预印本arXiv:1703.07737,2017。一、三、四[15] 冯 宏 、 王 翔 、 杨 燕 妮 、 袁 宗 、 张 玉 良 、 郭 仲 文WESTERN:使用WiFi信号的无源无设备第13届移动和普适系统国际会议集:计算,网络和服务,第47-56页。ACM,2016。3[16] Chen-Yu Hsu , Aayush Ahuja , Shichao Yue , RumenHristov,Zachary Kabelac,and Dina Katabi.使用无线电信号进行家庭睡眠和失眠监测Proceedings of the ACM onInteractive , Mobile ,WearableandUbiquitousTechnologies,1(3):59,2017. 3[17] Chen-Yu Hsu , Rumen Hristov , Guang-He Lee ,Mingmin Zhao,and Dina Katabi.使用无线电反射实现家庭中的识别和无线电感测在2019年CHI计算机系统人为因素会议的会议记录中,第548页。ACM,2019年。三、五[18] Chen-Yu Hsu ,Yushen Liu ,Zachary Kabelac,RumenHristov,Dina Katabi,and Christine Liu.从周围的无线电信号中提取步态速度和步长。在2017年CHI计算机系统人为因素会议论文集,第2116-2126页。ACM,2017。3[19] Catalin Ionescu , Dragos Papava , Vlad Olaru , andCristian Sminchisescu. 人类3。6m:大规模数据集和预测方 法 , 用 于 自 然 环 境 中 的 三 维 人 体 感 知 。 IEEEtransactions on pattern analysis and machine intelligence,36(7):1325-1339,2013. 7[20] Zachary Kabelac 、 Christopher G Tarolli 、 ChristopherSnyder 、 Blake Feldman 、 Alistair Glidden 、 Chen-YuHsu、Rumen Hris- tov、E Ray Dorsey和Dina Katabi。在家被动监测:帕金森病的初步研究Digital Biomarkers,3(1):22-30,2019。5[21] Alexander Klaser,Marcin Marszałek,and Cordelia Schmid.一种基于三维梯度的时空描述子。2008
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功