深度强化学习的人员重新识别方法

深度强化学习

PDF格式 | 722KB | 更新于2025-01-16 | 169 浏览量 | 举报

6122

† ‡

†‡

深度强化主动学习用于人在环人员重

新识别

⋆ ⋆

刘子墨王静雅，龚绍刚，胡川路 *，陶大成

†大连理工大学，‡UBTECH Sydney AI Center，The University of Sydney，§伦敦玛丽女王大学

lzm920316@gmail.com

，

jingya.wang @ sydney.edu.au

，

s.gong@wwwqmul.ac.uk example.com

，

wwwlhchuan@dlut.edu.cn. com

，

dacheng.tao@wwwsydney.edu.au

摘要

大多数现有的人员重新识别（

Re-ID

）方法基于大量

预先标记的数据通常是可用的并且可以一次全部放入

训练短语的假设来实现优异的然而，这种假设并不适

用于

Re-ID

任务的大多数实际部署。在这项工作中，我

们提出了一种基于强化学习的人在环模型，它释放了

预标记的限制，并通过逐步收集的数据保持模型升

级。目标是最大限度地减少人工注释工作，同时最大

限度地提高

Re-ID

性能。它通过交替地细化

策略和

CNN

参数来在迭代更新框架中工作。特别是，我们制

定了一个深度强化主动学习（

DRAL

）方法，以指导代

理（强化学习过程中的模型）在选择训练样本的飞行

由人类用户

注释器。强化学习奖励是每个人类选择样

本的不确定性值。由人类注释者标记的二进制反馈

（正或负）用于选择样本，该样本用于微调预训练的

CNN Re-ID

模型。大量的实验表明，与现有的无监督

和迁移学习模型以及主动学习模型相比，我们的

DRAL

方法对于基于深度强化学习的人在回路中的人

Re-ID

的

优越性。

介绍

人员重新识别（Re-ID）是在分布在不同位置的非

重叠相机视图上匹配人员的问题大多数现有的有监督

人Re-ID方法采用一次训练和部署方案，即手动收集和

注释成对训练数据

* 通讯作者

同等贡献

人类注释器

图1：深度强化主动学习（DRAL）的示意图。对于每

个查询锚（探针），代理（强化主动学习器）将在主

动学习过程中从图库池中选择顺序实例以用于具有二

元反馈（正/负）的人工注释

在学习一个模型之前，基于这一假设，监督Re-ID方法

近年来在几个基准上取得了进展[21，56，35，52，

25]。

然而，在实践中，由于以下几个原因，这种假设并

不容易适应：首先，成对的行人数据是禁止收集的，

因为它是不可能的，大量的行人可能会重新出现在其

他相机视图。其次，摄像机视图数量的增加加大了在

多个摄像机视图中搜索同一个人的难度。为了解决这

些困难，一个解决方案是设计无监督学习算法。一些

工作开始关注无监督Re-ID的迁移学习或域自适应技术

[11，44，28]。然而，与基于监督学习的模型相比，

基于无监督学习的Re-ID模型本质上较弱，从而在任何

实际部署中损害了Re-ID的有效性。

另一种可能的解决方案是遵循半监督学习方案，该

方案降低了对数据注释的要求。成功的研究已经完成

了基于词典学习[27]或自定进度学习[14]的方法。这些

模型仍然基于一个强烈的假设，即身份的一部分（例

如，的三分之一

动作

国家

奖励

剂

查询

锚

t%&

无标号图库库

标签查询

6123

训练集）被完全标记用于每个相机视图。这对于在城

市应用中典型的具有数百个摄像机和24/7操作的Re-ID

任务来说仍然是不切实际的

为了实现有效的Re-ID，给定注释的有限预算成

本，我们专注于人在回路中的人Re-ID，其具有通过人

的实时反馈进行的选择性标记[43]。这种方法不同于

常见的一次性模型学习方法。相反，一个逐步的顺序

主动学习过程，通过探索人类的选择性注释上的一个

小得多的样本池模型学习。这些通过人工二进制验证

的累积标记数据用于更新模型训练以改善Re-ID性能。

这种模型学习的方法自然适合于强化学习和主动学

习，这是这项工作的重点。

主动学习是一种用于即时人类数据注释的技术，其

旨在主动采样更具信息性的训练数据，以优化模型学

习，而无需过度的数据标记。形式上，从未标记的集

合中选择一些实例，然后由人类预言机进行注释，并

且标签信息可以用于模型训练。这些操作将重复多

次，直到它满足终止标准，例如注释build-get已耗尽。

在这个过程中最关键的是样本选择策略。来自较少人

工注释成本的更多信息样本可以极大地有益于性能。

我们提出了一个基于强化学习的标准，而不是手工设

计策略图1展示了我们对深度强化主动学习（DRAL）

模型的设计。具体来说，我们开发了一个模型，在一

个单一的人在环模型学习框架中引入主动学习（AL）

和强化学习（RL）。通过将我们模型的AL部分表示为

序列生成过程，由于每个动作影响未标记数据池之间

的样本相关性（在每个步骤中重新计算相似性），因

此它将影响下一步的决策通过将所选样本带来的不确

定性作为客观目标，我们模型的RL部分旨在学习一个

强大的样本选择策略，给出人类反馈注释。因此，从

RL策略中选择的信息样本可以显著提高Re-ID的性

能，从而增强样本选择策略的能力。迭代训练方案将

导致强Re-ID模型。

这项工作的主要贡献是：（1）我们引入了一个深

度强化主动学习（DRAL）模型，该模型旨在在单个

CNN深度学习框架中联合探索强化学习和主动学习原

理。 (2)我们为人在环人员 Re-ID设计了一个有效的

DRAL模型，使得深度强化主动学习器（代理）可以

直接在CNN深度网络上促进人在环主动学习策略大量

的对比实验清楚地表明，

所提出的DRAL模型在可伸缩性和注释成本方面优于

现有的监督和转移学习方法，优于现有的半监督、非

监督和主动学习方法，具有显著的性能增益，同时使

用少得多的注释。

相关工作

人员重新识别

Person

Re-ID任务旨在在多个摄像机视图

中搜索相同的人。最近，大多数人都采用Re-ID方法

[50，45，8，10，33，38，7，53，19，5，

51， 9，39，36]尝试在监督学习框架下解决这个问

题，其中训练数据被完全注释。尽管这些方法实现了

高性能，但它们的大注释成本不容忽视。为了解决标

签成本高的问题，一些研究人员提出只使用少量标签

样本或不使用任何标签信息来学习模型。代表性算法

[32，48，2，55，23，44，28，46]包括域转移方案、

组关联方法和一些标签估计方法。

除了上述方法之外，一些研究人员旨在减少人在回

路（HITL）模型学习过程中的注释成本。当只有少量

带注释的图像样本时，HITL模型学习可以通过在模型

训练、调整或测试的循环中直接涉及人类交互来提高

模型性能。随着人类群体校正机器学习预测中发生的

不准确性，模型可以被有效地校正，从而导致更高的

结果。这种情况听起来类似于人员Re-ID任务的情况，

其预标记信息难以在图库候选大小远远超过查询锚的

图库候选大小的情况下获得。受此启发，Wang

等人。

[43]制定了一种人类验证增量学习（HVIL）模型，旨

在通过灵活的人类反馈实时连续优化距离度量。该模

型采用灵活的人工反馈（真、假、假但相似），能够

涉及更多的信息，并以渐进的方式提高性能。

和

。主动学习引起了人们的广泛关注在过去

的几十年里，它已经在自然语言处理（NLP）、数据

标注和图像分类中得到了广泛的应用，

任务[41，6，4，31]。它的过程可以被认为是人在环

设置，这允许算法交互式地查询人类注释者，其中实

例被识别为整个未标记数据池中信息量最大的样本。

这一工作通常是通过使用一些启发式的选择方法，效

果有限因此，一些研究人员旨在通过将主动学习框架

为强化学习问题来明确优化选择策略来解决启发式选

择方法 [15]而不是采用，

6124

✗

t$1

0.83

0.710. 66

0.47

剂

✓

✗

0.83

0.85

0.87

0.71 0.85

0 0 0

✗

0.83

0.71 0.66

0.47

0.66 0 0 0 0 0

0.83

0.85

0.87

0.47 0.87

0 0 0

0.77

0.36

0 0 0

0.77

0.71 0.85

0 0 0

true

或

false

行动

不

0.66 0 0 0 0 0

状态

Fc Fc

成对注释数

据

相似性

0.47 0.87

0 0 0

0.77

K-倒数

0.36

0.77

CNN

（

）

下

一

页

CNN

更新状态

query

（

）

用于样本选择的深度强化主动学习器

图2：深度强化主动学习（DRAL）框架：状态度量所有实例之间的相似关系。动作确定哪个图库候选将被发送给

人工注释器进行查询。奖励是根据不同的人类反馈计算的。采用CNN进行状态初始化，并在部署模型时通过人工

注释器在循环中动态注释的成对数据进行更新。这个迭代过程在达到注释预算时停止。

ing一个固定的启发式选择策略，方

等人。执行

以学习

深度Q网络作为自适应策略来选择用于标记的数据实

例。Woodward

等人。

[47]试图通过制定一种主动学习

方法来解决一次性分类任务，该方法将元学习与深度

强化学习相结合。通过这种方法学习的代理这些成功

的应用表明，强化学习非常适合主动学习。

方法

3.1.

基本CNN网络

我们采用Resnet-50 [20]架构作为ImageNet预训练的

基础网络。为了有效地学习身份识别特征嵌入，我们

同时采用交叉熵损失进行分类和三元组损失进行相似

性学习。

softmax交叉熵损失函数定义为：

其中m是正对和负对的容限参数

最后，总损失可通过下式计算：

总

交叉

三

（

）

3.2.

深度强化的主动学习者的试剂

所提出的DRAL的框架如图2所示，其中当每个查询

实例到达时，我们将其n

个

-最近邻视为未标记的图库

池。在每个离散时间步长t，环境提供揭示实例关系的

观察状态St

，

对于动作A

，它请求由hu- man oracle

注释的未标记的图库池中的第k

个

实例，hu- man oracle

用二进制反馈true或false

cross

−

log

（

））

（

1）

针对查询。重复此操作，直到耗尽每个查询的最大注

释量当

其中，n

表示批次大小，并且

（y）是输入图像的

地面实况类y上的

给定三元组样本x

，

，x

是锚点。

是同一类

中最难的正样本，

是不同类x

中最难的负样本。最

后，我们定义三重态损失如下：

获得足够多的成对标记的数据，CNN参数能够通过三

元组损失函数被更新，这反过来为引入的数据生成新

的初始状态通过迭代执行样本选择和CNN网络更新，

该算法可以快速升级。当所有查询实例都被浏览一次

时，此进程终止。关于所提出的主动学习器的更多细

节在下文中揭示。为了澄清我们的模型公式，表1和算

法-

tri

，

[

，

−

，

]

（

2）

公式1给出了符号的定义和整个

方法的过程，分别。

剩余10页未读，继续阅读

cpongm

粉丝: 6

深度强化学习的人员重新识别方法

深度强化学习在计算机视觉中的应用综述

Pytorch深度强化学习模块化实战项目解析

深度学习视频人脸识别：注意力强化学习方法

基于深度强化学习的分布式资源管理_郑冰原_深度学习_深度强化学习_拉格朗日对偶问题的次梯度求解方法_分布式_强化学习

利用深度强化学习的人脸识别与验证策略

深度学习、强化学习、深度强化学习

深度强化学习与强化学习

强化深度学习和深度强化学习

Traffic-Signal-Control-master_深度强化学习交通信号灯识别python_深度强化学习_DDPG_tr

一种基于深度强化学习的室内声学行为识别方法.pdf

最新资源