"实时并行点检测与匹配：一种用于人机交互检测的新方法"

91 浏览量更新于2025-01-16 收藏 1.91MB PDF 举报

482

PPDM：用于实时人机交互检测的并行点检测与匹配

廖跃

、

刘思

王

飞

陈

艳杰

陈倩

冯佳诗

北京航空航天大学

商汤科技

新加坡国立大学

摘要

我们提出了一种单阶段的人

物体交互（

HOI

）检测

方法，该方法在单个

Ti- tan XP GPU

上以

37fps

的速度在

HICO-DET

数据集上优于所有现有方法。这是第一种

实时

HOI

检测方法。传统的

HOI

检测方法由两个阶段组

成，即，人

对象提议生成和亲

对象分类。它们的有

效性和效率受到顺序和分离的体系结构的限制。在本

文中，我们提出了一个并行点检测和匹配（

PPDM

）

HOI

检测框架。在

PPDM

中，

HOI

被定义为点三元组人

类点、交互点、对象点

。

人、物点为检测框的中

心，交互点为人、物点的中点。

PPDM

包含两个并行

的分支，即点检测分支和点匹配分支。点检测分支预

测三个点。同时，点匹配分支预测从交互点到其对应

的人和物点的两个位移。将来自同一交互点的人点和

物点视为匹配对。在我们的新的

par-bandwidth

架构

中，交互点隐式地为人类和对象检测提供上下文和正

则化。不太可能形成有意义的

HOI

三联体的孤立检测

盒被抑制，这增加了

HOI

检测的精度。此外，人和物

体检测框之间的匹配仅应用于有限数量的过滤后的候

选交互点，这节省了大量的计算成本。此外，我们还

建立了一个新的面向应用的数据库

HOI-A

，它是对现

有数据

集的

一个很好的补充。

介绍

人机交互（HOI）检测[30，11，10，

[2016 - 09 - 16]最近，越来越受到关注

通讯作者（liusi@buaa.edu.cn）

https://github.com/YueLiao/PPDM

0.1 0.2 0.3 0.4 0.5 0.6

每图像

图1.HICO-Det测试集上的mAP与推断时间

我们的PPDM-DLA优于国家的最先进的方法，推理速度为37

fps

（

。

027s

）。这是第一种实时

HOI

检测方法。我们的

PPDM

沙漏达到

。与最先进的技术相比，速度更快，

mAP

提高了

27%

。

给定图像，HOI检测旨在检测三重态

<人、交互、对象>。与一般的视觉关系检测不同[19，

29，20，13，32]，三元组的主体固定为人类，而交互

是动作。HOI检测是对以人为中心的场景进行高级语

义理解的重要一步。它在活动分析、人机交互、智能

监控等方面有着广泛的应用.

传统的HOI检测方法[2，22，12，16，26]主要包括

两个阶段。第一阶段是人-对象提议生成。预先训练的

检测器[8，23]用于定位人和物体。

然后，通过成对地组合过滤

的

个

人框和N个对象来

生成M×N

个

人对象提议

弹出框。第二阶段是建议分类，预测每个人-对象pro-

bandry的相互作用。两阶段法的有效性和效率的局限

性建议生成阶段完全基于对象检测置信度。每个人/物

的建议都是独立生成的。将两项提案结合起来形成一

个有意义的

平均值（

mAP

）

PPDM-

沙漏（我们的

）

PPDM

-DLA

（

urs

）

PMFNet

无虚饰

锡

一个

实时

GPNN

InteractNet

483

第二阶段的HOI三重态不考虑在内。因此，所生成的

人类对象提议可能具有相对低的质量。此外，在第二

阶段中，所有的人-对象提案需要被线性扫描，而其中

只有少数是有效的。额外的计算成本很大。因此，我

们认为，

非顺序和高度耦合

的框架是必要的。

我们提出了一个

并行

的HOI检测框架，并重新制定

HOI检测为点检测和匹配问题。如图2所示，我们将一

个盒子表示为一个中心点和相应的大小（宽度和高

度）。此外，我们定义一个交互点作为人和物体中心

点的中点.为了使每个交互点与人点和物点相匹配，我

们设计了从交互点到相应的人点和物点的两个位移。

在此基础上，我们设计了一种新的单阶段并行点检测

与匹配框架PPDM，将复杂的HOI检测任务分解为两个

简单的并行任务。PPDM由两个并行分支组成。第一

个分支是

点检测

，其估计三个中心点（交互点、人点

和物体点）、相应的尺寸（宽度和高度）和两个局部

偏移（人点和物体点）。交互点可以被认为是为人类

和对象检测两者提供上下文信息。换句话说，估计交

互点隐含地增强了对人和物体的检测。第二个分支是

点匹配

。估计从交互点到人和物体点的两个位移源自

相同交互点的人和物体点被认为是匹配的。在新的并

行架构中，点检测分支估计交互点，从而为人和物体

检测提供上下文和正则化。不太可能形成有意义的

HOI三联体的孤立检测框被抑制，而更可能的检测框

被增强。它不同于两阶段方法中的人-对象提议生成阶

段，在两阶段方法中，所有检测人/对象框无差别地形

成人-对象提议以馈送到第二阶段。此外，在点匹配分

支中，仅在有限数量的过滤后的候选交互点周围进行

匹配，这节省了大量的计算成本。相反，在两阶段方

法的建议在公共基准 HICO-Det [2] 和我们新收集的

HOI-A数据集上的实验结果表明，PPDM在准确性和速

度方面优于最先进的

现有的数据集如HICO-Det [22]和V- COCO [11]极大

地推动了相关研究的发展这些数据集非常一般。然

而，在实际应用中，几个

有限的，频繁

的HOI类别，

人体中心点

流离失所

者

交互点

物体

位移

对象中心点

日

高度

wid

图2. PPDM包含两个并行分支。在点检测分支中，检测表示

为中心点、宽度和高度的人/对象框此外，交互点，即，人

和物点的中点也被定位。同时，在点匹配分支中，估计从每

个交互点到人/物体的两个人点和物点起源于同一个相互作

用点被认为是匹配对。

需要特别注意。为此，我们收集了一个新的人机交互

应用数据集（HOI-A），具有以下特征：1）特别挑选

了烟、乘等10种应用价值广泛的HOI类别。2)巨大的类

内变化，包括各种照明和每个类别的不同人类姿势

HOI-A更多的是应用驱动的，服务是对现有数据集的

一个很好的补充。

我们的贡献总结如下：1）将HOI检测问题转化为点

检测和匹配问题，提出了一种新的单阶段PPDM算

法。2)PPDM是第一个实现实时的HOI检测方法，优于

HICO-Det和HOI-A基准测试的最先进方法。3)收集大

规模和面向应用的HOI 检测数据集以补充现有数据

集。源代码和数据集都将发布，以促进相关研究。

相关工作

HOI

检测方法。现有的HOI检测方法主要可以分为两个

阶段：在第一阶段，应用对象检测器[23]来定位人和

对象;在第二阶段，将检测到的人和物体配对，并将其

特征输入到分类网络中，以预测人与物体之间的交

互。目前的工作更多的是探讨如何改进第二阶段。最

近的工作旨在通过捕获上下文信息[7，27]或人类结构

信息[26，6，5，33]来理解HOI。一些作品[22，28，

33]将第二阶段制定为图推理问题，并使用图卷积网络

来预测HOI。

上述方法都是基于提案的，因此它们的性能受到提

案质量的限制Addi-

484

输入图像

点热图

点检测

分支

尺寸偏移

[width，

height]局部

偏移

交互点

人体中心点

对象中心点

点匹配

分支

位移

对人类

运动球

运球

人

位移位移

对人类

反对

相互作用

点

位移

反对

人类

对象

粗人粗对象

点

匹配点三元组

预测

HOI

三联体

个人运

球

运动球

人

运动球

运球

人

运动球

图

拟议的

PPDM

框架概述。我们首先应用关键点热图预测网络，例如。沙漏

-104

或

DLA-34

，以从图像中提取外观特征。

）

点检测分支：基于提取的视觉特征，我们利用三个卷积模块来预测交互点，人体中心点和物体中心点的热图。此外，为了生成

最终框，我们回归2D大小和局部偏移。b）点配对科：该分支的第一步是分别回归从交互点到人点和物点的位移。基于预测的

点和位移，第二步是将每个交互点与人类点和物体点匹配以生成一组点三元组。

现有的方法在建议生成和特征提取过程中需要花费大

量的计算代价。基于这些缺点，我们提出了一种新的

一阶段和无提案的框架来检测HOI。 HOI检测数据

集。主要有两种常见的

使用的HOI检测基准：[11]《明史》卷110

Det [2] 和以人为中心的关系检测数据集： HCVRD

[36] 。 VCOCO 是一个相对较小的数据集，它是

MSCOCO [18] 的子集，包括

，

346

个图像，基于

COCO注释注释了

个动作HICO-Det是一个大规模的

通用HOI检测数据集，包括

，

776

张图像，其中有

117

个动词和

个对象类别（与COCO相同）。HCVRD从

一般视觉关系检测数据集Visual Genome中收集[14]。

它有

，

855

个图像，

927

个谓词类别和

，

824

种对象。

比较前两个 HOI检测数据集，其仅关注人类动作，

HCVRD关注更一般的以人为中心的关系，例如，空间

关系占有关系

以前的HOI检测数据集主要集中在共同和一般的动

作。从实用的角度出发，我们建立了一个新的HOI-A

数据集，该数据集大约有38 K的图像，只标注了有限

的具有实际意义的典型动作。

并行点检测与匹配

3.1.

概述

最终结果。所提出的并行点检测和匹配（PPDM）方

法的框架如图3所示。PPDM的第一个分支是

点检测

。

它估计中心点，相应的大小（宽度和高度）和局部偏

移的人和对象。中心、大小和偏移协同地表示一些框

候选。此外，还估计了交互点，该交互点被定义为对

应的人体中心点、物体中心

点

<PPDM的第二个分支是

点匹配

。估计交互点与相应的人和物体点之间的位移

将来自同一交互点的人点和物点视为匹配对。

3.2.

点检测

点检测分支估计人盒、物盒和交互点。一个人类盒

子被表示为它的中心点（x

，

）∈R

，相应的大小

（width and height）（

，

）∈

以及局部点

偏移量δ

∈

来恢复由输出步长引起的离散化误差。

对象框以类似方式表示此外，我们定义交互点（

，

）∈

为配对人点和物点的中点

考虑到交互点的感受野足够大以包含人和物体，可以

基于（x

，

）的特征来估计人的动作a。实际上，当

数据集中有

个人时，每个人都是

人盒表示为（

，

）

，

i∈[1

，

M]. 为

我我

HOI 检测的目的是估计 HOI 三元组 human ，

interaction，object>，它由主体框和类、人的动作类和

对象框和类组成。<我们将HOI检测的复杂任务分解为

两个更简单的并行任务，它们可以组装成

为了描述的方便，我们省略下标

，

不会引起混淆。类似的省略也适用于（

，

）和

（x

，

）。

在图

中，输入图像

∈

被馈送到特征提取

器中以产生特征

∈

，

剩余10页未读，继续阅读

cpongm

粉丝: 6

"实时并行点检测与匹配：一种用于人机交互检测的新方法"

cole_02_0507.pdf

工程硕士开题报告：无线传感器网络路由技术及能量优化LEACH协议研究

【东海期货-2025研报】东海贵金属周度策略：金价高位回落，阶段性回调趋势初现.pdf

图像数据处理工具+数据(帮助用户快速划分数据集并增强图像数据集。通过自动化数据处理流程，简化了深度学习项目的数据准备工作)

diminico_02_0709.pdf

agenda_3cd_01_0716.pdf

A课件Python全栈开发线下班.zip

diminico_02_1108.pdf

基于人工智能大模型技术的果蔬农技知识智能问答系统.pdf

diminico_02_0307.pdf

最新资源