![](https://csdnimg.cn/release/download_crawler_static/88424389/bg4.jpg)
S.齐,W.王湾,澳-地Jia,J. Shen,S.-
C. 朱
虽然上述深度HOI模型取得了有希望的结果,但我们仍然观察到两
个未解决的问题。首先,他们缺乏一个强大的工具来明确地表示HOI
任务中的结构,并将其有效地编码到现代网络体系结构中第二,尽管
在特定任务中取得了成功,但缺少完整和通用的HOI表示。这些方法
不能容易地扩展到从视频中识别HOI为了解决这些问题,我们引入了
GPNN,用于将高级关系强加到DNN中,从而产生了适用于静态和动
态设置的强大HOI表示
神经网络与图形/图形模型。在文献中,提出了一些方法来结合图
形模型和神经网络。最直观的方法是在DNN上构建图形模型,首
先训练生成特征的网络,然后使用其输出来计算图形预测器的潜
在函数典型的方法用于人体姿势估计[42],人体部位解析[33,45]
和语义图像分割[3,4]。这些方法缺乏深度集成,因为图形模型的
计算过程无法端到端学习。 一些尝试[7,21,31,32,37,40,
44,51]被用来概括神经
网络操作(
例如,神经网络操作)
。
例如,
在一
个实施例中,卷积)直接从规则网格(
e
.
例如,在一
个实施例
中,图像)
到图形。然而,对于HOI问题,需要一个结构化的表示
来捕获人与对象之间的高级时空关系
其他一些工作将网络架构与图
形模型[12,20]集成在一起,并在场景理解[24,30,46],对象检测和
解析[27,50]和VQA [41]等应用中取得了可喜的成果。然而,这些方
法
仅适用于具有预先固定的图结构的问题。Liang等人[26]在假设节
点是可合并的情况下,
使用长短期记忆(LSTM)合并图形节点用于
人类解析
这些方法在其特定任务中取得了令人鼓舞的结果,并很好地证明
了在完成具有特定领域结构的深度架构方面的好处。然而,他们中的
大多数是基于预先固定的图结构,他们还没有在HOI识别的研究。在
这项工作中,我们扩展了以前的图形神经网络与可学习的图结构,这
很好地解决了丰富的和高层次的关系,在HOI问题。所提出的GPNN
可以自动推断图的结构,并利用该结构来增强信息传播和进一步的推
理。它提供了一个通用的HOI表示空间和时空设置。据我们所知,这
是第一次尝试将图模型与神经网络集成在一个统一的框架中,以实现
HOI识别的最新结果。
3
HOI的图解析神经网络
3.1
制剂
对于HOI理解,人和对象由节点表示,并且它们的关系被定义为边。
给定一个完整的HOI图,其中包括所有可能的人和对象之间的关系,
我们希望通过保持有意义的边缘和标记的节点自动