虚拟现实智能硬件2021年第3·社论·手和手势陈希琳中国科学院智能信息处理重点实验室,中国科学院计算技术研究所,北京邮编:100190手在我们的日常生活中扮演着重要的角色。我们用手来进行工作中的操作、说话中的强调、非语言环境中的交流等。手势不仅用于交通管理中的简单命令,而且还延伸为一种语言--手语。在VR/AR和HCI领域,理解手及其动作可以极大地改善用户体验。这涵盖了与手相关的广泛主题,包括手检测,跟踪,手姿态估计,手势识别和手语翻译。本期共收录四篇论文。它们涵盖了与手和手势相关的不同主题。手形和姿态估计作为虚拟世界操作或低注意力操作中的一个基本而重要的任务,吸引了众多学术界和工业界的研究者。Lin Huang等人对基于深度和RGB图像的3D手部形状和姿态估计进行了调查。作者回顾了从RGB-D输入的3D手形和姿态估计方法。随着深度学习方法在该领域占据主导地位,数据集成为关键问题之一。在本文中,作者概述了可用的数据集。这些数据集被广泛用于手部和手势识别,是推动这一领域向前发展的主要驱动力。动态是手势的主要特征。与其他人类动作相比,手势更具有挑战性,因为动作可以小到单个手指的运动,也可以大到整个身体的动作。近年来提出了几种方法来编码动态手势识别。Yuanyuan Shi等人回顾了动态手势识别的进展。提出了三种方法,包括双流CNN,3D CNN和RNN(包括长短期记忆(LSTM)网络)。在手势识别中,大多数研究者都是从第三人称的角度进行手势识别。近年来,随着增强现实的需求,第一人称视角手势越来越受到人们的关注。在本综述中,作者还讨论了自我视图手势识别。讨论了连续手势识别中的几个因素自Xbox以来,RGB-D摄像头已广泛用于手势识别。在深度图像的帮助下,体感游戏变得流行起来。与游戏中的情况不同,手势识别需要对手进行详细的处理。通常,RGB图像具有比深度图像更高的分辨率。这意味着RGB和深度图像的组合可能提供高分辨率和深度之间的平衡。Benjia Zhou等人提出了一种具有自适应交叉融合学习的多模态手势识别方法。该方法挖掘RGB和深度图像之间的关系,并通过自适应一维卷积合并多个流。在IsoGD和NVGesture等数据集上的实验表明了该算法的优越性。手语是一种有意义的复杂手势。虽然有一些关于手语教学的书籍,但对于一个没有专业导师的学生来说,学习手语仍然不容易。Yanxiao Zhang等人用智能手机实现了一个用于中国手语学习的交互式导师。IIVir tua lR 2021Vol3问题3 II-I II该系统为用户提供了多种学习模式,并通过评估用户的动作来帮助用户学习手语。该系统包含了1000个常用的汉语手语。该系统不仅提供了学习手语的功能,而且还提供了交互式词典的功能,通过播放手语动作来检索其含义,反之亦然。手对于与外部世界和其他人的互动非常重要。作为自然人机交互梦想的一个重要组成部分,理解手及其意义越来越受到研究者的关注。在这期特刊中,四篇论文涵盖了手部和手势相关的主题,包括手部姿势估计,动态手势识别,多模态手势识别和手语交互教学。我们希望这期专刊能为这一领域提供一个概览,并吸引更多的研究者对其进行研究。Xilin CHEN2021年III