![](https://csdnimg.cn/release/download_crawler_static/88781699/bg3.jpg)
用户触摸屏幕或键盘,
RGB-D
相机将是一个相当有用和强大的交互工具。
Mendes
等人介绍了
CEDAR
系统作为一种审查工具,以支持石油行业的协作任务
[3]
。
Kinect
还被应用于手术室,医生可
以在不接触计算机的情况下检查和浏览有关患者的所有文件和数据,以避免任何感染的可能性
[4
,
5]
。
Qian
等人利用该设备与机器人进行交互
[6]
,类似地,
Garzotto
和
Valoriani
给出了智能家电交互的解决
方案
[7]
。
Hsu
将
Kinect
引入了教室,该设备应该提供更好的课堂沉浸感的教育体验
[8]
。
Kinect
还参与了许多虚拟现实(
VR
)和增强现实(
AR
)应用,其中控制器被替换,环境被实时
重建。手势交互是当前
VR
系统(如
HTC Vive
和
PS VR
)使用的控制器的流行替代方案。
Kinect
可以
为用户提供更高的沉浸感和更好的体验。
Buchmann
等人介绍了一种基于手势的
AR
系统,该系统使
用图像处理方法和手上标记来跟踪用户的双手。这种方法允许用户使用自然的手势与虚拟对象进行
交互
[9]
。
Hettiarachchi
和
Wigdor
使用
Kinect
扫描周围环境中的物体,并将它们注册为类似形状的虚拟
物体的代理
[10]
。
Ma
等人的研究人员将
Kinect
应用于交互式
AR
解剖学学习
[11]
。他们设计了一个
AR
魔
镜的原型,可以直观地可视化用户的真实解剖信息。
Cassola
等人将
Kinect
用于在线
3D
健身房系统,
以允许用户参与在线体操课程
[12]
。
同时,大多数应用程序都集中在特定的场景,这使得这些系统不方便用户根据自己的应用和需求
进行定制。此外,这些限制可能会给具有不同文化背景的用户在学习所设计的手势时带来困难。
2.2 RGB-D
摄像机关节数据去噪
根据
RGB-D
相机的技术特点,
RGB-D
相机产生的关节数据含有严重的噪声,难以直接将检测到的数
据用于交互,因此在应用交互之前需要进行手势重建和优化。
Fürntratt
和
Neuschmied
通过对准确性
和指向和点击难度的测试讨论了联合数据的噪声
[13]
。
Microsoft
在
[14]
中提供了许多传统数据过滤方
法的信息,包括中值滤波器和加权平均滤波器。然而,这些传统的简单滤波器在许多应用中不能很
好地工作。必须应用一些更复杂的滤波算法。
Loumponias
等人使用
Tobit
卡尔曼滤波器来改善联合数
据,并将该算法与传统卡尔曼滤波器进行了比较
[15]
。
Moon
等人融合了来自两台
RGB-D
相机的数
据,并使用卡尔曼滤波器来获得更好的结果
[16]
。不过,官方并不支持在一台电脑上使用多个
RGB-D
摄像头,而且
RGB-D
摄像头如果位置不成直角,会互相干扰。使用这样的解决方案在大多数应用中
是相当复杂和不可实现的。
2.3
手势交互系统的设计
为了在
VR
和
AR
系统中实现更友好的用户交互,应该合理设计和测试手势。一些工作集中在手势设
计和优化的方法。
Medeiros
等人描述了构建手势词汇表、一组手势和相应语义的迭代过程,并设计
了用户研究来验证系统的可用性
[17]
。
Piumsomboon
等人设计了一个用户研究过程来开发基于用户的
手势集,并总结了手势设计的一些规则:可逆和可重用,大小确实重要,来自现有
UI
的影响,以及
明显和模糊,