多模态改善介导的触摸交互

利用多模态改善介导的触摸交互张卓明引用此版本：张卓明。通过多模态改善介导的触摸交互。人机交互[cs.HC]。巴黎理工学院，2022年。英语NNT：2022IPPAT017。电话：03698460HAL Id：tel-03698460https://theses.hal.science/tel-036984602022年6月18日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaire626改善中介触摸交互关于MultimodalityThee` se de doctor at depre' pare' ea`Te'le' comP ar isE'cole docto rale deSpe'cialite'de doctor at：In forr matique2022年5月5日，第2022年5月5日，公司简介评审团组成：迈赫迪·阿米Prof esseur，Universite′Par is8Pr′ sident，Rappor teur泰奥法尼斯·赞迪拉斯Charge'derecherche，Inr ia Rappor teurCe'line Coutr ix法国格勒诺布尔研究中心德克·海伦考试特温特大学讲师英迪拉·布雷维宁教授，比较考试技术大学埃里克·勒科利内Prof esseur，Te'le' comPar is Directeurdethe' se弗兰克瓦兹·德埃蒂安Direct ricederecherche，CNRS，Te′le′ comPar is Direct ricedethe′ seNNT：2022IPPAT017增强多媒体互动的多模态性提交的论文公司简介公司简介TE LE COMPARI SINSTUIT POLYTECHNIQUE DEPARISAPRIL 2022i摘要作为最重要的非语言交流渠道之一，触摸被广泛用于不同的目的，从表达不太亲密的感情，如问候（例如，握手、拥抱、亲吻脸颊）到更亲密的互动（例如，牵手、拥抱、亲吻）。它是人类生理和心理发展的强大力量，塑造社会结构，最重要的是，沟通情感。然而，即使目前的信息和通信技术系统能够在中介通信中使用各种非语言，通过触觉进行通信的支持仍然不足。因此，在我们的日常交流和互动中，迫切需要改善中介触摸。受人类感知系统的跨模态交互的启发，本文提出了利用多模态来改善中介触摸交互的方法。该方法包含两个方向：1）增强与其他模态的触摸交互; 2）改进多模态交互中的触觉模态生成。按照这种方法，我提出了三种设备，提供经验的多模态触摸交互的贡献：VisualTouch，SansTouch，和在平面。为了了解多模态刺激是否可以改善触摸的情感感知，我提出了VisualTouch，一种在前臂上产生一致视觉触觉刺激的触觉套筒。与VisualTouch，我定量评估多模态刺激的情绪反应。结果证实了视觉和触觉模态之间的跨模态交互，这表明使用额外的视觉模态是一种很有前途的方法来支持情感触摸通信。受VisualTouch的启发，我研究了在真实触摸通信中使用不同的方式我提出了SansTouch的设计，一个多模式的手套，使介导的手到手的互动，如握手或牵手。SansTouch提供了关于视觉，热，ii和触觉刺激在面对面交流的情况下。此外，我探讨了在SansTouch中使用气动驱动产生类人触摸的可能性，以改善多模态交互中的触觉模态生成在平面前进了一步，在触摸互动的多模态刺激的使用。In-Flat是一款用于智能手机的输入/输出压力敏感覆盖层。它由一个透明的可充气皮肤状硅层组成，可以放置在智能手机的顶部或背面。In-Flat不仅提供了关于在触摸生成中使用气动驱动的进一步见解，而且还更好地理解了介导触摸在其他交互环境中所起的作用。总之，本文致力于弥合触摸通信和人机交互之间的差距，通过对中介触摸交互中多模态刺激的设计和理解做出贡献。iiiRe' sume'就像一个这是一个实用的规则，也是一个情感表达的规则有时候像问候（例如，我们在游戏中相互作用。（例如， 她在主里，她在胸罩里，她拥抱着他。这是一种促进人类身体和心理健康的力量，它影响着社会结构和社会活动。然而，如果信息技术和实际交流技术允许使用多种非语言，那么通过触觉进行交流的支持就不可避免了。 我对沟通和互动有一个很大的期望。在人类感知系统中，通过模态间的相互作用，我采用了多模态的应用程序。 该应用程序包括两个方面：1）一个是与其他模态的交互触觉;2）一个是多模态交互中模态的比例。因此，这一应用程序，我pre' sentetr oisdispositifsquifournissentdescontributionsempiriquesa`在完成多模式刺激后，我将感觉到视觉的Touc h，一个可以在前胸罩上看到刺激的装置。 一个视觉的工具，我对多模态刺激的反应和运动进行了定量的评价。莱雷苏尔塔confirment视觉和形态tac-瓷砖，cequiindiqueque通过视 觉 触 觉 ， 我 研 究 了 在 触 觉 通 信 中 使 用 不 同 的 触 觉 方 式 。Jepre′senteSansTouch，unepochettemultimodalequipermetdesinteractionsmain-a`-mainme′diatise′ es，commedespoigne′ esdemainoudesiv电源。SansTouch提供了在人与人之间交流的背景下，视觉刺激、声音和声音的多模式交互的经验。在此，我探索了在Sans T ouc h中与人体接触的可能性，以便在多模态交互中实现模态和触觉的交互。Enfin ， pour aller plus loin dans l'utilisation de stimulus multimodaux eninteraction tactile，je pre 'sente In-Flat. 在平estune叠加触觉entre'e/sortiepour智能手机. 他做了一个可折叠a`lapeauquipeuteapplac e'esurledessusoua`l'touchee`red'unsmartphone. 在-Flatfournitnonseulementdesinformation suppl e ′ mentai res sur r r mationssuppl le′mentai ressurlag e′ n e′ rationdu toucherdelapeau ， maisaussiumeilleu recompre′hensiondur ofranclequejouele toucherme′di e′ansdescontextesplusge′n e′ raux.因此，这一点对触觉交流和IHM的相互作用有着重要的意义，它有助于触觉交流中多模式刺激的概念和综合。1内容1一.导言. 151.1概念定义181.2研究问题191.3研究方法211.4研究贡献221.5协作工作241.6论文概述252Social Touch27的背景2.1人类的触觉272.1.1触摸生理学282.1.2触摸的跨模态交互322.2Socialtouch342.2.1社会交往中的社会接触342.2.2社交接触的功能362.3介导的触摸交互402.3.1介导的触摸生成412.3.2中介触摸设备472.3.3介导触摸通信542.4结论563触摸并不孤单：通过多模态刺激增强社交触摸593.1动机603.2VisualTouch603.3执行情况613.3.1视觉层6123.3.2振动触觉层 . . . . . . . . . . . . . . . . . . . . . . . . . .623.3.3输入和控制。 . . . . . . . . . . . . . . . . . . . . . . . . .643.3.4VisualTouch- 迭代。 . . . . . . . . . . . . . . . . . . . . . .653.4触觉情感反应。 . . . . . . . . . . . . . . . . . . . . . . . .663.4.1刺激 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .663.4.2情绪评估 . . . . . . . . . . . . . . . . . . . . . . . .673.4.3参与者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .683.4.4程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .683.4.5结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .683.5视觉触觉情绪反应。 . . . . . . . . . . . . . . . . . . . . .693.5.1刺激 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .703.5.2参与者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .713.5.3程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .713.5.4结果。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .713.6讨论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .754生成类人触摸：使用气动致动改善介导的社交触摸感觉774.1背景784.2调查794.2.1招募和参与者4.2.2方法804.2.3数据分析804.2.4主要成果814.2.5研究的启示844.3SansTouch854.3.1设计原理854.3.2气动驱动874.3.3使用SansTouch90生成触摸刺激4.3.4使用智能手机捕获输入参数924.3.5应用：空中手拉手互动934.4可用性测试944.4.1参与者设置954.4.2方法954.4.3数据分析4.5主要成果9734.5.1SansTouch增强了面对面交流中的人际联系974.5.2用户对SansTouch99的看法4.5.3SansTouch在其他环境中1014.6讨论1024.6.1结合不同模式1024.6.2面对面交流的同步性是关键1034.6.3触摸通信介质1034.7结论1045超越社交触摸：提高中介多模式触摸设备5.1背景1095.1.1在智能电话109上生成触摸反馈5.1.2利用触摸交互1115.1.3捕获触摸输入手势1125.2室内1145.2.1输出1155.2.2输入1155.3实施和设计选择1165.3.1制造方法1175.3.2气动控制1195.4应用和使用案例1215.4.1作为通信介质1215.4.2作为信息通道1225.4.3作为工具1245.5评价1255.5.1评估设计1265.5.2参与者和设备1285.5.3程序1295.5.4测量1295.5.5定量结果1305.5.6定性结果1345.6讨论、局限性和未来工作1365.6.1智能手机上的情感触摸通信1365.6.2改进智能手机上13745.6.3改进技术实施1375.6.4探索不同充气介质1385.6.5超越智能手机1386结论与展望1396.1对研究问题的1406.1.1问题1（A）：我们能否使用多模态刺激来改善当前社交触摸技术的情感感知？1406.1.2问题1（B）：我们能否使用多模态刺激来改善社交触摸环境之外的触摸交互？........................................................................................... 1416.1.3问题2：我们如何产生更多类似人类的触觉刺激来改善多模式触摸交互？....................................................................................................... 1416.1.4R埃什 问题 第三章： 如何将多式联运触摸互动到我们的日常交流和互动中？1426.2反思和未来展望。 . . . . . . . . . . . . . . . . . . .1446.2.1同步性是流畅的触摸通信的关键。. . . . 1446.2.2类人触摸交互或新的触摸语言？ . . . . 1446.2.3中介触摸的社会习俗也可能演变。 . . . 1467出版物清单147一 附录149A.1 问卷调查：封锁前后的社会接触 . . . . . .149B第二附录165B.1知情同意 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1655图目录1.1本论文的研究范围..............................................................................................171.2本文的研究方法..................................................................................................231.3论文概述252.1皮肤具有多种形态上不同的机械感受器。这张图代表了指尖光滑无毛的皮肤（由Purves etal. [178]）。............................................................................302.2（a）整个身体表面的疼痛和触摸的平均两点辨别（2PD）阈值。（b）毛状体上的2PD阈值的变化和无毛的皮肤上肢，疼痛和触摸[137]。......................................................... 312.3传导缓慢、无髓鞘的外周C触觉传入有助于我们的神经系统编码缓慢、温柔的触摸，以产生情感和快感。[215]第215话....................................................................................................... 322.4橡胶手错觉说明了触觉感知如何受到视觉输入的影响。参与者看着一只橡胶手被抚摸，而他们的实际手，从他们的视线中隐藏，也被同步抚摸。大多数参与者报告了橡胶手的触觉感觉，并且当使用橡胶手时也报告了疼痛感。一只橡皮手同时被一把刀刺伤[224]。............................................................. 342.5刺激的类型。该图示出了示例性刺激的静止帧，示出了不同类型的触摸事件。正、负和中性刺激分别位于第一、第二和第三行。[126]）。............................................................................................................. 3562.6哈洛等人在1958年进行的著名的猴宝宝实验[81]）。（a）向猴宝宝提供了两种人工母亲：一种是提供食物的线框代孕母亲，另一种是不提供食物的软绒布代孕母亲。在实验中，小猴子对柔软的绒布母亲表现出强烈的偏好。(b) 当小猴们喝下牛奶的时候，牛奶上的线框代孕母亲372.7（a）偏心旋转质量振动电机。(b)电磁振动电机........................................... 422.8使用振动电机的触摸生成系统。(a)TaSSt设备中的螺线管振动电机[105]。（b）ERM振动电机，一个基于移动的触觉设备[191]。..................................................................... 422.9各种各样的材料可用于气动执行器[162]。432.10 两种气动护套设计。（a）Delazio等人 创建了一个示意性致动的夹克，以在上身产生具体的触觉体验[44]。（b）Mueller等人创造了一个拥抱，模拟触觉的距离背心[148]。............................................................................. 442.11 使用SMA致动器的两个介导触摸设备。(a)Duvall等人将SMA线用于夹克中，这可以让父母和治疗师给患有自闭症谱系障碍（ASD）的孩子一个安慰的“拥抱”[52]。（b）Yarosh等人创造了Squeezeband，以产生人际交流中的挤压手势，[255]第二十五话2.12 使用EMS执行器的三个示例。(a)Lopes等人在VR游戏中使用EMS力反馈，并模拟被击打的感觉[133]。（b）Gomes等人使用电肌肉刺激，热刺激和机械刺激的组合来模拟夫妻之间的人际接触[69]。（c）Tamaki等人发明了一种前臂带，用于控制和引导用户学习新的工具[210]。......................................................................................... 4672.13 固定装置可以具有强大且灵活的致动以产生触摸。(a)Teyssier等人探索了设备启动触摸的设计空间，用于通过机械臂传达情感[219]。（b）Chen等人 探索了在医疗保健情况下使用机器人护士在患者手臂上产生舒适的触摸[30]。（c）Hauser等人创建了一种名为Calmer的交互式床，可以模拟早产儿的母亲皮肤接触[87]。（d）Nakanishi等人使用了一个类似人类的机器人手臂来分析握手，视频会议期间的行动[152]。............................................................................. 492.14 Park等人使用POKE设备在电话期间实现脸颊触摸交互[164]。 在打电话期间，一个用户（左）触摸硅按钮作为输入，而另一个用户（右）感知到在他/她的脸颊上触摸输出。............................................................................502.15 船舶特定的触摸区域地图。蓝色轮廓的黑色区域突出了禁忌区域，有这种关系的人不允许触摸。蓝色和红色标签表示男性和女性#20082;的问题[208]。........................................................................................512.16 触觉手套在人际互动中的两个例子（a）Singhal等人发明了Flex-N-Feel手套，让相隔很远的情侣能够感受到远方伴侣手指的弯曲。(b)Ahmed等在触觉手套中使用气动致动器来产生情感触摸虚拟现实应用[1] ................................................................................................ 522.17 人际互动中的两个触觉袖子例子（a）Tang等人开发并测试了一种用于治疗ASD的触觉套管。（b）Huisman等人开发了TaSSt，可以同时产生振动触觉刺激和感知触摸输入。他们还为TaSSt设备创建并测试了一组触摸手势[1]。....................... 532.18 两个触觉手镯的例子。(a)Pezent等人设计了Tasbi，支持触觉手与振动触觉刺激和挤压力的交互[169]。（b）Pohl等人在挤压式设计中使用气动致动器，以在手腕[173]。......................................................................................................... 5482.19 两个拥抱装置的例子。(a)Tsetserukou等人设计了Hapti-Hug，支持远距离的人际拥抱互动[226]。（b）Hossain等人设计了一种触觉夹克，以支持虚拟现实环境中的情感交流[102]。............................................................................................................. 542.20 Wilson等人研究了不同模态组合（温度、振动和抽象视觉显示）与Multi-Moji器械的情绪反应。......................................................................................553.1VisualTouch613.2VisualTouch的结构。(a)VisualTouch的视觉层由60个（10*6）RGBLED组成。（b）VisualTouch的触觉层。60个“1027”微振动电机用绝缘胶带包裹在套管内。（c）VisualTouch 62的电路......................................................................................................................3.3VisualTouch的抗锯齿效果。（a）没有抗锯齿。（b）采用反走样算法。（c）具有抗锯齿封面。.................................................................................... 633.4一个示例触摸手势。(a)手势的形状。(b)步骤16示出了视觉提示的移动以及振动。..................................................................................................................643.5VisualTouch的第一轮迭代。(a)第一轮迭代的。(b)用于振动层65的PCB板3.6VisualTouch的第二轮迭代。(a)这两层被放置在3D打印的外壳中，以确保稳定性。（b）替代触觉采用5 * 2伺服电机驱动（c）VisualTouch的最终用户界面。663.7 SAM演示表673.8三种视觉条件（一致的动态或静态视觉和不一致的视觉）703.9在情绪的循环模型上通过视觉-触觉一致性分裂的颜色分布733.10 视觉-触觉一致性对情感的Cir- cumplex模型上的触摸分布的影响（灰色一致，散列-非一致，白色-仅触摸）7494.1在封锁结束后，当他们见面时，增加（绿色条）或减少（红色条）社交接触频率的参与者的百分比。“极度减少”是指参与者在封锁前“总是”触摸，但在封锁结束后“从不”触摸。减少频率最高的是同事，而伴侣的频率基本保持不变。..........................................................................814.2新的社交接触习惯的感知挫折水平和参与者报告的每种关系类别的社交接触破裂故事的百分比。只有86%的故事特别提到了社交接触破裂的人。高据报道，亲密和普通朋友都感到沮丧。..........................................................824.3（a）两个用户在2米距离处与SansTouch交换中介握手。(b)为了触发握手刺激，两个用户同步模仿握手的手部运动，如在现实生活中一样。(c)每个用户佩戴多模式手持设备，同时握持智能手机..............................................................................................................854.4（a）每个SansTouch和热量。(b)SansTouch 87的电路和执行器.....................................................4.5电路和执行器的结构。......................................................................................904.6（a）SansTouch(b)它由位于手掌、手背和手的两边..............................................................................................................914.7与SansTouch的手对手互动。(a)握手(b) 手拉手。(c)拍手背。(d)触摸手掌。（e）击掌。........................................................................................................924.8与SansTouch进行基于场景的交互。目标是比较参与者在进行对话时的体验，其中触摸是1）介导的（即，与SansTouch握手）;以及2）用其它形式取代（即，没有SansTouch的手）。965.1技术接受模型（TAM），Davis et al.（1989年）.......................................1085.2使用致动销的触觉装置的两个示例（a）Maiero等人使用智能手机背面的致动销来为屏幕上显示的视觉对象提供触觉指导[136]。（b）Jang等人在智能手机的边缘放置了致动销，有形通知和触觉指导[110]。........................................................................... 110105.3Harrison等人将充气按钮放置在可视显示器上，并在触摸I/O和可视显示器之间形成耦合。 例如，当触觉层膨胀时，它提供额外的有形在屏幕上显示键盘上的启示[83]。................................................................. 1125.4In-Flat是一种触摸I/O设备，其形式为（a）透明手机壳，（b）由可充气硅制成的触摸I/O覆盖层。（c）驱动In-Flat1145.5可能的按压触摸输入手势的示例。气囊充气至5kPa，因此基线压力为1000。(a)以不同的压力水平进行挤压。(b)长按(c)手指的高频振动。(d)结合不同的输入方法的一个例子，耗氧物质............................................................................................................1165.6可能的捏和拉触摸输入手势的示例。 气囊未充气，因此基线压力为500。......................................................................1175.7不同的制造方法。(a)硅气囊由SORTA-Clear 18制成，并采用带覆盖的PLA模具制造。(b)硅气囊充气。(c)硅气囊充满了水。(d)硅胶气囊直接用3D打印的PLA模具制造。(e) 硅由Ecoflex 20117制成的安全气囊5.8安全气囊的复合结构。(a)双层结构。(b)单向充盈，1.5 mm厚硅胶层。（a）通货膨胀具有0.8mm厚的硅树脂层1185.9在平。(a)In-Flat的结构(b)高透明的屏幕覆盖层和高透明的树脂外壳。(c)透明树脂外壳。（d）硝化纤维素处理前后的树脂比较涂层。................................................................................................................1205.10 In-Flat的场景。（a）互动游戏（b）互动音乐游戏。用户可以用不同的力量敲击鼓，并感受到逼真的触摸反馈。(c)用户可以使用个性化的压力模式作为智能手机的代码。（d）用户可以互相发送社交触摸手势，如拍拍手掌，In-Flat将相应地膨胀123115.11 更多In-Flat的可能应用示例。(a)发送者和接收者可以动态地与表情符号交互。（b）关于视觉对象的动态有形启示，例如将地震可视化或（c）呼吸肺。（d）In-Flat安全气囊的形状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1245.12 第一阶段的实验设置（a）实验的参数图形界面和目标的图示（b）接口以及参与者如何控制这只鸟。 . . . .1275.13 红色：捏拉;蓝色：按压。 误差线是由我们-与平均值相差1个标准误差。 （a）整体成功率（b）每种输入技术的成功率（c）三个区块的总体成功率。 . . .1305.14 蓝色：准备阶段;红色：测试阶段;绿色：退出阶段。的误差条是使用平均值的1个标准误差构建的（a）所有压力的平均距离和（b）标准偏差确保所有三个阶段的水平。 . . . . . . . . . . . . . . . . . . . . . . . .1315.15 （a）至（d）展示一些成功的典型移动轨迹示例试验：（a）在所有三个阶段的表现良好（P5的试验21，按压3级）;（b）在准备阶段的表现较低（P1的试验20按压1级）;（c）在退出阶段的表现较低（P3的试验11，捏拉5级）;（d）在准备阶段和按压阶段的表现均较低。阶段和退出阶段（P4的试验35，捏拉6级） . . . . .1325.16 所有三个阶段中所有区块的（a）准确性（平均距离）和（b）稳定性（距离的标准偏差）。. . . . . . . . . .1346.1本文提出的工作确定了如何多-模态刺激，特别是视觉模态，提高情绪的每，触觉刺激的感觉 . . . . . . . . . . . . . . . . . . . . . . .140A.1 问卷-第1页 . . . . . . . . . . . . . . . . . . . . . . . . . . .150A.2 问卷-第2页 . . . . . . . . . . . . . . . . . . . . . . . . . . .151A.3 问卷-第3页 . . . . . . . . . . . . . . . . . . . . . . . . . . .152A.4 问卷-第4页 . . . . . . . . . . . . . . . . . . . . . . . . . . .153A.5 问卷-第5页 . . . . . . . . . . . . . . . . . . . . . . . . . . .154A.6 问卷-第6页 . . . . . . . . . . . . . . . . . . . . . . . . . . .155A.7 问卷-第7页 . . . . . . . . . . . . . . . . . . . . . . . . . . .156