基于心理意象的脑-机接口用户训练反馈的重新定义与调整莱娅·皮莱特引用此版本：莉亚·皮莱特基于心理意象的脑-机接口用户训练反馈的重新定义和调整，以人机交互[cs.HC]。波尔多大学，2019年。英语NNT：2019BORD0377。电话：02460549HAL Id：tel-02460549https://theses.hal.science/tel-024605492020年1月30日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireTHAPOSEPRESENTÉEL’UNIVERSITÉ DE数学与信息学博士作者Léa PillettePOUR OBTENIR LE GRADE DE DEDOCTEUR专业：信息基于心象的脑-机接口用户训练学习者支持日期：2019年12月16日报告员抵达后：达米安·科勒。英国阿尔斯特大学研究主任AnatoleLE cuyE rDirecteur de recherche，Inria，Rennes，France在委员会对以下作曲家进行审查时达米安·科勒。. .英国阿尔斯特大学特别报告员阿纳托利·勒·库伊·埃尔。.法国雷恩因里亚研究所所长。陪审团主席多纳泰拉·马蒂亚.Directrice de recherche，IRCCS，Italy.. . . .考试CatherinePEL achaud Directrice de recherche，CNRS-LTCI，France.考试卡蜜儿我有一个。. .Chargée de recherche，CLLE，France.. . . .因维泰伯纳德·.法国波尔多大学教授。. .Directeur de thèse法比安·洛特. . . .Directeur de Recherche，Inria Bordeaux，France2019MI-BCI用户培训反馈的重新定义与调整iiiRedéfinition et adaptation du feedback donné à法国建筑物轮廓研究所简历这些基于脑影像学（MI-BCIs）的神经协调接口提供了与数字技术相互作用的新可能性，包括神经假体或视频游戏，实现脑影像学检查，以及旋转物体的成像LareconsiderationdelacommanderenvoyéeausystèmeparLesutilisaacoustics doivent prodeldre à produire des patterns然而，实际培训协议不允许10至30%的人员获得使用MI-BCI所需的能力BCIs的不稳定性限制了研究实验室的技术发展这是一个客观的审查员评论反馈意见，四个人都长时间的形成可能是在一个首要的时刻，我们检查了在MI-BCI的应用程序和协议中实现反馈的作用我们分析了在神经生理学控制过程中的作用和实用性的理论和实验研究的贡献Ensuite，nousfournissons une analysis deNous nous concentrons sur trois caractéristiquesprincipales du feedback，i.e.，他的表现方式和节奏感都很好。为了更好地理解这些特点，我们应该对文学进行评估，以确定测试中反馈的类型以及对测试结果的影响我们应分析影响这一结果的因素的特点或情况。通过对这些文学作品的分析，我们提出了一个假设，即在对受教育者的特征或能力的基础上，对不同的反馈机制进行了不同的利用我们报告了我们对反馈的贡献的初步结果 。 Enfin， nous presésentons différentes recommandations et défis concernantchaque caractéristique du feedback. Dessolutions potentielles sont proposées pour àl ' a v e n i rs u r m o n t e rc e sd é f i se tr é p o n -d r eàc e sr e c o m m a n d a t i o n s .座右铭：Interface Cerveau-Ordinateur，Imagerie mentale，Feedback，Feedback émotionneletprésence sociale，Modalité de feedback，Réhammotrice post-AVC，AttentionIVL. Pillette专业：Informatique公司简介：Potioc，Inria Bordeaux - Sud-Ouest，33405 TalenceMI-BCI用户培训反馈的重新定义与调整v基于心象的脑-机接口用户训练学习者摘要基于心理意象的脑机接口（MI-BCI）为与数字技术（如神经假体或视频游戏）进行交互提供了新的机会，只需执行心理意象任务，如想象物体旋转。系统的命令识别基于对用户大脑活动的分析。用户必须学会产生系统可识别的大脑活动模式，以便控制BCI。然而，目前的培训协议不能使10%至30%的人获得使用BCI所需的技能BCIs缺乏鲁棒性限制了该技术在研究实验室之外的发展本文旨在研究如何在整个培训过程中提供反馈，以改善和适应用户的特点和状态首先，我们研究了反馈目前在MI-BCI应用程序和训练协议中的作用我们还分析了理论和实验的贡献，讨论其作用和实用性。然后，我们回顾了用于训练MI-BCI用户的不同反馈我们关注反馈的三个主要特征，即，它的内容，它的呈现方式，最后是它的时机。对于这些特征中的每一个，我们回顾了文献，以评估哪些类型的反馈已经过测试，以及它们对培训的影响。我们还分析了学习者的哪些特质或状态会影响BCI训练结果。基于这些文献的回顾，我们假设，不同的特点反馈可以利用，以提高培训的学习者取决于特质或状态。我们报告的结果，我们的实验贡献的反馈的每一个特点最后，我们提出了不同的建议和挑战，对每一个特征的反馈。提出了今后落实这些建议的可能解决办法。保留字：脑机接口，心理意象，反馈，情绪反馈与社会存在，反馈方式，脑卒中后运动康复，注意力专业：计算机科学实验室：Potioc，Inria Bordeaux - Sud-Ouest，33405 TalenceviL. PilletteVII雷默西芒因为我从来没有在没有足够人员的情况下通过这条最后的路线，所以你可以用这些话来进行侦察。我非常感谢所有协助我的人，特别是陪审团成员，为了让我能更好地依靠他们，为了让我的工作更有价值，为了让我能有更多的时间来回忆相关的和丰富的东西非常感谢Anatole Lécuyer，Catherine Pélachaud和Camille Jeunet。非常感谢达米恩·科伊尔，多纳泰拉·马蒂亚感谢Fabien Lotte、Bernard N'Kaoua和Camille Jeunet为我传递您的科学、设计、好奇和热情塞拉是一个非常好的工作者，对您有信心谢谢你让我在过去三年里有机会体验到不可靠的专业和个人经验感 谢 Potioc 、 Anciens 和 Récents 、 Maria 、 Khadijeh 、 Aline 、 Paulette 、Lauren 、 Erwan 、 Aurélien 、 Renaud 、 Thibault 、 Sol 、 Damien 、 Pierre-Antoine、Jelena、Jérémy、Boris、Anke、Martin和Pascal，让我们继续讨论寿司。我也喜欢奥黛丽广场，为了她的优雅和帮助她完成任务和各种各样的任务感谢IPACS让我改变对我的看法，让我在我的土地上看到你非 常 感 谢 我 的 家 人 Lili 、 Bernard 、 Cécile 、 Guillaume 、 Gab 、 Karine 、François、Elio、Daniel、André和Joëlle为我提供了最后一天和最后一天的生活感谢我的父母给我无条件的爱和无瑕疵的爱。感谢我的家人为我传递了这次冒险的目标，以及他们的信息、照片、视频，让我能够以最后的方式来激发我的灵感最后，我希望格雷瓜尔能帮助我，帮助VIIIL. PilletteIXRésumé en françaisLes interfaces cerveau-ordinateur basées sur l'imagerie mentale（MI-BCI）sontdesneurotechnologiesquipermettentàleursutilisaecommanderdesapplications externes employees employer imaginer un objet tournant dansl'espace [ Clerc et al. ， 2016 年 ] 。 Lorsque que que que les utilisaedes MI-BCIexécutent des tâches为了控制MI-BCIs，使用者需要通过系统输入一个可识别的脑电活动Un feedback，whi correspond à une information fournie à un sujet del'exécution ou de la comprehension de la tâche ou des compétences这是脑机接口系统的一部分。C'est une composante fondamentale de l'entraumnement auxMI-BCIs [ Lotte et al.，2013年]。 然而，文献和实验结果表明，MI-BCI的实际输入协议和反馈不适用于获取MI-BCI控制所需的能力[ Jeunet etet al.，2016 a，Lotte等人，2013年]。在这一过程中，我们探索了多个研究轴，以改善MI-BCI的输入反馈Comme un feedback ne profite pas toujours à un professage，sa professenÜuvre doit être soigneusement étudiée [Hattie and Timperley，2007].在此之前，他必须知道在什么情况下以及为了什么而需要一个反馈。操作条件的行为学理论主要是关于一种反馈补偿或强制执行强化或该理论可用于解释MI-BCIs介入期间神经生理学相关性的控制改善行为主义理论指出，反馈是学习的必要条件和基础Toutefois，la théorie du conditionnement opérant ne permet pas我们将探索反馈的 三 个 维 度 ， 即 ， son contenu ， sa modalité de presentation ainsi quesadimension temporelle afin de savoir quelles étaient les caractéristiques du feedbackqui sont actuellement utilisés pourL’objectif est de fournir de premières pistespour permettre un feedback adapté et adaptatif aux états et traits cognitifs desapprenants lors de l’entraînement à l’utilisation desXL. Pillette在这方面，我们对收集反馈意见很感兴趣，因为这是利用者反馈的在文学研究中，我们注意到利用一个社会和情感的维度来处理反馈是非常罕见的 Seules desimples formes de ce type de feedback ont été testées，comme l'utilisation d'unsmiley [ Kübler et al.，2001年，Leeb等人，2007年，Zapapa等人，2018年]。Pourtant ， des études en neurophysiologie ainsi quedes études théoriques dudomaine montrent l'importance d'un contexte social [ Izuma et al. ， 2008 年 ，Mathiak等人，2015年]。Nous avons faitl'hypothèsequelefaitquelespersonnesnondesignesetanxieusesaientdemoinsbonnesperformanceMI-BCIquelesautrespouvaitêtreliéàcemanquedecontextesocialetdefeedbackémotionnel[Jeunetetetal.，2015年a]。Nous avons tout Plusieurs été menées ont étémenées pour concevoir soigneusement le compagnon. Une dernière étude a évaluéson impact sur les performance et l'exérienceutilisateurlorsd'unentraquinnementauxMI-BCIs. 我们不断地为没有经验的参与者提供该公司提供了平等的照顾，使参与者能够理解并记住系统的使用情况 参与者使用PEANUT时发现，没有PEANUT的情况下，他们的才能和功效是一样的这一经验对社会现状和支持运动对MI-BCI性能的影响进行了评估。实验在MI-BCI实验的发展中起着重要的作用，它是社会存在和反馈的主要来源。在审查不同研究领域的文学作品时，我们认为，实验者性别之间的相互作用以及这种相互作用对实验结果有不可抗力的影响[Rosnow and Rosenthal，1997]相应地，我们将提供一个真实的经验，以评估性别对前患者和参与者的影响对MI-BCIs性能 的影 响 我们 将探 索表演 者和参 与者 之间的 互动 。 Les performances ontégalement été influencées parl'interaction du sexe de l'exérimentateur et le niveaud'anxiété du participant.Ces résultats confirment qu如果你有任何反馈的话，你的效果可能会被预先判断。如果实验的影响力不是在我们关注的是反馈的特性，即张力和张力的变化，在考虑反馈概念的情况下，我们的价值观和价值观发生了变化。第 二 我 们 要 探 索 反 馈 的 方 式 。 Les modalités vi- suelles ， auditives etsomatosensorielles ont été explorées pour présenter un feed-back unimodal oumodular lors de l'prostissage aux MI-BCIs [ Nijboer et al.，MI-BCI用户培训反馈的重新定义与调整XIII2008年，Zapapa等人，2018年]。反馈方式的选择应与人口的感知能力相适应。 同样，选择一个听觉反馈对视觉缺陷的人来说是一件好事[ Young等人，2014年]。在回顾中，我们假设AVC后患者的躯体感觉能力，但这并不意味着这些能力会被抵消，从而导致疾病的发生。AVC后的运动疗法基于脑机接口的应用，它允许想象或尝试性运动的传出运动神经网络的 Cette co-activation est supposée être àl'origine des améliora- tions functionnelles elles-mêmes associées à des changementsneurophysiologiques du système sensorimoteur [ Grosse-Wentrup et al.，2011年a]。总之，感觉系统的激活依赖于感觉反馈的感知。Or，un peu plus de la moitié despatients post-AVC ont des troubles somatosensoriels [Pumpaet al.， 2015年，Kessner等人， 2016年]。这很可能是因为这些缺陷限制了基于脑机接口的治疗方法的有效性我们对14例随机临床试验进行了研究。在这14项研究中，有2项研究报告使用了躯体感觉器官的能力，就像包含/排除的标准一样总之，我们没有提到这些能力的评估方法，因为它限制了研究的可重复性。我们认为有必要对患者的躯体感觉能力进行评估，以便在所有患者和研究中进行比较La modalité du feedback a une incidence sur les performance MI-BCIs [Ne-uper and Pfurtscheller，2009].值得注意的是，视觉刺激和躯体感觉的多模式反馈组合 可 用 于Toutefois，D'autrepart，l'influence des capacités d'imagination visuelles etkinesthésiques sur les performance MI-BCI font débat [ Vuckovic and Osuagwu，2013，Marchesottietal.， 2016年，Rimbert等人， 2017年]。我们假设参与者的想象力、动觉和视觉能力会影响对训练者的反馈方式Notre hypothèse était que，selon lescapacitésvisuellesetkinesthésiquesdesparticipantsetlamodalitédufeedback，另外，一名参与者通过收集视觉认知资源，来实现视觉图像的真实化，并利用视觉反馈提供的信息Cela pourrait entrainner une sureexploitation desresources cognitives sensorieles et une dimension des performances MI-BCI. 因此，我们测试了视觉能力和动觉对视觉刺激和振动刺激的反馈多模态组合的长期效果以及与刺激相结合的反馈单峰的影响XIIL. Pillette视觉现实。Nous avons constaté que此外，呈现 Nous émettons我们致力于使参与者在视觉上和行动方式上的能力不断提高，使执行机动车的性能不断变化这些结果倾向于证实，在考虑到适应反馈内容的情况下，受试者的特征不应被视为是完全正确的，但应考虑到该受试者的表现方式。此外，AVC后患者的感觉能力和神经型患者的视觉能力也将进一步提高。我们认为，如果这些特性在协议的概念中不具有价值和价值，它们可能会对经验的结果产生影响。现在，我们开始研究反馈的维度，这是一个时刻，也是一个反馈给参与者的频率Un反馈继续，即， fourni lorsque la personne réalise la tâche d'imagination，est théoriquement et en pratique recommandé [ McFarland et al. ， 1998 年 ，Neuper等人，1999年]。然而，在反馈Des études réalisées dans加上反馈是频繁的，加上注意力资源是分析反馈的必要条件。因此，我们将为今后实现MI-BCIs的介入过程中EEG信号的辅助评估做出重要贡献Nous avons constaté que chacun desétats attentionnels décrit dans le modèle de van Zomeren et de Brouwer presentedes patternsNous avons également testé la possibilité de classifier les différentstypes结果的四个分类是一个最好的分类，再加上Des études ultérieures doiventêtre menées afin de vérifier si因此，在研究实验室的研究中，需要在BCIs技术出现缺陷之前对BCIs的稳定性进行改进。获取和处理信号的能力，以及利用BCI的能力，都有助于实现目标。Laforma- tion des utilisaesthetic repose sur l'utilisation d'un feedback.操作条件理论主要用于解释BCI应用程序的形成过程和反馈作用MI-BCI用户培训反馈的重新定义与调整XIII然而，这些理论并不包括中立的影响，甚至也不包括文学中的反馈S'éloignerde lathéorie du conditionnement opérant permettrait de prendre en compte les diversimpacts qu'un feedback peut avoir sur l'entraquinement aux interfaces cerveau-ordinateur.L'étudeduroledufeedbackpourraitfournirdesinformationspertinentes sur les mécanismes sous-jacents de l'applications à l'utilisation des MI-BCI. 同样，通过研究内在反馈的存在性，我们可以了解到，如果我们能够真实地产生激活函数和区别的模式，那么我们就可以获得心理图像 此外，了解和评论反馈的影响各不相同，学生的情况也各不相同，他们了解学生和参与者之间的表现差异展望未来，开发模式应考虑到对参与者的反馈意见和个人资料的选择此外，我们对独立反馈类型的认识不足，因此需要采用一种视觉和反馈特性差异的系统xivL. Pillette内容目录xv图表.二十一表25缩略语二十七介绍1我 理论背景71为什么要使用反馈？91.1 BCI的应用示例。. . . . . . . . . . . . . . . . . . .101.1.1脑卒中后运动康复。. . . . . . . . . . . . . . . .111.1.2与锁定患者的沟通。 . . . . . . . . . . .121.1.3控制电子游戏. . . . . . . . . . . . . . . . . . . .121.2 BCI训练模型。. . . . . . . . . . . . . . . . . . . . . . . . .131.2.1沃兹沃思协议. . . . . . . . . . . . . . . . . . . .131.2.2 Graz-BCI标准协议。. . . . . . . . . . . . . . .141.3BCI技能学习是否需要反馈？. . . . . . . . . . . . .151.4我们可以从其他研究领域学到什么？. . . . . . . . . . .201.5结论。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .222使用了哪些反馈252.1反馈的内容-反馈提供哪些信息？. .262.1.1结果反馈。. . . . . . . . . . . . . . . . . . . . . . .262.1.2社会存在和情感反馈。 . . . . . . . . . . .2.1.2.1关于社会存在和学习情感反馈的当前知识。. . . . . . . . . . . . .28282.1.2.2实验者的角色。. . . . . . . . . . . . . . . .302.2反馈方式-反馈是如何呈现的？. . . . . . . . .332.2.1抽象到现实和具体的视觉反馈。 . . . . .352.2.2触觉到体感反馈。 . . . . . . . . . . . . . .372.2.3听觉反馈。. . . . . . . . . . . . . . . . . . . . . . .39XV内容xviL. Pillette2.2.4多模式反馈402.3反馈时间-何时以及多久提供一次反馈？412.4结论443谁从反馈中受益？473.1学习者性格的影响3.1.1特定任务因素483.1.2认知和人格特质3.1.3人口和经验503.1.4技术接受3.2学习者状态的影响3.2.1注意状态513.2.2工作记忆523.2.3情感523.2.4动机533.3结论53II反馈应该传达什么信息？57研究问题594贡献1-物理学习伙伴对以下方面有用吗基于脑机接口的心理意象用户培训614.1导言。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .624.2应该如何为BCI用户培训设计学习伴侣634.2.1设计PEANUT的行为。 . . . . . . . . . . ..644.2.1.1支持内容。. . . . . . . . . . . . . . . . . . .654.2.1.2. . . . . . . . . . . . . .664.2.1.3业绩和进步保持不变。 . . . . .694.2.1.4规则树. . . . . . . . . . . . . . . . . . . . . . .714.2.2花生的外观。 . . . . . . . . . . . . ..714.2.2.1花生的身体。 . . . . . . . . . . . . . . . . . .714.2.2.2花生的面部表情。. . . . . . . . . . .724.2.3系统架构。. . . . . . . . . . . . . . . . . . . . . .744.2.3.1www.example.com . . . . . . . . . . . . . . . . . . . . . .744.2.3.2规则引擎. . . . . . . . . . . . . . . . . . . . .4.2.3.3智能手机-句子发音，面部表情-Sion Animation.. . . . . . . . . . . . . . . . . . . .75754.3能物理学习同伴改善基于MI的BCI用户培训-ing？. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .764.3.1材料和方法. . . . . . . . . . . . . . . . . . . . . .764.3.1.1参与者。. . . . . . . . . . . . . . . . . . . . .76内容MI-BCI用户培训反馈的重新定义与调整xvii4.3.1.2实验方案。. . . . . . . . . . . . . . . .764.3.1.3 EEG Recordings Signal Processing. . . . . . . .784.3.1.4变量因素。. . . . . . . . . . . . . . . . .794.3.2结果. . . . . . . . . . . . . . . . . . . . . . . . . . . . .79内容xviiiL. Pillette4.3.2.1PEANUT对MI-BCI性能的影响.794.3.2.2PEANUT对用户体验834.3.2.3花生83的特点4.3.3讨论4.4结论与展望855贡献2 -实验者影响MI-BCI训练吗？875.1一、导言. 885.2材料和方法5.2.1参加者895.2.2实验方案905.2.3装饰905.2.4EEG记录信号处理915.2.5因素925.3结果935.3.1各组的可比性935.3.2被试性别和实验者性别对MI的影响BCI性能945.3.2.1主要分析5.3.2.2检查混淆因素955.3.2.3评估参与者的紧张情绪的影响5.3.2.4检查实验者紧张的影响5.3.2.5检查EMG伪影985.3.2.6检查EOG伪影985.3.3参与者和实验者的性别对用户体验的影响5.4讨论1015.5结论与展望103一般性讨论105III反馈应该如何呈现？107研究问题1096理论贡献3：躯 体 感 觉 反 馈 对 脑 卒 中 后 基 于 BC I 的 运 动 康 复 有 什 么影 响 ？1116.1导入部分1126.2中风后的感觉障碍和评估1136.2.1中风后的感觉障碍1136.2.2中风后的感觉评估1146.3躯体感觉和运动恢复1156.3.1躯体感觉恢复1156.3.2体感能力对运动恢复的影响1166.4脑卒中后运动康复1176.4.1基于BCI的康复的体感能力1186.4.2提供体感反馈：一种有前途的方法，但仍未得到充分利用119内容MI-BCI用户培训反馈的重新定义与调整xix6.5结论与展望1207贡献4-BCI培训的反馈模式？1337.1导言. 1347.2材料和方法1357.2.1参加者1357.2.2实验方案1367.2.3装饰1387.2.4EEG记录信号处理1397.2.5变量因素1407.3结果1417.3.1各组的可比性1417.3.2反馈方式对动作执行的影响and imagination performance图像性能1427.3.2.1主要分析1427.3.2.2来自初始视觉想象能力的1447.3.2.3演示顺序对性能的影响1447.3.2.4偏侧性对成绩的影响1467.3.2.5参与者的特质和状态的影响7.3.3反馈方式对用户体验的影响。1477.3.3.1用户体验的演变取决于反馈的形式1477.3.3.2呈现顺序对用户体验的影响1497.4讨论1507.5结论与展望153一般性讨论155IV何时提供反馈？157研究问题1598贡献5-注意状态能被可靠地区分吗使用脑电图数据吗1638.1导言。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1648.2方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1658.2.1参与者。. . . . . . . . . . . . . . . . . . . . . . . . . . .1658.2.2实验方案。. . . . . . . . . . . . . . . . . . . . .1658.2.3材料。. . . . . . . . . . . . . . . . . . . . . . . . .1688.3材料。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1688.3.1程序。. . . . . . . . . . . . . . . . . . . . . . . . . . . . .1688.3.2 EEG记录信号处理。. . . . . . . . . . . . .168
