HAL Id: tel-03875860https://theses.hal.science/tel-03875860Submitted on 28 Nov 2022HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not.The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestinée au dépôt et à la diffusion de documentsscientifiques de niveau recherche, publiés ou non,émanant des établissements d’enseignement et derecherche français ou étrangers, des laboratoirespublics ou privés.Nouveaux biomarqueurs vocaux pour la détectionautomatique de la somnolenceVincent MartinTo cite this version:Vincent Martin. Nouveaux biomarqueurs vocaux pour la détection automatique de la somnolence.Interface homme-machine [cs.HC]. Université de Bordeaux, 2022. Français. NNT : 2022BORD0184.tel-03875860THÈSEprésentée àL’UNIVERSITÉ DE BORDEAUXÉCOLE DOCTORALE DE MATHÉMATIQUES ET D’INFORMATIQUEparVincent MARTINPOUR OBTENIR LE GRADE DEDOCTEURSPÉCIALITÉ : INFORMATIQUENouveaux biomarqueurs vocaux pour la détectionautomatique de la somnolenceDate de soutenance :Mercredi 8 juin 2022Devant la commission d’examen composée de :Pr. CorinneFredouillePU - Univ. d’AvignonRapportrice†Pr. IsabelTrancosoPU - Univ. de LisbonneRapportriceDr. Pierre-AlexisGeoffroyMCU-PH (HDR) - Univ. de ParisRapporteurDr. VéroniqueDelvauxCQ FNRS - Univ. de MonsExaminatriceDr. GuyFagherazziDir. du Dpt. de Médecine de Précision (HDR)ExaminateurLuxembourg Institute of HealthDr. Jean-LucRouasCR CNRS (HDR) - Univ. de BordeauxDirecteurPr. PierrePhilipPU-PH - Univ. de BordeauxCo-directeurDr. Jean-ArthurMicoulaud-FranchiMCU-PH (HDR) - Univ. de BordeauxEncadrant, Invité† Présidente du jury2022TitreNouveaux biomarqueurs vocaux pour la détection automatique de la somnolenceRésuméLa voix est un des outils les plus prometteurs de la médecine numérique. En associationavec les compagnons virtuels médicaux, l’estimation de symptômes à partir de marqueursvocaux permettra à la fois le suivi à domicile de patients souffrant de maladies neuropsychia-triques chroniques, et l’accès à des conseils personnalisés d’hygiène de vie pour la populationgénérale. La somnolence, présente dans de nombreuses pathologies et présentant une trèsforte prévalence à la fois chez les patients souffrant de maladies chroniques et en populationgénérale, est un symptôme privilégié pour cette approche. L’objectif des travaux présentésdans ce manuscrit est ainsi de compléter les informations collectées par les assistants virtuelslors de l’interaction des sujets avec ceux-ci, en utilisant des marqueurs vocaux validés commeétant des marqueurs fiables de la somnolence. La démarche suivie est la suivante.Dans un premier temps, nous introduisons les mécanismes de production de la voix etl’ensemble des pathologies qui peuvent interférer avec les différentes fonctions musculaireset neuro-musculaires impliquées, avec une attention particulière portée sur les méthodologiesemployées pour l’enregistrement et l’annotation des corpus utilisés.Ensuite, nous tentons d’établir une définition consensuelle de la somnolence en utilisanttrois dictionnaires de référence de la langue française ; deux approches de fouille de texte ; etenfin par l’intermédiaire d’une revue générale des outils conçus pour la mesurer.Nous présentons ensuite notre propre corpus de patients atteints d’hypersomnies, enre-gistrés au pôle universitaire de médecine du sommeil du CHU de Bordeaux sur une tâche delecture à voix haute, annotés avec des mesures de somnolence à la fois subjectives (question-naires) et objectives (latence d’endormissement au Test Itératif de Latence d’Endormissement– TILE) validées par les médecins du CHU. Ce corpus est ensuite comparé avec les autrescorpus de l’état de l’art sur la détection de la somnolence dans la voix, à partir desquels nousproposons des recommandations sur l’élaboration de tels corpus. Puis, à l’aide d’une étudeperceptuelle, nous validons l’utilisation de la base TILE pour la détection de la somnolencedans la voix.Sur la base de ce corpus, nous élaborons ensuite quatre catégories de descripteurs vocaux,mesurant deux dimensions de l’impact de la somnolence sur la voix et la production de parole.D’une part, nous étudions des marqueurs de qualité acoustique de la voix ; d’autre part nousconcevons des marqueurs de qualité de lecture, divisés en trois sous-catégories : les erreurs delecture faites par les patients, leur automatisation à travers les erreurs faites par des systèmesde reconnaissance automatique de la parole, et enfin les durées et emplacements des pausesde lecture. Ces marqueurs sont validés sur différentes formes de somnolence (objective etsubjective).Enfin, nous proposons une méthodologie pour entraîner un classifieur dans la visée d’uneutilisation clinique de ces descripteurs vocaux pour la détection de trois symptômes liés àla somnolence excessive. Nous proposons une analyse détaillée des résultats obtenus et desdescripteurs employés par le classifieur. Pour aller plus loin, nous proposons ensuite de rap-procher le problème de classification de la réalité du raisonnement clinique en classifiant deuxsyndromes dérivés des précédents symptômes. Enfin, dans cette même direction, nous pro-posons des perspectives de recherche autour des réseaux de symptômes, dans la cadre dela recherche en médecine numérique sur la somnolence et sur la psychiatrie numérique demanière plus générale.0用于自动检测嗜睡的新声音生物标志物0关键词 嗜睡；声音特征；声音的声学质量；自动语音转录系统；阅读停顿；数字医学。0iv Vincent MARTIN0标题0用于自动检测嗜睡的新语音生物标志物0摘要0声音是数字医学中最有前景的工具之一。结合虚拟医疗伴侣，基于声音特征的症状估计将允许对患有慢性神经精神疾病的患者进行家庭监测，并为普通人提供个性化的生活方式建议。嗜睡在许多病理学中都会发生，并且在患有慢性疾病的患者和普通人中都非常普遍，对于这种方法来说是一个关键症状。因此，本文的目标是通过使用被验证为可靠的嗜睡标记来补充虚拟助手与受试者互动期间收集的信息。我们的方法如下。首先，我们介绍声音产生机制以及可能干扰相关肌肉和神经肌肉功能的不同病理学，重点介绍用于记录和注释语料库的方法。然后，我们尝试使用法语的三个参考词典、两种文本挖掘方法以及最后通过对测量工具的综述来建立嗜睡的共识定义。随后，我们介绍了我们自己的嗜睡患者语料库，该语料库由波尔多大学医院的睡眠医学中心在朗读任务中记录，通过主观（问卷）和客观（多重睡眠潜伏期测试的睡眠潜伏期）嗜睡测量由大学医院的医生验证。然后，我们将该语料库与其他最先进的语音嗜睡检测语料库进行比较，从中提出关于开发此类语料库的建议。然后，我们使用感知研究验证了MSLT数据库在语音嗜睡检测中的使用。基于这个语料库，我们开发了四类语音特征，测量嗜睡对语音的两个维度的影响。一方面，我们研究了声学声音质量的标记；另一方面，我们设计了阅读质量的标记，分为三个子类：患者的阅读错误，通过自动语音识别系统产生的错误，以及阅读停顿的持续时间和位置。这些特征在不同形式的嗜睡（客观和主观）上得到了验证。最后，我们提出了一种用于临床使用这些语音特征检测与嗜睡相关的三个症状的分类器的方法。我们对所获得结果和分类器使用的描述符进行了详细分析。为了进一步发展，我们提议将分类问题与临床推理的现实接近，通过对前述症状衍生的两种综合征进行分类。最后，在同一方向上，我们考虑了围绕症状网络的研究展望，作为关于嗜睡的数字医学研究以及数字精神病学的一种更一般的方式。0关键词0嗜睡；声音特征；声音的声学质量；自动语音识别；阅读停顿；数字医学。0用于自动检测嗜睡的新声音生物标志物vi0致谢0感谢我的报告员和报告员们，Corinnne Fredouille女士和Isabel Trancoso女士以及Pierre-AlexisGeoffroy先生，他们接受了阅读和报告这篇论文的责任，还要感谢Véronique Delvaux女士和GuyFagherazzi先生分别担任审查员和考官的角色。0感谢LaBRI的前任主任Jean-Philippe Dominger和XavierBlanc，以及数学和计算机科学学院的前任主任Andreas Hartman和GuillaumeBlin，为我完成这篇论文提供的工作和学习环境。我还要感谢LaBRI和SANPSY的所有行政和研究支持人员，以及波尔多大学医学睡眠服务的护士们，在收集TILE数据库期间，他们给予了我热情的接待。0感谢我的导师Jean-Luc，感谢他对这篇论文的精确而无情的校对，但更重要的是感谢他多年来对我的坚定支持（即使是我最疯狂的想法）和明智的建议。0感谢我的共同导师Pierre Philip教授，感谢他的要求严格、科学严谨和指导。0感谢Jean-Arthur，感谢你对我的可用性和慷慨，无论是在我们关于嗜睡症的研究还是在精神病学哲学DIU期间。0感谢Régis，感谢你对嗜睡概念的可用性和教学，以及与此相关的合著文章，我在其中学到了很多。0感谢Christophe，感谢你的乐观和我们关于自动学习、认识论、精神病学和症状网络的讨论。0感谢我的办公室同事和前同事们：Reda，Huy-Dung，Florian，Pierre（如果没有他，这篇手稿的图表会更少，而且还是灰色的），AFODIB的连续成员，以及LaBRI（特别是I&S和TAD团队）和SANPSY的所有同事们，感谢他们的交流，丰富而有教育意义。同样，我要感谢我在大学和波尔多工程学院教学的所有同事们。0感谢我有幸指导的来自不同背景的实习生们，与他们一起我学到了很多：Pierre Thivel，GabrielleChapouthier，Mathilde Rieant，Agathe Basse，Benoît Caudron，Marie Huillet，AymericFerron，Brice Arnaud。0致谢0感谢那些有时被遗忘但对这多年学习的成功至关重要的人们，他们是我以前的高中老师（Chermette女士和Voirin女士，Jay先生，Provost先生，...），预备班老师（Camus女士，Ponchart女士，Bordes先生，Casseau先生，Stoki先生，Lhermitte先生，...）以及工程师学院老师（特别是Simond先生和Reynal先生），他们教会了我工作方法和对科学的热爱。同样，我在研究实习期间的导师们也要感谢，他们创造并确认了我与学术界的契合度：Yannick Jeantet先生和女士，Sylvain Reynal先生，YoonCho先生和Hélène Papadopoulos女士。0感谢在这三年期间支持我的朋友们：Simon，Maxime，Victor，Réhane，Hugo，Quentin，Stan，...还有在舞会或会议上遇到的所有音乐家和舞者，他们是我进行科学研究的重要支持。0感谢我的家人，特别是我的父母，教育对他们来说一直是首要任务。这篇论文也是你们努力的结果。0致Seb，感谢你在所有时刻对我的支持。0新的声音生物标志物用于自动检测嗜睡症 viiviii0目录0总体介绍 20I 声音作为病理学的度量 901 什么是语言？ 1301.1 动机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1401.2 声音的物理产生 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1401.3 神经语言功能 1601.4 语音作为病理测量工具 1701.5 结论 1802 语音作为病理诊断或预后工具 1902.1 背景和方法 2102.2 声带和口腔鼻腔病理 2102.3 呼吸和心脏病理 2302.4 肌肉功能障碍 - 多发性硬化症 2702.5 神经病理 2802.6 精神疾病 3302.7 总体功能障碍 4102.8 讨论和结论 440本部分结论 490本部分参考文献 500II 瞌睡：定义和测量 6903 瞌睡是什么？ 7303.1 背景和动机 7403.2 幼稚的方法：日常语言定义 7403.3 文本挖掘的第一种方法：词云 7703.4 文本挖掘的第二种方法：网络分析 7904 如何测量瞌睡？ - 一般回顾 8304.1 方法 8404.2 结果 8504.3 讨论 8804.4 结论 947.3Mesure de la somnolence – TILE . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1277.4Métadonnées. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1297.5Différentes versions du corpus TILE . . . . . . . . . . . . . . . . . . . . . . . . . . 1298Comparaison des bases de données1358.1Tâches vocales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1368.2Annotations des échantillons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1398.3Métadonnées. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1429Discussion et recommandations1459.1Choix des sujets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1469.2Conception des sessions d’enregistrement . . . . . . . . . . . . . . . . . . . . . . . 1479.3Tâche vocale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1509.4Durée des échantillons audio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1539.5Annotation de la somnolence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15810 L’oreille humaine est-elle capable d’estimer la somnolence dans la voix? L’étudeEndymion16310.1 Contexte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16410.2 Méthode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16510.3 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17310.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17510.5 Limites et perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177Conclusion de la partie179Bibliographie de la partie181Nouveaux biomarqueurs vocaux pour la détection automatique de la somnolenceix0目录05 瞌睡和相关构建 9505.1 章节目标 9605.2 短期瞌睡 - 心理生理构建 9605.3 长期瞌睡 - 临床构建 10005.4 结论 1020本部分结论 1030本部分参考文献 1050III 用于声音瞌睡检测的语料库 11306 用于自动检测瞌睡的现有技术语料库 11706.1 瞌睡语料库 - SLC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11806.2 SLEEP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11906.3 保持清醒测试 - 基础TME . . . . . . . . . . . . . . . . . . . . . . . . 12107 TILE基础 12507.1 人口和语音任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12607.2 包含和排除标准 126SOMMAIREIVDescripteurs vocaux de la somnolence18911 Marqueurs acoustiques de la somnolence subjective instantanée19311.1 Contexte et motivations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19411.2 État de l’art. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19411.3 Nouveaux marqueurs acoustiques (marqueurs personnalisés) . . . . . . . . . . . 19811.4 Classification : ASIMPLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19911.5 Classification : SVM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20511.6 Conclusion et perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21112 De la somnolence subjective instantanée à la somnolence objective au long cours21312.1 Motivations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21412.2 Détection de la somnolence instantanée sur la base TILE . . . . . . . . . . . . . . 21412.3 Détection de la somnolence objective au long cours . . . . . . . . . . . . . . . . . 21612.4 Conclusion et perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21913 Erreurs de lecture22113.1 Objectifs et précédents travaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22213.2 Annotation des erreurs de lecture. . . . . . . . . . . . . . . . . . . . . . . . . . . 22213.3 Sensibilité des erreurs de lecture à la somnolence . . . . . . . . . . . . . . . . . . 22313.4 Étude des sources d’influence de production d’erreurs . . . . . . . . . . . . . . . 22313.5 Estimation de la somnolence du locuteur . . . . . . . . . . . . . . . . . . . . . . . 22713.6 Analyse des marqueurs sélectionnés . . . . . . . . . . . . . . . . . . . . . . . . . . 22713.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22813.8 Conclusion et perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228014 自动语音转录系统错误229014.1 目标和先前工作230 14.2 系统和标记的描述230 14.3 第一次统计分析233 14.4白天过度嗜睡检测235 14.5 病理性白天嗜睡倾向检测239 14.6 结论和展望242015 阅读停顿245015.1 背景和动机246015.2 自动提取阅读停顿的持续时间和位置246015.3 文本注释252015.4 读者个人资料分析259 15.5 结论2670第一部分的结论2690第一部分的参考文献2710V 自动分类嗜睡277016 制作分类器281016.1 背景和动机2820x Vincent MARTIN0目录016.2 MLOps和分类任务282 16.3 交叉验证，超参数和参数283 16.4 嗜睡分类系统设计287 16.5结果-步骤1：模型选择292 16.6 结果-步骤2：最佳块的超参数选择293 16.7结果-步骤3：选择的声音标记的解释293 16.8 限制和展望297 16.9 结论2980从症状到综合征299017.1 背景和目标300 17.2 症状与综合征301017.3 分类系统302 17.4 症候群检测303 17.5 讨论305 17.6 结论和展望307018 从综合征到症状网络309018.1 背景和动机310 18.2 声音中抑郁症检测的例子311 18.3 症状注释312 18.4 症状网络314018.5 结论3190第一部分的结论3210第二部分的参考文献3230总结3310在文本挖掘中最常见的100个词3410B包括在我们的综述中的期刊文章和相应的嗜睡测量3440C Karolinska嗜睡量表3560D在TME和TILE数据库中使用的文本35801在TME数据库中使用的文本。35802在TILE数据库中使用的文本。3590E TILE-93语料库的详细描述3630F ASIMPLS算法 3670缩写列表3710新的语音生物标志物用于自动检测嗜睡 xi0目录0xii Vincent MARTIN10总体介绍1. https://www.statista.com/statistics/330695/number-of-smartphone-users-worldwide/2Vincent MARTIN0智能手机和语音交互0尽管电力在1873年进入美国后花费了46年才被25%的人口接受，而互联网在1991年启用后仅用了7年时间才被四分之一的美国人使用，但智能手机（2007年）和语音助手（2016年）在当前美国人口中的普及率不到两年的时间就达到了四分之一（Topol，2019，第139页）。预计到2022年，智能手机用户数量将达到62亿，占全球人口的80%1。可以通过语音与智能手机进行交互，这是一种在我们日常生活中越来越常见的语音技术设备。例如，据估计，2018年有71%的“千禧一代”每天使用基于语音的技术（Sorensen，2019）。事实上，与在键盘上输入相同的信息相比，说话更快，内容错误更少，无论是在音节语言（如法语）还是表意文字（中文）中（Ruan等，2018）。此外，这种通过语音编码信息的速度增加，无论是在生产任务还是转录任务中观察到的，都伴随着身体疲劳的减少（通过NASA-TLX任务负荷指数测量）（Foley等，2020）。0声音作为数字健康的支持0随着普通大众越来越多地使用语音与技术进行交互，语音生物标志物用于诊断或监测疾病或症状是数字健康中最有前景的应用之一（Fagherazzi，2021；The IQVIA Institute for Human DataScience，2021）。与视频或脑电图等传统测量方法不同，语音信号的记录成本低廉（在财务和人力资源方面），不需要大量计算资源（可以实时处理），并且对噪声环境具有良好的鲁棒性。这些优势使其成为在研究实验室之外实施的理想选择，尽可能接近患者的生态条件，例如在智能手机虚拟助手应用程序中。0智能手机和虚拟医疗助手0普通大众广泛使用智能手机导致了许多虚拟医疗助手的开发，可以用于追踪各种疾病，如抑郁症（Philip等，2017），创伤后应激障碍（Lucas等，2017），睡眠呼吸暂停（Dupuy等，2021），乳腺癌（Beveridge和Fox，2006），糖尿病（Griol等，2013）以及高血压（Giorgino等，2005）。这些不同设备的综述由Laranjo等人提供（2018）。这些应用程序不仅可以将患者的监测地点从医院和诊所转移到家庭，提供定期的监测而不是专科服务中提供的偶尔的约会，还可以在患者的日常生活条件下收集症状，而不受医院环境引起的偏见的影响。此外，对于精神疾病或成瘾（Auriacombe等，2021），这些应用程序使患者能够在没有评判的风险下进行自我评估。0总体介绍0临床医生的角色有助于患者的赋权过程（Guel�等人，2021年，第797页）。此外，它们还可以根据患者提供的信息提供个性化建议，并在咨询期间创建患者的数字档案，医生在咨询时可能会使用。例如，免费应用程序KANOPÉE提供了这样的功能，可以每天跟踪失眠、疲劳、焦虑和成瘾（酒精、香烟、大麻）（Dupuy等人，2021年；Philip等人，2020年）。在对症状严重程度进行初步估计后，该应用程序会要求填写睡眠日程表（与睡眠有关的问题）或消费日程表（成瘾），并提供有关如何应对这些问
我的内容管理
展开
