机器学习的自适应个性化教学序列研究

使用机器学习的本杰明·克莱门特引用此版本：本杰明·克莱门特使用机器学习的教学序列的自适应个性化人工智能[cs.AI]。波尔多大学，2018年。英语NNT：2018BORD0373。电话：01968241v2HAL Id：tel-01968241https://hal.inria.fr/tel-01968241v22019年2月7日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireTHERISSE PRESENTÉEPOUR OBTENIR LE GRADE DE波尔多大学博士ECOLE DOCTORALE DEMATHEMATIQUE ETINFORMATIQUE专业：信息本杰明·克莱门特自适应个性化使用机器学习的教学序列导演：Pierre-Yves OUDEYER支持日期：2018年12月12日陪审团成员：Vanda Luengo，陪审团主席Stéphane Magnenat，特别报告员Emma Brunskill，审查员HélèneSauzeon，审查员Fabien Lotte，审查员为获得波尔多大学数学与信息学博士头衔而提交的论文信息专业本杰明D。N. 克莱芒自适应个性化使用机器学习的教学序列在研究总监Pierre-Yves Oudeyer鲜花团队-万达·卢恩戈教授，MOCAH团队，LIP6 Paris审稿斯特凡·马格内纳苏黎世联邦理工学院游戏技术中心副科学总监审稿艾玛Brunskill斯坦福大学教授考官埃莱娜·索泽翁波尔多大学教授;因里亚花卉团队考官法比安·洛特研究科学家，Potioc团队，Inria考官2018年12月12日辩护雷默西芒这一点，以及每年我都要在《鲜花》杂志上工作，因为我的生活在我非常感谢皮埃尔-伊夫·乌代耶，因为他在这几年里给我带来了快乐、支持和信心，让我感到高兴的是，他在这几年里为我们的国家工作，并丰富了我们的生活。我感谢曼努埃尔·洛佩斯在我第一年的时候给我的帮助，他允许我在我自己的工作中做出正常的选择，而且我没有任何经验可以确定。J’aimerais également remercier Hélène Sauzéon pour son aide et les échangesque nous avons eu, pour l’expérience qu’elle m’a apportée sur les questions de psychologie etla disponibilités qu’elle m’a他认为，我的这些作品，在我度过了美好的时光之后，都扮演着一个非常重要的角色，并且在这些年里，都是非常好的纪念品。我非常感谢迪迪埃·罗伊和我一起参加了一个办公室，为了他的友谊，为了我的长期支持，我们的讨论一直没有进行，也没有在工作期间进行合作;巴蒂斯特·布施和蒂博·芒泽尔在怀疑的时候进行了交流，也没有在咖啡馆里进行过交流。 我也很感激威廉·舒勒，他的幽默感是永恒的，他的研究成果是在我的研究工作中获得了一个真正的灵感，他对科学的理解是无限制的，他对我的支持是永远的。我非常感谢Josias Levi Alvares在最后一次实验中帮助他，并允许我去教一个有兴趣、有动机感谢弗劳尔斯和德因里亚的所有成员，因为我没有去那里，也没有去过那些美好的时刻，因为这些都是在办公室里，在电梯里，在婴儿脚上，或者在一个啤酒桶里我特别感谢那些在我们工作期间接受我们的工作，而我也不允许他们接受我们的工作的学生为了爱情，我感谢我的父母，我的母亲和我的父亲，因为他们一直都在我身边，也不允许我今天来这里而且，他是为了最后的胜利而精心准备的，我非常感激我的兄弟，因为我今天没有见到他。我对你的爱表示感谢，对你所有的爱，对你所有的感激，对你的耐心和对你的理解，对你在复述这段话时的理解和细节，对我无限的感激。谢谢弗兰金致谢这个博士学位，以及我在Flowers团队工作的那些年，是我生命中最丰富和最动荡的时期，无论是个人还是专业，如果没有那些年里围绕着我的人，我就不会成为今天首先，我要感谢Pierre-Yves Oudeyer多年来对我的仁慈，支持和信任，与他合作和交流是一种真正的乐趣。 我还要感谢Manuel Lopes在第一年的监督， 我的博士学位，这让我学到了很多关于我的工作和我自己，没有他，我肯定不会有我今天的经验。我还要感谢HélèneSauzéon，她总是能回答我的问题，她给我的帮助和反馈，我们的交流以及她在心理问题上带给我的经验。很明显，我的同事们，与我一起度过了非常美好的时光，也发挥了非常重要的作用，并使这些年的博士，很多非常美好的回忆。首先，我要感谢那些与我共用一个办公室的人，DidierRoy，感谢他的友谊，感谢他在我博士期间的支持，感谢我们在办公室附近并不总是受欢迎的热烈讨论，感谢他在博士工作期间的合作;感谢Baptiste Busch和Thibault Munzer在有疑问时的支持和帮助，以及他们从不拒绝咖啡的倾向。我还要感谢威廉·舒勒的机智特质，他一贯的幽默和在办公室度过的写作之夜，以及法比安·贝努罗，他以无限的热情为我的研究工作提供了真正的灵感，他对科学毫不妥协的态度和他一直给我的支持。我也感谢Josias Levi Al-感谢他在最后一次实验中的帮助，让我能够指导一个感兴趣、积极主动、投入的学生。还要感谢Flowers团队和Inria的所有成员，我我还要特别感谢同意在博士期间与我们合作的老师，他们允许我与他们的学生一起工作。最后，我感谢我的父母，我的母亲和我的父亲，感谢他们的爱，感谢他们一直给我的支持，这让我能够走到今天。而且，因为习惯上把最好的东西留到最后，我非常感谢我的大哥，没有他，我就不会有今天的我。我感谢你的爱，感谢我们一起成长的这些年，感谢你教给我的所有东西，感谢你的耐心和开放的思想，感谢你为这份手稿所付出的时间和细致的审阅，我永远感激你。谢了兄弟简历那些指挥官能教他们吗为了回答这个问题，对教育智能系统的研究正在通过共同体对教育信息技术和通信技术的研究而迅速扩大。C’estLes technologies numériques deviennent de plus en plus presentes dans la viewstechnologies avec le décripement des tablettes et des smartphones.在教育中使用这些技术是很自然的这里有许多问题，包括对所有可访问接口的评论，对教学内容动机的评论，以及对适应查昆内容的活动的个性化评论在这一过程中，我们采用了方法，在一个名为HMABITS的框架中进行了重组，以适应性能和性能测试功能的教学活动序列，从而最大限度地提高了教学效率和学习动机。Ces methodesutilisent des modèles computation- nels de motivation intrinsèque pour identifier les activitésoffrant les plus grès progrès d'progrissage，et utilisent des algorithmes de Bandits Multi-Braspour gérer le compromis exploration/exploitation à l'intérieur d'un espace d'activité.最佳状态下存在的活动是在近端扩散区或流动区内进行维护的特权。 此外，我们的方法是可行的àl'profiant de faire des choix sur des caractéristiques contextuelles ou le contenu péda- gogiquede l'application，ce qui est un vecteur d'autodermination et de motivation.在评估我们算法的有效性和相关性之后，我们提出了多种实验类型。Nos methodes ont d'abord été testées en simulation afin d'évaluer functionnement avant deles utiliser dans d'actuelles applications d'autissage.为了做到这一点，我们可以选择不同的方法，因为我们可以选择不同的方法，一个虚拟的方法永远不会被一个虚拟的方法所取代。Lesresultats des simulations montrent que le framework HMABITS permet我们将在真实情况下，在测试我们的算法时，我们的专业教学和专业严肃的游戏。我们将为6至8岁的儿童提供一个关于名词分解的理论，以进行货币的管理。我们与波尔多学院的校长和不同的学校一起工作。SurLes résultats des études en situation réelle montrent que le framework HMABITS permetaux élèves d'accéder à des activités plus diverses et plus difficiles，d'avoir un meilleure ap-prentissage et d'être plus motivés qu'avec une séquence expert.结果显示，这些影响不仅是次要的，而且也是选择的可能性。Mots-Clés：智能导师系统，适应性教育，流动理论，内在动机，多胸罩强盗训练，训练模式摘要计算机能教人吗？为了回答这个问题，智能辅导系统是教育界信息和通信技术中一个迅速扩大的研究领域。这个主题汇集了来自各个领域的不同问题和研究人员，如心理学，教学法，神经科学，特别是机器学习。随着平板电脑和智能手机的发展，数字技术越来越成为日常生活的一部分。考虑将这些技术用于教育目的似乎是很自然的。这就提出了几个问题，例如如何使用户界面对每个人都可访问，如何使教育内容具有激励性，以及如何为个人学习者定制。在这篇博士论文中，我们开发了一些方法，这些方法被恰当地命名为HMABITS框架，以适应基于学习者表现和偏好的教学活动序列最大化他们的学习速度和动力。 这些方法使用内在动机和好奇心驱动学习的计算模型来识别提供最高学习进度的活动，并使用多臂强盗算法来管理活动空间内的探索/开发权衡。因此，最佳兴趣活动的目标是使学习者保持在流动状态或他或她的近端发展区。此外，我们的一些方法允许学生对情境特征或教学内容做出选择，这是自我决定和动机的载体。为了评估我们的算法的有效性和相关性，我们进行了几种类型的实验。在将这些方法应用于实际教学条件之前，我们首先用数值模拟对它们进行了评估。为了做到这一点，我们开发了多个学习者模型，因为单个模型永远不会完全复制真实学习者的行为。仿真结果表明，HMABITS框架实现了可比的，在某些情况下更好的，学习结果比最优解或专家序列。然后，我们开发了自己的教学场景和严肃的游戏，在教室里用真实的学生测试我们的算法我们为6至8岁的儿童开发了一个以数字分解为主题的游戏，通过操纵金钱。然后，我们与波尔多学区的教育机构和几所学校合作。总的来说，大约有1000名学生使用平板电脑应用程序参加了试用课程。现实世界的研究结果表明，HMABITS框架允许学生做更多样化和困难的活动，以实现更好的学习和更积极的比专家序列。结果表明，当学生有选择的可能性时，这种影响更大。关键词：智能教学系统，适应性教学，流理论，内在动机，多臂强盗，学习者模型，严肃游戏。内容Résuméen Français11从学习理论到教育71.1内在动机，学习91.2教育数字技术121.3Kidlearn项目152教学活动序列管理器192.1活动空间202.2多臂强盗和内在动机理论管理教学序列232.3RiARiT：在正确的时间282.3.1知识成分与活动空间282.3.2估计活动对学生模型的312.4ZPDES：近端发展区和经验成功342.4.1使用经验成功342.4.2活动空间探索352.5ExpSeq：活动37的专家序列2.6讨论. 393ZPDES与POMDP41的比较3.142.政治考虑3.2模型433.2.1学生模型433.2.2人口模型443.3实验453.3.1单一模型结果453.3.2多模型结果463.4讨论494教学场景514.1Kidbreath项目514.2Kidlearn场景525Kidlearn对学习的5.110.政治上的考虑575.2模拟595.2.1认知学生模型595.2.2结果595.3用户研究625.3.1达到的最高水平645.3.2个性化学习序列655.3.3测试前后的差异675.3.468教室里的观察5.4讨论和限制6Kidlearn对学习动机的影响736.1化学和实验方面的考虑6.1.1ZPDRD：ZPD和随机抽奖756.1.2ZCO：ZPDES with Choice of Object756.1.3ZCA：ZPDES with Choice of Activity756.2实验设置766.2.1计量工具包766.2.2会议的安排. 796.3实验种群806.3.1初始人口状况816.3.2人口选择826.4结果836.4.1游戏活动836.4.2激励措施（详细统计见B。（3）866.4.3测试前/测试后比较（详见B. （三）八十七6.4.4自我确定（或不确定）的群体TM评分（详见B。（三）八十八6.5结果解释和讨论897学习没有终点93附录A：研究2配置（第（五）一百零九A.1RiARiT配置109A.2ExpSeq配置112附录B：研究3指标和配置（第二章）（六）一百一十三B.1活动限制113B.2juvenires114概况调查表114学校概况调查表（SP）115内在动机问卷（IM）116动机问卷类型（TM）117GI问卷118B.3详细数据118学习成绩分析119IM问卷（动机评分）119TM问卷（动机评分）120附录C：Kidlearn接口121图目录1.1双面71.2SpaceX猎鹰重型火箭71.3流动理论101.4适应学习技术基础132.1活动空间222.2老虎机游戏2.3ITS25的HMAB抽象示例2.4近端血流区272.5ZPDES勘探/开发解释353.1KT Student Model433.2知识图谱对人口建模443.3技能等级进化463.4异构技能等级进化1473.5异构技能等级进化2473.6异构技能等级进化348四、1儿童呼吸接口51四、3 Kidlearn平板电脑52四、2 HMABITSfor Kidbreath534.4图形界面544.5HMABITS for kidlearn555.1学生模拟学习605.2技能进化Lv615.3技能水平分布五、5 62教室实验五、4 学生犯的错误635.6最高等级达到64级5.7总人口665.8测试前和测试后结果US2675.9测试前和测试后685.10 问卷结果686.1研究3的实验条件746.2对象选择界面756.3活动选择界面756.4幸福量表786.5趣味工具包786.6会话进行过程806.7测试前826.8一段时间内的活动836.9活动circos846.10 评分活动达到成功率866.11 IM问卷结果866.12 TM问卷结果876.13 测试前和测试后876.14 TM问卷与（非）自我决定的学生887 .第一次会议。1Thymio机器人 96C.1 对象选择界面Full121C.2 图形界面Full122表的列表2.1 表303 .第三章。1 方差分析p值exp 148五、1 用户研究的显著性检验2656.1会议规划796.2配置文件81的χ 2检验6.3预测试81的ANOVA6.4测试前评分分布826.5评分因子856.6第86节之间的动机差异A.1 研究2，RiARiT失活阈值109A.2 研究2，R表110A.3 研究2，RiARiT限制111A.4 研究2，活性112的ExpSeq序列B.1ANOVA术前/术后119B.2方差分析IM3119B.3方差分析TM评分所有学生120B.4ANOVA TM评分SD120B.5ANOVA TM评分NSD120算法列表1HMAB值随机抽样过程262HMAB活性生成程序263HMABITS算法274RiARiT值示例过程305RiARiT活性生成程序306RiARiT奖励计算过程327RiARiT算法338ZPDES奖励计算过程349ZPDES算法10ExpSeq算法38我不知道我在世人面前会是什么样子，但在我自己看来，我只是一个孩子我在海边玩耍，不时地寻找一块比平常更光滑的鹅卵石或一个更漂亮的贝壳，而真理的大海却完全没有被发现。艾萨克·牛顿出版物清单期刊1. Alexandra Delmas ， Benjamin Clément ， Pierre-Yves Oudeyer 和 Hélène Sauzeon（2018）。“通过严肃游戏促进哮喘儿童的健康教育：试点研究用于评估学习效率和自动化学习个性化”。上一篇：教育前沿电话：+86-021-8888888传真：+86-021 - 888888882. Benjamin Clément，Didier Roy，Pierre-Yves Oudeyer，and Manuel Lopes（2015）.“智能教 学 系 统 的 多 臂 强 盗 ” 。 在 ： 教 育 数 据 挖 掘 杂 志 （ JEDM ） 7 。 2 ， 页 。 20 网 址 ：https://hal.inria.fr/hal-00913669会议论文1. Benjamin Clément，Pierre-Yves Oudeyer和Manuel Lopes（2016）。“A Comparison ofAutomatic Teaching Strategies for Heterogeneous Student Populations”.在：EDM16-9教育数 据 挖 掘 国 际 会 议 . 第 九 届 教 育 数 据 挖 掘 国 际 会 议 论 文 集 。 United States.网 址 ：https://hal.inria。FR/HAL-013603382. Benjamin Clément，Didier Roy，Pierre-Yves Oudeyer，and Manuel Lopes（2014b）.“多武 装 匪 徒 教 学 序 列 在 线 优 化 ” 。 第 七 届 教 育 数 据 挖 掘 国 际 会 议 . 英 国 伦 敦 。 网 址 ：https://hal.inria。FR/hal-010164283. Benjamin Clément，Didier Roy，Pierre-Yves Oudeyer，and Manuel Lopes（2014a）.IEEE ICDL-Epirob -第四届IEEE发展与学习和表观遗传机器人国际会议。意大利热那亚。网址：https://hal.inria.fr/hal-010611954. Benjamin Clément，Didier Roy，Manuel Lopes，and Pierre-Yves Oudeyer（2014）.“在线优化和个性化的教学序列”。在：DI：数字智能-第一届数字文化国际会议.法国南特。网址：https://hal.inria.fr/hal-01061211海报1. Benjamin Clément ，Didier Roy，Pierre-Yves Oudeyer，and Manuel Lopes（2014c）.Optimi-sationetPersonnalisationautomatiquesdesparcoursTICE 。 海 报 网 址 ：https://hal.inria.fr/hal-01090900生活教育不是一种语言教育，不是一种书写教育，不是一种计算教育历史学、地理学、社会科学和自然科学的基础知识这并不集中在定量的知识上， 没有特权的专业培训，这是介绍一种基本的文化，我的知识。埃德加·莫兰法语简历我做的是让你知道你的意图我告诉你（STI）一vuSonessor se renforcer ces dernières années ， avecl'apparition desMOOC，des serious games，et l'utilisation de systèmes digitaux dans lesécoles et à la maison via le support des tablettes et smartphones. Une desproblématiques inhérentes à如何才能使一种适应性和个性化的教育成为可能这一问题实际上是一个自动化的问题，也是一个自动化的问题，它的意义在于，可以考虑那些能够自动适应发展过程、托马斯·W·马龙（Thomas W Malone，1980）利用伯林（Berlyne，1960）和怀特（White，1959）提出的内在动机理论，评估视频游戏的特性，以提高学生学习的内在动机，并对这种类型的特点进行了评论。特别是，他在蒙特利尔说，视频游戏本身就是一个动机，它包括了目标的明确性和附加性复合物1.1On peut connecté ce phenomène à la流动理论（M.契克森米哈伊和我Csikszentmihalyi，1975）当我在工作时，des élèves est au centre des systèmes éducatifs（Dunlosky等人，2013年）以及教育和教学技术的进步，提高了教育和教学的可及性和有效性实际上，一般课程的学生都认为课程结构与许多课程类似，因此建议建立智力训练系统。Ils fournissent des acquisitions et unerétroaction adaptés aux besoins uniques de1995; Koedinger ，Anderson等人，1997; Nkambou等人，2010年）。tule qu'one personne est profondémentimmergé et benefit in une activitélorsque celle-ci présente un challengeoptimale.UnEGRAN ndEVARIÉTÉ dESU jET s2011 ） 、 编 程 （ Vaessen 等 人 ，2014），la classification visuelle pour la résolution de problèmes（Crowley and Medvedeva，2006），la dynamique des véhicules（Huertas and Juárez-Ramirez，2013）ou在将STI活动自动化后，利用认知机器和认知科学对STI社区进行激励的方法和动机是什么此外，这些方法可以独立地用于因为这是Kidlearn项目的一部分，所以你在这个博士学位上学习的时候会有困难。该项目旨在开发方法学和逻辑学，这些方法学和逻辑学使教育活动的系列个性化，以最大限度地提高学生的学习能力和积极性此外，为了使STI系统的概念能够在教育领域独立应用，还应考虑到STI系统概念所需的时间，并提出一般方法，以使STI系统能够在教育领域独立应用为了回答最后一个问题，一种形式主义被用来描述一种特殊的科学、技术 和教育活动， 就像一种活动空 间一样。Des methodesappropriées peuvent alors explorer et ex-ploiter cet espace d'activitépour calculer les séquences d'activités.可以想象一下，为了获得不同能 力 的 名 字 ， 学 生 们 会 先 来 。 Un enseignant peut aider lescolleagants en proposant différentes activités ， telles que desquestions à choix multiples，des opérations abstraites à calculer aucrayon ， des jeux octles objets doivent être comptés par manip-ulation，des vidéos ou autres.形式主义出现在第二章。1，permetde definir ces différentes possibilités.这是我们工作的第一个贡献。Le défi consiste alors à trouver la séquenceL第一节也提到了。1，la promotion de la motiva- tion intrinsèqueest un aspect très important à prendre en compte pour offrir uneexérienced'apartissageefficaceetagréable.Lesprogrèsenprogrissage ont été identifiés comme une mesure per- tinente de laqualité des activités. 第二章中提出的算法是基于学习过程假设天安门第三季（Oudeyer，Gottlieb等人，2016）présentée dans Sec.1.一、1，但要注意与工作内容不同的 地 方 。Le système qui sélectionne l'activité n'est plus un agent d'anti-tissage mais utilize le progrès d'anti-tissage（Oudeyer，Gottlieb，et al.，2016）pour devenir un“enseignant”.他为学生选择了一些活动，但没有他的选择。C'est un point de vue differérent de celui whiconsiste à considerer内在的动机就像一种代理人/组织的自我管理的动力。Cela soulève deux questions：la première est de savoir sile fait de forcer un fait à faire des activités basées sur les progrès de此外，为了重新研究原始模型，第6章介绍了一个实验，该实验介绍了算法版本，这些版本包含了学生在作曲或教学中做出选择的可能性第二个问题是了解如何评估科技创新中人类进步的进展本文主要探讨了第二章中的一些问题，并结合MAB算法（Multi-Armed Bandit algorithms）的改进方法，对近端去极化区（ZPD）2中的缺陷进行了修正，并对适应性活动的Flow进行了维护Plusieurs auxilious sont penchés sur la concept des STI basée surD. Wood 和 H. Wood ， 1996 ） 。 L'approche proposée dans cettethèse diffère en ce que la ZPD est defini approximativement par unexpert，puis les algorithmes l'adjustent en fonetary des réponses etdes progrès de l'progrant.如果多项活动是可能的，那么就必须让探索者对知识的构成Une telle exploration prend beaucoup de temps etfournirait des séquences d'acoustissage peu performance. 作 为 替代，算法首先由一个图形结构进行初始化，由一个教育专家进行现实化，这是基于活动的Ces algorithmes permettent une exérience d'apartissage per-sonnalisée，s'appuyant sur une knaissance réduite du domaine.两个主要变量：RiARiT和ZPDES。RiARiT利用活动和知识中心之间的关系来发展le niveau deZPDES非常简单，而且是以确定图形的活动之间的基本关系为基础的。Il utilize ensuite le succès empiriquede这些算法在HMABITS框架中重新组合（第二章）。2），qui est laprincipale contribution de cette thèse.[2] ZPD 的 概 念 由 Vygotsky （ 1930 -1934/1978）提出，并代表了一种可以借助援助进行活动的整体，而不可以不进行活动，因为这种整体活动具有特殊的教育价值。