机器学习实现教学序列的自适应个性化AR-官方情报

使用机器学习自本杰明·克莱门特引用此版本：本杰明·克莱门特。使用机器学习实现教学序列的自适应个性化AR-官方情报[cs.AI]波尔多大学，2018年。英语。NNT：2018BORD0373。电话：01968241v2HAL ID：电话：01968241https://hal.inria.fr/tel-01968241v2提交日期：2019年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire为获得学位而提交的论文波尔多大学博士（博士）数学与计算机科学博士专业：计算机科学[美]本杰明·克莱门特著自适应个性化使用机器学习的教学序列导演：皮埃尔-伊夫·奥德耶答辩日期：2018年12月12日评审团成员：Vanda Luengo，评审团主席Stéphane Magnenat，报告员Emma Brunskill，审查员HélèneSauzeon，审查员Fabien Lotte，审查员为获得波尔多大学数学与信息学博士学位而提交的论文计算机科学专业[美]本杰明·D. N. 克莱门特自适应个性化使用机器学习的教学序列在研究总监Pierre-Yves Oudeyer的指导花卉团队-万达·卢恩戈MoCAH团队教授，LIP 6巴黎审查员斯蒂芬·马格内纳特苏黎世联邦理工学院游戏技术中心副科学总监审查员艾玛·布伦斯基尔斯坦福大学人工智能教授检查海伦·索泽翁波尔多大学教授; Inria花卉团队检查法比安·洛特研究科学家，Potioc团队，Inria检查2018年12月12日辩护谢谢你这篇论文，以及我在Flowers团队工作的这些年首先，我要感谢Pierre-Yves Oudeyer这些年来对我的善意、支持和信任，与他一起工作是一种真正的乐趣，与他交谈是一种丰富。我还要感谢曼努埃尔·洛佩斯（Manuel Lopes）在我论文的最初几年里对我的指导，他让我学到了很多关于我的工作和我自己的东西，没有他，我肯定不 会 有 今 天 的 经 历 。 J’aimerais également remercier Hélène Sauzéon pour son aide et leséchanges que nous avons eu, pour l’expérience qu’elle m’a apportée sur les questions depsychologie et la disponibilités qu’elle m’a很明显，我的同事们也发挥了非常重要的作用，他们与我一起度过了美好的时光，并使这些年的论文成为美好的回忆。首先，我要感谢与我共用一间办公室的人，迪迪埃·罗伊，感谢他的友谊，感谢他在我的论文过程中的支持，感谢我们的热烈讨论，尽管邻居们并不总是一致的，感谢他在论文工作中的合作;感谢巴蒂斯特·布施和蒂博·蒙泽尔，感谢他们在怀疑的时候在场并提供帮助，感谢他们从不对咖啡说不的倾向。 我还要感谢威廉·舒勒（William Schueller），感谢他的机智，感谢他一贯的幽默，感谢他在办公室里度过的写作之夜，感谢法比安·贝努罗（Fabien Benureau），感谢他无限的热情，感谢他对科学的毫不妥协的态度，感谢他一直给予我的支持，这对我作为一名研究人员的工作是一个真正的灵感。我还要感谢Josias Levi Alvares在最后一次实验中的帮助，感谢他让还要感谢Flowers团队和Inria的所有成员，我没有提到他们的名字，我和他们一起度过了非常美好的时光，无论是在办公室、攀岩、桌上足球还是喝啤酒我还要特别感谢那些同意在我们的工作中与我们合作并允许我与他们的学生一起工作的老师最后，我要感谢我的父母，我的母亲和父亲，感谢他们的爱，感谢而且，由于习惯上把最好的留到最后，我深深地感谢我的哥哥，没有他，我就不会是今天的我。我感谢你的爱，感谢我们一起成长的这些年，感谢你教给我的一切，感谢你的耐心和开放的思想，感谢你在审阅这份手稿时所付出的时间和所表现出的彻底性，我对你无限的感激之情。谢谢你，兄弟。确认文件这个博士学位，以及我在鲜花团队工作的这些年，是我个人和职业生涯中最丰富和最动荡的时期，如果没有这些年来包围我的人，我就不会成为今天的我。首先，我要感谢皮埃尔-伊夫·奥德耶多年来对我的仁慈、支持和信任，与他一起工作和交流是一种真正的乐趣。 我还要感谢曼努埃尔·洛佩斯在2009年的第一年里对我的监督。 我的博士学位，这让我学到了很多关于我的工作和我自己，没有他，我肯定不会有我今天的经验。我还要感谢Hélène Sauzéon，她总是能回答我的问题，感谢她给我的帮助和反馈，感谢我们的交流和她给我带来的心理问题的经验。很明显，我的同事们，我和他们度过了非常美好的时光，也发挥了非常重要的作用，并使博士的这些年成为许多非常美好的回忆。首先，我要感谢与我共用一个办公室的人：迪迪埃·罗伊，感谢他的友谊，感谢他在我整个博士学位期间的支持，感谢我们愉快的讨论，这些讨论并不总是受到邻近办公室的欢迎，感谢他在博士学位期间的合作;感谢Baptiste Busch和ThibaultMunzer，感谢他们在怀疑的时候给予的支持和帮助，感谢他们从不对咖啡说不。我还要感谢威廉·舒勒（William Schueller），感谢他机智的笔触、一贯的幽默和在办公室里写作的夜晚，感谢法比安·贝努罗（Fabien Benureau），感谢他无限的热情，他对我作为一名研究人员的工作是一种真正的鼓舞。他对科学毫不妥协的态度和他一直为我提供的支持。我也感谢Josias LeviAl-感谢他在最后一次实验中的帮助，感谢他允许我监督一个感兴趣、积极主动、积极参与的学生。也要感谢我没有提到的花艺队和Inria的所有成员，感谢我在我还要特别感谢那些同意在博士期间与我们一起工作并允许我与他们的学生一起工作的老师。最后，我感谢我的父母，我的母亲和父亲，感谢他们的爱，感谢他们一直给我的支持，感谢他们让我走到今天。而且，因为这是把最好的留到最后的习俗，我非常感谢我的老大哥，没有他，我就不会是今天的我。我感谢你的爱，感谢我们一起成长的岁月，感谢你教给我的一切，感谢你的耐心和开放的心态，感谢你对这份手稿的奉献和出色的评论，我永远感谢你。谢谢，兄弟。摘要计算机能教吗？为了回答这个问题，在致力于教育信息和通信技术（ICT）的社区中，对智能教师系统的研究正在迅速扩大。C’est随着平板电脑和智能手机的发展，数字技术正越来越多地出现在日常生活中。将这些技术用于教育目的似乎是很自然的这带来了许多问题，例如如何使界面可供所有人访问，如何使教学内容具有激励性，甚至如何个性化活动以使内容适应每个人在这篇论文中，我们开发了一个名为HMAITS的框架，用于根据学习者的表现和偏好调整教学活动的顺序，以最大限度地提高他们的学习速度和动机。这些方法使用内在动机的计算模型来识别提供最大学习进步的活动，并使用多臂强盗算法来管理活动空间内的探索/开发权衡。因此，为了使学习者保持在心流状态或在他的近端发展区，具有最佳兴趣的活动是优选的。 此外，我们的一些方法允许让学习者对应用程序的上下文特征或教育内容进行选择，这是自我决定和动机的载体。为了评估我们的算法的有效性和相关性，我们进行了几种类型的实验。我们的方法首先在模拟中进行了测试，以评估它们在当前学习应用中使用之前的功能。为了做到这一点，我们开发了不同的学习者模型，这样我们就可以用不同的方法来测试我们的方法，虚拟学习者模型永远不会反映真实学习者的行为。模拟结果表明，HMAITS框架提供了然后，我们开发了自己的教学场景和严肃游戏，以便在真实的学生身上测试我们的算法。因此，我们为6到8岁的孩子开发了一个以数字分解为主题的游戏，通过货币的货币化。然后，我们与校长和波尔多学院的不同学校合作。在整个实验过程中现实生活中的研究结果表明，与专家序列相比，HMABITS框架使学生能够接触到更多样化和更具挑战性的活动，有更好的学习体验，并更有动力。研究结果甚至表明，当学生有机会做出选择时，这些影响会更大关键词：智能导师系统，适应性教学，心流理论，内在动机，多臂强盗算法，学习者模型摘要计算机能教人吗？为了回答这个问题，智能辅导系统是教育界信息和通信技术中一个快速扩展的研究领域。这个主题汇集了来自不同领域的不同问题和研究人员，如心理学，教育学，神经科学，特别是机器学习。随着平板电脑和智能手机的发展，数字技术越来越成为日常生活的一部分。考虑将这些技术用于教育目的似乎很自然。这提出了几个问题，如如何使用户界面可供每个人使用，如何使教育内容具有激励性，以及如何为个人学习者定制。在这个博士学位中，我们开发了方法，在恰当命名的HMABITS框架中分组，根据学习者的表现和偏好调整教育活动序列。最大限度地提高学习速度和积极性。 这些方法使用内在动机和好奇心驱动学习的计算模型来识别提供最高学习进度的活动，并使用多武器强盗算法来管理活动空间内的探索/利用权衡。最佳兴趣的活动是为了使学习者保持在心流状态或在他或她的近端发展区。更重要的是，我们的一些方法允许学生对功能或教育内容做出选择，这是自我决定和动机的载体。为了评估我们的算法的有效性和相关性，我们进行了几种类型的实验。在将这些方法应用于实际教学条件之前，我们首先用数值模拟对它们进行了评估。为了做到这一点，我们开发了多个学习者模型，因为一个单一的模型永远无法准确地复制一个真正的学习者的行为。模拟结果显示，HMAITS框架的学习结果与最优解或专家序列相当，在某些情况下甚至更好。然后，我们开发了自己的教育场景和严肃的游戏，在教室里与真实的学生测试我们的我们为6到8岁的孩子开发了一个关于数字分解的游戏，通过操纵金钱。然后我们与波尔多学区的教育机构和几所学校合作。总体而言，约有1000名学生使用平板电脑应用程序参加了试验课程。现实世界的研究结果表明，HMAITS框架使学生能够从事更多样化和更具挑战性的活动，实现更好的学习，并比专家序列更有动力。研究结果表明，当学生有机会做出选择时，这种影响甚至更大。关键词：智能辅导系统，适应性教学，心流理论，内在动机，多臂强盗，学习者模型，严肃游戏。内容。法文摘要11从学习理论到教育数字系统1.1内在动机，学习的驱动力1.2教育数字技术121.3儿童学习项目152教育活动序列管理器192.1活动空间202.2管理教学序列的多武器土匪和内在动机理论2.3RiARiT：正确时间2.3.1知识成分与活动空间的2.3.2评估活动对学生模型31的影响2.4ZPDES：近端发展和经验成功2.4.1使用经验性成功奖励342.4.2活动空间探索352.5ExpSeq：专家活动372.6讨论393ZPDES和POMDP之间413.1算法考虑423.2模型433.2.1学生43型3.2.2人口模型443.3实验453.3.1单个模型结果453.3.2多模型结果463.4第四十九章讨论4教学场景514.1儿童呼吸计划514.2Kidlearn场景525儿童学习对学习575.1算法考虑因素575.2模拟595.2.1认知学生模型595.2.2结果595.3用户研究625.3.1已完成的最高级别645.3.2个性化学习序列655.3.3测试前和测试后5.3.468号教室的观察5.4讨论和限制696儿童学习对学习动机的影响736.1算法和实验考虑746.1.1ZPDRD：ZPD和随机抽取756.1.2ZCO：具有对象6.1.3ZCA：具有活动756.2实验设置766.2.1测量工具包766.2.2会议的组织796.3实验人口806.3.1初始人口状态816.3.2人口选择826.4结果836.4.1游戏活动836.4.2动机指标（详细统计见B. （3）866.4.3测试前/测试后比较（详细信 息 见B. （3）876.4.4自我确定（或非自我确定）总体TM评分（详情见B. （3）886.5结果解释和讨论7学习没有尽头93附录A：研究2配置（第（5）109A.1RiARiT配置109A.2ExpSeq配置112附录B：研究3指标和配置（第（6）113B.1活动限制113B.2调查问卷114个人资料调查114学校概况问卷（SP）115内在动机问卷（IM）116动机类型问卷（TM）117GI问卷118B.3详细统计118学习成绩分析119IM问卷（动机评分）119TM问卷（动机评分）120附录C：Kidlearn接口121图列表1.1双面71.2SpaceX猎鹰重型火箭7号1.3流动理论101.4适应性学习技术基础132.1活动空间222.2赌场老虎机232.3ITS25的HMAB摘要示例2.4近端流区272.5ZPDES勘探/开采说明353.1扩展KT学生型号433.2模型总体的知识图443.3技能等级演变463.4异质性技能水平发展1473.5异质技能水平发展2473.6异质技能水平发展3484. Kidbreath接口514. 3 平板电脑上的儿童学习524. 2 HMABIT儿童呼吸534.4图形界面544.5HMAITS儿童学习555.1模拟中的学生学习605.2技能发展等级615.3技能水平分布625. 5 62号教室实验5. 4 学生犯的学生错误635.6最高水位达到645.7总人口的活动665.8测试前和测试后结果US2675.9测试前和测试后的685.10 调查问卷结果686.1研究的实验条件3746.2对象选择界面756.3活动选择界面756.4幸福感量表786.5有趣的工具包786.6会话驱动过程806.7测试前826.8随时间推移的活动836.984年前后的活动6.10 成功完成活动评分，成功率为866.11 IM问卷调查结果866.12 TM问卷调查结果876.13 测试前和测试后的876.14 （非和）自我确定学生的问卷887. Thymio机器人96C.1 对象选择接口Full121C.2 图形界面全122表列表2.1 一般R表303. 1 Anovap值经验值1485. 1 用户研究的显著性检验2656.1会议规划796.2曲线81的xy2检验6.3预检验方差分析816.4测试前评级分布826.5评分因子856.6第86次会议之间的动机差异A.1 研究2，RiARiT失活阈值109A.2 研究2R表110A.3 研究2，RiARiT限制111A.4 研究2，ExpSeq活性112B.1119前后方差分析B.2方差分析IM3119B.3方差分析TM评分所有学生120分B.4方差分析TM评分SD120B.5方差分析TM评分NSD120算法列表1HMAB值随机样品过程262HMAB活性生成程序263HMAITS算法274RiARiT值采样过程305RiARiT活性生成程序306RiARiT奖励计算流程327RiARiT算法338ZPDES奖励计算流程349ZPDES算法3710ExpSeq算法38我不知道我在这个世界上看起来像什么，但对我自己来说，我似乎只像一个男孩。在海边玩耍，现在娱乐自己，然后找到一个比平常更光滑的卵石或更漂亮的贝壳，而真理的大海却在我面前未被发现艾萨克·牛顿出版物列表日记帐1. 亚历山德拉·德尔马斯（Alexandra Delmas）、本杰明·克莱门特（Benjamin Clément）、皮埃尔-伊夫·奥德耶（Pierre-Yves Oudeyer）和埃莱娜·索泽翁（Hélène Sauzeon）（2018年）。通过严肃游戏促进哮喘儿童的健康教育：试点研究用于评估学习效率和自动化学习个性化。教育的前沿。做I：10.3389/feduc.2018.000992. 本杰明·克莱门特（Benjamin Clément）、迪迪埃·罗伊（Didier Roy）、皮埃尔-伊夫·奥德耶（Pierre-Yves Oudeyer）和曼努埃尔·洛佩斯（Manuel Lopes）（2015）。"智能辅导系统的多武装强盗" 教育数据挖掘杂志（JEDM）7. 2，第20网址：https://hal.inria.fr/hal-00913669会议文件1. 本杰明·克莱门特（Benjamin Clément）、皮埃尔-伊夫·奥德耶（Pierre-Yves Oudeyer）和曼努埃尔·洛佩斯（Manuel Lopes）（2016）。"异质学生群体的自动化教学策略比较"。EDM第16届教育数据挖掘国际会议。第九届教育数据挖掘国际会议论文集。美国罗利。 网址：https://hal.inria。EN/HAL-013603382. 本杰明·克莱门特（Benjamin Clément）、迪迪埃·罗伊（Didier Roy）、皮埃尔-伊夫·奥德耶（Pierre-Yves Oudeyer）和曼努埃尔·洛佩斯（Manuel Lopes）（2014b）。多武装强盗在线优化教学序列。第七届教育数据挖掘国际会议。英国伦敦。 网址：https://hal.inria。EN/HAL-010164283. 本杰明·克莱门特（Benjamin Clément）、迪迪埃·罗伊（Didier Roy）、皮埃尔-伊夫·奥德耶（Pierre-Yves Oudeyer）和曼努埃尔·洛佩斯（Manuel Lopes）（2014年）。 IEEE ICDL-Epirob -第四届IEEE发展与学习及表观遗传机器人联合国际会议。意大利热那亚。网址：https://hal.inria.fr/hal-010611954. 本杰明·克莱门特（Benjamin Clément）、迪迪埃·罗伊（Didier Roy）、曼努埃尔·洛佩斯（Manuel Lopes）和皮埃尔-伊夫·奥德耶（Pierre-Yves Oudeyer）（2014）。"教学序列的在 线 优 化 和 个 性 化 " 。 DI ： 数 字 智 能 - 第 一 届 数 字 文 化 国 际 会 议 法 国 南 特 。 网 址 ：https://hal.inria.fr/hal-01061211海报1. 本杰明·克莱门特（Benjamin Clément）、迪迪埃·罗伊（Didier Roy）、皮埃尔-伊夫·奥德耶（Pierre-Yves Oudeyer）和曼努埃尔·洛佩斯（Manuel Lopes）（2014c）。智能教程系统中学习路径的自动优化和个性化TICE.海报。网址：https://hal.inria.fr/hal-01090900教生活有用的历史、地理、社会科学、自然科学的基础知识它不关注定量知识， 也不赞成专门的职业培训，知识的知识。埃德加·莫林法文摘要他可能是个混蛋，他可能是个混蛋。 我不会下雪的 （STI）A见 近年来，随着MOOC、严肃游戏的出现，以及通过平板电脑和智能手机在学校和家庭中使用数字系统，它的增长得到了加强。教育固有的问题之一如何为每个学习者提供量身定制的个性化教学，以实现最佳和最具激励性的学习体验这个问题在数字系统中在早期的研究中，Thomas W Malone（1980）使用Berlyne（1960）和White（1959）提出的内在动机理论来评估电子游戏的哪些特性可能使它们对玩家具有内在动机，并研究如何利用这些特性更有效地向学生提炼教育内容。特别是，他已经表明，当电子游戏包括明确的目标和越来越多的参与者时，它们本质上复合体1.1我们可以将这种现象与心流理论（M.契克森米哈里和我。Csikszentmihalyi，1975年）DANSLALIG出生于 CE S工作 X，学习学生的教育是教育系统的核心（Dunlosky等人，2013年），学习和教学技术的进步事实上，由于学习者通常以线性方式学习具有相似结构的课程，因此已经提出了智能辅导系统（ITS）。它们提供了适合学习者独特需求的环境和反馈，1995年; Koedinger、Anderson等人，1997年; Nkambou等人，2010年）。当一项活动具有最佳挑战性时，一个人会深深地沉浸在其中并投入其中。各种各样的学习已经在ITS中实现，例如：几何学2011年）、编程（Vaessen等人，2014年）、用于解决问题的视觉分类（Crowley和Medvedeva，2006年）、车辆动力学（Huertas和Juárez-Ramirez，2013年）或即使是受STI社区启发的方法，也能被设计成利用机器学习和认知科学来自动定制STI活动并保持学生的积极性吗此外，这些方法如何能够独立于这是我们在这篇博士论文中开发的工作的核心，这是Kidlearn项目的一部分。该项目旨在开发方法和软件，为每个学习者定制教育活动序列，以最大限度地除了有助于学习和激励之外，该方法还旨在减少设计ITS系统所需的时间，并提出可独立于实施系统的教育领域使用为了回答最后一个问题，已经开发了一种形式主义，用于将为特定ITS定义的一组教学活动描述为参数化的活动空间。然后可以使用适当的方法来探索和利用该活动空间以计算活动序列。人们可以想象学习者被训练来获得许多不同的技能。教师可以通过提供不同的活动来帮助学习者，例如多项选择题、用铅笔计算的抽象运算、必须通过操纵来计数物体的游戏、视频或其他。这种形式主义，在第2章中介绍。1，允许定义这些不同的可能性。这是这项工作的第一个贡献。因此，挑战在于找到最大化技能集平均技能水平的活动序列o如第1节所述。1、内在动机的培养是提供有效、愉快的学习体验的一个非常重要的方面。学习进度被确定为衡量活动质量的一个持续指标。第2章中提出的算法是基于ConTE nT s 3（Oudeyer、Gottlieb等人，2016年），在第 1. 1，但与这些作品有轻微的差异。选择活动的系统不再是学习代理，而是使用学习进度（Oudeyer，Gottlieb，等，2016年）成为一名教师。它为学生选择活动，而不给他们选择的机会。这是一个不同的观点，从考虑作为代理人/组织自我管理驱动力的内在动机。这就提出了两个问题：第一个问题是，强迫学习者做基于学习进度的活动是否真的能产生内在然而，为了更接近原始模型，第6章提出了一个实验，引入了算法版本，其中包括学生在上下文或教学组件中进行选择的可能性第二个问题是如何在ITS中评估人类学生的学习进度在第2章中，我们将探讨如何回答这些问题，并将学习进度与多臂强盗算法（MAB）相结合，将学习者带入他们的近端发展区（ZPD）2，并通过适应性活动使他们保持在几位作者研究了基于使用DPZ的ITS设计D.伍德和H.伍德，1996年）。本论文提出的方法的不同之处在于，ZPD是由一个ex-pert近似定义的，然后算法根据学习者的反应和进度来调整它。如果有几项活动是可能的，则可能需要探索所有活动，以这样的探索是耗时的，并且将提供低性能的学习序列。相反，算法是用图形结构初始化的，由教育专家执行，作为探索和利用活动的基础这些算法允许基于减少的领域知识的个性化学习体验，并且...已经开发了两种主要变体：RiARiT和ZPDES。RiARiT使用活动和KC之间的关系来推断确定学生在每个KC中的水平ZPDES更简单，因为它基于定义图表的活动之间的基本关系。然后，它使用学生的经验成功率这些算法被分组在HMAITS框架中（Chap. 2），这是本文的主要贡献。[2] ZPD 的 概 念 是 由 维 果 茨 基（Vygotsky，1930 - 1934/1978）提出的，它代表了学习者在帮助下可以做而没有帮助就不能做的一系列活动，并表明这一系列活动具有特殊的教学价值。