视觉信息学7（2023）1研究文章在COVID-19危机期间使用面部表情来衡量学生放大图片作者：Waleed Maqableha，Faisal Y.Alzyoudb，Jamal ZraqoucaLuminus技术大学学院，SAE安曼研究所，约旦安曼b约旦安曼伊斯拉大学约旦安曼佩特拉大学ar t i cl e i nf o文章历史记录：2022年3月9日收到收到修订版2022年10月6日接受2022年10月9日2022年10月24日在线提供保留字：在线学习COVID-19面对面学习面部表情心脉a b st ra ct数字化学习在COVID-19危机中变得越来越重要，并在大多数国家普遍存在。智能设备和5G电信系统的普及正在推动数字学习系统的发展，作为传统学习系统的替代品。数字学习包括混合学习、在线学习和个性化学习，这主要取决于新技术和策略的使用，因此数字学习被广泛发展，以改善教育和应对新出现的灾害，如新冠肺炎。尽管数字化学习带来了巨大的好处，但由于缺乏数字化课程以及教师和学生之间的合作，仍然存在许多障碍因此，许多尝试已经通过以下策略来提高学习成果：协作，教师便利，个性化学习，通过专业发展节省成本和时间，以及建模。在这项研究中，面部表情和心率被用来衡量数字学习系统的有效性和学习者在学习环境中的参与程度结果表明，该方法优于已知的相关工作的学习效率。本研究的结果可用于开发数字化学习环境。版权所有©2022作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍教育被认为是国家发展和经济可持续性的最重要因素之一。然而，良好的教育有助于提高生产力，更高的增长率，良好的个人健康和其他方面.新技术的传播有助于并促进教育过程的发展，因为教育工作者寻求使用这些技术来满足学生的需求。新技术和第四次工业革命正在促进灵活学习的传播，包括远程教育和在固定空间内的面对面学习，因为这种技术促进了教学和学习（VanHeerden和Goose，2020）。远程学习是在远程位置学习的能力。各种术语已经被用来描述新的学习技术，例如在线学习、电子学习、技术学习、基于媒体的学习、协作在线学习、虚拟学习和基于网络的学习（Moore et al. ，2011年）。电子学习已成为全球经济中最重要的部门之一，因为它*通讯作者。电子邮件地址：W. saejordan.com（W.iu.edu.jo（F.Y.Alzyoud），Jamal.uop.edu.jo（J.Zraqou）。https://doi.org/10.1016/j.visinf.2022.10.001促进知识和成就的发展，降低教育成本和获得高质量的教育。因此，已经进行了各种研究，以改善电子学习，通过使用新的技术，体系结构和组织框架（柴等。，2014年）。电子学习最重要的特点是能够随时随地访问学习材料，特别是随着第五代电信（5G）的普及。电子学习不依赖于基于计算机的系统，并且可以在智能移动设备上使用，因此它可以通过对学生应用分组教学来帮助提高教育生产力（Benta et al. ，2015）。尽管电子学习提供了优势，但也存在一些限制其传播的局限性和缺点这些挑战之一另一个限制是网络和覆盖范围的中断，一些教师抱怨计算机疲劳和身体问题，以及缺乏对互联网技术的了解最近，电子学习是世界各国教育的支柱，特别是在COVID-19危机的蔓延中;因为它迫使世界上许多活动关闭，而面对面教学是大多数国家正在关闭的领域之一。全球减少COVID-19危机的传播教育2468- 502 X/©2022作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfW. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）12−学校、学院和大学等机构目前正在转换为电子学习系统，而在COVID 19危机出现之前，它们仅基于传统学习方法，因为电子学习系统面临与缺乏IT支持、在线平台网络攻击等安全问题以及缺乏在线教育策略相关的许多挑战下一节将对电子学习系统及其局限性进行文献综述。第4节介绍了数据集。第5节介绍了所提出的方法，并展示了基于面部表情分类的学习结果。结果分析见第6节。最后，在第7节中，对结论和未来的工作进行了说明。2. 文献综述世界上大多数国家都在响应世界卫生组织（WHO）关于危险病毒COVID-19的情况报告，该病毒于2019年11月在中国南部武汉首次发现。从学校教育到高等教育的各级教育部门被迫转向虚拟课堂和电子学习，尽管电子学习存在局限性，但虚拟课堂和电子学习取代了实体课堂，因为面对面和交互式学习系统可以向教师、培训师和学生提供有关教学质量、交付和体验的即时反馈（Mukhtar等人，2009年）。，2020年）。在面对面的学习中，教师可以通过观察学生的面部反应来了解他们的注意力，从而更有效地对学生做出反应。这使他们能够立即调整他们的教学方法，以满足学生的需求（耿，2011）。为了打击电子学习教育系统中的学生粗心和紧张，已经基于各种技术进行了许多研究;其中之一面部表情被认为是许多应用中最重要的组成部分之一，例如虚拟在线报告和视频游戏。不幸的是，计算机图形学中的面部动画仍然是一个挑战，因为数百块肌肉负责面部表情，这是很难模拟与基于计算机的技术。因此，单独的动作捕捉是不够的，除非辅以手动或自动编辑工具。（Cao et al. ，2005）。已经进行了各种研究以通过使用新技术来开发面部表情识别。其中一项研究使用从JAFFE数据库中的Face SDK提取的数据来开发人脸表情识别系统，在这项研究中，使用静态和随机移动图像来实现和测试数据（Wu，2016）。从面对面学习转向电子学习对教育产生了负面影响实践教育，如临床前医学教育，在COVID-19大流行期间面临许多挑战，特别是临床前和临床阶段的实践教育 各种新兴技术正在被用于通过使用人工智能，虚拟模拟和远程医疗技术来适应医学教育的电子学习，因为学生将遭受实际实验室，病理学标本和其他必要的实际需求的分离（Gaur et al. ，2020; Pather et al. ，2020年）。教育中的混合学习被认为是医学临床前教育的一个很好的解决方案，因为医学院的前三年涉及基础科学科目，并有助于塑造临床医生的能力（Buja，2019）。 在线学习面临着实际和技术支持方面的挑战，尤其是2020年COVID-19疫情突然来袭，迫使教师在家教学生（Hodges et al. ，2020年），在COVID-19大流行期间，教师使用各种技术，如Moodle，这有助于课堂笔记，视频，在线测验，床单，和其他。MS-Teams允许与学生同步交互，并可以与MS Office工具集成。Zoom也被用作同步视频会议的应用程序，因为Zoom支持带有屏幕共享和聊天等附加功能的实时教程。Panopto和MS- PowerPoint可以合并以提供视频讲座后，这些视频已被分割成适当的大小，使他们可以通过网络以可接受的服务质量进行交付（Welsen et al. ，2020年）。E-learning在信息的可获取性、时间和空间的灵活性等方面优于面授学习;但是它不能保证面对面学习的交互性，因此提出了混合信息系统来将计算机视觉与机器学习技术相结合，以增强电子学习系统的交互性（Ayvazet al. ，2017年），所以所提出的系统使用一些检测到的情绪状态的面部表情的学习者，然后这些是由教育工作者使用，以提高交互性，通过实施几个分类算法。KNN和SVM算法用于确定最佳精度。为了了解学生在面对面和电子学习虚拟环境中的参与度，专家将参与度分为三类：自动，半自动和手动。面部表情被用作自动参与的指标;因为面部表情是开发电子学习虚拟环境的有前途的因素（Dewan et al. ，2019）。深度学习模型还用于通过基于面部表情实现预训练数据来增强学生在电子学习中的参与度，然后使用模型的权重来初始化深度学习模型的基础，使用支持向量机的定向梯度的直方图（MohamadNezami et al. ，2020年）。不幸的是，在开发电子学习交互性时，缺乏用于训练系统的数据集，大多数测试数据都基于与学生理解相结合的面对情绪状态的身体行为有人指出，学生的面部表情是沟通模式的主要指标，使教师能够识别学生与虚拟教室中的讲座的互动，而且大多数研究在确定参与程度时偏向于人口统计学变量，这些人口统计学变量与学生的年龄和地理位置有关（Vail et al. ，2016年）。从文献回顾中可以清楚地看出，电子学习有效的重要问题是：成本，具有适当的安全权限的隐私，技术要求，以及具有足够带宽的网络通信的可用性。电子学习应该是有效的和有趣的教师和学生通过利用新技术，并加强他们之间的互动（Kirschner，2015）。动态提取特征是一个突出的特征，可以用来分析人脸。基于面部动作单元（AU）的表情识别方法已经被提出，这可以通过提取动态特征来实现为不同的面部姿态建立动态特征具有突出的未来研究工作。一些研究人员专注于识别原型表达，如悲伤，愤怒和/或快乐，这些表达很少出现。因此，研究进一步的研究，包括人类的情感和互动是重要的，以增加可靠性。面部特征分为两大类，第一类是永久性的，如眼睛、眉毛和嘴巴，第二类是暂时性的，如皱纹和皱纹。在Tian et al. （2000 b），多状态面部模型被用来创建几个面部特征。这导致了在永久和短暂类别中跟踪面部特征还有，W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）13Fig. 1. 电子学习环境架构。表1面对面和电子学习方面的比较Hodges et al. （2020年）。类别E-learning面对面学习学习方面它是基于媒体，阅读，视频，演习多样性交流机会有限，有时教师不认识谁在网上它基于直接的互动、讨论和演示不同的沟通方法以学生为中心的课程模式空间与存在不同的空间同一个地方图二. 有效的电子学习成功因素。通过使用神经网络方法改进了结果。进行了其他研究以通过分析面部表情来识别上面部动作单元，如Tian等人所探索的。（2000年a）。利用神经网络对7个上人脸AU进行识别，取得了较好的识别效果。3. 电子学习的挑战和解决方案远程教学时，电子学习是面对面学习的替代解决方案。教师和学生使用在线环境的技术来相互交流，如图所示。1.一、电子学习与面对面学习在许多方面都有所不同，如表1所示，这些方面与学习方面、沟通的多样性和互动模式有关。如果适应以下因素，电子学习可能是有效和成功的：发展学生和教师之间的可访问性和自主性，并开发学习材料的内容协作可以通过问题和评估来修改，以扩展学习的社会性;因为学习是基于向他人学习（Harris，2012）。教师可以利用他们在有效地规划课程，准备学习者，并通过使用丰富的媒体和同步互动加强学习互动方法的学习经验，如图所示，开发电子学习。 二、在电子学习系统中，评估被认为是一个复杂的挑战，因为可能发生学生作弊的情况（Munoz和Mackay，2019年）。在线评估分为同步评估，包括测验、问题和答案。异步评估侧重于家庭作业、项目和案例研究。在电子学习中应强调持续评估模式与自我反思评估的期望一致，可以开发持续的电子评估来改善学生的学习成果（Shen et al. ，2013）。混合学习和混合学习被认为是大学学习的良好解决方案，因为混合学习是面对面学习和电子学习的混合，因此强烈建议在大学中使用，特别是因为学生和教师之间的同步面对面学习在实际应用和实验室中是必要的（Oberadowicz，2020）。情感推理是用来解锁互动电子学习的重要潜力，通过有效地分析生理反应，即面部表情和心脏脉搏的互动，积极的学习环境，使教师能够创建一个自定义的表达指数，可用于测试不断变化的参与程度，兴趣和情绪状态。下一节提出了通过测试面部表情和观察学习者在交互式学习环境中的行为来研究生理反应的解决方案4. 数据集一个基准数据集称为CMU多PIE人脸数据库被用来评估所提出的方法。它包含大约75万个W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）14表2不同面部表情的数据样本取自CMU Multi-PIE人脸数据库。表3实验期间面部表情的分布。第一节第二节第三150 150 150在五个月内拍摄了337人的照片。在每个捕获的图像中考虑不同的面部表情，如表2所示。我们还为参与者记录了各种面部表情和姿势。 重点是分析学生的行为在网上学习的基础上，他们的面部表情。实验总时间为60min，分为3个阶段，每个阶段15 min，做个小测验然后，15名学生从Luminus大学/多媒体系被随机选择参加这项研究。在进行实验后，对参与者的面部拍摄了150多张快照，其中一些由于质量差而被整理出来，而其他的则被选择并分类到不同的类别中，这些类别受益于面部表情识别的新趋势（Wu et al. ，2012）。通过以下步骤完成了实验-心理情景：1. 向学员介绍在线课程。2. 指导参与者使用该系统。学生将在三个会议中学习整个主题，每个会议侧重于所选主题中的一个主题。面部跟踪器将跟踪参与者的面部，并记录他们面部特征变化时可能出现的任何差异。在每节课结束时，电脑屏幕上会出现一个简短的多项选择题测验。在实验结束时，从视频中提取参与者这项研究还将分析参与者的心率，"TTL SA 9308 M 心率/BVP“心脏脉搏传感器，如图所示图3 .第三章。心率与实验期间记录的面部表情相关，因为发现许多研究依赖于该因素来测量学生在课 堂 上 的 参 与 度 ， 例 如 Maier KJ （ Maier et al. ， 2003 年 ） 和Cranford图三. TTL SA 9308 M心率/BVP。KN（Cranford et al. ，2014年）。此外，Peled等人（Peled etal. ，2008）发现血压与情绪压力的增加有关。通过这种方式，我们可以增加我们对面部表情影响的解释的可靠性，并衡量学生可以分析分析因素的面部最重要的部分是（眼睛方向、眉毛、唇角、头部位置和手部运动），如表4- 8所示此外，在Al-Helali etal. （2021），演示一种新的多焦点图像融合技术。对两幅源图像分别进行面部表情被记录下来，并分为三个部分，基于实验进度的值，例如：• 会话1：能量时间，从[0• 第二阶段：分散注意力的时间，从[16• Session 3：钻孔时间，从[31图4显示，在实验的最初几分钟，结果发现，参与者的脸有点笑，脸很直，没有看到任何异常的表情，手接触到脸，很可能是闭着的，眼睛的瞳孔大部分在眼睛的中央基于所进行的实验，结果表明，在第一时间进行的所有上述观察表明参与者的表达更加集中，包括W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）15左上角右上上中上中心向下中心表4眼睛表情的变化。眼睛变化变量样本参与和投入的学习经验，比后15分钟。图图5显示头部的方向并不总是直的，并且眼球运动不稳定。当手接触到脸时，它们很可能是不同的形状，而且大部分头部运动都在右侧。这些观察结果可能表明，参与者在讲座期间失去了他们的集中力。这也影响到参与者对学习经验的参与和投入。图图6显示，头部与眼睛的不稳定运动明显地在眼睛的边缘之间转移，并且participant有时将手指放入口中并进行180度的头部运动。这些观察结果可能表明参与者已经失去了对课程的参与和参与，并且感到无聊。5. 该方法面部表情是一个人的内在情绪状态、意图或社会交往所引起的面部的显著变化面部表情分析被不同的研究人员用于不同的主题，以开发计算机系统，使这些系统能够理解和使用这种人类交流的自然形式进行系统开发。在本研究中，强调面部表情分析，以创建一个表情指数，并使用此表情来分析学生在在线学习环境中的生理反应，以开发电子学习成果，如图所示。7.第一次会议。面部表情可以通过开发面部分析的三个主要部分来理解：第一部分是面部检测，第二部分是特征识别，最后是面部表情和情感分类（Obergadowicz，2020）。面部表情可以分为快乐、悲伤、愤怒、中性、厌恶和惊讶（Rizwan et al. ，2020年）。Zraqou等人（2014）提出的工作用于自动化面部表情识别过程。所提出的技术与实时视频一起工作该方法可以识别5个重要特征，即（眉毛，眼睛，鼻子，嘴巴和下巴），如图所示。9 .第九条。如图10所示，执行用于应用面部表情的结构算法。效率是通过跟踪每个特征的点来实现的，而不是如图所示为每个图像运行提取方法。8.第八条。从计算机课程中随机抽取15名学生参加本研究。实验结束后，对参与者的面部进行了150多张 其中一些被分类出来，其他的被选择并使用欧几里德距离变换算法（Fabbri et al. ，2008年）。可以分析或与之相关的面部最重要部分W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）16起来中心下来关闭有嘴的张口表5眉毛表情的变化。眉毛变化变量样本表6嘴巴表情的变化。口部变异描述嘴/唇W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）17右侧向左头部在中心位置表7头部表情的变化。头部变化描述头部姿势上下移动未观察分析因素如下。表4- 8列出了所有表达式及其变体• 眼睛的方向• 眉毛• 嘴唇的角度• 头部位置• 手的动作5.1. 数据集验证测试所提出的方法的第一阶段是人脸识别。该数据库用于检索和创建一组不同姿势和人物的面部。如表9所述，该组包括250张图像以进行实验。平均正确识别率为86%。通过忽略所有阈值小于45%的结果，避免了差异。该阈值基于检测的置信度值。45%的值是区分正确和不正确匹配的最佳值。6. 结果和分析6.1. 参与者测试分析为了根据前面解释的面部表情类别确定参与和参与的水平，参与者被要求回答几个问题。学生的反应分为以下因素：（及时反应，随着时间的推移，正确的反应和不正确的反应）。表10显示了参与者的回答分布表11的结果显示，学生的平均回答率开始下降，第一次回答率最高（60%），第二次回答率下降到47%，第三次回答率最低（23%）（图10显示了参与者回答率的下降对于第二个因素（响应超过时间），该因素的平均学生响应率为W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）18移动的手头部复位在手上表8头部运动的变化。手部动作描述头部姿势见图4。 在（0-15）分钟间隔之间捕获的面部表情图五. [16-30]分钟间隔期间的面部表情W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）19见图6。 在[31-40] min间隔之间记录面部表情表9面部表情法的准确性。#人脸姿态数据库#正确匹配精度1快乐5043百分之八十六2伤心5041百分之八十二3愤怒5045百分之九十4中性5046百分之九十二5厌恶5039百分之七十八平均5042.8百分之八十六与第一个因素相反，其中响应的百分比增加。图11显示了参与者响应的增加。对于因素3和因素4，可以观察到，参与者在Q1、Q2和Q3中对正确答案的得分最高，而在Q2和Q3中对正确答案的得分最高。对于不正确答案因素，参与者在Q4和Q5中的不正确答案得分最高。图图12和图13显示了这两个因子的平均值在实验阶段之间如何降低和增加在对四个因素进行分析的基础上，发现四个因素在不同的实验时段中所占的百分比存在差异，其中第一和第三个因素随着演讲时长的增加而显著下降，第二随着时间的推移，学生可能会失去与课程的联系这四个因素得出的比率差异可解释如下：1. 随着时间的推移，2. 随着时间的推移，参与者失去了与课程的联系3. 学员无法回忆起本课前面讨论的信息。4. 参与者无法再参与课程，因为他们不理解它。在上课期间，拍摄了150多张面部表情的图像。有些是由于质量低或被发现重复而被淘汰的。如前所示，其余的已被接受和分类。在接下来的部分中，研究将讨论在实验的三个阶段中观察到的面部表情。6.2. 实验中记录的眼睛表情在不同的实验期间，观察到眼睛具有不同的变化，因为眼睛在不同的位置观察此外，还有一些变化，在第一次会议上观察到的更多，随着会议的进展而减少例如，在实验的第一阶段[0-15]中在这个阶段，与其他变化相比，中心位置的眼睛得分最高，为80%，但在第二和第三阶段，这种变化的百分比开始得分更低，第二阶段为20%，第三阶段为6.67%。还观察到其他变化，例如黎明中心的变化，第一次会议为0%，最后一次会议为53.33%观察到（左，右和上）等变化也可以实现一些观察结果，这些变化在实验期间达到67%和13%之间。在实验期间未观察到其他变化，例如（左下这表明，这些差异与参与者的参与程度没有很强的关系。表12显示了三个实验阶段中眼睛表情的结果。6.3. 实验中记录的眉毛表情在实验中，观察到三种类型的眉毛变化（底部、中部和顶部），如表15所示。在第一阶段，眉毛表情的百分比最高的是“中间位置”的眉毛，占53.33%，只有一个观察结果是“高位置”在实验的第二阶段，“中间位置”在实验的最后阶段，这两个表情是表10参与者回答结果。Q-编号问题及时解答答案超过时间正确答案错误答案1列出编程类型105123语言2主要区别8796编译和脚本之间的区别吗3主要有哪些特点7869优秀的程序员？4程序员能做什么？411875API这个词是什么意思？312510W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）110图7.第一次会议。 架构的 建议电子学习使用面部表情。表11参与者表12在不同的间隔时间的眼睛表达结果。眼睛表情中心向上左向上右向上中心向下中心向下左向下右不适用实验时间（0观察到210120000百分比百分之十三点三三6.67%0百分之八十0000实验时间（16观察到12138000百分比6.67%百分之十三点三三0百分之二十53.33%000实验时间（31观察到21318000百分比百分之十三点三三6.67%百分之二十6.67%53.33%000见图8。检测到的面部重要特征。观察到与前一次出现的百分比相同，但表达“上位”略有下降，达到13.33%。基于这些结果，研究人员认为，眉毛的这两种表情也可能与参与者的参与程度6.4. 实验中记录的嘴部表情在实验过程中，观察到参与者的嘴表现出不同的变化，因为嘴被观察到处于不同的位置，例如（向左转，没有运动，向右转，张开嘴）。如表14所示。见图9。 面部表情检测的结构。W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）1表1111不同间隔时间的眉毛表情结果。眉毛表情下来中心起来不适用实验时间（0观察到0816百分比053.33%6.67百分之四十实验时间（16观察到1446百分比6.67%26.67%26.67%百分之四十实验时间（31观察到0429百分比026.67百分之十三点三三百分之六十见图10。 因子1响应的百分比。见图11。 因子2响应的百分比。见图12。 因子3响应的百分比。在第一阶段，闭口变异最高，占60%，未观察到其他变异在第二和第三阶段，闭口表达的得分分别下降到13.3%和26.6%，并观察到新的嘴型变化，即，（向左转）在第二阶段为26.6%，在第三阶段为13.3%，转向右侧）。基于这些结果，研究人员假设图十三. 因子4响应的百分比。mouth’’在实验过程中，观察到参与者如表14所示。在第一阶段中，闭合口得分的变化最高，占60%，未观察到其他变化。第2、3次治疗后，闭口表情评分分别下降至13.3%、26.6%，并出现新的张口变化即（第二次左侧扭转占26.6%，第三次右侧扭转从这些结果来看，研究人员认为，闭上嘴巴的表情可能与参与者的参与程度呈正相关，6.5. 实验中记录的手部表情在实验结果的分析过程中，预期不会看到任何可能与参与者参与程度有关系的手部运动，因为第一阶段的结果显示，（无手部运动）表情得分最高（60%），“闭合的手”得分最高但在第二阶段，开始观察到手的表情，如观察到“手指和嘴”在第三阶段，观察到新的手部表情根据这些结果，不能认为手部表情是面部表情的一种形式，并且在此难以将手部表情解释为参与者参与的测量W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）112表14在不同的间隔时间期间嘴表达结果。嘴部表情左扭闭右扭不适用实验时间（0观察到0906百分比0百分之六十0百分之四十实验时间（16观察到4209百分比26.67%百分之十三点三三0百分之六十实验时间（31观察到0429百分比026.67%百分之十三点三三百分之六十表15不同间隔时间的手部表情结果手的表情闭着的手头枕在一只手上手指的嘴没有手的动作不适用实验时间（0观察到50190百分比33.33%06.67%百分之六十0实验时间（16观察到20436百分比百分之十三点三三026.67%百分之二十百分之四十实验时间（31观察到12309百分比6.67%百分之十三点三三百分之二十0百分之六十表16不同间隔时间的头部表达结果头部表情倾斜-右倾斜-左中心向上向下不适用实验时间（0观察到0015000百分比00百分百000实验时间（16观察到922020百分比百分之六十百分之十三点三三百分之十三点三三0百分之十三点三三0实验时间（31观察到921030百分比百分之六十百分之十三点三三6.67%0百分之二十0此外，研究认为，表17第一次会议中高表达发生率的分布[0第一届会议[0-15]开始减少。眼睛在中心眉毛-中心嘴闭手-否运动头部中心6.6. 实验中记录的头部表情从表16所示的头部变化的分析中，我们发现头部在实验中具有最高程度的表达参与者的心理状态。据观察，参与者的头部有三个变化（右，左，和中心）。在第一次会议中，头部在中心位置的变化得分最高，百分比为100%，没有观察到其他变化而在第二阶段，“中心位置”百分比显著下降至13.2%，并观察到一些新的头部变化，即，“向右侧倾斜”的百分比为60%，“向左侧倾斜”的百分比为13.33%，向下倾斜的百分比为13.33%，这意味着这些变化也可能与参与者的参与程度有关。实验的最后阶段的结果增强了第二阶段的结果，其中所有变化的相同百分比在两个阶段中是相同的80% 53.33% 60% 60% 100%6.7. 参与者如前所述，本研究中的脉搏测量有助于提高我们对面部表情影响的解释的可靠性，并测量学生在学习环境中的参与程度。表17 -19总结了在实验期间具有最高频率的面部表情，图14a、图15a和图16a示出了参与者的心电图的示例，并且图14 b、15 b和16 b示出了与每个心电图相关联的面部表情的示例。图14a中的上述心率图显示，平均而言，大多数参与者具有正常心率，其在正常范围内。当我们将此结果与参与者的考试结果（Q1和Q2）进行比较时W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）113图14a. 参与者的心脏脉搏样本图14b. 与心电图相关的面部表情[0-15]。在实验的第一阶段，参与者是在最高水平的注意力，这表明，面部表情，即（眼睛在中心，头在中心，眉毛直，没有手的动作），如图所示。 14B，有图15a. 参与者的心脏脉搏样本[16-30]。图15b. 与心电图相关的面部表情[16-30]。频率最高，直接关系到课程的参与程度。在第二次会议中，参与者的脉搏变高并且不稳定，如图15所示，这可以通过与第一次会议相比参与者的精神状态的变化来解释，换句话说，新的身体活动开始出现在参与者中，其中面部表情及其频率发生变化，一些面部表情的频率发生变化。W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）114表18第二次会议中高表达发生率的分布[16-30]。第二届会议[16眼睛向下看眉毛-向上嘴扭向左边手与运动手指和嘴巴头右倾53.33%26.67%26.67%百分之二十26.67%百分之六十图16a. 参与者的心脏脉搏样本表情变得低沉，例如头部处于中间位置的表情，在第二阶段中也开始出现新的面部表情，例如（头向左和向右，眼睛向下在中间和手指嘴）。在第二次会议上，参与者的心脏脉搏变高，不稳定，如图所示。15，这可以通过与第一次会议相比参与者的精神状态变化的存在来解释，换句话说，一种新的身体活动开始出现在参与者中，其中面部表情及其频率发生了变化，一些表情的频率变低，例如头部在中心位置的表情，也是新的面部表情开始出现在第二次会议中，例如（头部左右，眼睛向下中心，手指嘴）。为了给这些面部表情赋予意义，并将此结果与参与者的考试分数（Q3）进行比较回答问题的比例下降到40%，而回答错误的比例上升到47%。这表明，面部表情（头左右，眼睛向下，中心、手指和嘴）可能意味着接合水平降低。在实验的最后阶段，结果证实了我们的预期，即参与者达到了最低的参与水平。图16示出了与前两个会话相比听觉刺激的显著变化。此外，新的面部表情频繁出现，而一些面部表情在此会话中消失或达到最低水平将这些结果与参与者的期末考试成绩（Q4和Q5）进行比较此外该图16 b. 与心电图相关的面部表情[16-30]。表19第二次会议中高表达发生率的分布[31-45]。第三届会议[31眼睛向下看眼睛向上手指和嘴巴头右倾低头53.33%百分之二十百分之二十百分之六十百分之二十参与者精神状态的显著变化6.8. 结果和分析在分析了参与者的面部表情及其在实验阶段的分布后在实验环节中，一些面部表情有不同的重复率（高、中、低），通过将这些重复率与参与者在6.1节测试问题上的分数以及6.7节的心电图进行比较W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）115−图十七岁第 一 次 会 议 中 的面部表情。图十八岁第 二 次 会 议 中 的面部表情。图十九岁第 三 节 面部表情的 表达可以得出结论，在第一会话中实现最高重复率的面部表情组可以被认为是高参与水平的指示符，而在第二会话中实现最高重复率的表情组被认为是降低参与水平的指示符在参与者的参与中图图17、18和19显示了实验中最频繁出现的面部表情的分布，表20总结了最频繁观察到的表情及其可能的指示，7. 结论电子学习是不可或缺的解决方案，可能是面对面学习的最佳替代方案，尤其是在COVID 19大流行和任何可能发生的危机中。第一阶段旨在捕捉参与者的面部表情，并将其分配到三个时间间隔，即[0在第二阶段，统计每个时间间隔内最频繁的面部表情。在第三阶段，面部表情与学生的简短检查结果相关联在研究结束时，确定了三组面部表情，这被认为是参与者在学习环境中的参与程度的指示为了验证这一结果，在实验的三个时间间隔内记录了参与者基于这些结果，我们得出结论，学生在远程学习环境中的参与程度可以通过面部表情来衡量。该图示出了所提出的基于面部表情的参与缩放器。图20示出了所提出的用于测量接合的模拟量表。W. Maqableh，F.Y.Alzyoud和J.兹拉古视觉信息学7（2023）116表20高频率面部表情的分布。会话1中出现频率最高的表达式[0图20. 面部表情量表。引用Al-Helali，A.H.M.，例如，2021.基于dmwt和fft变换的多聚焦图像融合新方法。J.Theor. Appl. 告知。Technol. 99（10）。艾瓦兹大学，Gürüler，H.，Devrim，M.O.，2017年。面部情绪识别在眼睛居中80%高投入度眉毛居中53.33%高投入度闭上嘴60%高投入度手不动60%高投入度头部居中100%高投入第2节中出现频率最高的表达[16眼睛向 下看53.33% 参与度 降低眉毛向上 看26.67% 参与度 降低嘴向左扭 转26.67%参与度降低手与运动20%参与度降低手指嘴26.67%参与度降低头向右倾斜60%参与度降低第3节中出现频率最高的表达[31眼睛向下看53.33%低参与度眼睛向右向上20%低参与度手指嘴巴20%低参与度头部向右倾斜60%低参与降低20%参与度低CRediT作者贡献声明Waleed Maqableh： 概念化，方法论，写作–费萨尔Y. Alzyoud：数据管理，调查，可视化。Jamal Zraqou：可视化，调查，软件，写作竞合利益作者声明以下经济利益/个人关系可被视为潜在的竞争利益：Maqableh博士是一名助理证明。在多媒体和虚拟现实中，Zaraqo博士是一个相关的证明。在多媒体领域，Alzyoud博士是一个相关的证明。计算机科学致谢研究人员感谢Abdoun Medical Center在本研究中提供的心率传感 器（ TTL SA 9308 M 心率 /BVP） 。 特别 感谢Hatem Al-Tarawneh博士对参与本实验的学生最后，我们还要感谢每一所大学（Luminus，Isra和Petra）的帮助和支持。电子学习系统。Benta，K.-一、Cremene，M.，Vaida，M.- F.、2015.一个多模态情感监测工具，用于移动学习。2015年第14届RoEduNet国际会议-教育和研究网络。RoEduNetNER，IEEE。Buja，L.M.，2019年。今日医学教育：闪光的不一定都是金子。BMC Med.Educ.19（1），1曹玉，例如，2005年表情语音驱动的面部动画。ACM Trans.Graph. 24（4），1283-1302。Chai，C.S.，例如，2014.通过技术教学内容知识的多层次设计，深化信通技术一体化。J.计算机Educ.1（1），1-17. 克兰福德，堪萨斯州，Tiettmeyer，J.M.，Chuprinko，BC，Grove，N.P.，2014.测量工作记忆的负荷：使用心率作为测量工作记忆负荷的一种手段。化学专业学生J. Chem. 教育。91，641Dewan，M.，Murshed，M.，林，F. 2019.在线学习中的参与度检测：审查.智能学习。Environ. 6（1），1法 布 里河 ， 例 如 ， 2008. 2D 欧 氏 距 离 变 换 算 法 ： 比 较 调 查 。 ACM 计 算 监 视 器（CSUR）40（1），1高尔，美国，例如，2020.临床前医学教育的挑战和机遇：COVID-19危机及以后。SN压缩机临床医学2（11），1992-1997。Geng，G.， 2011. 教师在课堂环境中管理注意缺陷多动障碍（ADHD）学生行为的语言和非语言策略的调查。澳大利亚J. Teach。Educ.36（7），17-30.哈里斯，PL，2012年。相信你被告知的北京：清华大学出版社.霍奇斯，C.B.，例如，2020.应急远程教学与在线学习的区别。基尔施纳，P.A.，2015.我们需要教师作为技术强化学习的设计者吗？Instr. Sci. 43（2），309Maier，K.J.，Waldstein，S.R.，Synowski，S.J.，2003.认知评价与心血管反应性 、 情 感 和 任 务 参 与 的 关 系 。 安 。 贝 哈 夫 。 Med.26 ， 32-41.http://dx.doi.org/10.1207/S15324796ABM2601_05网站。MohamadNezami，O.，例如，2020.使用深度学习和面部表情自动识别学生参与度。在：联合欧洲会议机器学习和知识发现数据库。斯普林格。Moore，J.L.，Dickson-Deane，C.，Galyen，K.，2011.电子学习、在线学习和远程学习环境：它们是一样的吗？互联网高等教育1 4 （2），129-135。Mukhtar，K.，例如，2020. 2019冠状病毒病大流行时期在线学习的优势、局限性和建议Pakistan J. Med. Sci. 36（COVI
