基于深度学习的在线考试作弊检测方法

*智能系统与应用16（2022）200153使用基于深度学习的作弊检测方法构建高效的在线考试系统SanaaKaddoura， Abdu Gumaeiba扎耶德大学，阿拉伯联合酋长国阿布扎比b沙特阿拉伯阿勒哈杰萨塔姆·本·阿卜杜勒阿齐兹王子大学A R T I C L E I N F O A B S T R A C T保留字：深度卷积神经网络作弊检测视频帧语音软投票决策融合基于高斯的离散傅里叶变换随着数字化和全球化的高速发展，在线考试系统继续获得普及和延伸，特别是在像大流行病一样传播感染的情况下。在线考试系统中的作弊检测是一项重要而必要的任务，以保持考试的完整性，并给出公正，公平的结果。目前，在线考试系统使用基于视觉的传统机器学习（ML）方法，并为考官提供工具来检测整个考试过程中的作弊行为。然而，传统的ML方法依赖于手工特征，无法从数据本身学习对象的层次表示，这影响了此类系统的效率和有效性。该研究旨在开发一种有效和高效的方法用于在线考试系统，该系统使用深度学习模型从录制的视频帧和语音中进行实时作弊检测。开发的方法包括三个基本模块，不断估计候选学生的关键行为。这些模块是基于前置摄像头的作弊检测模块、基于后置摄像头的作弊检测模块和基于语音的检测模块。它可以通过深度卷积神经网络（CNN）和基于高斯的离散傅里叶变换（DFT）统计方法，自动从视觉图像和语音中提取有用的特征，来分类和检测考生是否在考试期间作弊。我们使用包含录制音频的公共数据集来评估我们的系统以及从不同科目中收集的在线考试中进行几种类型作弊的视频数据样本。这些收集的数据样本被用来获得实验结果，并证明所提出的工作1. 介绍在线学习正在兴起，由于世界重大活动的巨大需求，全球范围内的创新迅速发展。大规模开放式在线课程（MOOC）允许因时间安排或地点限制而无法联系校园的学生报名参加在线课程，并访问广泛的教育资源。学生可以使用世界上任何地方的平台在线学习课程，是不需要来到校园里的一个典型的教室。教育工作者多种多样的多媒体内容，通过在线课程向学生传授知识。在Liu等人（2020）中，作者表示，从2008年到2018年，至少参加一门在线课程的学生人数增加了151%。有几个关键组成部分 每个教育机构都必须考虑并知道如何处理的任何教育计划，例如考试和评估测试。学生在网上上课时作弊的比例越来越高.任何教育机构都需要检测和防止作弊，以保持其对社会的价值。King and Case（2014）的结论是，2013年学生它不能保证防止作弊。作者还澄清说，大约29%的学生能够通过在线课程作弊，因为没有可能的方法来分配人类监考员。相比之下，人类监考员可以在传统和受保护的教室环境中监控学生的整个考试过程。参加在线考试的主要缺点之一是，MOOC提供商很难确保学生已经很好地学习了课程材料并涵盖了课程的主要知识领域。有一些测试程序的机构遵循时，他们有在线考试，这项工作由扎耶德大学研究激励基金（RIF）资助，资助号为R20128。通讯作者。电子邮件地址：Sanaa. zu.ac.ae（S. Kaddoura），a. psau.edu.sa（A. Gumaei）。https://doi.org/10.1016/j.iswa.2022.200153接收日期：2022年6月17日;接收日期：2022年10月6日;接受日期：2022年11月14日2022年11月17日网上发售2667-3053/© 2022作者。由爱思唯尔有限公司出版。这是一篇开放获取的文章，获得了CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表智能系统及其应用杂志首页：www.journals.elsevier.com/intelligent-systems-with-applicationsS. Kaddoura和A. 古迈埃智能系统与应用16（2022）2001532当学习者来到经认证的考试中心或校园，在监考人的监督下参加考试时，考试就开始了。一些机构不介意学生在任何地方参加考试，只要他们通过互联网连接。这样的组织依赖于新的工具，如ProctorU或Kryonline，允许学生在任何地方访问考试（Kaddoura等人，2022年）。他们仍然需要一个远程监考员在考试期间通过网络摄像头监控学生。在这种情况下，监考老师需要接受培训，通过仔细观察和倾听考生的异常行为来实时监控学生。可以停止测试或提醒考生的异常行为可能是眼睛的异常运动或从网络摄像头的视野中消失。本文旨在通过引入多媒体分析系统来实现自动化和连续的在线考试监考（OEP），从而加强在线考试的监控。我们将提供实时监考，以检测考生的作弊行为为了达到我们的目的，我们需要观察考生的视听行为，以发现是否有任何作弊行为。在Reale等人（2011）和Xiao等人（2015）中，作者一直在研究如何从视觉数据和音频中提取特征来分析人类行为。April等人（2017）的方法研究了如何使用两个摄像头和一个麦克风来监控房间里的考生。监考员监控两个摄像头;一个wearcam聚焦在监控员的脸上或设置在考生上方;一个WearCam可以连接到考生的眼镜上以捕捉视野。作者说，监控考生周围的声音是必不可少的，因此网络摄像头配备了麦克风，可以记录考场中的任何声音。他们还表示，该系统应该能够检测到作弊行为，如从书中作弊，使用电话，搜索互联网，并检测是否有其他人代表他们参加考试他们的系统依赖于一种混合方法，该方法结合了算法的两个阶段：从视听流中提取第一阶段由六个基本组件组成，用于提取指示作弊的特征，包括用户验证、语音检测、文本检测、活动窗口检测、电话检测和凝视估计。这一阶段的输出第一阶段的输出被输入到下一阶段，通过提取高级时间特征来完成所有组件的联合决策为了检测实时作弊行为，新特征被用于训练和测试分类器，以提供连续的实时检测。本研究收集了24名不同数学考试作弊行为的受试者的听觉和视觉数据库，考试题目是选择题和填空题。结果表明，该系统具有较高的精度和效率.然而，他们的方法是基于手工制作的功能，不能从数据中学习对象的层次表示，这影响了在线考试系统的效率和有效性。在Kadam等人（2021）中，作者提出一种处理图像的轻量级技术。虽然这是一个轻量级的技术，我们不能使用类似的方法，因为学生的图像不应该被修改，并应被视为是，以避免作弊的错误检测时，学生没有犯作弊。可 以 应用 许 多 不 同的 方 法 以 及未 来 的 工 作。在 Walambe ，Margaret等人（2021）中，他们使用集成学习进行轻量级对象检测。可以对这种方法进行调查，以确定在这项工作中应用它的机会。在Walambe，Nayak等人（2021）中，作者采用多模态机器学习进行压力检测。在Chaudhari等人（2020）中，他们使用了一种很有前途的方法来使用GAN进行数据增强。同样的方法可以应用于修改数据集并重新检查准确性。为了证明实验结果的合理性，可以使用可解释的人工智能，如Joshi et al.（2021）。这项研究旨在为在线考试系统开发一种有效和高效的方法，该系统使用深度学习模型进行实时作弊，从记录的视频帧和语音中进行检测。开发的方法包括三个基本模块，不断估计候选学生的关键行为。这些模块是基于前置摄像头的作弊检测模块、基于后置摄像头的作弊检测模块和基于语音的检测模块。它可以通过深度卷积神经网络（CNN）和基于高斯的离散傅里叶变换（DFT）统计方法，自动从视觉图像和语音中提取有用的特征，来分类和检测考生是否在考试下面是所提出的方法的贡献：• 所提出的方法是轻量级的，并考虑到前置摄像头，后置摄像头和语音检测。·提出了一种基于软投票的决策级融合规则，根据模块的重要性对模块的输出分数赋予不同的权重。具有最大加权概率和的输出类给最终目标一个作弊或非作弊标签。• 该方法具有较高的作弊检测准确率。本文的其余部分分为以下几节。第二节是文献综述部分，第3节介绍了拟议的方法。第四节说明了研究方法。第5节描述了所开发的模型的实验和评估结果。第六部分是结论和未来的工作。2. 相关工作近年来，在线学习的需求大幅增加。研究人员试图提出不同的方法来使用各种技术来监考在线考试。一项在线监考服务将允许学生在家里自己的空间参加考试。这意味着一个真实的人将通过网络摄像头、麦克风和扬声器实时监督他们。在Li等人（2015）中，作者提出了一个在线监考框架，该框架依赖于使用四个不同组件的协作和自动作弊行为检测方法。他们使用了一个凝视跟踪器，两个网络摄像头和一个脑电图传感器来构建他们的硬件来监控一种作弊类型，这是一个阅读论文的答案。第一个摄像头将监视测试者的面部并置于其上方，而另一个摄像头将监视受试者的轮廓并位于受试者的右侧。这项工作还需要进一步发展，因为这个框架不能检测各种作弊行为，只关注一种类型的作弊。在Wahidet al.（2015），研究人员开发了一个基于网络的考试系统，以防止在线考试时作弊。有很多研究集中在使用人工监控来监控在线考试。尽管如此，主要的缺点是它非常昂贵，需要许多员工来监控考试。在Rosen和Carr（2013）中，作者提出了一种使用智能桌面机器人的半自动计算机机器监督该机器人由360度运动和摄像头传感器组成然后，数据将被传输到监控中心，以检测视频中的任何可疑运动。根据他们的结果，该方法有一个主要问题：它仍然无法检测到许多作弊行为，例如当有人站在摄像头的视野之外时。然而，它仍然可以看到测试问题，并使用纸张或无声信号向考生提供答案。安全浏览器是另一种方式，它允许学生在安全的环境中参加在线考试，通过他们的网络摄像头和网络摄像头监视他们的行为，以防止学生使用其他计算机资源作弊。在进行在线考试时，使用完全数字化的人工智能监考系统（AIPS），无需该系统将记录和分析学生S. Kaddoura和A. 古迈埃智能系统与应用16（2022）2001533相应地。然后，系统将生成报告或暂停考试，由机构进行审查（OReillyCreagh，2016）。在教育领域之外，作者开始研究多媒体社区中的视听行为，以监测更多类型的用户。作者Xiao et al.（2015）提出了一种模型，使用视听记录来监测此外，在Nguyen et al.（2014）中，作者从视听数据中提取了一些线索来预测真实工作面试中的遗传性。相比之下，Lefter等人（2013）的作者使用视听数据检测到各种威胁和攻击，例如公共区域的不必要行为。在Hussein et al.（2020）中，作者将在线监考系统分为三种类型：实时监考系统、记录监考系统和自动监考系统。现场监考系统主要用于理论考试。它涉及到一个人类监考跟踪眼球运动，识别学生记录监考系统涉及在线考试期间记录视频，然后监考后用于面部运动和跟踪眼睛，对象，面部检测和日志分析。自动监考系统是最复杂和最复杂的设计。该系统通过各种算法和技术来分析学生世界范围内现有的几种在线监考系统可用于监控在线考试参加者。ProctorU是一个著名的现场OPS，它使用麦克风和网络摄像头来指导学生并在在线考试期间监控他们。该系统主要依赖于网络摄像头，因此要求学生在整个考试期间具有不间断的视听连接（Milone等人，2017年）。Kryphilus系统与ProctorU系统相似，两者都不是高度安全的，机构2016年）。一家公司推荐了一种混合解决方案，该公司依赖于现场专业培训的监考人员，他们监控考试，如果他们怀疑有什么问题，可以中断考试（Slusky，2020）。XProctor是另一种流行的OPS，它依赖于面部识别、视频流以及音频和照片图形来跟踪和监控学生。该系统可以很容易地与各种LMS集成，并可以安装在学生的计算机上另一个著名的OPS是TeSLa，欧盟委员会资助它作为一种工具，可以用来打击在线考试中的作弊行为。该系统经过了超过18所不同欧洲大学的评估和测试，是免费使用的身份验证工具之一。它依赖于考生的生物识别技术，如语音识别、指纹分析、面部识别和指纹分析，来检测在线考试中的学生是否作弊（Draaijer等人，2017年）。ProctorEX am是欧洲领先的在线监考服务之一，比其他系统需要更少的数据收集机构可以选择监督类型：实时监控或会后审查，以提高灵活性。该系统提供双视图监督，包括屏幕共享、网络摄像头和智能手机摄像头，以360°查看测试人员Safe EX am Browser是一种计算机软件，可以暂时将任何计算机变成安全的工作站。它由浏览器和kiosk应用程序组成。应用程序将锁定考试计算机，禁止浏览和探索其他应用程序和选项卡。同时，浏览器与服务器上运行的LMS的测验模块通信。这是一款非常安全的软件，可以监控通过非托管计算机（如学生自己的笔记本电脑和平板电脑）参加考试的学生在回顾了各种在线监考系统的一些例子后，它们取决于根据硬件选择的必要参数的数量和学生可访问的实施容易程度。它可以是麦克风，摄像头，人类监督，凝视跟踪，屏幕共享/记录，生物识别和应用程序锁。网络摄像头是用来以监控学生，同时识别任何作弊企图。它可以用来检查后台中试图帮助或支持作弊的其他人。麦克风可以用来记录音频语音，以检测背景噪音，告诉学生是否正在通过呼叫支持。除了其他参数外，一些软件还依赖于人类监考员，因为目前的系统没有100%的准确率来检测在线作弊并防止学生被错误指控。在某些应用程序中可以使用屏幕共享，以允许监考人员查看学生的选项卡 并监控他们的屏幕设备，以确保他们没有打开任何其他标签或笔记来搜索答案。相比之下，如果对系统提出的可疑活动标记存在分歧，则在一些应用中可以使用记录作为参考（Nigam等人，2021年）。应用程序锁定是一个参数，可用于在学生参加在线考试时锁定应用程序或浏览器，以确保学生无法在考试后台访问其他软件。此参数通过安全浏览器方法使用。它在创建选项卡开关时标记学生。生物识别参数使用生物识别验证，以确保学生没有作弊通过冒充别人最后一个参数是凝视跟踪，它依赖于凝视跟踪器来防止学生使用外部资源作弊。它监视他们的行为时，从屏幕上看（Nigam等人，2021年）。根据最近的研究，大多数教育机构已经开始采用在线监考软件来进行远程考试，同时保持考试的完整性。从传统的基于纸张的方法转向远程监考系统具有许多优点。第一个好处是安排考试变得更容易，使全球教育更容易获得。学生可以随时随地此外，学生与教师之间的沟通变得更快，考试通过开发多模式系统，Malhotra等人（2022）描述了一种在测试期间避免监考员物理存在的策略他们使用网络摄像头和活动窗口捕获来捕获视频。考生的脸被识别和分析，以预测他的情绪。通过识别一些特征点来确定头部姿态。一部手机、一本书或另一个人的出席都是可以检测到的东西。此模型组合产生一个智能规则推理系统，能够确定是否有任何考试舞弊Noorbehbahani等人（2022）介绍了对2010年1月至2021年2月期间发表的58篇在线作弊出版物的审查他们提出了关于在线考试作弊的热门话题。他们的研究可以作为一个有用的资源，教育工作者和研究人员在网上学习谁想要得到一个更全面的了解作弊检测，缓解和预防。为确保用户的完整性，Gopane和Kotecha（2022）提出了一种方法，其中包括持续的用户验证和确认。检测眼睛注视跟踪和微妙表情检测，例如预测申请人的观看方向、眼睛闭合或眨眼持续时间以及头部移动和活动的笑声检测，以在测试期间进行监测。申请人的任何可疑活动都受到监测和评估。人工智能被用来对申请人初步结果表明，该方法是有效的。Sapre等人（2022）提出了一种智能在线框架，用于减少在线考试模式中的学生舞弊行为。他们使用了一些基于机器学习算法的方法。在考试期间，主要任务是不断检测每个学生，这需要使用网络摄像头进行面部检测。可以肯定的是，面部照明和适当的姿势设置进行了观察。考官可以从他们的终端跟踪学生，并根据他们的非法行为收到警报，因为现场检测。S. Kaddoura和A. 古迈埃智能系统与应用16（2022）2001534图1.一、建议方法的示意图。Jalali和Noorbehbahani（2017）提出了一种自动作弊检测方法，用于使用基于图像的阈值和聚类方法分析在线考试该方法已经在实际学生中进行了测试，测试结果表明，该方法可以成功地应用于在线考试。10名学生的平均准确率为78%。Masud et al.（2022）提出了一种通过提取四种不同类型的事件数据并使用预训练的分类模型来检测考试视频中的活动来检测作弊的该方法将每个视频转换为表示所述时变事件数据的多变量时间序列。在真实的作弊视频数据集上的几个实验表明，该方法可以预测结果，准确率高达97.7%。然而，多元时间序列需要大的数据样本;否则，该方法此外，多变量特征是复杂的，需要高级数学计算.通过文献综述和相关工作可以看出，研究者们已经在开发高性能的作弊检测系统方面做了多次尝试。这些尝试要么是昂贵的，要么没有得到结果的支持，要么没有达到所需的效率和强度。因此，我们希望通过本研究来突破以往研究中存在的空白和局限3. 该方法该方法基于决策融合规则，采用有效和高效的方法检测在线考试系统中的它主要由三个检测模块组成，这些模块给出作弊概率分数，并使用软投票技术将其融合，这将在下面的小节中描述。图1展示了该方法的示意图。第一个和第二个模块根据选定的时间窗口大小，将从前后摄像头捕获的视频帧序列作为输入。一种轻量级的端到端深度卷积神经网络（CNN）方法根据它们的概率得分将它们分类为作弊或非作弊类。第三个模块根据与第一个和第二个模块相同的窗口大小获取录制的语音块然后，它将它们分类为：作弊类，对于具有一个概率得分的语音发生，或非作弊类，对于具有一个零概率得分的非语音发生，使用Sohn等人（1999）引入的基于高斯的离散傅立叶变换（DFT）统计方法。对于语音检测，噪声、语音和带噪语音的高斯统计系数向量，第三个元素被拿走了。在此之后，提出了一种基于软投票的决策融合方法（Gumaei等人，2022）基于模块的重要性对来自模块的输出分数给予不同的权重，并将它们相加。然后，具有最大加权概率和的输出类获得最终目标作弊或非作弊标签的投票。使用一系列图像和语音块的想法，基于时间窗的大小，是维持空间的强制性要求。因此，如果在某些情况下需要，则仅保存用于作弊活动的图像序列和语音块以用于在在线考试期间审查任何考生的行为。4. 研究方法在本节中，将解释所提出的方法中使用的方法。首先描述在第一和第二模块中用于从由前后摄像头捕获的视频帧进行作弊检测的深度CNN方法。建立了两个模型：一个模型从前置摄像头图像中检测然后，基于高斯DFT统计方法的语音作弊检测。最后，将说明软表决决策级融合方法。以下小节详细描述了这些方法。4.1. 一种轻量级深度卷积神经网络（CNN）方法图2示出了所提出的深度CNN模型架构的框图。它包含五个主要模块，用于从输入图像中提取和分类作弊特征。第一到第四个块由四个2D卷积层和四个最大池化层组成。在第四块和第五块中使用了两个dropout层，以防止模型训练期间的过度拟合问题5号区块有一系列的全连接（FC）层：衰减层和两个被丢弃层隔开的密集层。模型在模型的每一层中，采用了一个修正线性单元（ReLU）作为激活函数。ReLU是一个非线性和简单的函数，使大型网络易于训练。以下等式（Gumaei等人，2020年，可以用来计算。（卷积模型中使用的内核大小固定为2×2，最大池大小也为2×2，以减少参数和计算过程的数量。对于输入图像，CNN层可以提供各种级别的特征抽象。图2显示了创建的特征的总数。在最后一个块中，完成了分类过程。第四步生成2D特征图，然后将其分解为1D特征向量。1D特征向量被馈送到第五块中具有完全连接层的密集层中。然后，密集层的输出通过dropout层传输，然后通过另一个具有softmax激活函数的密集层传输。它有几个神经元，数量等于类标签的数量。使用softmax激活函数计算每个类别标签的可能性。它可以使用以下公式计算（Gumaei等人，2020年）：S. Kaddoura和A. 古迈埃智能系统与应用16（2022）200153∏2||∑���−1∑���[]（���）=���+（1−���）Prob ���（���）− 1（9）∑平均概率（平均���概率1）=1������������（5）第一章：2⎪⎪2���−1⎧|���⎫ |⎫Prob（���1）=[1]exp���|⎪���⎬|⎪⎬（四）=0( )+( )( )+( )⎩ ⎭其中，（）和（）分别是和的������ 对于多������个频带的似然比为：���概率（������概率0）1+���概率1+���概率Where������������scinning������ （ ��� ） 和������dscinning������（������������）被称为posteriori，分别为信噪比（SNR）的先验（Reale等人，2011年）。决策规则从每个频带的似然比的几何平均值导出，其计算如下：1logn =1 ���−1电子邮件： info@martina.com最大值=0<0通过噪声统计估计过程，我们认为，已知的参数������可以使用以下等式简单地获得最大似然（ML）估计量���̂(ML)=������− 1(7)通过将（7）代入（6），并在应用似然比检验（LRT）之后，基于判定规则（Sohn Sung，1998）产生1log（ML）=1∑[−log−1]>（8）������������=0<0prob==1图二. 自定义DCNN模型的框图。，对于n= 1，...，n（2）（8）的左手边不能小于零，这是ISD的众所周知的特性，并且指示似然比向 1倾斜。我们使用先验SNR估计技术（Ephraim Malah，1984）来减轻这种偏差：̂2(���−1)其中，输入的输出概率介于0和1之间，则输出之和等于1。该模型具有较少的层和少量的可学习参数。因此，它是轻量级的并且具有低检测计算成本。4.2. 一种基于高斯的离散傅里叶变换（DFT）统计方法Sohn等人（1999）中提到的方法用于基于语音的作弊检测。假设任务是从记录的语音中检测语音，并且存在来自背景环境的不相关的加性噪声;对于每个语音块可以考虑的检测语音的两个假设是：0：没有演讲 ，1：有一个演讲，这里，分别 是噪声、语音和带噪语音的离散傅里叶变换（DFT）的系数向量，其离散傅里叶变换元素分别为 ��� ��� 采用高斯统计模型，其中每个过程产生的DFT系数是独立的渐近高斯随机变量（Ephraim Malah，1984）。在这一点上，计算公式为：中文 （简体）������������(���,��� − 1)���其中，f是帧索引，并且如果f≥0，则���������������f =f，否则，������������(���)=0and���(���− 1)估计，其中使用最小均方误差（MMSE）估计（Ephraim Malah，1984）。（9）中的DD方法提供了比ML技术（Cappé，1994）更平滑的先验SNR估计，降低了整个噪声期间预测似然比的变化性。4.3. 基于软投票的决策融合方法所使用的方法是融合方法，它使用软投票策略来合并实际上不同的概率得分，以获得最终的决策输出。当概率分数被很好地校准并且多样化时，推荐该策略（Karlos等人，2020年）。基于软投票的方法根据几个分类成员生成的概率对类标签进行分类使用以下公式，根据其重要性对每个分类成员应用不同的权重：概率（∣��� ）=1��� 1exp|������|⎫⎪（三）其中，=1是每个分类成员的权重，���表示0=0( )中文（简体）������类别标签的输出概率得分分类器- 是的⎩ ⎭5，最大值中国（1S. Kaddoura和A. 古迈埃智能系统与应用16（2022）2001536++++++假设作弊分类任务被公式化为二进制分类，其中非作弊类被标记为0，作弊类被标记为1。此外，我们假设一个例子的分类概率是由三个决策水平产生的（1，12， 13）给出为：1（2（3（在我们的例子中，1是前置摄像头作弊检测的判决概率，2是后置摄像头的判决概率，3是语音检测的判决概率。通过使用不同的权重，最终决策的权重概率总和可以计算如下：( = 0, )= 10,1+ 20,2+ 30,3(14)( = 1, )= 11,1+ 21,2+ 31,3(15)= arg max[该方法的最终判决输出为最大熵值。5. 实验与讨论本节解释了实验结果，并使用几个评估指标在从公共数据库收集的两个数据集上评估了所提出的实验已经在具有2.2GHz Intel Core i7-8750处理器、8 GB NVIDIA GEFORCE GTX显示卡和32 GB RAM的笔记本电脑上进行，具有64位Windows 10操作系统，并用于图3.第三章。 两个数据集中的图像数量。手动选择关键帧并对其进行注释以创建两个数据集。图3显示了两个数据集中非作弊和作弊类标签的图像数量。一些非作弊和作弊样本取自图像的数据集如图所示四、我们将音频文件重命名为主题的ID。例如，主体1的声音是“1.wav”。所选音频文件中声音的持续时间不同，范围在13.46和25.07之间。在12个音频文件中，只有受试者18、19和20的音频文件包含考试期间的讲话。5.2.评估指标在这一小节中，我们给出了所提出的方法的性能评估指标，这是准确率，精度或阳性预测值（PPV），召回率或真阳性率（TPR），和假阳性率（FPR）。这些度量可以使用以下等式计算Python编程语言通过KERAS库。数据集和评价指标以及结果和讨论在以下小节中给出。5.1. 数据集说明实验中使用的数据集收集自公共在线考试监考（OEP）数据库（Aesthetal.，2017年）。的=+()=()=()=（十七）（十八）（十九）（二十）使用网络摄像头（前置摄像头）、WearCam（后置摄像头）和集成麦克风收集OEP数据库视频和音频。它有24个人，都是密歇根州立大学的本科生。演员扮演15名假装参加考试的受试者。他们被要求在整个过程中进行作弊活动，而没有被告知他们应该做什么或如何做。这些人的一个担忧是，他们在表演时可能会表现出虚假行为。因此，九名学生被要求参加一次真正的考试，并记录他们的成绩，以捕捉真实世界的考试条件。24例受试者中的这9例受试者为受试者10监考老师通过交谈、给他们一本书、走近学生等方式煽动作弊，知道他们不太可能在收集数据的捕获室中作弊。当这两个科目结合起来时，数据库中就充满了各种作弊策略和真实考试的吸引力。考试期间包含音频信息的音频文件以考生因此，我们使用用户名作为音频（.wav）文件的名称为了训练和测试该方法，从该数据库中创建了两个带有音频的图像数据集（前凸轮数据集和后凸轮数据集）第一个数据集用于检测来自前置摄像头视频帧的作弊，第二个数据集用于检测来自前置摄像头视频帧的作弊。用于检测来自后置摄像头视频帧的作弊。由于处理和注释视频的提取帧需要高处理能力并且是耗时的，选择12名受试者（受试者1-5，受试者18-24）。然后，将视频帧转换为图像。在视觉化图像之后，其中TP表示真阳性，即正确检测的数量。FP表示假阳性，即错误检测的数量。TN表示真阴性，即正确检测的数量。FN表示未正确检测到的假阴性事件的数量精确度是真阳性与真阳性和假阳性之和的比率。真阳性与真阳性和假阴性之和的比率称为召回率（也称为敏感度）。FPR是二进制分类中的错误，其中分类结果错误地指示作弊的存在，而作弊并不存在。5.3. 实验结果与讨论在实验中，深度CNN模型的超参数被初始化为它们的最佳值。在深度学习中选择最佳超参数值是一项艰巨的因此，我们从一个广泛的值开始，然后根据验证结果缩小范围选择RMSprop优化器来优化这两个模型的训练过程，RMSprop优化器第一个全连接密集隐藏层包含500个神经元，而第二个全连接密集输出层包含一个神经元，以给出具有概率得分的二进制输出。的值也为0.5设置了辍学率。卷积层S. Kaddoura和A. 古迈埃智能系统与应用16（2022）2001537见图4。从OEP数据库视频中获取的一些样本[5]：（a）-（h）是从前后摄像头视频中捕获的非作弊类;（i）-（p）是从前后摄像头视频中捕获的两种类型的评价分析已执行，以评估-评价方法的灵活性：用30%的测试数据集进行评价，用40%的测试数据集进行评价。在第一种类型中，数据集分为50%用于训练，20%用于验证，30%用于测试。对于第二种评估类型，模型在40%的数据集上训练，在20%的数据集上验证，并在40%的数据集上测试。在此之后，计算精度和其他评价指标。第一个评估类型的训练集、验证集和测试集中的实例数量分别为22405、5602和12003张图像。此外，第二评估类型的训练、验证和测试集中的实例数分别为19204、4802和16004个图像。 通过使用这些评价类型和语音检测的评价，在以下小节中将实验结果分为三组：5.3.1. 基于前后摄像头的作弊检测基于前置摄像头的作弊检测模块的结果见下表和图。图5显示了在训练时期期间，在50%的数据集上训练并在20%的数据集上验证图图5（a）和（b）是前置摄像头模型的训练和验证的准确度和损失类似地，Fig. 图5（c）和（d）是用于后置摄像头评估模型。图5示出了所开发的模型的训练过程的稳定性，其中准确度的值高，并且损失的值小。此外，训练和验证准确度之间没有差距。这意味着在训练模型时没有过度拟合。图6显示了从深度CNN模型获得的分类测试集的混淆矩阵。图图6（a）和（b）是用于在30%测试集大小和40%测试集大小上测试前置摄像头实验的深度CNN模型的混淆类似地，Fig.图6（c）和（d）示出了用于在30%测试集大小和40%测试集大小上测试后置摄像头实验的模型的混淆矩阵混淆矩阵提供了模型如何执行的完整视图。它们允许计算其他分类措施，这可以指导模型选择。根据图6中的这些混淆矩阵，对于30%测试集大小的前置摄像头实验，开发的轻量级深度CNN模型达到的准确率为99.83%，并且在40%测试集大小上达到的准确率为99.81%。此外，对于30%测试集大小和40%测试集大小的后置摄像头实验，准确率分别为98.78%和98.78%。表1至表4列出了测试集上其他评估指标的结果。所提出的模型实现了高召回率，精度和准确率的前端和后端为基础的模块。此外，模型对于非作弊和作弊标签都具有较低的FPR值（二进制分类误差）。此外，所开发的模型可以有效地检测主体无关的测试图像，这是不是在验证和训练集。这些实验结果表明了开发的深度CNN模型用于构建所提出的方法的有效性5.3.2. 基于语音的作弊检测为了评估基于语音的作弊检测模块的效用，计算每个主题音频的分类率S. Kaddoura和A. 古迈埃智能系统与应用16（2022）2001538图五. 开发的深度CNN模型的训练进度：（a）和（b）用于训练和验证前置摄像头模型的准确性和损失;（c）和（d）用于训练和验证后置摄像头模型的准确性和损失。表1用于前置摄像头实验的深度CNN模型在30%测试集大小上的实验评估结果。表4深度CNN模型在40%测试集大小上用于后置摄像头实验的实验评估结果。作弊准确度99.83%表2用于前置摄像头实验的深度CNN模型的E x实验评估结果，测试集大小为40%。类别名称召回精度假阳性率非欺骗0. 9982 0. 9979 0. 002作弊准确度99.81%表3深度CNN模型在30%测试集大小上用于后置摄像头实验的实验评估结果。类名召回精度假阳性率不作弊0.99550.98030.02作弊准确率98.78%使用Sohn等人（1999）发表的决策规则，在收集的数据集中（受试者1-上述受试者的语音检测分类结果如图1A和1B所示7和8作弊准确率98.78%如图7所示，没有针对对象1-5的语音而不是背景噪声，并且该方法检测到没有语音并且将输出保持为零的向量。在图8中，很明显，语音模块方法可以在受试者18、19和20的记录的音频文件中检测到检查期间的语音，并且受试者21-24没有语音该方法为包含语音的部分或语音块给出一个输出12名受试者中有3个文件的音频文件包含演讲，9个文件不包含演讲。有效地和正确地，该方法以100%的准确度检测所有这些（即，“accuracy”5.3.3. 计算成本在本节中，计算了所提出方法的计算成本，以确认其在在线考试中实时作弊检测的适用性。Deep CNN和语音作弊检测模型在实验期间的平均检测时间如表5所示，以显示它们在第二个时间窗口中检测未知样本和语音所需的时间结果表明，这两种模型计算量小，适用于在线考试实时作弊检测系统。类名召回精度假阳性率类名召回精度假阳性率不作弊0.99730.99920.001不作弊0.99110.98440.015S. Kaddoura和A. 古迈埃智能系统与应用16（2022）2001539见图6。 所开发的深度CNN模型的混淆矩阵：（a）和（b）是用于在30%上测试前置摄像头实验模型的混淆矩阵。测试集大小和40%测试集大小;（c）和（d）是用于在30%测试集大小和40%测试集上测试后置摄像头实验的模型的混淆矩阵尺寸表5两种模型检测一幅样本图像和一秒语音的平均时间。第二次基于深度CNN的欺骗中的方法检测时间0.028每个样本的语音作弊0.082每秒语音检测5.3.4. 准确度结果为了验证所获得的结果的有效性，我们将所提出的方法与当前最先进 的 方 法 进 行 了 比 较 。 表 6 显 示 了 这 项 工 作 的 准 确 性 与 Jalali 和Noorbehbahani（2017），Masud等人的相关研究的准确性（2022年）。表 6 显 示 ， 所 开 发 的 检 测 作 弊 和 非 作 弊 类 的 方 法 的 准 确 度 为99.83% ， 高 于 Jalali 和 Noor- behbahani （ 2017 ） ， Masud 等 人（2022）中提出的方法所达到的准确度该比较证明了所提出的方法的有效性，并确认其优于当前最先进的方法。在Jalali和Noorbehbahani（2017）中，10名学生的平均准确率为78%。然而，这项工作缺乏一个模块来分析学生虽然该方法的准确率为97.7%，但多元时间序列需要大的数据样本，如果不使用大的样本，则该方法表6所提出的方法对当前最先进的方法的准确性。参考准确度Jalali和Noorbehbahani（2017）78%Masud等人（2022年）97.7%工作99.83%标准误差此外，多变量特征是复杂的并且需要高级数学计算。6. 结论和今后的工作在这项研究中，计算机视觉方法和深度学习模型的组合然而，仍然需要一个有效的和轻量级的作弊检测方法，因为它是一个强大的和实用的训练模块。提出了一种基于深度CNN和基于高斯DFT统计方法的轻量级实时作弊检测方法。该方法主要由三个检测模块组成，每个模块给出作弊概率得分，并使用软投票技术将它们在一个公开的大规模数据库上进行了广泛的实验进行了两种类型的评价分析：用30%的测试数据集进行评价和用40%的测试数据集进行评价。在第一种类型中，数据集分为50%用于训练，20%用于验证，S. Kaddoura和A. 古迈埃智能系统与应用16（2022）20015310图7.第一次会议。受试者1-5的语音检测：（a）-（e）音频文件的时间信号;以及（f）-（j）通过整个每个音频文件的检测输出。图8.第八条。受试者18-24的语音检测：（a）-（f）音频文件的时间信号;以及（g）-（l）通过整个每个音频文件的检测输出。S. Kaddoura和A. 古迈埃智能系统与应用16（2022）2001531130%用于测试。对于第二种评估类型，模型在40%的数据集上训练，在20%的数据集上验证，并在40%的数据集上测试。开发的前置摄像头深度CNN模型在30%测试集大小和40%测试集大小上实现的准确率分别为99.83%和99.81%。此外，后置摄像头深度CNN模型在30%测试集大小和40%测试集大小上的准确率分别为98.78%和98.78%。所提出的方法的计算成本0.028秒用于检测一个样本图像，0.082秒用于检测一秒语音中的语音。