中学生编程能力的人工神经网络预测

工程科学与技术，国际期刊23（2020）1301完整文章基于人工神经网络的中学生编程天赋预测Ali ZetinkayaZahan，Ömer Kaan Baykan科尼亚技术大学工程学院，计算机工程系，土耳其阿提奇莱因福奥文章历史记录：2019年12月12日收到2020年7月8日修订2020年7月13日接受2020年8月9日网上发售保留字：编程技能预测学生学习成绩预测Code.orgANN机器学习A B S T R A C T如今，资源和服务的软件化和虚拟化正在迅速发展，随着阅读和写作，编程将成为人类的基本能力之一。因此，在早期发现熟练的程序员对于经济体加强其劳动力和全球竞争变得非常重要。目前的技术势头表明，当今天的中学生达到21世纪30年代时，对高级编程技能的需求将迅速增加，在2016年至2030年期间将扩大高达90%因此，在早期识别这些技术人员是重要的因此，本研究主要利用人工神经网络（ANN）算法预测中学生参与者的调查，开发和应用的中学生组成的五，六，七年级的科尼亚科学中心，土耳其。调查完成后，参与者参加了Code.org上的20级经典迷宫课程（CMC）。参与者在CMC中的最终分数是根据他们完成的级别和他们编写的代码行计算的。使用贝叶斯正则化算法获得了最佳结果：Training-R = 9.72284e-1;Test-R = 9.12687e-1，All-R = 9.597e-1。结果表明，人工神经网络是一种合适的机器学习方法，可以预测参与者的技能，如分析思维，解决问题和编程能力。©2020 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍对科学、技术、工程和数学（STEM）领域劳动力稀缺的担忧，激发了人们对STEM技能与职业轨迹之间关系的高度关注[1]。据估计，信息技术（IT）相关工作占STEM相关领域所有新职位的三分之二[2]。最近的研究[3]估计，对高级IT和编程技能的需求当今天的中学生到了2030年代，他们的职业生涯将开始，而具有编程能力的人无疑将是按需的，并且将是少数[3]。因此，各经济体通过有才华的程序员加强其劳动力队伍变得越来越重要[4]。在一个高度自动化的世界里，尽早识别学生*通讯作者。电 子 邮 件 地 址 ： ali. gmail.com （ A. 电 子 邮 件 ： okbaykan@ktun.edu 。 tr.KBaykan.由Karabuk大学负责进行同行审查越来越重要。用于检测学生编程能力的方法之一是机器学习预测技术。最常用的机器学习方法是监督学习方法，包括决策树、决策森林、逻辑回归、支持向量机、神经网络、核机器和贝叶斯分类器，它们被广泛用于预测数值[5]。机器学习方法用于预测学生的学习成绩，辍学率，课程注册，成绩，GPA和学习，最近获得了很大的吸引力。现将过去10年来在这一领域开展的一些相关工作介绍如下：在[6]中，提出了一种采用神经网络方法的预测模型，以确定学生选择在线课程研究表明，该模型的性能优于三种知名的机器学习方法和两种以前的传统模型。在[7]中，研究了使用递归神经网络来建模瞳孔学习的优势所采用的人工神经网络在真实的学生数据上表现出了最新的预测模型，这为知识追踪提供了一条新的研究路线。在[8]中，为了预测学生的学习成绩，利用10倍交叉验证的ANN对300名学生的年级数据进行了预测。建议的模型提供了比基本列车更好的性能https://doi.org/10.1016/j.jestch.2020.07.0052215-0986/©2020 Karabuk University. 出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestch1302A. Kaketinkaya，K. Baykan/工程科学与技术，国际期刊23（2020）1301挖掘技术和关联规则挖掘。基于120名学生的数据，提出了一种基于有监督神经网络的学生学习成绩预测方法。该模型优于传统的方法，并有望帮助教育机构确定合适的学生进行学术研究。结果还显示，学生在文献[10]中，采用逻辑回归分析（LRA）和人工神经网络对未来数学教师的学业成绩进行了预测，人工神经网络模型的预测成功率优于LRA模型。在[11]中，预测了未来学期的学生注册率。他们使用了不同的预测模型，例如带有Bagging和Boosting模型的ANN，决策树和贝叶斯简单逻辑回归。总之，人工神经网络装袋方法可以区分为一个更好的技术与96%的成功。在[12]中，一个基于人工神经网络的预测模型被用来估计学生在学年中的成功。结果表明，观测值与预测值具有显著的相似性。在[13]中，提出了一个人工神经网络模型来预测土耳其和马来西亚职业学校学生的学习成绩。结果非常成功：土耳其学生922个样本的敏感率为98%，马来西亚学生1050个样本的敏感率为95.7%。考虑到未来的编程劳动力，需要编程技能。重要的是要在早期识别这些有才华的人因此，本研究主要利用人工神经网络算法和可视化网络编程工具对中学生文献中的大部分考虑到这一主题的研究差距，提出了以下RQ1：人工神经网络算法将如何使用从学生的人口统计信息和分析思考、地图素描和折纸问题的答案中收集的数据来预测中学生的 编 程能力。如何支持中学生论文的其余部分组织如下：第2描述了材料和方法，第3介绍了结果和讨论，第4节讨论了研究的结论。2. 材料和方法本研究以土耳其科尼亚科学中心的五、六、七年级学生为对象，设计了一个参与式问卷调查。调 查 结 束 后 ， 参 与 者 参 加 了 Code.org 上 的 20 级 经 典 迷 宫 课 程（CMC）。参与者他们完成的程序和他们写的代码ANN算法-获得著名的游戏角色，如愤怒的小鸟，通过迷宫击中一个绿色的猪的指令[14]。Code.org由双胞胎兄弟Hadi和Ali Partovi于2013年推出，并发布了一个宣传计算机科学的视频。Code.org的关键目标是帮助学生认识到计算机科学更容易获得，并且与每个人都相关[16，17]。Code.org是2013年发起的编码扫盲活动之一，旨在促进高度数字化世界中批判性推理和沟通能力的发展[15]。教师还可以提供多种学习选择。一些学生可能会选择使用五个升级游戏程序，这些程序被编入Code.org[18]。目前的学习环境不仅是为学习计算机工作的基本要素而设计的，也是为对计算机编程感兴趣的所有年龄段的学生而设计的[19]。在Code.org上有许多类型的课程，CMC是其中最受欢迎的课程之一。在CMC中，比较、循环结构、条件等关键编程概念被巧妙地嵌入.CMC的每个级别都侧重于具有特定难度级别的不同编程概念。参与者可以在不需要教师的情况下完成CMC。Code.org类的管理员可以访问每个级别的每个参与者编写的代码行和完成状态数据。 通过检查每个参与者的水平数据和每个水平的代码行来计算Code.org CMC分数，CMC。2.2. 参与者这项研究在2018-2019学年进行，从土耳其科尼亚市的一所中学随机选择了三组200名五年级、六年级和七年级学生。参与者的人口统计学信息和其他详细信息的分析在参与者中，109人（54.5%）为女性，91人（45.5%）为男性。年 龄 分 布 ： 10 岁 32 人 （ 16% ） ， 11 岁 92 人 （ 46% ） ， 63 人（31.5%），10岁以上12人（10%）12岁，12（6%）13岁，1（0.5%）14岁。学生父母的教育背景2.3. 调查调查由四个部分组成：人口统计信息，折纸问题，地图素描和分析思维问题。表1参与者的人口统计信息可变组%性别女性45.5使用调查的问题作为输入，计算出的参与者在CMC中的最终分数作为输出，在MATLAB上执行算法本研究利用科尼亚科学中心的物理空间和资源进行所有的预防措施都是为了确保所有的参与者都不会有任何的考试焦虑。2.1. Code.orgCode.orgCMC由一组男性10岁11121314母亲初中高中大学父亲54.5164631.560.521.548.517.512.512.538.522.526.5A. Kaketinkaya，K. Baykan/工程科学与技术，国际期刊23（2020）13011303NNX.-我我我人口统计信息问题包括性别、年龄、父母折纸问题源自[20]。采用折纸测验评价视觉化和空间推理能力，以空间图形的处理和转换能力以及对图形是否为图形转换的识别能力为基础。在调查中，给出了三个不同难度的折纸问题。参与者被要求破译当纸展开时折叠纸表面上的孔将如何。地图草图改编自[20]。该地图旨在包括各种地标位置，如机场，停车场，学校，湖泊，城堡，医院，图书馆和科学中心。参与者被要求选择两个他们想去的地方。然后，参与者从1到7中选择两个数字，表示地图中的不同路径，作为起点和终点。在路径号选择之后，participants必须遵循从起点到第一个地标的路径，然后到第二个地标，并到达终点。分析性思维问题是由国家教育部测量、评估和考试服务局编写的一般能力测试中的专家提出的。如文献所示，数学成绩是预测学生编程技能的影响因素[21因此，在预测模型中考虑了数学等级.训练、验证和测试子集通过在ANN模型中随机分割数据产生。在神经网络的学习过程中，利用训练数据，和验证数据衡量网络的泛化能力。该网络根据其错误进行修改，并在泛化停止改善时停止训练。测试过程没有对网络结构进行任何更改;相反，它提供了对训练前后网络性能的独立评估[27]。为了确定训练和验证的连贯数据分割，考虑了几种组合。在本研究中，200个数据集分为140个（70%）用于训练，30个（15%）用于验证，30个（15%）用于模型测试。遵循以下步骤来测量预测模型的性能：首先，将每个训练算法与一个具有不同数量神经元的隐藏层相结合然后，利用均方误差和R2值对模型进行Y的预测值和观测值之间的相关性为R。R2值测量回归，并显示所解释的反应变量Y的相应变化量独立变量X。R2的值在0和1之间，用于评估回归，并显示由独立变量X描述的反应变量Y的变化比例。 线性相关性增加，当R2接近1时，输入和目标输出和目标之间的平均二次差是MSE值。MSE值越低MSE方程在（1）中描述：MSE为1×10-2×11/12.4.数据分析本研究利用人工神经网络（ANN）算法研究了参与者问卷调查结果与参与者在CMC中的成功之间的关系其中N是单元阵列输出的数量，yi是目标的矩阵或单元阵列，并且yi是输出的矩阵或单元阵列的R2方程描述在（2）中：MSE模型最常见的人工神经网络训练算法，如缩放共轭梯度[24]，R2¼1-MSE基线ð2Þ[26]有一种说法。通过改变神经元和隐藏层的数量来合并算法，以获得学生在MATLAB中编程天赋的最佳预测模型下面，详细描述由输入和目标参数生成的ANN模型以及模型之间的性能测量。对所有输入和目标参数进行了超过100点输入参数：每个ANN模型使用13个输入参数。输入参数分布如下：人口信息（5），数学成绩（1），折纸问题（3），地图素描（1）和分析思维问题（3）。目标参数：CMC由20个级别的谜题组成，每个谜题都有一个难度级别，目标是让参与者了解特定类型的编程概念，例如比较，循环结构和条件通过Code.org教师每个参与者的最终Code.org CMC评分计算如下。每一个等级，都是按照难度来加权的。如果用户在其预期的代码行内完成每个级别，它将获得100分作为最终得分。如果缺少一个级别或代码行数超过预期，则会应用一些惩罚到最后得分。计算的最终得分被用作ANN模型的目标参数。模型的MSE如上所述计算，基线的MSE定义见（3）：1N2MSE基线2014年-2015年1/1其中带条形的y是观测到的yi的平均值。当前馈网络初始化时，网络的目标是通过更新权重来因此，如果网络不够准确，则可以重新启动网络，并记录新的结果以供将来比较。可以增加网络的隐藏层中的神经元的数量，以给予系统更大的灵活性来优化参数。此外，必须逐渐增加隐藏层的大小，以允许网络优化比数据向量更多的参数来限制这些参数。如果隐藏层太大，则这可能导致特征化不足。然而，选择不同的算法，如贝叶斯正则化，有时会导致泛化能力优于提前停止方法，这是提高泛化能力的默认模型[27]。在本研究中，采用不同数量的神经元，以优化神经网络模型隐含层的神经元数量，考虑到上述MSE和R2值。1304A. Kaketinkaya，K. Baykan/工程科学与技术，国际期刊23（2020）1301Fig. 1. Code.org的经典迷宫学生完成水平的快照3. 结果和讨论人工神经网络因其识别模式和训练的能力而被广泛使用[23]。Levenberg-Marquardt算法、贝叶斯正则化算法和尺度共轭梯度算法是最常用的人工神经网络预测算法。 隐层神经元个数是神经网络模型优化输出的重要参数之一。所采用的ANN模型由一个隐藏层、13个输入和一个目标组成（图5）。每个模型对2到10个神经元执行10次，以找到其隐藏层中神经元的最佳数量。表2中给出了最佳执行结果。此外，最佳结果的训练，测试和验证值在图2中给出。2-4分别用于Levenberg-Marquardt、贝叶斯正则化和缩放共轭梯度算法。误差直方图图见图1和图2。6-8对于三种算法。性 能 图 表 如 图 1 和 图 2 所 示 。 9- 11 分 别 用 于 Levenbe rg-Mar quar dt 、贝叶斯正则化和缩放共轭梯度算法。在神经网络的训练算法中，贝叶斯正则化算法已被发现给最好的效果与10个神经元在隐藏层。贝叶斯正则化算法的结果如下：训练-R =9.72284 e-1;测试-R = 9.12687 e-1，以及所有-R = 9.597 e-1;训练-MSE= 11.29453 e-0;测试-MSE = 50.71159 e-0;以及所有-R = 9.597 e-1。图二. Levenberg-Marquardt算法的训练、测试和验证值的最佳结果表2分析最佳结果。算法NoNHL培训-RValidaiton-R测试-R全R培训-MSE验证-MSE测试-MSELevenberg-Marquardt贝叶斯正则化尺度共轭梯度51059.65123e-19.72284e-19.5098e-19.24989-1-9.201 e-19.16369e-19.12687e-19.0196e-19.5197e-19.597e-19.3626e-115.43640e-011.29453e-019.19747e-028.93511e-0-43.28254e-034.76528e-050.71159e-045.81064e-0A. Kaketinkaya，K. Baykan/工程科学与技术，国际期刊23（2020）13011305图三.贝叶斯正则化算法的训练、测试和验证值的最佳结果见图4。缩放共轭梯度算法的训练、测试和验证值的最佳结果图五. 神经网络图图六、Levenberg-Marquardt算法的误差直方图值的最佳结果见图7。贝叶斯正则化算法的误差直方图值的最佳结果见图8。缩放共轭梯度算法的误差直方图值的最佳结果。图9.第九条。Levenberg-Marquardt算法的性能值的最佳结果1306A. Kaketinkaya，K. Baykan/工程科学与技术，国际期刊23（2020）1301------图10个。贝叶斯正则化算法的性能值的最佳结果见图11。缩放共轭梯度算法性能值的最佳结果误差直方图，其中蓝色条代表训练数据，绿色条代表验证数据，红色条代表测试数据，可以为我们提供离群值的显示，这些离群值是拟合明显差于大部分数据的数据点[27]。在Levenberg-Marquardt算法的误差直方图值的情况下至于贝叶斯正则化直方图，大部分误差在9到8之间，但可以看到一些异常值，例如14.66，13.22和13.24。12.53.缩放共轭梯度的误差直方图显示了9和9之间的大多数误差值，这也表明了几个离群数据点。这些离群值在测试回归图上也是可见的。所采用的人工神经网络模型优于文献中众所周知的回归方法：有理二次高斯过程回归R2：0.86;线性回归R 2：0.86;线性回归R2：0.86;支持向量机R2：0.84;4. 结论当今天的中学生达到2030年代，大学毕业后，他们的职业生涯将开始。当前的技术势头表明，软件化进程将迅速持续，几乎所有的新解决方案都将是基于代码的。编程将是未来城市生活的必需品之一。探讨了中学生程序设计天赋的预测模型，以预测未来的职业轨迹。根据调查结果，本研究得出结论：中学生的编程倾向可以通过参与式问卷中的参数进行预测。 最后得出结论，人工神经网络是一个合适的机器学习方法来预测参与者人工神经网络算法，这是在这项研究中，提供了一种方法，让家长和教师的中学生，以确定他们的学生那些被父母或老师告知他们将擅长编程的学生，未来对编程感兴趣的可能性要高出2.5到3倍。因此，研究结果将与参与者的教师和家长分享即使以前没有编程经验，如果学生在调查中获得了好成绩，那么他的父母和老师可以建议鼓励他从事与编程相关的职业。与其他预测模型一样，这个模型并不意味着相对不成功的学生不能从事这些工作。因此，研究表明，人工神经网络算法是一个重要的解决方案，有效地预测编程能力。这项研究的一个局限性是样本量相对较小，只有200名学生。在最近对ANN的研究中，小数据集也被证明在ANN中得到良好的结果[29除了样本量，这项研究的重点是城市公立学校的学生在一个城市，土耳其科尼亚，提出了一个具体的限制如何研究结果可以广泛推广。同样值得注意的是，如果没有数据集，同样的结果是不可能的，而且数据可以根据要求从作者那里得到在未来的工作中，可以更多地对预测算法进行不同的研究，例如深度学习（例如LSTM），机器学习算法和模糊逻辑方法。 参与者调查的问题可以根据不同的文化和人口背景进一步多样化和定制。今后的工作应努力取得更广泛和多样化的学生样本，并应侧重于比中学年龄更早的学生，如小学生。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。确认本文是根据阿里·萨耶廷卡亚的博士学位。论文提交人感谢土耳其国家教育部科尼亚省教育局的支持。引用[1] I. Ognjanovic ， D. Gasevic ， S. Dawson ， Using institutional data to predictstudent course selection in higher education，Internet High Educ.29（2016）49-62，https://doi.org/10.1016/j.iheduc.2015.-一万二[2] J. Zagami，M. Boden，T.基恩湾Moreton，K. Schulz，Girls and Computing：Female Participation in Computing in Schools，Aust. 教育Comput. 30（2015）2.[3] J. Bughin，E. Hazan，S. Lund，P. Dahlström，A. Wiesinger，A. Subramaniam，SkillShift：Automation and the Future of the Workforce，McKinsey Global Institute1（2018）3-84.[4] J.H. Maloney ， K.Peppler ， Y.Kafai ， M.Resnick ， N.Rusk ， Programming bychoice：urban youth learning programming with Scratch ，Educ. Inf. Technol.39thSIGCSE（2008）367-371.[5] D.J. Ruppert ， 统 计学 习 的 要素 ： 数 据挖 掘 ， 推 理和 预 测， 美 国 。Stat. 99（466）（2004）567，https://doi.org/10.1198/jasa.2004.s339。[6] A.A. Kardan，H.Sadeghi，S.Ghibrium，M.R.F.Sani，使用神经网络预测在线高等教育机构的学生课程选择，Comput。65（2013）1-11。[7] C. Piech，J. Bassen，J. Huang，S. Ganguli，M. Sahami，L.J. Guibas，J. Sohl-Dickstein，Deep knowledge tracing，J. Adv. Neural Inf. Process。（2015）505-513.A. Kaketinkaya，K. Baykan/工程科学与技术，国际期刊23（2020）13011307[8] S.J. Sebastian ， J. Puthiyidam ， Evaluating students performance byartificial neural network using WEKA，International Journal of Computersand Applications 119（23）（2015）36 https://doi.org/10.5120/21380-4370.[9] M.F. Sikder ， M.J.Uddin ， S.Halder， 使 用 神 经 网 络预 测 学 生 的 年 度 表 现 ：BSMRSTU的案例研究，第五届国际会议信息学（2016）524-529。[10] E. Bahadir，使用神经网络和逻辑回归分析来预测未来数学教师在进入研究生教育后的学术成功，Educ.Sci.：理论实践16（3）（2016）943-964。[11] B. Nakhkob，M. Khademi，使用神经网络和数据挖掘技术预测高等教育入学率的增长，J. Adv. Comput。Res. Q. 7（2016）2345-2356。[12] I. Aydogan，通过人工神经网络估计学生成功率，并通过逻辑回归分析比较影响模型的功效，博士。博士论文，YüzüncüYil大学，2017年。[13] A. Yagci，M. Cevik，土耳其科学课程（物理，化学和生物学）中使用人工神经网 络 的 职 业 和 技 术 高 中 学 生 的 学 业 成 绩 预 测 以 及 对 其 失 败 采 取 的 措 施 ，Educ.Inf.Technol.37（2019）。[14] Code.org：可在studio.code.org/hoc/1（2019）上获得。[15] H. Partovi，M.Sahami，代码的时间即将到来！ ，ACM SIGCSE Bull.4 - 5（2013）4-5。[16] C. 威尔逊，Code.org的下一步是什么IEEE Computer.Soc. 8（2013）95-97。[17] F. Kalelioglu，教授K-12学生编程技能的新方法：代码。org. 计算机在人类，行为，计算。人类行为 52（2015）200-210。[18] M.以色列，Q.M. Wherfel，J. Pearson，S. Shehab，T.塔皮亚，赋权K-12残疾学生学习计算思维和计算机编程，除了孩子教。 48（2015）45-53。[19] H. Buckova ，J. Dostal，基于代码的现代计算教学方法。org，J. ICER Proc.1（2017）5091-5096。[20] S.芬奇湾贝克岛Box，Q.卡茨，M.放大图片作者：J. 汉密尔顿河，巴西-地Lister，M.彼得河西蒙，K。Sutton，D. Tolhurst，J. Tutty，Programmed to Success？A multi-national，multi-institutional study ofintroduction programming courses，TechnicalReport，University of Kent，2005.[21] P. 拜恩湾里昂，学生属性的发展对管理专业学生成功编程的影响，国际会议。教育。技术。计算。ICETC 6（2009）191-193.[22] G.怀特，文学硕士 Sivitanides，计算机编程语言需求与程序员能力之间关系的理论认知特征，J.Inf.Syst.Educ.14（2003）409-416。[23] J. Bennedsen ， M.E. Caspersen ， Revealing the programming process ， ICERProc. 16（2015）155 https://doi.org/10.1145/1047344.1047413.[24] M.F. Moller ， A Scaled Conjugate Gradient Algorithm for Fast SupervisedLearning，Neural Networks 6（1993）525-[25] M.T. Hagan，M.B. Menhaj，用Marquardt算法训练前馈网络，IEEE Trans. 神经网络5（1994）989-993.[26] F.D.Foresee ， M.T.Hagan ， Gauss-NewtonapproximationtoBayesianlearning，Proc. Int. Jt. Conf. Neural Networks 3（1997）1930https://doi.org/[27] Mathworks：2019年。 查阅网址：www.mathworks.com/products/matlab。[28] 谷歌公司;盖洛普公司（2017）1[29] C. Greco，A. Polonioli，J. Tagliabue，Less（data）is more：Why small dataholds the key to the future of artificial intelligence，Int. Conf. on Data Sci. Tech.App Data（2019）[30] W. Hämäläinen，M. Vinni，智能教学系统的机器学习方法的比较，讲座笔记。Sci.（2006）525https://doi.org/10.1007/11774303_52[31] G. Leroy，TC Rindflesh，信息和机器学习算法对小数据集词义消歧的影响，Int. J.Med. 告知。74（2005）573-585。