学生表现数据可视化分析工具

视觉信息学3（2019）166PerformanceVis：可视化分析化学入门课程的学生表现数据HaochangDenga，XuemengWanga，ZhiyiGuob，AshleyDeckerc，XiaojingDuanc，Xiaojing Duan c，ChaoliWangc，G. 亚历克斯·安布罗斯c，凯文·阿伯特cUniversity of Rochester，Rochester，NY 14627，美国b复旦大学，上海200433，中国Universityof Notre Dame，Notre Dame，IN 46556，美国ar t i cl e i nf o文章历史记录：收到2019年2019年10月19日接受在线发售2019年保留字：学生成绩项目分析成绩预测学习分析知识发现a b st ra ct我们提出了PerformanceVis，一个可视化的分析工具，用于分析学生入学和课程表现数据，并调查家庭作业和考试问题设计。针对一个大学范围内的化学入门课程，近1000名学生入学，我们考虑的要求和学生，教师和管理人员的需求在PerformanceVis的设计。我们研究了作业和考试中的问题项之间的相关性，采用机器学习技术进行学生成绩预测，并开发了一个交互式探索学生课程表现数据的界面。PerformanceVis包括四个主要视图（总体考试成绩路径、详细考试成绩路径、详细考试项目分析和总体考试作业分析），它们动态链接在一起，便于用户进行交互和探索。我们证明了通过案例研究和专门的专家评估，最后，我们通过指出学习分析研究这个方向的未来工作来总结这项工作2019浙江大学出版社版权所有由爱思唯尔公司出版这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍近年来，越来越多的努力致力于开发学习分析仪表板，以帮助学生，教师和其他管理利益相关者了解学生的学习行为和表现模式。这些仪表板利用信息可视化技术来显示各种信息，例如登录频率、时间学生在网上学习环境中的任务、点击流和工具/资源使用情况 。最初 的工作重点是 突出有可能学 业失败的学生（Arnold和Pistilli，2012年）。最近，开发了面向学生的仪表板，以提高学生的自我意识，促进积极的行为改变，并最终提高他们的学业成绩（Lim等人，2009年）。，2019）。然而，尽管越来越受欢迎，目前的学习分析仪表板的开发主要集中在可视化学生*通讯作者。电子邮件地址：xduan@nd.edu（X. Duan）。同行评议由浙江大学和浙江大学出版社负责。https://doi.org/10.1016/j.visinf.2019.10.004本研究的目的是介绍PerformanceVis的发展过程和评估结果，PerformanceVis是一种通过时间、评估项目、人口统计学和学术背景来分析和可视化学生表现的工具。PerformanceVis允许用户分析和可视化学生的表现在四个主要视图，通过刷和链接集成。在起点处，总体考试成绩路径（OEGP）视图以Sankey图的形式呈现了不同考试的成绩分布变化。对于观察到的变化的详细调查，用户可以点击途径并调出详细的考试成绩途径（DEGP）视图，以更详细地识别表现出有趣变化的学生、他们的人口统计和学术特征。利用平行坐标，DEGP还使用户能够通过这些特征过滤学生，并放大他们的表现轨迹。为了验证评估设计并提供可操作的改进意见，我们进行了考试分析，包括问题难度和相关性，并在详细考试项目分析（DEIA）和整体考试作业分析（OEHA）视图中呈现结果。DEIA根据问题之间的相关性对选定考试中的问题进行聚类。当发现一个有趣的问题，用户可以点击它，并调查该问题是如何通过OEHA与其他考试和家庭作业中的问题相关。DEIA和OEHA都允许用户通过难度级别或具体主题来分析考试问题。2468- 502 X/©2019浙江大学和浙江大学出版社。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfH. Deng，X.Wang，Z.Guo等人/视觉信息学3（2019）166167通过这四个协调的观点，PerformanceVis促进了包容性教学，并改进了课程设计。我们将“包容性教学”定义我们注重课程设计的改进，目的是提高教师对潜在偏见的认识在评估中，帮助他们消除这些偏见，设计可靠有效的考试来评估学生在本研究中，我们采用多种数据分析和可视化方法，结合需求评估访谈和专家评估的焦点小组。普通化学课程。 这项研究是使用数据从普通化学课程中收集的集合，该课程是所有科学、技术、工程和数学（STEM）学科的基础。本课程旨在帮助学生更好地理解化学的基本基础。为了实现这一学习目标，学生需要完成12个在线作业集，并采取四个纸笔考试。此外，学生们还需要每周与一小群同龄人会面，解决辅导问题。此外，学生还必须参加相应的实验室课程。 作为实验课程的一部分，学生们需要观看实验前的讲座视频，并根据视频进行测验。在每个实验的开始S E Scholars信息。科学工程（S E）学者计划旨在提高准备不足和服务不足的学生的可能性，他们打算主修STEM学科，成功完成基本的STEM课程。该计划为参与的学生提供了一个更小的班级规模，由一个更有经验和屡获殊荣的教师授课。研究表明，较小的班级规模可以使教师和学生之间有更多的互动，这对学生的表现有积极的影响此外，还为学生学者提供学习技能课程，帮助他们发展解决问题和批判性思维技能。此外，该计划将参与学生与高级教师导师配对，他们可以提供更有针对性和个性化的指导。数据集。 我们在这项研究中使用的数据收集自在2018年秋季学期注册化学课程的949名学生。数据集分为三类，从学习管理系统（LMS），机构研究和广告：课程绩效数据，学生特征数据和学习行为数据。课程表现数据包括学生的课程成绩，每个作业、考试、实验和辅导的学生特征数据包括学生的人口统计信息学习成绩数据包括学生在作业问题上进行了多少次尝试，他/她是否使用了提示，以及他/她是否放弃了问题。2. 相关工作最近的研究表明，学习分析仪表板的预期目标在很大程度上取决于目标受众（Park和Jo，2015）。因此，先前开发的仪表板通常可以基于主要目标受众分为三类：（1）面向管理员的仪表板，（2）面向学生的仪表板，以及（3）面向管理员的仪表板。面向教师的仪表板。这种类型的仪表板通常会捕获并可视化学生模式，在在线学习环境中花费的时间，以及与同龄人相比的评估分数和排名。主要目标是帮助教师识别那些表现出可能导致学业成绩低下的行为的学生例如，Ali et al. （2012）开发了LOCO-Analyst，为教师提供有关学生学习活动和表现的反馈。类似地，Podgopec和Kuhar（2011）对Moodle仪表板进行了扩展，以帮助教师在Moodle虚拟学习环境（VLE）中监控学生表现的关键指标为了帮 助教师了 解学生在 在线学习 环境中如何 相互互动 ，Bakharia和Dawson（2011）可视化了SNAPP论坛中参与者关系的演变。Essa和Ayad（2012年）开发了学生成功系统，以帮助教师识别有风险的学生，以便他们能够为他们提供及时有效的支持。如这些示例所示，面向教师的仪表板旨在帮助教师对课程活动进行概述，反思他们的教学实践，并识别有学业失败风险的学生（Verbert et al. ，2013）。面向学生的仪表板。 另一方面，还开发了面向学生的仪表板，以向学生自己揭示学习模式。这种类型的仪表板旨在提高学生的自我意识，促进他们的自我反思，最终目标是激励他们改变自己的行为，从而取得学术成功。Pérez-Álvarez等人（2017）开发了NoteMyProgress，以帮助学生跟踪他们如何在课程中花费时间。Santos等2013年，开发了StepUp！让学生在开放式的学习环境中，与同侪一起进行学习活动，以促进学生的密歇根大学开发的Ecoach通过向现有学生提供反馈和学习习惯/策略来帮助他们通过困难的课程（McKay et al. ，2012）。学位指南针是另一个类似的推荐系统，通过研究过去学生的人口统计数据，学术准备，最终成绩和课程注册选择，帮助当前学生注册他们更有可能成功的课程（Denley，2013）。Klerkxet al. （2014）总结说，可视化在教育领域发挥着比简单地增加信息意识更广泛的作用。它有可能帮助塑造学习过程，并促进对学习过程的进展和影响进行反思。因此，面向学生的仪表板旨在促进学生的元认知（Jivet etal. ，2018年），并通过提供数据的可视化显示来优化他们的学习成绩。面向管理员的仪表板。虽然大多数现有的学习分析仪表板是为教师和学生开发的，但也有一些是为了帮助教育管理人员进行战略决策和实践改进。例如，Krumm et al. （2014）开发了一个预警系统，主要用于学术顾问，以可视化学生的学术进步和成就。Charleer等人 （2017）开发了LISSA，通过概述学习进展和同行比较，促进顾问和学生之间的数据对话。拉夫堡大学（国王，2012年）实施了共同导师，为员工提供学生出勤率和表现信息，使他们能够监控学生的参与度，并与他们建立关系。类似地，Student Explorer（Lonn et al. ，2013年）是由密歇根大学开发的，用于每周更新学术顾问对学生学习成绩的了解，并帮助他们识别需要立即支持的学生。面向教师和学生的仪表板。我们的文献回顾还发现，一些学习分析 仪 表 板 可 以 直 接 使 教 师 和 学 生 受 益 。 例 如 ， Go-vaertset al.（2012）开发SAM提供可视化的168H. Deng，X.Wang，Z.Guo等人/视觉信息学3（2019）166教师和学生的课程进度。CCVis，由Goulden et al. （2019），使教师能够轻松地探索学生课程点击行为的模式，并确定被点击最多和最少的课程资源 它利用高阶网络构建算法（Tao et al. ，2017年），以提取关键序列，导致不同的转移概率，允许大规模的功能，以研究在一个节点链接图。它还将点击行为模式与Sankey图中的等级分布相关联，这允许用户快速观察给定特定行为模式的哪些等级可能发生或不可能发生。这些信息可以激励和引导学生改变他们的学习行为模式，更有可能与更好的成绩相关。这种类型的仪表板不仅限于在孤立的环境中揭示个别学生它还可以帮助确定学生如何在社交网络环境中形成群体并相互交流。例如，Wuet al.（2016）开发的NetworkSeer可视化了学生在MOOC论坛中互动的地点、时间和原因。 由Fu et al.开发的iForum （2017）可视化了MOOC论坛的三个交织方面（即，帖子、用户和线程）。这可以快速发现和深入理解MOOC论坛中的时间模式我们的区别。我们没有找到足够数量的仪表板，开发的所有三类观众：教师，学生和管理员。为了弥补这一差距，我们在设计和开发PerformanceVis时考虑了这三方的要求和需求。因此，PerformanceVis为教师提供了学生感知的难度水平以及考试和作业的主题相关性的概述。这些见解可以帮助他们采取更有针对性的行动，以改善课程和评估设计。此外，PerformanceVis使新生能够通过查看以前学生有了这些信息，他们可以制定一个更有效的学习计划。此外，PerformanceVis可以帮助管理人员评估S E计划是否对学者的学习成果产生了积极的影响，并帮助确定哪些学生最需要并可以从S E计划中教育数据挖掘中的机器学习。教育数据挖掘从原始数据中提取有价值的信息，以实现更好的课程学习过程。近年来，许多机器学习技术，如深度神经网络、随机森林、决策树、支持向量机和k- 最 近 邻 ， 已 被 广 泛 采 用 来 预 测 学 生 的 表 现 （ Baradwaj 和Jenkins，2011 ; Okubo et al. ，2017; Zhouet al. ，2018; Moreno-Marcos et al. ，2018年）。当处理大量的非线性可分离的实际数据时，它们表现出比传统分析技术更好的性能。在我们的工作中，我们使用随机森林来选择重要的非课程表现特征，并建立神经网络用于最终的字母成绩预测。3. 设计要求设计要求是根据与学习科学家，设计师和工程师组成的校园团队的多次讨论而形成的。开发Perfor- manceVis的主要目标是双重的。首先，它应该允许教师监督和管理学生的表现。 特别是，如果PerformanceVis可以帮助教师尽早识别有失败风险的学生，以便他们可以帮助他们进行可能的绩效改进，那将是理想的。第二，它应该允许教师检查他们的家庭作业和考试问题的设计，以验证他们各自的作用，确定课程设计和学生表现之间的联系特别是，如果性能-可见度可以帮助教师识别任何设计不良的问题或低整体设计质量有目的的课程调整或重新设计。因此，我们的界面应该满足以下设计要求，以最好地满足总体目标。R1提供学生考试成绩轨迹的概述。本研究中使用的数据集包含949名学生在12项家庭作业和4项考试中的表现数据，因此，简单地显示每个学生在每个项目上的表现的每个细节并不是很有用。相反，可视化应该提供数据的概述，使用户能够快速轻松地了解学生的整体表现轨迹。R2.显示不同考试的成绩分布。为了了解总的成绩趋势和学生的表现在整个课程中的波动，我们应该显示每次考试的成绩分布。这应该帮助教师认识到学生从糟糕的成绩“反弹”或在整个课程中逐渐下降的典型性。这也应该满足评估课程设计的第二个目标，允许教师根据其相关的分数分布可视化每个考试的严格性。例如，用户可能会发现，许多学生，即使是表现最好的学生，在考试3中的表现也明显较差。他们可能会思考考试3是否是一个很好的排名前几名和后几名的考试，或者它是否太难了。R3.检查个别学生的课程表现。为了回答用户可能对特定学生提出的问题，必须有一个选项来查看更大粒度的数据，而不仅仅是一个广泛的从概述中，用户应该能够深入了解并查看单个学生的数据。我们应该使每个学生的数据与另一个学生区分开来，以便用户可以跟踪整个特定的学生课程可视化应该能够帮助教师提取特定的学生，并从详细的角度来看他们的特点和表现。R4比较学生组的课程表现。如前所述，查看949名学生中的每一个人的每一条路径将相当混乱，用户将无法获得可操作的见解。因此，我们应该能够根据不同的学生群体过滤数据。我们应该根据不同的人口统计特征、学术特征或年级分布来显示数据。通过这种方式，用户可以比较符合类似标准的学生或对比不同的学生群体。这将有助于教师识别在课程中获得C或以下的学生所表现出的特征。R5.可视化问题之间的主题关系。为了解决评估课程设计的第二个目标，我们的可视化应该代表我们的项目分析（华盛顿大学，2019年）（皮尔逊相关性，难度指数和主题在课程中的每一个问题）。我们应该显示问题项目的相关性，特别是考试项目，以便教师可以验证学生在相关项目上的表现相似我们对项目分析的可视化应该使不同的考试问题如何相互关联以及每个家庭作业问题如何相互关联，参加考试通过这种方式，我们将使用户能够形成全面的课程评价，并获得对课程设计改进的见解R6.预测学生成绩。教师根据学生以往的学习成绩对学生的学习成绩进行监控甚至预测具有重要意义。这样做将改善课程安排，并为可能在学习中面临风险的很明显，我们需要做一个H. Deng，X.Wang，Z.Guo等人/视觉信息学3（2019）166169−−预测精度和预测时间之间的权衡随着时间的推移使用更多的等级（例如，在考试2之后而不是考试1之后）将提高预测的准确性，但是课程剩余的时间限制了教师对那些有风险的学生做出很大的改变。此外，虽然高精度是受欢迎的，我们的目标是预测学生的最终字母成绩，此外，额外的信息（即，非过程性能特征）可能会提高预测精度。4. 数据分析在本节中，我们简要介绍了用于分析从一般化学课程收集的学生表现数据的主要技术。4.1. 皮尔逊相关和线性回归皮尔逊相关系数只是一个数字，1和1决定了两个不同变量(in我们的案例、问题项）是线性相关的。值越接近1（1），两个项目的正（负）相关性越大。如果该值接近0，则两项之间我们使用皮尔逊相关系数来比较学生为了确定相关性的显著性，我们对相关性进行线性回归测试任何p值低于0.05表明相关性具有统计学显著性。从我们的回归分析中，我们发现高于0.1的相关性肯定是显著的，而低至0.06的相关性通常仍被认为是统计学显著的。我们认为，这种低的显著性差异是数据量大的结果。每个问题有900多条记录，有10%或20%的学生在两个问题上的表现完全相同，这实际上是非常重要的。回归分析不仅有助于确定我们的数据是否显著，还有助于确定我们将在可视化中显示的信息的截止相关值。4.2. 难度指数为了帮助我们分析每个考试项目的设计，我们还计算了每个考试项目的难度指数。难度指数基本上描述了学生正确回答问题的百分比（Hingorjo和Jaleel，2012）。这意味着指数越高，问题越容易（或者至少学生在该项目上表现得越好）。难度指数有助于教师确定问题是否像预期的那样难，或者它是否表明可以消除某些文化和语言偏见。难度指数的可接受范围通常为30任何难度指数低于30%的问题都可能被认为太难，任何难度指数高于70%的问题都教师可能希望评估超出此可接受范围的项目。通过难度指数，我们还可以确定学生是否掌握了主题，如果他们能够正确地获得该主题下最困难的项目。4.3. 预测模型我们探索了三种用于学生期末成绩预测的模型：基于卷积或递归网络的回归模型，其课程表现特征仅用于确定成绩预测的最佳时间点，使用神经网络的分类模型，其课程表现特征仅预测最后的字母等级，和修改的分类模型，其中包括三个最重要的学生背景特征，用于预测最后的字母等级。首 先 ， 我 们 使 用 卷 积 神 经 网 络 （ CNN ） 或 递 归 神 经 网 络（RNN）构建回归模型来预测学生的最终计算成绩。目标是找出损失函数随时间变化的曲线，寻找一个理想的时间点来实现预测。我们考虑以下课程表现特征（1个额外学分作业的分数：HW 0; 11个作业：HW 1到HW 11; 4个考试：考试1到考试3和期末考试），并创建四个时间点（TP）如下：TP 1紧接着考试1（HW 0，HW1，HW2，考试1），TP 2紧接着考试1（HW 0，HW 1，HW 2，考试1）。检查2后（HW 3、HW 4、HW 5、HW 6、检查2），TP 3紧接着考试3（HW 7，HW 8，HW 9，HW 10，考试3）和TP 4（HW11，期末考试）。CNN由卷积层和线性层组成。RNN由两个RNN单元层和一个线性层组成。对于网络训练，我们将epoch的数量设置为1000，学习率设置为0.01。我们应用Adam优化器（Kingma和Ba，2015）来更新参数，并使用均方误差作为损失函数。至于将数据分割用于训练和测试，我们使用80%的数据进行训练，剩余的20%用于测试。考虑到数据集在最终成绩分布方面是不平衡的，我们没有应用任何预处理来洗牌数据或确保训练数据和测试CNN或RNN的结果表明，预测的相对最佳时间点是TP1，即考试1之后。然后，基于在所选时间点（TP 1）获得的四个性能特征（HW0，使用全连接神经网络的分类模型来预测学生的期末成绩我们考虑四个粗类别（A、B、C和C以下）和九个细类别（A、A-、B+、B、B-、C+、C、C-和D及以下）。神经网络由四层组成，每一层都结合了一个线性层和一个sigmoid激活层，然后是一个额外的线性网络。对于网络训练，我们将epochs的数量设置为2000，并保持其余参数值与回归模型相同。我们使用交叉熵损失作为损失函数。用于训练和测试的数据分割方式与我们对回归模型所做的相同最后，我们修改了这个分类模型，包括三个学生我们希望测量这些特征在预测学生最终字母成绩中的显著性水平，并评估是否包括它们可以提高预测精度。在第6节中，我们比较了这两种分类模型的结果。5. 可视化界面和交互我们的PerformanceVis是一个基于网络的工具，用于检查学生的表现，课程主题，家庭作业和普通化学课程的考试设计。我们的开发使用D3.js，以便通过Web浏览器提供动态和交互式可视化。如图1所示，PerformanceVis主要包括四个协同视图：总体考试成绩路径（OEGP）、详细考试成绩路径（DEGP）、详细考试项目分析（DEIA）和总体考试作业分析（OEHA）。此外，还有一个名为最终品位预测（FGP）的单独视图，该视图仅显示满足设计要求R6的最终品位预测结果，不与任何其他视图链接。OEGP提供使用桑基图对学生在整个学期的成绩分布进行了概述。DEGP使用平行坐标图，以便详细检查学生成绩数据。Deia170H. Deng，X.Wang，Z.Guo等人/视觉信息学3（2019）166Fig. 1. PerformanceVis界面截图。(a)（c）是详细考试项目分析（DEIA），整体考试作业分析（OEHA），以及详细的考试等级路径（DEGP）。总体考试成绩路径（OEGP）和最终成绩预测（FGP）未显示在此屏幕截图中，因为接口显示OEGP、DEGP或FGP。通过绘制它们的相关性来描述同一考试中每个问题之间的关系，该相关性是使用Pearson相关性计算的。最后，OEHA以放射状树状结构显示试题和作业题之间的相关性，以及它们的主题和难度指数。这四个视图通过刷和链接动态链接在下文中，我们将详细讨论四个主要视图中的每一个及其相关的交互作用。5.1. 整体考试成绩路径（OEGP）OEGP符合设计要求R1和R2。 OEGP的目标是可视化整个学期学生成绩的总体趋势。我们通过使用桑基图来实现这一目标，绘制所有949名学生的年级路径的概述。如图2所示，节点代表四个不同考试的五个不同字母等级，A到F。两个节点之间的流包括在两次考试中获得相应成绩的学生。流的宽度与用户可以通过将鼠标悬停在每个流上来了解更详细的信息，包括落入流的学生的确切数量和比例。通过查看OEGP，用户可以轻松地获得所有学生表现的概述，并了解整个课程的总体成绩趋势。此外，用户可以通过列出所有学生的考试成绩分布来识别随时间推移而下降或提高的特定学生群体。此外，用户可以通过比较不同考试的学生成绩分布来验证考试的严谨性和设计所有流程都可以点击。点击一个流将引导用户从OEGP中的学生组到DEGP中的同一学生组进行详细调查。5.2. 详细的考试成绩途径（DEGP）DEGP满足设计要求R3和R4。 如图1（c），在DEGP中，我们利用平行坐标图将每个学生显示为四维系统上的单个坐标，其中每个轴代表课程的考试，水平条形图显示19个选定学生背景特征的相对频率DEGP作为OEGP中显示的相同949名学生的详细视图，允许用户跟踪单个学生在整个课程中从OEGP到DEGP，DEGP可以帮助用户探索特定流的年级组成以及展示该年级流的学生的人口统计学用户可以通过将鼠标悬停在每个路径上来跟踪单个学生的成绩轨迹和他/她的背景特征;相应的学生的特征在过滤器属性下以粗体突出显示。用户还可以根据学生的背景特征或每次考试的成绩对显示在DEGP上的路径进行过滤，从而比较不同学生组的成绩。使用DEGP右侧的过滤复选框，用户可以组合不同的特征，只显示满足所选条件的学生。每个特征右侧的条表示当前在DEGP上显示的数据的相对频率分布。不同的特征通过不同的颜色来区分，用户可以选择根据给定的特征（如性别）为DEGP上的路径着色。每个特征左边的橙色条的长度表示每个特征对学生最终课程成绩的预测重要性，通过随机森林模型测量，用于预测学生的最终课程成绩是否为C或以下。用户也可以通过他们收到的成绩来比较和调查不同的学生群体。在我们的设计中，用户可以通过使用详细路径下方的等级下拉框来比较多达三个学生组。例如，我们可以比较学生的所有途径，H. Deng，X.Wang，Z.Guo等人/视觉信息学3（2019）166171在考试1中获得A的学生将获得B的所有途径在这种情况下，颜色区分出的学生群体谁落入年级比较，而不是通过选定的人口统计特征。DEGP可以帮助用户，大概是课程的讲师，检查从低年级成功跳回的学生和表现逐渐变差的学生中最普遍的特征。更重要的是，DEGP可以帮助揭示在常规和SE学者队列中获得C或以下课程成绩的学生的最常见特征5.3. 详细考试项目分析（DEIA）DEIA满足R5设计要求。在DEIA中，我们使用力有向图来表示试题的自相关性，即，同一考试中任何两个问题之间的相关性。如图图1（a）中，图中的每个节点代表一个考试问题。链接的宽度代表相关性强度：线越粗，两个节点之间的相关性越强。节点颜色表示其难度级别或主题。DEIA放大到一个特定的考试，并详细评估该考试中的问题。使用左侧的第一个下拉列表，用户可以切换在每个视图中，具有较强相关性的节点聚集在一起。这些群集节点将由类似或相关的主题组成。此视图可以帮助教师通过识别不应属于群集的问题来验证考试设计。此外，通过将鼠标悬停在每个节点上，用户可以找到特定问题的特定主题和难度指数值，这也可以帮助教师调整问题类型和难度级别。5.4. 整体考试作业分析（OEHA）OEHA也满足R5的设计要求。通过绘制一个可折叠的放射状树，我们可以同时可视化考试问题和家庭作业问题之间的相关性。如图1（b）所示，粗略级别包括当前在DEIA中显示的某个考试的问题。例如，如果在DEIA中显示期末考试，则粗略级别将由期末考试问题组成，其中每个节点表示期末考试的单个问题。以下级别显示与其他三项考试中每项考试的期末考试问题节点相关的问题。最好的水平显示家庭作业问题，揭示哪些家庭作业问题与考试问题有关。如果DEIA中显示考试1、2或3，则粗略级别将是这些考试问题，并且下面只有一个级别，显示家庭作业问题。预览仅显示每个树的第一级。此外，节点的大小与它拥有的子节点的数量成比例。此外，OEHA中的节点以与DEIA中相同的方式着色，显示难度指数级别或主题。通过刷和链接，当点击DEIA中的节点时，OEHA中的对应节点被展开以显示其在整个画面中的位置。用户还可以手动单击他们想要直接从OEHA进入的节点。通过检查考试问题和家庭作业问题或其他考试问题之间的关联，教师能够识别两个问题之间任何意想不到的强相关性，从而验证某些解释得不够好的问题是否在课堂上，写得很差，或者与所涵盖的主要材料无关。图二. 选 择 从考试3的C到期末考试的A的流程时的OEGP视图。6. 结果和讨论我们的PerformanceVis在线发布：http://sites.nd.edu/chaoli-wang/demos/。为了避免任何兼容性问题（已知问题包括将鼠标移到OEGP上时，同时以黑色突出显示多个学生记录），我们建议用户使用Mozilla Firefox浏览器。在下文中，我们首先呈现项目分析结果。然后，我们报告了四个案例研究，并强调了收集到的见解。这四项研究共同涵盖了前五项设计要求。最后给出了最终的品位预测结果。最后，我们报告了一组专家，包括学习科学家，设计师和工程师的评价。6.1. 项目分析结果我们根据线性回归分析和数据分布选择截断点来显示和分组相关性和难度指数。为了避免可视化中的视觉混乱，我们没有指出每个问题之间的关系。我们还将问题项目的难度分为三类：容易，中等和困难。对于DEIA，我们使用0.23或更大的相关性截止值。如果相关性为0.23或更大，则每个问题节点将显示与另一个节点的连接。如果一个问题与任何其他问题的相关性不大于0.23，我们将显示与它相关性最大的问题的连接。对于OEHA，我们使用0.15或更大的相关性截止值来显示期末考试问题与其他考试问题之间的第一级相关性。如果期末考试题与任何其他考试题的相关性不大于0.15，我们将显示相关性最高的考试题，相关性超过0.12。对于考试问题和家庭作业问题之间的二级相关性，我们使用0.11或更高的相关性截止值。 我们只显示前三个最相关的家庭作业问题。有任何与上述相关的问题-不显示所述截止以避免混乱。我们首先确定每个考试中每个问题的难度指数，然后确定三个类别的截止值简单，中等，和困难。每个类别的截止值根据每个考试的难度略有不同对于检查1，172H. Deng，X.Wang，Z.Guo等人/视觉信息学3（2019）166≥图三. 在考试3中获得C和在考试4中获得A的学生的等级路径期末考试图四、突出 显示特定学生的 等 级 路 径 。难度指数为95.5或以上的任何问题都被认为是“容易”的，难度指数小于95.5但大于或等于88.5的任何问题都被认为是“中等”的，而难度指数低于88.5的任何问题都被认为是“困难”对于考试2，难度指数在91和81之间的任何问题都被认为是“中等”，而高于该范围的任何问题都是“容易”，低于该范围的任何问题都是“困难”。对于考试3，难度指数在84和64之间的任何问题都被认为是“中等”，而高于该范围的任何问题都是“容易”，低于该范围的对于期末考试，难度指数在87.5和77.5之间的任何问题都被认为是“中等”，而高于该范围的任何问题都是“容易”，低于该范围的任何问题都是“困难”。至于家庭作业题，由于大部分家庭作业题的难度指数均在0.90以上，因此并没有设定固定的分界线。相反，我们将每个家庭作业的家庭作业问题平均分为容易，中等和困难的分组，表明家庭作业中问题的相对难度。属于具有最高、中等和最低难度指数的组的问题分别被认为6.2. 案例研究案例研究1：从整体成绩分布中检查详细的路径。在这第一个案例研究中，用户需要获得学生表现的概述然后，他们想比较不同考试成绩不同的学生，以便更多地了解学生本案例研究涵盖设计要求R1、R2、R3和R4。用户从OEGP开始，以获得整个课程中所有949名学生的表现的概述图五. 两套学生等级路径之间的比较。红色代表在考试3中获得C和在期末考试中获得A的同一组学生，如图2所示。3和4;蓝色代表在考试3和期末考试中均获得C的学生。如图2所示。为了进一步研究特定的学生群体，用户点击流程，他们被定向到DEGP，显示来自该流程的学生的详细路径及其背景特征分布，如图所示。3.第三章。然后，用户可以通过将鼠标悬停在特定路径上来跟踪单个学生整个学期的成绩轨迹;学生的最终课程成绩显示出来，学生的背景特征突出显示，如图所示。四、最后，用户希望对期末考试中从C跳到A的学生和从考试3开始一直保持C的学生进行比较。用户将“Ex3”和“Final”过滤器都翻转DEGP用蓝色绘制了另一组在考试3和期末考试中都获得C的学生的路径，并将考试3中获得C和期末考试中获得A的学生的路径用橙色表示，如图所示。五、用户可以从图中直接观察到，与橙色编码的学生相比，更多的蓝色编码的学生在考试1和2中得分较低。因此，用户可能会得出结论，学生在考试1和2中的表现可能会影响他们在期末考试中反弹到A的可能性。案例研究2：比较学生群体的课程表现。现在，用户希望比较和调查不同的学生群体的课程表现。在本案例研究中，用户希望了解对照队列中AR分数为5或以上的学生，他们表现出与SE学者相同的特征，但没有加入该计划，是否与AR分数为5或以上的学者队列中的学生表现相似，特别是每个队列中有多少学生获得C或以下的课程成绩。本案例研究涵盖了设计要求R4。通过检查其余的学生路径是用户想要检查的学生组。然后，用户从右上角的下拉列表中选择然后，通过查看DEGP右侧的条形图，用户可以直接了解DEGP中显示的学生统计数据。用户不难发现，在AR分数高于5的对照组中，19.0%的学生的课程成绩为C或以下，如图6（a）所示。用户还观察到，只有10.3%的学生谁属于学者队列与AR分数高于5收到C或以下的最后课程成绩，如图所示。6（b）.因此，用户得出结论，小班教学和额外的辅导课程提供了在S E学者计划对学生的表现产生了积极的影响H. Deng，X.Wang，Z.Guo等人/视觉信息学3（2019）166173图六、（ a）对 照 队 列 中AR ≥ 5的 学 生 与（b）学者队列中 AR ≥ 5的学生之间的年级路径比较。案例研究3：验证考试问题。本案例研究展示了用户如何通过同时使用DEIA和OEHA来评估课程设计，尤其是考试和家庭作业设计。设计要求R5在此涵盖。通过从DEIA的第一个下拉列表中选择通过将鼠标悬停在节点上，用户可以调查其中一个异常值的详细信息，即期末考试问题18.2。这个问题的相关性相对较低，如链接的粗细所示，只与一个期末考试问题相关。从这个观察中，用户想知道这个期末考试问题是否与其他三个考试中的问题也具有低用户可以通过点击问题18.2节点验证其解释。OEHA中的相应节点展开并显示只有一个与之相关的考试问题，如图所示。 8、唯一的相关问题实际上是关于不同的主题，如颜色差异所示。此外，知道问题18.2的难度指数值为1.00，这意味着每个学生都答对了这个问题，用户可以解释为什么问题18.2是一个离群值：它太简单了。因此，用户意识到期末考试问题18.2应该修改，以便更好地评估学生是否真正掌握了材料。通过DEIA和OEHA的结合使用，用户能够通过查看他们的主题，难度指数以及与其他考试问题的关系来验证考试问题。案例研究4：分析学生学习能力与课程设计的关系. 到目前为止，用户已经对四个视图中的每一个的功能有了透彻的了解。在这个案例研究中，用户希望在课程设计和学生的表现之间建立联系。本案例研究涵盖设计要求R1、R2和R5。用户从OEGP的初始视图开始（参见图1）。2）的情况。仔细观察所有四场考试的成绩分布，用户注意到考试3是四场考试中最难的一场，因为很大一部分学生在考试3中获得了C，D和 F了解了这一点，用户立即想知道是什么原因导致考试3是最难的考试。用户然后移动到DEIA，并从第一个下拉列表中选择DEIA更新自己，并显示考试3的问题与他们的困难程度的颜色，如图所示。9（a）。用户可以看到，具有相同难度的问题相互关联，结果不会偏离他们的预期。但这见图7。 当期末考试被选中并按“主题”着色时的DEIA视图。最后的考试题18.2的信息显示。我无法解释为什么第三次考试很难。因此，用户使用第二个下拉列表按主题为DEIA中的节点着色，结果如图所示。9（b）.从这个视图中，用户可以看到考试3主要包括两个主题：反应和热力学。然后用户惊讶地发现，几乎所有关于Reactions的问题都彼此远离，而不是形成紧密的集群，这意味着关于Reactions的问题可能没有设计好。 此外，即使所有关于热力学的问题都是相互联系的，它们也很难形成一个紧凑的集群。因此，考试3的整体设计质量可能是更多学生在考试中获得较低分数的原因。6.3. 最终品位预测结果最终品位预测的结果显示在FGP中，FGP涵盖了设计要求R6，并且与其他四个视图没有关联。我们首先使用分类模型以及四个性能特征（HW 0，HW 1，HW 2和Exam 1）报告期末成绩预测结果。在四个粗分类中，在189名被预测学生中（占测试数据的20%），145名学生A而不是B），两个学生174H. Deng，X.Wang，Z.Guo等人/视觉信息学3（2019）166表1PerformanceVis的五个视图的摘要：它们的可视化、需求、用户和实际应用问题。视图可视化要求用户实际应用问题OEGPSankey示图的r\r2学生/教师：考试成绩是否公平分配？这考试最难/最容易？常见的表现有哪些这条路的路学生在收到一份具体考试的具体分数？DEGP平行坐标R3、R4院长/讲师：我们如何逆向工程和分析性能任何个人或团体的蓬勃发展和非蓬勃发展的学生？有在特定的学生群体中是否存在课程成绩差距做了特定干预/治疗对特殊人群学生的Deia力有向图R5教师：是否有任何（或太多）问题需要修改，容易，太难，还是无关？每个主题都有足够的问题吗问题格式（多项选择与简短回答）是否使区别？OEHA径向树R5教师：做家庭作业问题的支持和调整，以考试的问题支持以后的累积考试吗我有足