基于贝叶斯的自适应问题生成技术：增强智能教学系统的个性化评估和学生模型更新

制作和主办：ElsevierElsevier可在www.sciencedirect.com上在线ScienceDirect电气系统与信息技术学报1（2014）10基于贝叶斯的自适应问题生成技术Nabila Khodeira， Nayer Wanasa， Nevin Darwishb， Nadia Hegazyaa埃及吉萨Dokki电子研究所信息学系b埃及吉萨开罗大学计算机工程系2014年3月15日在线提供摘要在本文中，我们的目标是估计学生的知识模型在概率域使用自动自适应生成的评估问题。学生的答案用于估计实际的学生模型。模型的更新和验证是基于学生答案和模型答案之间的匹配。此外，使用自适应和随机生成的问题更新学生模型之间的比较研究进行了调查。结果表明，利用适应生成的问题增加了近似精度的学生模型的40%，除了减少所需的评估问题的35%。© 2014制作和主办由Elsevier B.V.电子研究所（ERI）关键词：智能教学系统;学生建模;溯因推理;自适应评价;项目反应理论1. 介绍提问是许多系统实现特定目标的工具，包括评估和增强学习者的参与度（Graesser et al.，2005年，在智能教学系统（ITS）。此外，ITS依赖于评估学生对所提出问题的回答来模拟他/她的知识。 基于学生模型，ITS有能力为每个学生提供个性化的支持和互动（Brusilovskiy，2003）。问题的自动生成支持ITS的功能，除了对话系统（Pwek，2010）和问答（QA）系统（Kalady，2010）。大多数问题生成技术都围绕着语言学研究，包括对给定文档的句法和语义分析来生成问题（Heilman和Smith，2009; Becker，2010）。反过来，事实和定义问题是这些方法中常见的生成问题类型（Heiman，2010;Becker，2010）。但是，无法生成与某些域关联的查询或基于语言分析的回答例如，数学和物理辅导系统需要定义*通讯作者。电子邮件地址：nabila khodier@yahoo.com（N。Khodeir），nwanas@ieee.org（N. Wanas），ndarwish@ieee.org（N.Darwish），nhegazy@mcit.gov.eg（N. Hegazy）。电子研究所（ERI）负责同行评审http://dx.doi.org/10.1016/j.jesit.2014.03.0072314-7172/© 2014由Elsevier B. V.制作和托管电子研究所（ERI）N. Khodeir等人/电气系统与信息技术学报1（2014）1011=→Fig. 1. 问答形式。在解决或生成特定问题时的一些规则及其应用顺序。概率域是这方面的一个难题。知识表示中的不确定性使得问题和答案的生成成为一项困难的任务。在这样的领域中，问题及其答案的自动生成需要基于该领域的知识表示。在本文中，我们提出了一种方法来自动生成问题和他们的答案，利用贝叶斯网络（BN）的知识表示（Korb和Nicholson，2011）的概率域。生成的问题的目的是在ITS中模拟学生的概率域是在定义其项目之间的关系时考虑不确定性的域例如，医学领域需要定义症状与特定疾病的关联概率使用这种域的BN的建模基于定义一组节点和一组有向弧或链接。BN中的节点表示一组随机变量Xx1，. . .，xi，. . .，x n的域。链接的集合连接节点对，xixj表示变量之间的直接依赖关系。这些关系的强度使用与每个节点相关联的条件概率分布（CPD）来定义。CPD列出了子节点对于其父节点的每个值组合采用其每个不同值的概率（Korb和Nicholson，2011）。 另一方面，在贝叶斯网络中，推理是一个通过观察某些变量的值来推断新信息的过程。推理过程是通过网络中的信息流来执行的，以计算一组查询节点的后验概率分布，其中给定了一些证据（或观察）节点的值。概率域通常与诊断问题相关联，这些问题需要在给定一组证据的情况下确定最可能的解释。我们认为这样的问题，特别是在有关模棱两可的情况下，其中一个以上的假设，解释问题的证据存在。在这种情况下，学生被要求提供一个可能的假设问题证据的排名列表。选择模棱两可的情况下的诊断问题，因为这些问题的答案揭示了更多的信息，学生的知识。因此，更少的问题将足以为学生的知识建模。生成的问题采用以下形式：“如果您有一个证据为1，证据为2，证据为n的案例从以下假设中选择并排序：假设1，假设2，假设3，. . . 假设，假设，答案形式是可能的诊断假设的排名列表假设是从与问题相关的可用选项中选择的要求学生键入与所选假设相对应的等级值图1是问答形式的快照。本文的其余部分组织如下。第2节提出了建议的问题和答案生成技术。此后，我们探讨了实验结果，说明实现了生成的问题，他们的目的建模的学生知识在第3节。第四部分是对本文的讨论和结论。12N. Khodeir等人/电气系统与信息技术学报1（2014）10图二. 问题生成模块。2. 问答生成问题生成过程的目标是对学生的知识和错误概念进行建模。问题生成过程利用领域知识初始化的学生模型。领域知识表示基于其重叠证据选择的假设的数量，以允许创建具有模糊答案的问题（答案包含一个以上可能的假设）。每次学生提供一个生成的问题的答案，模型根据他/她的答案更新 Khodeir等人（2010年）阐述了更新过程。使用更新的学生模型生成结果问题，允许跟踪相应地出现在更新的学生模型中的学生误解。此外，问题生成过程通过生成具有不同难度和证据范围的问题来容纳学生的知识 问题生成过程基于六个组件，如图所示。 2，即（i）学生知识估计器，(ii) 证据选择器，（iii）问题评估模块，（iv）问题难度水平估计器，以及（v）问题选择器。学生知识估计器使用学生提供的所有响应来估计学生的知识。由于它的简单性，单参数模型（Lord，1980）是从项目反应理论（IRT）模型中选择的，用于估计学生的知识（能力），其形式如等式（1）所示。（一）.1P（正确|θ）= 1 + exp−（θ−δ）（1）其中θ是学生的知识，δ是问题的难度。在IRT的基础上，采用Lord（1980）的最大似然法来估计学生的kn o ε θ ε。最大似然过程是一个迭代过程，其从学生知识的某个先验值和问题或项目参数（基于初始学生知识生成的问题的参数）的已知值开始这些用于计算该学生正确回答每个项目的概率然后调整的知识估计，提高了协议的计算概率与学生N. Khodeir等人/电气系统与信息技术学报1（2014）1013ΣN^=-+^ ^您的位置：ˆvector. 重复该过程，直到估计的知识的变化可以忽略不计。当量（2）用于迭代估计学生kn o <$θ<$S+1。^θS+1=^θS+1Ni=1[ui−Pi（^θS）]（二）i=1Pi（θS）（1 −Pi（θS））其中，θ∈S1是迭代S中学生的估计kn，ui是表示学生对第i项的回答的二进制值，其中ui1表示正确响应，u表示0表示不正确的响应。Pi（θ<$S）是在迭代S内在知识水平θ下对项目i做出正确回答的概率。证据选择器选择与估计的学生知识成比例的问题证据的数量这是因为当证据的数量增加时，这个问题需要更多地分析这些证据与相关假设之间的关系此外，还需要更多的推理来比较解释问题证据的可能假设，并根据其解释力对它们进行排序。值得注意的是，在取决于域BN的范围内选择证据的数量。选择该范围以避免产生非常模糊的问题，这可能由于大量可能的解释假设而难以回答，以及给出一个解释假设作为答案的问题，该答案不会揭示关于学生知识的足够信息。问题评估模块基于学生模型生成对所呈现的诊断问题的学生模型答案这是通过在学生模型BN上应用推理机制来实现的。为了匹配生成的问题类型，使用了Nilsson（1998）提出的溯因推理机制。该机制是概率专家系统中寻找最可能假设的一种有效算法。证据集表示诊断问题中呈现的变量值生成的可能假设通过它们的概率相关联，这些概率表达了它们对给定证据集的解释能力，并用于排名。也就是说，验证模块通过利用学生模型BN以解释问题中提到的证据集的假设的排序列表的形式生成学生模型答案问题难度水平估计器用于通过其难度水平来表征每个问题 根据项目反应理论，以项目特征曲线拟合每个知识水平的正确反应概率Pi（θ<$S），估计难度水平。这意味着每个问题或项目必须由不同的学生回答，不同的能力来获得项目特征曲线。问题的难度级别是通过确定知识值来估计的，该知识值将确保至少有一半的学生给出了正确的答案。针对以往通过学生回答来估计问题难度的方法需要大量数据的问题，本文提出了一种利用结构计算问题参数的方法学生知识模型和预测学生答案中的假设。通过计算问题证据与预测学生答案中可能的假设之间的关系的数量来估计问题的难度。这些关系被认为是问题覆盖关系QCR。该值通过将其除以问题证据和所有可能假设之间的关系总数来归一化，这些关系被认为是问题证据关系QER。此外，答案中不同假设的概率之间的标准差σi的倒数这是因为如果不同假设之间的差异等级概率很小，那么问题将更加困难。问题的困难度的估计，δεi由方程给出（三）、QCR1δ=+（三）iQERσi假设该表达式表示问题难度级别，因为当问题覆盖关系的数量较大时，学生需要知道并利用更多的关系。值得一提的是，问题难度水平值被归一化为在IRT中可接受的值的范围内。问题选择器使用最大信息（Weiss，1982）来选择一个问题，给出了难度级别和学生模型的覆盖估计。这需要选择最大化项目信息的项目，14N. Khodeir等人/电气系统与信息技术学报1（2014）10Iθ=i先前学生知识水平估计直到该时刻，其中给定学生知识水平的当前估计的第i个项目的信息函数Ii（θi）由等式2给出：（四）、P（θθ）2（二）iPi（θ）−[1−Pi（θ）]最后，除了所选证据列表之外，所选问题还使用模板采用最终形式2.1. 问题生成过程（四）问题生成过程的目的是生成一个问题，除了跟踪学生的误解，容纳学生的知识生成过程如下进行1. 根据学生的知识，证据选择器确定合适的证据数量。此外，证据选择器考虑更新的学生知识模型，以选择具有多个共同假设的证据。此选择保证生成的问题具有多个解释。2. 问题评估模块通过使用问题证据和学生BN应用溯因算法来验证所生成的问题。应用该算法的输出表示对所呈现的问题的学生模型答案，该学生模型答案是预测的学生答案。重新检查答案，以确保它包含多个解释。如果解释的数量大于1，则问题生成过程继续进行，否则重复步骤1，同时排除先前选择的证据。3. 除了学生知识之外，还使用预测的学生响应来估计问题难度这是可能的，通过确定所生成的问题所覆盖的关系，问题证据和预测的学生答案假设之间的关系，以及假设之间的标准差的倒数4. 重复问题生成过程以生成可用的未覆盖关系的所有可能的问题此外，所有生成的问题的难度水平估计。5. 问题选择器在所有生成的问题中选择信息量最大的问题然后，为选定的问题生成最终的问题形式并呈现给学生。3. 评价本文对问题生成算法在学生模型构建中的应用进行了评价为了评估建模性能，我们需要对学生进行实验，我们知道他们知识的先验信息。这允许在所得到的学生知识模型和实际学生知识之间进行比较因此，我们在评估过程中使用模拟学生方法（Millan和Perez-De-La-Cruz，2002）。所提出的机制来生成模拟学生是基于现有的域BN，模拟学生是随机修改的BN表示学生的知识。通过处理所生成的BN以产生针对所张贴的问题的目标学生答案来评估模拟学生响应值得一提的是，50名模拟学生是随机产生的，并在评估过程中使用。为了探索所提出的自适应问题生成技术在提高建模算法的效率方面的潜力，进行了两个主要实验：（i）基于随机生成的问题的非自适应实验，以及（ii）依赖于学生知识的自适应生成不同方法之间的比较基于：（i）验证性能，（ii）生成的学生模型BN和模拟学生BN（BND）之间的输出差异，以及(iii) 所需问题的数量（Nq）。前两个因素说明了使用适应性问题对建模算法准确性的影响，而后者表明使用适应性问题的性能。值得一提的是，我们通过比较每个BN中关系权重的总和来估计两个BN之间的差异。此外，不同的粒度水平进行评估，通过改变更新步骤的值和输出的参数研究表明。表1表示使用建模和适应建模技术的学生模型和模拟学生（BND）的差异以及所需问题的数量（Nq）之间的比较 图 3显示了之间的比较N. Khodeir等人/电气系统与信息技术学报1（2014）1015表1比较学生模型和模拟学生（BND）的差异，以及使用建模和自适应建模技术所需的问题数量（Nq）0.1 9.53± 2.30 13.36±1.41 6.23 ± 1.520.2 10.35± 2.71 13.26±1.63 7.18 ± 1.550.3 10.85± 2.87 13.58±1.49 8.58 ± 2.070.4 11.57± 2.91 13.40±1.68 9.88 ± 2.570.5 12.67± 3.60 13.12±1.86 9.54 ± 3.040.6 11.98± 3.17 13.16±1.74 9.48 ± 2.990.7 12.35± 2.95 13.34±1.72 9.97 ± 3.210.8 12.36± 2.85 13.68±1.52 9.64 ± 3.010.9 13.41± 3.31 12.18±2.88 9.82 ± 3.131.0 13.23± 3.30 12.32±2.93 9.78 ± 3.12图三.建模和自适应建模技术的验证性能比较。建模和自适应建模技术的验证。建模和更新过程在Khodeiret al. （2010年）。如图所示，自适应建模技术与非自适应建模技术之间存在显著差异，特别是在较低的步长值中。此外，表1指示基于问题的数量（Nq）以及生成的学生模型BN和模拟的学生BN（BND）之间的差异的两种技术之间的比较该表说明了自适应技术优于非自适应对应技术的相当大的差异。使用自适应技术，两个BN之间的差异减少了40%，此外还将问题数量减少了35%。4. 讨论和结论在本文中，我们提出了一个算法来生成问题，定制学生的知识和误解。学生的知识被认为是同时控制生成的问题的难度水平在问题生成过程中，通过依赖更新的学生模型来考虑学生的学生对学生知识适应生成的问题的回答用于估计实际的学生模型。模型的更新和验证是基于学生答案和模型答案之间的匹配步骤建模（BND）自适应建模（Nq）自适应建模0.059.50 ±2.6013.12 ±1.605.73 ±1.2716N. Khodeir等人/电气系统与信息技术学报1（2014）10使用两种不同的更新方法，即粗和精。此外，还对采用改编题和随机题进行了比较研究。结果表明，所有的更新技术都取得了相当大的改善性能，即使我们使用随机问题。结果表明，利用适应生成的问题，除了减少35%所需的评估问题的数量增加了40%的学生模型的近似精度。引用贝克尔湖，尼尔森河，奥科耶岛萨姆纳，T.，Ward，W.，2010年。下一个是什么？对概念进行识别和排序。In：Third WorkshoponQuestion Generation，The Tenth International Conference on Intelligent Tutoring Systems（ITS 2010），Carnegie Mellon University，P.A.，PA，USA，pp. 35比44Brusilovskiy，P.，2003年。 适应性和智能的基于网络的教育系统。 J. 第内特尔教育。13，159-169。Graesser，A.，Chipman，P.，Haynes，B.，Olney，A.，2005年Autotutor：一个混合主动对话的智能教学系统。 IEEE Trans. 教育。48（4），612618。海尔曼，M.，史密斯，N.，2009年 通过生成转换和排序生成问题。 技术报告CMU-LTI-09-013。 卡内基梅隆大学。海尔曼，M.，史密斯，N.，2010. 提取简化语句用于生成实际问题。In：ThirdWorkshoponQuestionGeneration，TheTenth InternationalConference on Intelligent Tutoring Systems（ITS 2010），Carnegie Mellon University，P.A.，PA，USA，pp. 35比44Kalady，S.，Elikkottil，A.，达斯河2010. 使用语法和关键词的自然语言问题生成。In：ThirdWorkshoponQuestionGeneration，TheTenth International Conference on Intelligent Tutoring Systems（ITS 2010），Carnegie Mellon University，P.A.，PA，USA，pp. 29比34Khodeir，N.，Wanas，N.，Darwish，N.，Hegazy，N.，2010年。 利用机率领域的诊断问题建立学生模型。 J. Comp.Sci. 信息技术2，88-97.Korb，K.，Nicholson，A.，2011年。 介绍贝叶斯网络。 Press.主啊F1980年 项目反应理论在实际测试问题中的应用。劳伦斯·厄尔鲍姆联合公司，新泽西州希尔斯代尔。Millan，E.，Perez-De-La-Cruz，J.L.，2002. 学生建模的贝叶斯诊断算法及其评价。用户模型。用户自适应交互。12，281-330。尼尔森，D.，1998年概率专家系统中求m个最可能构形的一个有效算法。 J. Stat. Comput. 8，159-173. Piwek，P.，Stoyanchev，S.，2010.CODA项目中的问题生成。在：第三个关于问题生成的工作室，TheTenthInternational智能测试系统会议（ITS2010），卡内基梅隆大学，宾夕法尼亚州，美国，第100页。29比34 韦斯，J.，一九八二年通过自适应测试提高测量质量和效率。 J. Appl. 心理学。Meas. 6，473-492。