2330语义相似邻居击退吸引非邻居表示空间数据增强硬否定表示向量知识追踪李元成大韩民国wonsung. upstage.ai千在云韩国i-Scream Edu有限jaeychun@i-screamedu.co.kr李永明KAIST大韩民国cacaz@kaist.ac.kr摘要Kongsoo Parki-Scream Edu Co. Ltd大韩民国kspark0818@i-screamedu.co.kr圣礼公园大韩民国sungrae. upstage.ai知识追踪是通过判断学生是否正确地解决了下一个问题来理解学生的知识获取过程的任务。大多数基于深度学习的方法通过从学习历史中识别知识状态的隐藏表示来解决这个问题。然而，由于学生和问题之间的稀疏交互，隐藏的表示可以很容易地过度拟合，往往无法准确地捕捉学生的知识状态。本文介绍了一种用于知识追踪的对比学习框架，该框架揭示了学习历史中语义相似或不相似的示例，并刺激学习学史问题掩码问题替换响应反向（1，）（2002，2003）（2003，2004）（$，）他们的关系。 为了应对学习过程中知识获取的复杂性，我们仔细设计了对比学习的组件，如架构，数据增强方法和硬否定，并考虑到教学原理。我们对六个基准测试的广泛实验表明，与以前的方法相比，统计上有显着的改进。进一步的分析表明，我们的方法有助于提高知识跟踪性能。CCS概念• 社会和专业主题→学生评估;·应用计算→学习管理系统。关键词知识追踪，教育数据挖掘，智能教学系统，个性化学习，对比学习ACM参考格式：WonsungLee ， Jaeyoon Chun ， Youngmin Lee ， Kongsoo Park ， andSungrae Park. 2022年知识追踪的对比学习 在ACM Web Conference 2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动，法国里昂。ACM，NewYork，NY，USA，9页。https://doi.org/10.1145/3485447.3512105允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上有本声明和完整的引用。版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022计算机协会ACM ISBN 978-1-4503-9096-5/22/04。. . 十五块https://doi.org/10.1145/3485447.3512105图1：CL4KT的概念图。一旦通过数据扩充识别出语义上相似或不相似的学习历史，CL就学习它们的表示，以使其对于相似样本（蓝色点）彼此接近，而远离不相似样本（红色点）。1引言在过去的几十年里，使用人工智能（AI）技术来改善教育实践的数量呈指数级增长。最近的COVID-19学校关闭进一步加速了这一采用。人工智能教育的引入需要个性化的教育平台，为个人学习者提供量身定制的课程因此，智能辅导系统（ITS）在教育AI中受到了极大的关注通过从在线学习环境中获取的大规模学习数据，识别每个学生当前的知识状态并向学生提供适当的问题是ITS成功的关键。知识追踪是智能教学系统的基本任务之一，它通过对学生在一段时间内的学习过程的反馈来估计学生的知识状态。以前的方法[5，28，32，45]试图捕获知识状态的有效表示，这使得能够预测对问题的未来响应。虽然现有的KT方法在ITS中取得了一些成功，但它们仍然受到教育数据稀疏性的影响。 在ITS环境中，学生可能只与有限数量的问题进行交互，因为他们倾向于依赖于系统提供的课程。因此，从稀疏数据集学习的表示往往容易有偏或过拟合，这阻碍了潜在知识状态的准确推断。为了弥补这个问题，最近的研究已经（第1，1页）（2002年，0）（第3章，第1节）（美元，1）（[]，1）（2002年，0）（第3章，第1节）（[]，1）（第1，1页）（*2，0）（注*3，1）（美元*，1）WWWLee等人2331（）下一页（）u联系我们（）∈1：t+1t+1不（·）（·）（·）S设计了各种方法，例如，预训练的嵌入[24]和比较原始和增强样本的预测概率[21]。然而，没有一个先前的尝试，以提高表示采用端到端的架构来区分实例的基础上，低维的潜在向量。在本文中，我们提出了一个对比学习（CL）框架KT，命名为CL4KT。CL4KT的主要思想是通过在表示空间中将相似的学习历史拉在一起并将不同的学习历史分开来学习有效的表示。为了对学生的学习历史进行编码，我们使用了多个Transformer [38]编码器：用于学习历史的问题和交互编码器以及预测以下问题响应的知识检索器。在预测未来响应时，我们使用单向编码器来防止未来的信息泄漏。另一方面，当学习对比表示时，我们利用双向自注意编码器从两个方向总结学习历史的整个上下文，这受到[37]的启发此外，我们设计了特定于领域的数据增强方法，以反映每个学习历史的语义与使用单一类型的标记（如单词或项目）的典型顺序预测任务相比，KT使用由两个相互依赖的标记（问题和响应）组成的学习历史考虑到这一点，我们利用四种数据增强方法和硬否定来揭示语义相似和不相似的学习历史，对比损失刺激学习它们的关系。图1说明了我们方法中的CL 通过在表示空间上施加语义关系，CL4KT可以从稀疏的学习历史中学习可概括的表示。我 们 的 实 验 广 泛 地 评 估 所 提 出 的 方 法 在 六 KT 基 准 ：algebra05，algebra06，assistments09，slepemperature，西班牙语，和静态。因此，CL4KT在所有基准测试中与以前的KT方法相比，表现出了一致的和统计上显著的性能改进。我们还提供了对CL4KT组件的消融研究，包括CL的双向编码器、增强模块和硬底片的进一步的分析表明，CL4KT如何导致更好的KT性能。2相关工作2.1知识追踪由于教育数据的复杂性和异质性，对知识获取过程进行建模具有挑战性[13，14]。为了解决这个问题，已经进行了许多尝试，包括概率[5]，逻辑[1，31]和基于深度学习的模型[32，40，45]。最近，KT的深度学习已经从多个方面进行了研究。自从Piech等人的开创性工作[32]，已经探索了各种策略：例如，应用Trans-个方面首先，与Liu et al.[24]，我们利用端到端架构。因此，我们的方法不需要任何边信息或领域知识，这通常是昂贵的收集以及多级训练计划（如预训练，然后微调）。其次，与Lee et al.[21]我们的框架只利用正向增强样本，引入了负向样本，这些样本在设计有效的自监督信号方面发挥着关键作用。此外，我们利用一个实例判别方法的基础上的潜在空间，而不是观察空间。2.2对比学习CL是自监督学习的一个特殊分支[23]，在不同的领域表现出了良好的性能，包括计算机视觉（CV）[2，12，42]，自然语言处理（NLP）[4，9]和推荐系统（RecSys）[43，44]。正如最近的研究所揭示的，针对特定任务定制的数据增强方法对于CL的成功至关重要已经利用了各种增强方法：例如，CV的裁剪、旋转和颜色扭曲，以及NLP和RecSys的屏蔽字或特征与使用单一类型的标记（如单词或项目）的典型顺序预测任务相比，本文涉及由两种相互依赖的标记（问题和响应）组成的学生的学习历史。由于这种独特的特性和学习历史的离散性，我们仔细设计了CL框架，以设计有意义的自监督信号。3方法图2提供了由CL和响应预测（RP）框架组成的CL4KT的概述。本节从KT任务的正式定义开始（第3.1节）。接下来，我们将演示CL4KT的主要组件，包括共享模型架构（§3.2）、RP（§3.3）和CL（§3.4）。然后，我们定义了相似或不相似的学习历史（§3.5和§3.6），专门用于KT任务。最后，定义了CL4KT的学习目标（§3.7）3.1问题陈述学生u的学习历史被定义为交互序列，su=su，1，su，2，.，其中Tu是长度。为了简单起见，我们省略下标u，除非另有说明。每个交互都由一个元组组成：st=qt，rt，其中qtN+是第t个问题，rt0， 1是回答结果; 1表示正确，0表示不正确。给定相互作用序列s1，s2，.，st和下一个问题qt +1，KT旨在确定正确回答下一个问题的概率：rt +1 = p（rt +1 = 1 |s1，s2，...，st，qt +1）。（一）为了实现这一目标，大多数KT方法假设两个隐藏的表示，hQ和hS，其浓缩了许多问题，formers [3，11，28，34]和使用边信息，如文本t t内容[29，36]，时间特征[26，39]，和图形关系在实体之间[27]。在时间t分别相互作用。使用这些表示，KT任务被重新表述如下：尽管已经引入了几种KT方法，但它们在KT数据集上存在固有的稀疏性问题，如rt+1=f（hQ1：t），（二更）介绍。Liu等人[24]Lee et al.[21]解决问题，其中hQ=<$Q（q1：t +1）和hS =<$S（s1：t）。分别通过预训练问题嵌入和数据增强来实现相比之下，本文用CL框架解决了这个问题我们的工作不同于以往的研究在几个这里，<$Q和<$S分 别是用于识别问题级和交互级表示的函数。最后，f是提供最终预测的函数。值得注意的是，f，h知识追踪的对比学习WWW23321：t+11：∈1：1：t+11：1：∈1：不（）下一页不不 不不不 1：交互作用表示;ht=<$te1：t;m.在这里，下标<$Q和<$S的t表示输出的位置，我们t+1！1图2：CL4KT的整体架构左侧和右侧分别表示CL和RP框架请注意，我们使用共享编码器，问题编码器<$Q（红色）和交互编码器<$S（蓝色）。利用包括下一个问题的问题表示3.3响应预测框架qt+1和交互表示hS直到当前步骤，RP框架预测学习者对下一个提供下一个问题的回答结果，而不需要看到真实情况，rt+1。是的。因此，问题和交互编码器被公式化如下：hQ=<$Q（ e;mc）和hS=<$S（eS;mc）， （3）3.2模型架构t+1t+11：t+1t t 1 ：t如图2所示，CL4KT包括两个嵌入层和两个编码器，用于问题和交互。3.2.1嵌入层。在嵌入层中，我们创建一个问题-嵌入矩阵EQ∈RM×d和一个交互嵌入其中Mc表示具有将后续位置的注意权重归零的效果的因果掩码。根据Ghosh et al. [11]中，我们还利用一个额外的Transformer编码器fKR，称为知识检索器，将问题和交互表示结合起来，用于下一个响应预测。具体来说，在知识检索器的注意力模块矩阵ESR2M×d，其中d表示嵌入的维数dings和M表示问题的数量两个矩阵Qt+1 变成了一个查询，是钥匙，是相应的将独热向量投影到密集表示。后价值观也就是说，知识检索器捕获相关问题-以前对KT的研究[32，45]，对于给定的相互作用s=（q，r），并引用其响应结果来识别设eQ=EQ∈Rd和eS=ES∈Rd是一个问题，tqttqt+Mrt如下所示在每个时间t处的相互作用嵌入向量。3.2.2编码器架构。 为了对一系列问题和交互进行编码，我们使用了两个Transformer编码器[38]：一个问题vt+1=fKR（q=hQ，k=hQ，v=hS;mc），（4）其中v t +1Rd是输出向量，q、k和v分别表示查询、键和值。最后，CL4KT连接vt+1和编码器<$Q和交互编码器<$S。对于给定的问题嵌入序列eQ，问题编码器<$Q学习eQ，并将其馈送到一个两层全连接网络中，然后由一个sigmoid函数生成预测概率问题表示;hQ=<$Q（eQ;m）.同样，互动r<$t+1∈ [0， 1]. RP框架的损失函数定义为：编码器<$S采用交互嵌入eS来提取rt和rt之间的二进制交叉熵：不S s s1：t。Lrp=不Transformer编码器的并行计算m表示注意力模块的注意力掩码控制参考每个Transformer编码器主要遵循由自注意和前馈层组成的原始架构，但是我们另外采用Ghosh等人提出的修改的缩放点积注意函数。[11]第10段。3.4对比学习框架CL的目的是学习隐藏的表示，这些表示对于语义相似的（正）样本彼此接近，而对于语义完全不同的（负）样本彼此远离。为了ℒ&C$对比学习公司C$&'美元̂ℒRpsimQ，'1，Q，'2simS，'1，S，'2预测层'$Q，'110秒，1秒QQ&'美元'$池化层池化层知识检索器���c+Q，'1$：）+Q，'2$：）+S，'1$：）+S，'2$：）QQ$：'$公司简介$：&问题编码gQ（Ω;Ω*）交互环境gS（;*）问题编码gQ（λ;λc）交互环境gS（δ;δc）问题Emb. 层交互嵌入式层问题Emb.层交互嵌入层一美元！1元1：$1991年$12…1！2）2'两块钱2002年…'）原始交互序列$12...20���������…数据增强QH下一个答案知识检索器的形式化描述−（rt log r t+（1 − rt）log（1 − r t））。响应预测问题 $问题-回答对2知识追踪的对比学习WWW2333成功地将CL应用于KT，我们定义了三个主要组件：（1）数据增强，WWWLee等人23340 1 1面具]CLCL1：1：˜QS∈（·）∈[客户端]问题（响应掩蔽问题替代问题第1章：/第1章：/0110101101011010110 1(a) 问题掩码（b）交互裁剪（c）交互置换（c）问题替换图3：增强方法的简要说明：（a）问题掩码，（b）交互裁剪，（c）交互置换，以及(d)问题替换方法。↓和↑分别表示相应的较容易和较难的问题（2）解释学习历史的表征;（3）对比损失。3.4.1数据扩充。 随机数据增强应用于每个学生的学习历史。然后，我们得到同一历史的两个相关视图，记为s+1和s+2，我们历史和（zS，+1，zS，+2）的相互作用历史。Chen et al.[2]，我们采用具有批量否定的交叉熵目标具体地说，我们将来自同一小批次内其他历史的增广样本的表示作为负表示：zQ，− ∈ ZQ，−和zS，− ∈ ZS，−。最后，对比把它看作一对积极我们利用几个增强模块的组成这一组合反映了损失LQ和LS计算如下：esim（zQ，+1，zQ，+2）Q数据，并使我们的CL框架对扰动更加鲁棒从而导致关于性能的显著改进我们LCL =−log esim（zQ，+1，zQ，+2）+.zQ，−Q，−esim（zQ，+1，zQ，−）、（7）将在§3.5中更详细地描述增强模块。S∈Zesim（zS，+1，zS，+2）3.4.2代表学习历史。 个人知识-边缘获取过程是异构的，由于不同的NA，Lcl = − log esim（zS，+1，zS，+2）+.zS，−∈ZS，−，（8）esim（zS，+1，zS，−）学生和导师的真实情况在智能教学系统中，学生的学习历史可以用来反映不同的知识获取特点。 为了识别整个学习历史的表示，我们压缩了两种类型的多个隐藏表示，hQ s和hS s，由Transformer编码器提供，<$Q和<$S。特别是，当编码历史s时，我们通过将掩码m设置为mb来采用双向自关注，允许所有引用而不清零。换句话说，问题和互动的隐藏表征通过重新设计而取得进展，其中sim表示如Chen等人中的温度缩放余弦相似性函数。[2]的文件。3.5由于KT任务的复杂性和独特性，直接利用现有的数据增强具有挑战性CV和NLP中的方法因此，我们引入新的数据增强方法KT考虑这些问题。我们特别精心设计增强方法，使每个学生正在读取整个历史。形式上，设hQ和h S表示数据扩充后的学习历史表明的效率双向自我注意的问题和交互表征：和以前差不多CL4KT使用多种数据增强方法来生成学生学习历史的相关视图Qh1：TQ1：T（e1：T;mb）S1：TS1：T（e1：T;mb）。（五）图3简要说明了增强模块。最后，定义了整个问题和交互历史的表示：问题掩码：受BERT [6]等掩码语言模型的成功启发，我们引入了一种问题掩码方法ZQQSS（六）用一个特殊的=池（h1：T）z=池（h1：T），”“不改，不改，不改。具体来说，对于每其中pool是平均池化层。最终输出zQRd和zSRd用作CL框架中的比较表示。3.4.3对比损失 我们定义了一个对比损失函数，通过将语义上接近的正对拉在一起并将负样本推开来学习有效的表示。对于每个学习历史，从数据扩充获得正对（s+1和s+2）通过编码器，正对被转换成两对表示：（zQ，+1，zQ，+2）对于问题例如，我们用γ掩码的概率随机掩码一些问题。适当掩蔽的学习历史可以被视为原始学习历史的噪声视图。 随着学习的进行，CL4KT被训练为基于掩码令牌周围的上下文对掩码学习历史进行去噪。此外，由于这种增强促进了对缺失上下文的估计，因此表示可以避免被稀疏的教育数据所偏置交互裁剪：随机裁剪是一种常用的数据增强技术，用于创建原始数据的随机子集。裁剪后的数据可以帮助机器学习模型进行泛化掩模=дh=д][面具]���↓���↑���↓0 1110011101101单位面积s$=0.6co（=0.5（）m=0.6&）（*=0.6知识追踪的对比学习WWW2335⌊ ∗ ⌋⌊ ∗ ⌋（）−p−ZCLCL（）下一页（）下一页{（}）（）（）（）（∈）（−）更好地提供数据的本地视图受此启发，我们的...表1：数据集统计交互裁剪方法从原始序列历史子序列可以提供整个学习历史的局部视图。 对于每个示例，我们提取长度为Lc=γcropT的连续子序列，给定随机选择的起始点。交互置换：交互置换方法对原始历史的子序列中的交互进行置换模块背后的原理还假设每个学生的熟练程度在交互序列内保持一致，因为学生在解决问题时不访问额外的学习材料。例如，一个学生掌握了一个特定的知识概念，就能够解决与这个概念相关的问题，而不管这些问题是按照什么顺序给出的。 对于每个示例，我们随机地混洗连续子序列Sr，Sr +1，.，sr+L1，它从一个随机点r开始，长度Lp=γpermT.问题替换1：问题替换方法将原始的根据他们的回答，将最终问题转换为更容易或更困难的问题该模块旨在获得增强的学习历史，即使某些问题已被替换，该学习历史也表现出与原始学习历史相似的知识状态。 为了实现这一目标，我们利用自动构建的问题之间的关系。受先前教学文献[7]的启发，我们利用一种知识结构来捕捉学习材料之间的认知关系（例如，前提关系）。为了简单起见，我们根据问题的难度，确定知识结构为链式有向无环图。具体来说，我们根据训练中计算的正确答案概率，构建了降序排列的问题序列3.6学习历史的硬负样本除了对正样本的数据扩充之外，我们还通过改变响应来产生硬负样本。众所周知的是有意义的硬否定的引入对于学习有效表征至关重要[9，16，33]。 在我们早期的实验中，我们观察到响应的变化，如掩蔽和替换，在数据增强方面是没有好处的。 这是因为二进制响应变量的这些变化导致了实质性的语义差异。基于这一观察，我们反转响应以产生硬阴性样本。对于每一个例子，我们以概率γneg随机选择相互作用，并反转它们的响应：rt = 1 rt。的硬否定的表示被添加到等式中的S−（7）至促进更好的学习。 我们的硬质负片样品可以在不增加批量的情况下调整CL任务的硬度。3.7模型学习CL4KT的总体目标函数定义为RP损失Lrp和CL损失Lcl=LQ+LS的线性组合：数据：q 1，q 2，...，q M，其中M是问题的数量。q 1和q M分别是最简单和最困难的问题。注意，知识结构可以容易地修改为更复杂的结构。与此同时，我们假设，一个学生谁掌握了复杂的高层次的概念更有可能正确地回答直截了当的低层次的概念，反之亦然。直观地说，掌握了三角函数概念的学生可以很容易地解决加法和减法问题。然而，一个不理解加减法概念的学生将无法解决三角函数的问题。. 因此，对于每个例子，我们以概率γrepl随机选择交互，如果回答正确，则将他们的问题替换为更简单的问题，否则替换为更困难的问题，而不改变他们的回答。 给定第c个问题qt=qc和kN+，可以基于其难度的顺序对其较容易（qck）和较困难（qc+k）的问题进行采样。请注意，这种替换不会显著改变学生的熟练程度。1用其他相关的数据替换数据的某些部分是NLP任务中流行的数据增强技术[19，46]。 在KT任务中，[21]提出了一种增强策略，用类似的问题替换问题，这些问题涵盖与原始问题相同的技能，而不改变答案。 我们的方法在两个方面不同于以前的研究：1）我们利用响应信息来替换问题，可能会自然地反映学生的熟练程度，2）我们的方法不使用任何预定义的技能-问题关系，这通常是昂贵和耗时的准备。L=Lrp+λLcl，（9）其中λ表示超参数，其控制自监督学习信号的影响在训练阶段，可学习的参数通过最小化Eq. （九）、4实验在本节中，我们在六个真实世界的数据集上进行实验，以评估所提出的CL4KT框架。具体而言，我们旨在回答以下研究问题。（RQ 1）与最先进的KT方法相比，拟议的CL4KT框架表现如何？ （RQ2）不同的增强方法及其超参数如何影响CL4KT的性能？（RQ 3）CL损失的权重λ对性能有何影响？CL框架是否有助于改进现有模型？ （RQ4）CL4KT的各个组件（如编码器架构、增强方法和硬底片）的影响是什么？（RQ5）我们的CL4KT是否提供有用的陈述？4.1实验设置4.1.1数据集。 我们使用六个真实世界的数据集来验证我们的模型的有效性。algebra 05和algebra 06：Algebra I 2005-2006（algebra05 ） 和 Bridge to Algebra 2006-2007 （ algebra 06 ） 由KDD Cup 2010 EDM Challenge [35]提供。数据集学生人数#问题#技能#交互代数05571173,113112607,014代数061,138129,2634931,817,450辅助093,69517,728112282,071睡眠5,0002,7231,391625,523西班牙182409221578,726静力学333-1,223189,297·WWWLee等人2336∗∗∗----表2：不同模型在六个数据集上的AUC和RMSE性能比较。我们进行5重交叉验证并报告平均值。最佳性能和第二佳性能模型分别以粗体和下划线表示并以p 0表示统计学显著性<。05和p <0. 01与最佳基线方法相比。数据集指标IRTPFADktDKVMNSAKTAktCL4KTalgebra05AUC0.71410.74810.76360.75620.76370.76760.7891米RMSE0.40050.39320.39210.39070.38990.39520.3815米algebra06AUC0.65590.74600.75890.74630.75120.74740.7733米RMSE0.40250.38480.38200.38640.38620.38960.3791米assist09AUC0.67080.72840.75040.74750.74910.75320.7624米RMSE0.46310.44440.43710.43750.43810.43720.4333米睡眠AUC0.62100.65830.69860.70640.68460.7090 0.7218小行星RMSE0.40680.40200.39780.39620.40620.39780.3926米西班牙AUC0.69560.74670.80660.80270.80650.8097 0.8289米RMSE0.45960.44280.41390.41560.41790.4177 0.4049米静校正AUC0.74040.74890.76740.77360.74920.78720.7943RMSE0.43030.40960.41110.39750.41050.3967 0.3945磅assist 09[8]：ASSISTment 2009-2010数据集收集自ASSISTment智能辅导系统。slepemetry[30]：这个数据集来自一个在线系统，slepemapy.cz，提供地理事实的适应性实践。我们随机抽取了5000名学生的625523次互动。西班牙语[22]：这个数据集由中学生练习西班牙语的记录组成静力学[20]：该数据集由大学水平的工程静力学课程的记录组成对于数据集预处理，我们遵循[10]中的标准实践我们将丢弃少于五个交互的学生，并删除与命名概念无关的所有交互。由于问题可以用多个技能标记，我们将每个独特的技能组合转换为一个新技能。表1说明了数据集的主要特征。4.1.2评价 我们进行了5倍交叉验证的定量评价，其中折叠分裂的基础上的学生。此外，我们留出10%的训练集作为验证集。验证集用于调整超参数以及确定早期停止点。 我们比较所有的方法在AUC （ 面 积 下 的 接 收 器 工 作 特 性 曲 线 ） 和 均 方 根 误 差（RMSE）。4.1.3基线。 为了进行比较，我们使用以下基线。IRT[17]：项目反应理论（IRT）采用逻辑回归的形式与学生的能力和问题的难度。PFA[31]：性能因素分析（PFA）也是一种逻辑回归模型，具有问题DKT[32]：深度知识跟踪（DKT）是一种开创性的KT方法，使用单层LSTM。• 动态键值内存网络（Dynamic Key-Value Memory Network，DKVMN）SAKT[28]：用于知识追踪的自注意模型（SAKT）利用Transformer架构来捕获学生学习交互之间的长期依赖关系。AKT[11]：上下文感知注意知识跟踪（AKT）是KT中的一种最先进的方法，它利用了基于附加问题-技能关系的上下文感知嵌入和修改后的Transformer架构，该架构具有通过距离感知指数衰减计算的自适应注意力权重。4.1.4实施细节。 我们在PyTorch中实现了CL4KT，并且代码是公开的。所有模型的嵌入和隐藏大小都固定为d = 64。我们考虑每个学生的最后100次互动，因为我们关注的是预测未来所必需的最近信息。 对于CL框架，我们将λ设置为0。1的范围内调整增强参数γmask、γcrop、γperm和γrepl。三，零。五，零。第七章对于硬负样品，我们将γneg调整到0. 1，0。五，一。0。 模型由Adam [18]优化，批量大小为512，初始学习率为0。001. 如果验证集上的AUC在10个时期内未增加，则应用提前停止策略。4.2整体性能（RQ1）表2说明了总体评价结果。与仅使用AUC的大多数现有工作相比，我们的实验使用AUC和RMSE进行更全面的比较。从结果中，我们有以下观察结果。首先，在大多数情况下，DKT优于逻辑回归模型（IRT和PFA）。 这似乎是由于这样的事实，不像逻辑回归有限的访问精确的时间顺序的相互作用，基于LSTM的DKT可以自然地利用学生的学习历史的时间信息。 在某些情况下，DKT优于SAKT，DKVMN和AKT，这与先前的研究一致[11，25，39]。接下来，是一个记忆增强的神经网络模型，理念的2https://github.com/UpstageAI/cl4kt·········知识追踪的对比学习WWW2337LLAkt掩模置换AKT CL4KTCL4KT作物取代0.770辅助090.730睡眠0.830西班牙语0.7630.7610.7580.7550.753辅助090.1 0.3 0.5 0.7 0.9比例0.723睡眠0.7190.7160.7120.7080.1 0.3 0.5 0.7 0.9比例0.830西班牙语0.8250.8190.8130.8080.1 0.3 0.5 0.7 0.9比例0.7650.7600.7550.7500.10.51.02.04.0λ0.7100.6900.6700.6500.1 0.5 1.0 2.0 4.0λ0.8230.8150.8070.8000.1 0.5 1.0 2.0 4.0λ图4：不同比例的不同扩增方法对AUC的影响。较优基线因数据集和评价指标而异。 在AUC方面，AKT在除algebra06之外的大多数数据集中显示出第二好的AUC值。然而，就RMSE 而言，最佳基线因数据集而异例如，在algebra05、assist09和西班牙语中，DKT在RMSE方面优于其他基线，但在其他数据集中则不然。当谈到比较图5：相对于λ的性能比较。表3：DKT、SAKT、DKTcl、SAKTcl和CL4KT的性能，具有单独的数据增强。最佳性能用粗体表示。八月方法assist09睡眠西班牙语0.6986 0.80662009年12月31日DKTcl0.7574 0.7051 0.8108AKT和SAKT表现AKT中的附加问题-技能关系似乎在Transformer中起着重要作用掩模SAKTcl0.7505 0.6904 0.8123电话：+86-021 - 8888888传真：+86-021 -88888888架构来捕捉学生的知识状态。最后，CL4KT在AUC和RMSE方面，始终优于所有基线 与其他基线相比，CL4KT采用CL框架，具有特定领域的数据增强和硬否定，为KT引入有效的自监督信号。我们的实验结果验证了自监督信号在增强知识状态的表示方面起着关键作用，作物置换DKTcl0.7571 0.7047 0.8135SAKTcl0.7512 0.6879 0.8126电话：+86-021 - 8888888传真：+86-021 -88888888DKTcl0.7575 0.7042 0.8122SAKTcl0.7510 0.6884 0.8141电话：+86-021 - 8888888传真：+86-021 -88888888从而即使在没有附加输入的情况下也能获得更好的性能DKTcl0.7572 0.7049 0.81354.3增强对比（RQ 2）我们研究了不同的数据增强方法及其超参数对KT性能的分析影响取代SAKTcl0.7507 0.6875 0.81132019 - 06 - 21 0.7174 0.8231对于每种增强方法，我们在CL框架中仅使用一种增强方法，其具有不同的比例参数，γmask，γcrop，γperm和γrepl，从0. 一比零。9.在下文中，我们报告了assist09、slepepmapy和西班牙语的AUC值，因为这些数据集分别代表了数学、地理和语言等不同子领域的知识获取。图4揭示了三个有趣的事实。首先，我们观察到，CL4KT配备了一个单一的增强方法可以优于AKT的所有数据集的比例参数的所有这验证了个体增强方法产生有用学习信号的有效性此外，CL4KT是优于其他情况下使用一个单独的增强方法对所有数据集，表明多种增强方法的组合的有效性。其次，最有效的增强方法因数据集而异。例如，在assist09和slepemperature中，平均而言，问题掩码方法优于其他方法，而在西班牙语中，交互裁剪方法优于其他方法。这个结果意味着最有效的增强在不同的数据集之间是不同的，因为每个增强都关注学习历史的不同特征。最后，比例参数的极值似乎对性能有害。在大多数情况下，性能在特定比例参数处达到峰值，然后随着我们增加或减少参数而下降。4.4对比损失（RQ3）为了分析CL损失的影响，我们首先通过改变等式中的λ来检查CL损失的影响（九）、 如图5所示，在某些情况下，当λ增加到某个阈值以上时，我们观察到KT性能显著下降。 这似乎是因为cl在等式中表示rp。（九）、由于我们的目标是确定隐藏的知识状态，帮助预测学习者的表现，它需要RP和CL框架之间的平衡。接下来，为了进一步验证CL损失的有效性，我们将CL框架应用于现有的基线DKT和SAKT。我们增强DKT和SAKT通过应用CL框架与一个单一的增强方法。如表3所示，我们报告了三种方法的AUC值：1）没有CL损失的DKT和SAKT; 2）具有CL损失的增强基线（DKT cl和SAKT cl）;和3）具有单独增强方法的CL4KT。我们观察到，无论增强的类型如何，增强的基线在所有数据集中始终优于其对应的基线。这一结果表明，我们的CL框架具有通用性，可以应用到现有的方法。另一方面，具有单独增强的CL4KT优于增强的基线，表明我们的RP框架在捕获有用的自监督信号方面更有效AUCAUC没有一WWWLee等人2338CL4KT\HN\复制彼尔姆\作物\面具\BECL4KT\HN\复制彼尔姆\作物\面具\BECL4KT\HN\复制彼尔姆\作物\面具\BE\\\\\0.7630.7600.7570.7540.750辅助090.7220.7180.7140.7100.706睡眠0.8290.8230.8160.8100.803西班牙表4：来自AKT和CL4KT的学习表示的均匀性值。数字越低越好。均匀性方法assist09睡眠西班牙语图6：CL4KT及其变体之间的性能比较：没有双向编码器（\BE），没有每种增强方法（\Mask，\Crop，\Perm，\Repl），没有硬负样本（\HN）。1 .一、0结果：1）KT模型的校准，这对下游应用如学习资源推荐和自适应学习至关重要[10]; 2）AKT和0。80。60。40。20。0完美校准的AKTCL4KT 仅 带 面 罩CL4KT 仅 带 修 剪CL4KT 仅 带 烫 发CL4KT 仅 带 重 复CL4KTCL4KT在均匀性方面[41]，建议用于衡量表示的质量。首先，我们通过测量预测概率和观测频率之间的差异来可视化校准图以检测KT模型的系统偏差。 图7显示了AKT和CL4KT的不同校准结果。虽然AKT在正确答案的概率较低时低估了学习者，但CL4KT校准良好，0。00。20岁40.60. 81. 0预测概率图7：assist09上的预测的校准分组。4.5消融研究（RQ 4）为了验证每个组分的有效性，我们在AUC方面比较CL4KT与六种变体没有任何严重的偏见。 这种差异表明CL4KT可以缓解稀疏性问题，从而获得更好的表示和更好的预测。此外，我们观察到，多个增强方法的组合是有效的校准。接下来，我们在均匀性方面比较AKT和CL4KT，测量嵌入均匀分布的程度。由于随机实例需要分散在超球体上，因此较低的均匀性值表示较好的质量。我们报告的一致性问题和互动的表征值，hQ和（5）（无双向编码器）;\Mask、\Crop、\Perm和hS1：TRepl移除相应的增强;并且HN指示没有硬底片。图6显示了揭示以下有趣观察结果的结果。首先，关于增强方法，移除每个增强方法导致性能损失。Repl平均表现出最大的性能损失，这表明问题替换方法在发现知识状态表示方面的有效性此外，我们还观察到了多重增强组合的有效性的经验证据，这与以前的工作是一致的[2]。第二，BE遭受性能恶化，这意味着考虑知识状态的双向上下文在从原始数据中捕获自监督信号时可能是有用的众所周知，即使在顺序预测任务中，双向表征也可以在没有信息泄漏的情况下在提高性能方面发挥关键作用[37]。最后，硬负样本在性能方面带来了额外的好处。没有硬阴性的CL4KT变体HN遭受中度损失。这意味着我们的反向响应方法可以产生有意义的负样本调制的CL框架的硬度。4.6陈述质量（RQ5）随着KT在各种场景中的应用，衡量KT模型表示的质量已变得至关重要。为了分析表示的质量，我们提供以下内容1：T，分别。 表4表明，CL4KT在所有数据集上的表现都优于AKT，这表明我们的CL框架有助于学习知识获取的有效表示。5结论在这项工作中，我们提出了一个通用的CL框架KT。为了构建有用的自我监督信号，反映学习历史的特点，我们仔细设计了双向编码器CL，数据增强模块，并使用硬否定。 我们的框架可以捕捉到更有效的知识状态表示，提高学习者的性能预测。在真实世界数据集上的大量实验表明，我们的模型在预测性能和表示质量方面都优于最先进的方法。 我们还提供消融研究，以分析每个组件的贡献。随着ITS越来越多地被部署在世界各地的教育机构中，大量的学习数据正在被收集和分析，用于适应性和个性化教育[
我的内容管理
展开
