基于集成的过采样技术用于阅读障碍筛查测试中的不平衡数据集

可在www.sciencedirect.com在线获取ScienceDirectICTExpress 8（2022）563www.elsevier.com/locate/icte整合过采样和基于集合的机器学习技术用于阅读障碍筛查测试中的不平衡数据集Shahriar Kaisara，Abdullahi Chowdhuryba澳大利亚RMIT大学信息系统和商业分析系b澳大利亚阿德莱德大学工程、计算机和数学科学学院接收日期：2021年8月11日;接收日期：2021年12月29日;接受日期：2022年2月28日2022年3月15日网上发售摘要发展性阅读障碍是一种学习障碍，经常在学龄儿童中发现，他们在阅读或拼写单词时遇到困难，即使他们可能具有平均或高于平均水平的智力。这最终会导致愤怒、沮丧、自卑和其他负面情绪。早期发现阅读障碍对有阅读障碍的儿童非常有益，因为他们的学习需求可以得到适当的解决。研究人员已经使用了几种测试技术进行早期发现，其中数据来自阅读和写作测试，在线游戏，磁推理成像（MRI）和脑电图（EEG）扫描，图片和视频记录。最近，一些机器学习技术也被用于这方面。然而，现有的工作并没有集中在不平衡的数据集的问题，其中，与非阅读障碍参与者相比，阅读障碍参与者的百分比要高得多，这预计将是随机人群中的预筛选的情况。本文针对阅读障碍预筛选测试中获得的不平衡数据集，提出了一种基于过采样和集成的机器学习技术来检测阅读障碍。仿真结果表明，该方法提高了少数类的检测精度，即，睡眠障碍患者从80.61%上升到83.52%。版权所有2022作者。出版社：Elsevier B.V.代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：阅读障碍;不平衡数据;嵌入技术;机器学习;过采样1. 介绍“Dyslexia”这个词这不是一种疾病，而是一种特殊的学习困难（SLD），一个人发现很难阅读，拼写或写作，即使他们可能拥有平均或高于平均水平的智力。在以英语为母语的人中，10%的澳大利亚人患有诵读困难症，而其他国家的公民（包括加拿大和英国公民）的比率要高得多（20%）。其他语言使用者也有类似的趋势[1，2]。发育性阅读障碍（即，阅读障碍是遗传性的，从出生就存在，并随着时间的推移而发展）通常在较年轻的上学人口中观察到，他们在学校表现不佳，在学习中往往面临困难。这最终会导致负面情绪，如愤怒，沮丧，抑郁，焦虑和低自尊[3]。*通讯作者。电子邮件地址：shahriar. rmit.edu.au（S.Kaisar），Abdul.adelaide.edu.au（A.Chowdhury）。同行审议由韩国通信研究所负责教育与信息科学（KICS）。https://doi.org/10.1016/j.icte.2022.02.011因此，早期发现阅读障碍对为他们提供必要的支持和促进他们的发展至关重要。本文讨论了通过预筛选测试来检测阅读障碍，以帮助在学术生涯的早期阶段识别潜在的阅读障碍儿童，并为他们提供额外的支持，以获得公平的学习经历。虽然早期发现阅读障碍对于有效的补救至关重要，但传统技术昂贵且需要专业监督[4]。最近，机器学习技术在通过在线测试收集的数据预测阅读障碍方面变得流行，例如阅读和写作练习，在线游戏，跟踪眼球运动，或在参与者从事阅读或写作任务时收集EEG扫描和MRI数据[5]。在这些技术中，在线游戏化测试最近在研究人员中流行，因为它们具有成本效益，更容易进行，并且可以覆盖广泛的参与者基础[2，4，6]。在这种情况下，参与者参与在线游戏，同时收集有关他们表现的信息，然后进行分析以检测阅读障碍。然而，对此类测试的大规模用户研究产生了不平衡的数据集，因为非阅读障碍参与者的百分比可能比2405-9595/© 2022作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。S. Kaisar和A.乔杜里ICT Express 8（2022）563564阅读障碍参与者的百分比[6]，这在现有文献中没有明确说明。在实际情况中，随机收集样本中的所有类的观测数不会相同。例如，在恶意软件或阅读障碍检测中，大多数观察结果可能来自机器学习或深度学习分类器和学习器模型对这种类型的不平衡数据集的更大部分观察数据（称为多数类）表现出偏见，以提高检测准确性。然而，这些学习器模型在检测数据归属方面通常表现不佳少数民族（Minority Class）。在这种情况下，过采样方法可以通过生成更多的少数类样本来增加少数类观测值。不同的过采样方法使用不同的技术来生成更接近原始少数类分布的额外合成少数类样本，并已有效地用于破产检测[7]，宫颈癌识别[8]和入侵检测[9]。在这项工作中， 我们已经使用了不同的过采样技术来研究哪种方法在检测少数类数据时提供了更好的结果而不影响整体检测精度。机器学习和深度学习方法在 医 疗 领 域 流 行 ， 用 于 医 疗 诊 断 和 决 策 目 的[10Sarivougioukas和Vage- latos [10]使用指称数学作为对深度神经网络建模的框架，以提高医疗决策的质量。[11，12]和[13]中的作者分别使用朴素贝叶斯，K最近邻和随机森林分类器来检测乳腺癌，肺癌和肝损伤。所有这些作品都使用了单一的分类器或单一的集成技术。集成方法的组合而不是单个分类器有望提供更好的结果，因为它们可以结合来自多个弱学习器的学习来做出决策[14]。因此，我们还结合集成分类器，以提高我们提出的方法的性能。据我们所知，没有关于阅读障碍检测和预筛选测试的先前工作包括过采样和基于集合的机器学习技术，以提高少数类的检测准确性以及整体性能，这是我们当前工作的新颖性。2. 相关工作传统的阅读障碍检测技术包括由心理学家进行的标准化测试，其中为参与者提供阅读或写作任务、语音意识和工作记忆测试。在这些测试中表现不佳归因于阅读障碍。然而，这些技术需要专家的存在，耗时且昂贵，因此基于机器学习的检测技术变得越来越受欢迎。研究人员使用了不同类型的测试，包括阅读[15Fig. 1. 建议的方法。收集不同类型的数据，如文本[4，6，17]，图像[18，20]，视频[18]，眼动跟踪[15]，MRI扫描[16]和EEG扫描[19]。然后，使用不同的机器学习技术处理和分析收集的数据，以预测和分类有阅读障碍和无阅读障碍的参与者。然而，上述工作大多使用单一的分类器，其性能可以进一步提高使用集成分类器，这是在本文中探索。在这些方法中，基于在线游戏的方法是最具成本效益的，并且可以在短时间内覆盖广泛的参与者基础，并且不需要任何专门的工具，例如EEG耳机、相机、眼动仪或MRI扫描仪。然而，基于在线游戏的数据收集方法的大规模用户研究通常会导致不平衡的数据集，如[4，6]所述。在这些情况下，尽管机器学习技术的整体性能保持相当稳定（80%阅读障碍的参与者需要进一步的改善，这是调查在这项工作中使用过采样技术。过 采样 方法 用 于不 同 的域 以增 加 较少 发 生的 情况（即，少数民族）。例如，[21]中的故障诊断、[22]中的实时事故检测和[23]中的乳腺癌检测采用了不同的过采样技术。因此，过采样方法可能会产生高的检测精度少数类检测在阅读障碍预筛选测试，这是没有在文献中讨论3. 该方法图1显示了所提出的方法的示意图。在这种情况下，可以从在线游戏化测试中收集数据，用于阅读障碍的预筛选，如[4，6]所述。收集的数据可以进一步分为训练数据集和测试数据集。我们在训练和测试数据中使用了70%-30%的分割。所提出的方法使用三种不同的模型。对于第一个模型，训练数据集直接用作集成学习器的输入，而在第二个模型中，训练数据集在被集成学习器使用之前经过过采样模块，最后，第三个基线分类器）。然后将测试数据集应用于这三种不同的模型进行性能评估。下面讨论数据集、过采样技术和集成学习器的细节S. Kaisar和A.乔杜里ICT Express 8（2022）563565=+=+3.1. 数据集我们使用了作者在[6]中生成的数据集，他们对3644名参与者进行了在线游戏化测试，并收集了关于196个不同特征的数据。前四个特征是人口统计特征（例如，年龄，性别，母语和语言科目），而其余192个特征是基于32个不同的问题，这些问题被问到每个参与者。每个问题都用六个3.3. 基线学习器或单个分类器我们使用了不同的基线学习器，如下所述。逻辑回归（LR）是一种监督机器学习技术，它采用线性二进制分类过程将数据分类为一组离散类[25]。使用以下等式，输入值（x）被引导以预期输出值（y），输出值（y）是二进制数（0或1）。点数（点击、命中、未命中、得分、准确度和未命中率）。数据集的最后一列是输出列。此列ye（b0+b1x）1+e（b0+b1x）（三）有两个类，是和否。'是'代表参与者可能有阅读障碍，应该去进一步测试，而'否'代表参与者没有阅读障碍。该数据集的诵读困难阴性计数为3252（89.218%），诵读困难阳性计数为392（10.754%）。3.2. 过采样方法由于上述数据集仅由10.754%的少数类数据点组成，因此学习器模型从少数类学习的数据很少因此，我们使用了三种广泛使用的过采样方法，即合成次要过采样技术（ SMOTE ） 、 边 界 线 -SMOTE [11] 和 自 适 应 合 成（ADASYN）[24]来解决这个问题。SMOTE [11]从少数类中生成新的合成样本，以生成类平衡或接近类平衡的训练集。这种方法为每个少数类样本（x）取一定数量（K）的最近邻（KNN）。之后，它对所选样本和所选样本的随机选择的邻居之一（xch）进行插值，并使用插值创建新的合成样本xnewxnew=x+（xch−x）×random（0， 1）（1）其中random（0， 1）是0和1之间的值SMOTE的一个主要缺点是，如果观察结果出现在少数类中，它就不能很好地工作，但它们是外围的。为了解决这个问题，如果样本的所有邻居都在多数类中，则Borderline-SMOTE [12]忽略所有少数类样本作为噪声点。它选择少数样本的邻居既有少数类样本，也有多数类样本。ADASYN [24]通过考虑多数类相邻样本的数量来发现少数类样本的杂质。如果杂质更高，则它为那些少数类别样品生成更多的合成样品。对于每个少数类样本xi，ADASYN从K个最近邻中随机选择一个少数数据样本xzi，并使用以下公式创建合成样本（si）si=xi+（xzixi）×β（2）其中（xzi xi）是n维空间中的差向量，β是一个随机数：β∈[0，1]。这里y是预测值，b0是偏差或截距，b1是x的系数值。支持向量机（SVM）是一种用于数据分类和回归应用的有用技术。它寻找最优分离超平面（OSH）。它还使用核函数将数据转换为更高维的空间，以用于OSH的开发。为了更好地执行，经验法则是限制归一化的更高约束，而不是限制错误率[26]在超平面W中，XB0，响应的输出yixi是：yi（w.xi+b）≥1−εi，εi（ 4）其中εi是用于获得最优解的松弛变量。决策树（DT）有节点和叶子，它们在整个学习过程中形成，即树的构建。树的每个节点都作用于一个属性，从该属性分支出来的叶子节点用于根据属性的值检查类标签。序列继续，直到通过遍历所有叶子计算出最终的类标签[26]。树构造基于由样本S和属性Aj的熵计算的信息增益，In fogain（Aj）=Entropy（S）-Entropy（Aj）（5）3.4. 学习者增强学习器结合来自多个弱学习器的预测。弱学习者的预测可以使用不同的方法进行组合。在我们的方法中，我们使用了投票模型，并分析了硬和软投票方法的性能。在硬投票方法中，每个分类器的预测输出被给定为1或0。收到的多数票（1或0）被视为最终输出。在软投票中，集成模型中的每个分类器计算目标样本在目标类中的概率。最终的输出由所有分类器的加权预测概率决定。我们使用自适应增强（AdaBoost），梯度增强（GB）和极端梯度增强（XGBoost）作为我们的集成学习模型。Adaboost是一种在迭代过程中组合许多弱分类器的方法。该方法的工作原理是针对相同的训练数据训练多个弱分类器，S. Kaisar和A.乔杜里ICT Express 8（2022）563566基于每次训练的结果和前一次总体分类的准确性来确定样本权重，然后在权重已经改变之后用新的数据来训练下一个弱分类器。AdaBoost从被错误分类的样本的加权错误率中学习。Gra- dient Boosting（GB）也从错误分类的样本中学习，但与AdaBoost不同，它从残差中学习。GB是一种将弱学习器组合成强学习器的方法。这种方法中的分类基于前一次迭代的残差，逐个检查每个属性的影响，直到达到所需的精度。使用通过梯度下降优化的损失函数计算残差。另一方面，XGBoost使用梯度下降架构进行集成学习方法。不同类型的数据集可能具有不同类型的分布、特征值和离群值。为了解决这个问题，我们提出的方法使用不同的过采样方法生成合成少数样本，而不是使用原始数据集（没有过采样）或单一的过采样方法来为学习模型提供更好的机会从不平衡的数据中学习所提出的方法还使用一个集成分类器，而不是一个单一的分类器，以产生最佳的检测结果与最小的错误检测。虽然我们已经将所提出的方法用于阅读障碍检测，但它也可以用于处理网络安全、欺诈检测、医疗决策和其他类似领域中的不平衡分类问题4. 绩效评价我们使用Python实现了我们提出的方法表1中我们使用了常用的指标，如准确度，精度，召回率和ROC，来衡量不同模型的性能。该表显示了单个分类器的性能，如支持向量机（SVM），逻辑回归（LR）和决策树（DT），以及集成分类器的性能，如GB和XGB，测试数据集。在前两种情况下，没有使用过采样方法。在我们的下一步实验 中 ， 我 们 添 加 了 三 种 过 采 样 技 术 ， 即 SMOTE ，ADASYN和Borderline，并使用单个分类器（如LR，DT和SVM）测量其性能。这表明了我们由于引入过采样方法而获得的改进。最后，我们将过采样和集成方法结合起来，看看它们的综合影响。表1表明，在单个分类器中，当不应用过采样时，SVM实现了最高的准确率（89.1%）。另一方面，集成学习器Gradient-Boost在没有应用过采样方法时达到了90.2%的准确率。然而，如果我们仔细观察召回率一栏，我们可以看到 它 们 都 取 得 了 很 差 的 结 果 （ SVM 23.8% 和 GB13.4%）。对于不平衡的数据集，召回率值比准确率更重要因为即使是一个天真的学习者（预测这个数据集中的每个样本都是非阅读障碍）仍然可以达到89.2%的准确率。表1性能矩阵。过采样GB0.9020.750.1340.866合奏XGB0.8990.670.1270.863单个分类器LR0.8340.7160.2910.809与DT0.8550.8250.5690.827过采样SVM0.7230.7940.5630.809封装（GB），SMOTE交界性0.8750.8880.480.540.830.8310.8980.906过采样ADASYN0.8830.4830.8610.901合奏击杀0.8870.4860.8350.896(XGB)与交界性0.8980.5230.8350.899过采样ADASYN0.8830.4750.8960.90另一方面，较低的回忆率实际上表明，大量患有阅读障碍的参与者在预测阶段被归类为非阅读障碍，这对诊断目的非常有害[6]。相反，当我们应用过采样技术时，SVM技术的召回值增加到56%，这表明更多的阅读障碍参与者被正确分类。表1还表明，将过采样技术与集成学习器相结合，显着提高了召回值和准确性方面的性能。XGB的边界过采样达到了最高的准确率89.8%，而ADASYN和XGB的组合达到了最高的召回率（89.6%）。虽然由于过采样和集成技术导致精度值下降，表明更多的非阅读障碍参与者被归类为阅读障碍，但是，对于这种测试，更重要的是识别可能发展为阅读障碍的参与者，而不是将没有阅读障碍的人送到专家那里[6]。图图2显示了不同情况下的受试者工作特征（ROC）曲线。AdaBoost、Gradient-Boost和XGBoost的AUC分别为0.836、0.849和0.858，没有过采样（参考图10）。2a）。在应用不同的过采样方法后，从图2（b）、2（c）和2（d）中，我们可以看到所有三种集成方法的AUC值都增加了。对于AdaBoost、GradientBoost和XGBoost，边界-SMOTE分别将AUC从0.836、0.849和0.858增加至0.854、0.916和0.916。这种改进是由于使用过采样和集成方法而实现的。表2显示了[6]中报告的结果和我们的方法的比较我们使用ADASYN与XGB实现的结果进行比较。该表显示，[6]中报告的准确率，召回率和Roc分别为0.798，0.806和0.837，而所提出的方法改进了这些指标，达到了0.883，0.896和0.90。AccuPrecRecROC没有LR0.8270.6810.0230.781过采样DT0.8450.8410.1540.807单个分类器SVM0.8910.8130.2380.781没有DABoost0.8860.6850.0190.834S. Kaisar和A.乔杜里ICT Express 8（2022）563567图二. ROC曲线：（a）无过采样的ROC曲线，（b）过采样的AdaBoosting ROC曲线，（c）过采样的梯度Boosting ROC曲线，（d）过采样的XGBoostROC曲线表2与其他模型的比较。方法准确性召回ROCRello等人[6] 0.798 0.806 0.837[2] M.劳申贝格湖雷洛河Baeza-Yates，J. P. Bigham，通过基于网络的游戏实现语言独立的阅读障碍检测，在：第15届国际网络会议论文集，里昂，法国，2018年，pp. 1比10XGB与ADASYN结合使用5. 结论0.898 0.835 0.899[3] 特别安全局Hamid，N. Admodisastro，A. Kamaruddin，基于计算机的学习模型为诵读困难的学生的研究，在：第九届马来西亚软件工程会议，MySEC，吉隆坡，马来西亚，IEEE，2015年，pp. 284-289.[4] L. Rello，E.罗梅罗湾Rauschenberger，A.阿里，K.威廉姆斯，北卡罗来纳州J·P·比厄姆White，使用HCI措施和机器学习筛选英语阅读障碍，在：国际会议论文集在线游戏化测试和机器学习技术最近作为阅读障碍检测的预筛选测试而受到欢迎。然而，从这样的测试中获得的数据集自然是不平衡的，因为大量的非阅读障碍参与者。现有的文献阅读障碍检测没有明确解决这个类的不平衡问题，并实现了较低的检出率为阅读障碍的参与者。不平衡的分类问题可以通过使用过采样技术和集成学习器来解决，本文对此进行了研究。仿真结果表明，这种技术的结合提高了少数类的检测精度，即，阅读障碍的参与者。CRediT作者贡献声明Shahriar Kaisar：概念化，方法论，形式分析，编辑，写作- 阿卜杜拉希·乔杜里：概念化，方法论，形式分析，编程，编辑，写作–竞合利益作者声明，他们没有已知的可能影响本文所报告工作引用[1] T. Asvestopoulou，V. Manousaki，A.普西斯塔克斯岛Smyrnakis，V.Andreadakis ， I.M. Aslanides ， M. Papadopouli ， DysLexML ：Screening tool for dyslexia using machine learning ， 2019 ， arXivpreprint arXiv：1903. 06274.数字健康会议，里昂，法国，2018年，pp。80比84[5] S. Kaisar ， Developmental DyslexiaDetection Using MachineLearningTechniques ： A Survey ， Elsevier ICT Express 6 （ 3 ）（2020）181-184.[6] L.雷洛河Baeza-Yates，A. Ali，J.P. Bigham，M.塞拉，预测阅读障碍的风险与在线游戏化测试，PLoS One 15（12）（2020）1-15。[7] T. Le，M.T.沃湾，巴西-地Vo，M.Y. Lee，S.W. Baik，使用过采样技术和成本敏感学习进行破产预测的混合方法，复杂性，Hindawi（2019）1-13。[8] R. Geetha ， S. Sivasubramanian ， M. Kaliappan ， S. Vessel ， S.Annamalai，使用合成少数过采样技术和使用随机森林分类器的PCA分析进行宫颈癌识别，J. Med. System. 43（9）（2019）1-19.[9] D. Gonzalez-Cuautle，A. Hernandel-Suarez，G. Sanchez-Perez，L.K.Toscano-Medina ， J. Portillo-Portillo ， J. Olivares-Mercado ， H.M.Perez-Meana，A.L. Sandoval-Orozco，用于优化僵尸网络和入侵检测系统数据集中分类任务的合成少数过采样技术，应用程序。Sci.10（3）（2020）794.[10] J. Sarivougioukas ， A. Vagelatos ， 深 度 学 习 神 经 网 络 建 模 - 在UbiHealth环境中使用指称数学，Int.J. 软件。Sci. Comput. 内特尔（IJSSCI）12（3）（2020）14[11] K.- J. Wang，B. Makond，K.- H.陈凯M. Wang，一种结合SMOTE和PSO的混合分类器来估计乳腺癌患者的5年生存率，Appl. 软计算20（2014）15[12] K.- J. Wang，A.M. Adrian，K.- H.陈凯M.王，一个混合分类器结合边界SMOTE与AIRS算法估计肺癌脑转移：在台湾的案例研究，计算机。 方法程序生物医学。119（2）（2015）63[13] Y.-- Q. Liu，C.王湖，加-地Zhang，Decision tree based predictivemodelsfor breast cancer survivability on imbalanced data ， in ： 3rdInternationalConferenceonBioinformaticsandBiomedicalEngineering，Beijing，China，IEEE，2009，pp. 一比四[14] I. Cvitic′ ， D.Perako vic' ， M.佩 里 沙 湾Gupta ， EncourageMachineLearning Approach for Classification of IoT devices in smartS. Kaisar和A.乔杜里ICT Express 8（2022）563568home，Int. J. 马赫学习. 赛博恩（2021）1[15] M.N. Benfatto，G.O. Seimyr，J. Ygge，T. Pansell，A.里德伯角Jacobson，Screening for dyslexia using eye tracking during reading，PLoS One 11（12）（2016）。S. Kaisar和A.乔杜里ICT Express 8（2022）563569[16] P. 帕托诺夫斯基，W。 格拉德科沃斯基岛阿尔塔雷利湾 Monzal vo ， M.vanErmingen-Marbach ， M. Grande ， S. Heim ， A.Marchewka，P. Bo-gorodzki，F. Ramus等人，发展性阅读障碍神经解剖学基础的多参数机器学习方法。脑图。38（2）（2017）900-908。[17] 格勒乌Khan，J.L.A.郑，O.Y.机器学习和阅读障碍：学习障碍儿童的诊断和分类系统（DCS）。J. Eng. Technol. 7（3.18）（2018）97[18] 特别安全局Hamid，N. Admodisastro，N. Manshor，A.卡玛鲁丁，匿 名 戒酒 会 。Ghani ， Dyslexia adaptive learning model ： studentengagement predictionusing machine learning approach ， in ： 3rdInternational Conferenceon Soft Computing and Data Mining，JohorBahru，Malaysia，Springer，2018，pp. 372-384.[19] H. Perera，M.F. Shiratuddin，K.W.黄，K. Fullarton，成人阅读障碍和正常对照之间书写和打字的EEG信号分析，Int. J. 互动. 多次。第英特尔第五条第一款（2018年）62项。[20] K. Spoon ， D. Crandall ， K. Siek ， Towards detecting Dyslexiainchildren 's handwriting using neural networks，in：Proceedings ofthe 36th International Conference on Machine Learning，California，USA，2019，pp. 1比5。[21] W.Zhang，X. 李，X.-D. Jia，H. 妈Z。 Luo，X. 李，使用深度生成对抗网络进行不平衡数据的机械故障诊断，测量152（2020）107377。[22] A.B.帕尔萨湖Taghipour，S. Derrible，A.K. Mohammadian，实时事故检测：应对不平衡数据，Accid。Anal. Prev. 129（2019）202-210.[23] J. Nahar ， T. 伊 玛 目 ， K.S. Tickle ， A.S. 阿 里 ， Y. P.P. Chen ，Computationalintelligence for microarray data and biomedical imageanalysis for theearly diagnosis of breast cancer，Expert Syst.Appl.39（16）（2012）12371-12377。[24] H. 他 ， Y. Bai ， E.A. 加 西 亚 ， S 。 Li ， Adasyn ： Adaptivesyntheticsampling approach for imbalanced learning ， in ： IEEEInternationalJoint Conference on Neural Networks ， Hongkong ，China，IEEE，2008，pp. 1322-1328年。[25] S. Sperandei，理解逻辑回归分析，生物化学。24（1）（2014）12-18。[26] S.S. Shafin，S.A. Prottoy，S. Abbas，S.B. Hakim，A.乔杜里，M。Rashid等人，使用机器学习和类过采样的分布式拒绝服务攻击检测，在：应用智能和信息学国际会议，施普林格，2021年，pp。247-259