阿尔茨海默病的3层认知混合机器学习算法有效诊断预测方法的研究

沙特国王大学学报开发三层认知混合机器学习算法以有效诊断阿尔茨海默Afreen Khan，Swaleha Zubair印度Aligarh穆斯林大学计算机科学系阿提奇莱因福奥文章历史记录：收到2021年2022年6月20日修订2022年7月19日接受2022年7月25日在线发布关键词：阿尔茨海默病认知特性选择Hybrid机器学习轻度认知障碍A B S T R A C T阿尔茨海默病（Alzheimer由于早期检测可以预防或延迟老年受试者的认知能力下降，因此需要开发有效的方案来诊断该疾病。大多数现有的诊断工具无法即时改善易感患者的疾病预后考虑到这一事实，我们开发 了 一 种 基 于 认 知 的 3层 机 器 学 习 （ ML ） 算 法 ， 该 算 法 采 用 基 线 特 征 来 预 测 AD或 轻 度 认 知 障 碍（MCI），以构建心理测试结果。早期基于机器我们依赖于一种复杂的混合认知ML算法的开发，该算法提供了对疾病的准确和精确的我们使用认知和人口统计数据构建了一个ML模型。预测方法包括三个步骤。阿尔茨海默考虑到19个ML和深度学习分类器无法对ADNI数据进行充分分类，我们创建了一个2层模型堆叠程序。模型堆叠优于六种ML分类器组合，包括逻辑回归，朴素贝叶斯，支持向量机，决策树，随机森林和极端梯度提升。 采用7个性能评估指标和4个分类误差指标对所提出的模型的性能进行了评估。每个模型在三个独立的战略评估模块中进行评估在第一个实验中，XGB，随机森林和SVM的准确率达到89.63%，而随机森林在第二个实验中达到93.90%的准确率实验2改进了整体预测的分类和性能在第三个实验中，混合建模，准确性显着增加，实验1给出90.24%的准确性和实验2产生95.12%的准确性。所提出的模型以有效的方式成功地预测了早期AD和MCI我们能够将19个分类器减少到4个分类器（来自实验1）和6个分类器（来自实验2），然后减少到一个Meta学习器（19！ 四个！ 1和19！ 六！1），具有较高的预测能力。最后，我们对不同的ADNI数据集进行了全面的比较分析，以验证我们的发现。©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY许可下的文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍*通讯作者：Aligarh 穆斯林大学计算机科学系，邻近计算机中心，AnoopshahrRoad，Aligarh（202001），U.P.，印度电子邮件地址：gmail.com（A. Khan），swalehazubair@yahoo. com（S.Zubair）。沙特国王大学负责同行审查阿尔茨海默病（Alzheimer's disease，AD）是一种以认知功能障碍为特征的严重神经系统疾病。Alois Alzheimer于1906年将其鉴定为疾病状况，标准为进行性记忆丧失、定向障碍和病理指标（老年斑和神经元缠结）。这是一种影响全世界人口的全球性疾病。根据一般估计，全世界每三秒钟就发现一个新的AD病例。这反过来表明，在大约一段时间内，全球约有5000万人受到影响（Harvey等人，2003; Prince等人，2016年）。这些估计可能每20年翻两番，从而可能造成https://doi.org/10.1016/j.jksuci.2022.07.0161319-1578/©2022作者。由Elsevier B.V.代表沙特国王大学出版。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comA. Khan和S. Zubair沙特国王大学学报8001到2040年将有1亿人。在AD的后期，个体不可避免地丧失了独立性和认知能力.因为早期症状在许多方面类似于健康衰老，如果认知变化被误认为是衰老，则阿尔茨海默病的诊断可能会延迟（Avidan等人， 2009年）。与阿尔茨海默病患者治疗进展相关的未来研究工作包括：开发功能性脑成像技术用于早期诊断和治疗效果评估;开发通过调节神经递质系统的各个方面（胆碱能、多巴胺能等）来帮助治疗AD的新型药物，或者开发出可以用于治疗认知缺陷和行为障碍;以及预防方法的开发（淀粉样蛋白P肽免疫以及b和c分泌酶抑制剂）。然而，值得注意的是，除年龄外，许多与糖尿病、中风、心血管疾病和代谢综合征相关的风险因素在AD的发生和进展中发挥作用。高血压和高脂血症的病因学，以及睡眠呼吸暂停和系统性失调被认为是一些潜在的风险因素。现有的AD管理方法通常依赖于疾病开始后的药物治疗和护理。在没有任何有效的治疗方法来预防这种重要疾病的情况下，早期检测可以减缓AD的进程，从而延迟完全爆发的疾病的发作。AD的早期预后可能通过识别疾病相关的可靠标志物而变得合理在这方面，各种基于神经心理学、生物化学和遗传学的标记已被成功地用于监测痴呆进展。Sheehan（2012）实施了一系列评估量表来确定痴呆的严重程度。本文描述了几种适用于初级和二级医疗保健的小型痴呆症筛查测试（Sheehan，2012）。这些包括简易精神状态检查、简明精神测试评分、画钟测试、六项认知损害测试、全科医生认知 评 估 、 Mini-Cog 、 测 试 你 的 记 忆 、 蒙 特 利 尔 认 知 评 估 、Addenbrookes认知评估和记忆损害筛查等（Sheehan，2012）。他认为临床痴呆评级、总体确定量表和临床医生总体印象变化在测量总体痴呆严重程度方面很重要（Sheehan，2012）。许多研究已经报道了临床痴呆评定（CDR）和简易精神状态检查（MMSE）作为AD相关痴呆进展的强预测因子（Nakata等人，2009; Daly等人，2000年）。Wessel et al.（2018）对ADAS-Cog（阿尔茨海默病评估量表-认知子量表）和CDR-SB（临床痴呆评定-方框总和）进行了比较分析，以揭示AD治疗组的差异（Wesseletal.， 2018年）。 他们报道，ADAS认知子量表比CDR-SB量表更常用于检测AD治疗组的差异（Wessel等人，2018年）。考虑到各种AD相关临床参数在疾病相关参数中的相关性，寻求在常规临床环境中容易获得的具有成本效益且容易的诊断标志物将是适当的。在医疗保健领域，机器学习的实施最大似然法（ML）可以为疾病的准确诊断提供一种处理大量信息的有效方法。ML是一种模式学习科学，具有处理庞大数据集的独特能力，从而导致精确预测模型的开发（Khan和Zubair，2018）。ML允许从可能的输入池中自动选择高值预测器（Nori等人，2019年）。磁共振成像（MRI）的应用以及复杂的ML算法已被广泛用于区分健康大脑和轻度痴呆大脑（Amoroso等人，2017年）。Battineni等人（2020）回顾了2015年至2019年期间发表的435篇文章，这些文章涉及基于ML的工具的开发，以诊断慢性疾病（Battineni例如，2020年）。他们最终选择了22项研究进行比较分析（Battineni等人，2020年）。作者进一步报道了痴呆症作为慢性疾病之一，病例对照作为研究类型，MRI作为输入特征，支持向量机（SVM）分类器用于ML建模（Battineni等人，2020年）。在另一项研究中，Battineni等人（2019）使用SVM分类器建立了一个用于痴呆预测的ML模型（Battineni等人，2019年）。他们对150名MRI患者的纵向库进行ML建模，以提供65.75%的预测准确度（Battineni等人，2019年）。同样，我们的团队还开发了一种改进的多模式ML管道，用于AD的预后（Khan和Zubair，2020）。基于随机森林ML分类器构建的ML程序用于分析OASIS纵向MRI数据，准确率为87.0%（Khan和Zubair，2020）。在过去的几年里，已经有许多基于ML的广泛研究计划来预测痴呆和AD及其在疾病早期诊断中的然而，其中一些早期的报告依赖于传统的ML分类器，这些分类器不需要超参数调整或集成技术。这导致模型的准确性和性能下降。此外，不存在预测AD风险个体进展的金标准算法，此外，临床翻译似乎缺失。此外，在这些模型中的一些模型中采用的预测器由于其高成本和/或侵入性（例如，腰椎穿刺或氟脱氧葡萄糖正电子发射断层扫描等）。此外，能够有效地解决诸如缺失数据、异常值和不平衡分类等问题的合适的顺序数据预处理流水线被认为是每个成功的ML模型的支柱（Lim等人，2007; Balsis等人，2011年）。鉴于这些考虑，开发能够准确且有效地预测阿尔茨海默病和类似病症的系统认知是心理过程的集合，影响到人们生活的方方面面认知能力包括推理能力和持续学习新事物另一方面，认知障碍是一个用来描述认知或推理问题的词。根据患者的年龄和健康状况，疾病的严重程度从中度到重度不等。各种原因可能导致认知障碍，包括年龄，遗传和环境变量。除药物相关不良反应外，血管问题、抑郁和痴呆也在潜在困难列表中（认知测试，xxxx）。认知测试（也称为心理测量或神经心理学评估）用于评估个体的认知障碍。通常，临床检查与心理测量测试一起可用于联合评估MCI和早期阿尔茨海默病的病程（Mathotaarachchi等人， 2017年）。考虑到这些挑战，我们设想开发一种基于认知的混合机器学习模型，该模型可以完全基于心理测试分数来预测AD，MCI或认知正常（CN）受试者。我们提出了一种多项分类的方法，作为AD诊断中最有效和最重要的分类器形式多类或多项分类是一个ML问题，涉及将实例分类为三个或更多个类。我们建立了一个基于三个实验的模型。在第一个模块中，我们展示了在开发了正相关性之后基于特征选择的在第二个模块中，使用顺序特征选择器选择认知特征，这减少了A. Khan和S. Zubair沙特国王大学学报8002y维特征空间到z维特征空间，其中y z.它是一种贪婪搜索算法，被创建为次优解决方案。在最后一个实验（第三模块）中，我们分别为两个模块（基于实验1和实验2）构建了一个混合认知模型。本研究中使用的数据来自阿尔茨海默病神经成像倡议（ADNI）数据库。一开始，我们使用了19个ML和深度学习分类器。由于他们无法正确分类ADNI数据，因此，我们开发了一种两层模型叠加方法。它被设计用来测试十九个分类器的所有可能的组合 模型堆叠-在ML分类器的四种和六种组合上执行，包括Logistic回归，朴素贝叶斯，支持向量机，决策树，随机森林和极端梯度提升。 这是我们实验1、2和3的基础。ADNI 数 据 集 已 经 由 几 位 研 究 人 员 进 行 了 研 究 。 在 2017 年 ，Mathotaarachchi等人提出了一种基于ML的预测模型，以检测24个月内的痴呆发展（Mathotaarachchi等人，2017年）。他们分别获得了84.0%的准确度和0.91的接收器下工作特性曲线（Mathotaarachchi等人，2017年）。格拉西等人（2018）使用ADNI数据集的子集确定了处于AD转换风险的MCI个体（Grassi等人，2018年）。他们开发了一种使用ML技术的算法，平衡准确率为78.8%（Grassi等人，2018年）。使用级联多视图典型相关性，Singanamalli等人（2017）提出了一种通过整合诊断模式子集的分类（Singanamalli等人，2017年）。其准确性范围为63.0%至93.0%（Singanamalli等人，2017年）。在ADAS-Cog认知测试中，使用仅149名患者的ADNI数据集子集实现了93.0%的最大准确度（Singanamalli et al.， 2017年）。考虑到上述方法的特点，我们提出了一种三层混合策略来区分CN，MCI和AD受试者。这种方法是基于神经心理学测试的组合。在我们提出的模型中，我们采用认知、临床和人口统计学数据来预测3类反应变量（CN/MCI/AD）。我们介绍了一个完整的管道过程，用于数据分析，转换，融合，聚合和处理预测。我们建立了三种方法来评估诊断分类的有效性，使用患者分类，队列规模不平衡和认知数据。结果发现，结合选定的心理测量变量的混合认知模型增加了AD、MCI和CN的预测为了进一步评估我们的方法的有效性，七个性能评估措施和四个分类错误的度量相互结合使用。所开发的程序产生了有效和全面的诊断方法。为了改善临床实践，我们提出的模型简化了测试结果的解释，通过开发一套标准来对个体进行分类，并在早期发现三个响应变量。2. 方法2.1. 研究设计为了在处理大量、多样、不完整、多源和多样化数据的同时实现有意义和强大的诊断预测，本研究中提出的ML方法依赖于熟练的数据处理、管理、处理、聚合和同步。此外，我们还尝试在缺失模式检测、数据预处理、插补、数据转换和集成方面即兴发挥（Khan和Zubair，2020）。在此基础上，我们提出了从非结构化数据中自动提取结构化数据所需的过程。这需要一个高吞吐量和通用的接口，既可以应用于基于模型的技术，也可以应用于已协调和聚合的多变量数据。这反过来又需要一个高吞吐量和多功能的接口，可以应用于异构数据，用于后续的预测分析和诊断预后。对于ML分类和建模，我们采用了Anaconda的Python计算环境，其中每个步骤都被执行，集成和认证。为整个过程建立了管道环境。该工作流程用于确保整个程序的成功，实现内部验证并提供外部可重现的结果。图1说明了我们的端到端过程的流程图。在下面的小节中，我们详细介绍了本研究所采用的方法和涉及的各个步骤2.2. 数据源阿尔茨海默病神经影像学倡议，ADNI（adni。loni.usc.edu）是一个数据库，于2004年作为公私合作伙伴关系推出，由Michael W.韦纳作为一个主要的律师。这是一项基于药物的多中心研究，旨在开发用于AD和MCI早期检测、进展和跟踪我们选择ADNIMERGE参与者数据，包括ADNI-1、ADNI-2、ADNI-3和ADNI-GO系列数据库。这些是在研究的不同阶段获得的，每个阶段属于不同的时间段。在每个数据库中，招募了新患者，而来自先前阶段的流行患者仍待检查。ADNIMERGE包括2175例受试者，年龄在54 - 92岁之间。这些参与者组的数据由113个特征的14，036个输入值组成。输入值采集时间约为8年（2004-2021年），最初有一个基线（患者首次到达时），然后每6个月随访一次，固定间隔8年，总计14，036个输入值。概括地说，这是一个结合了所有4个阶段的重要预测因子的数据集，使用ADNI存储库中的多个数据源进行累积。2.3. 参与者在本研究中，我们提取了ADNI-1数据，其中包括818名受试者和113个特征的5013个输入值接下来，我们构建了一个ML认知模型，在生成的数据集的基础上对其进行了测试和验证，并将其与ADNI-2，ADNI-3和ADNI-GO数据集进行了比较，以确定开发模型结果的效率。通过人口统计学信息、脑脊液、认知/神经心理学/心理测量学、弥散张量成像、脑电图、遗传学、磁共振成像和正电子发射断层扫描生物标志物对818名参与者进行了人群分析。纳入了从筛选至基线访视的确诊病例，排除了超过20%的缺失患者数据。根据随访诊断将基线诊断分为5组，认知正常（CN）、早期轻度认知障碍（EMCI）、晚期轻度认知障碍（LMCI）、显著记忆障碍（SMC）和阿尔茨海默我们将其分为CN、MCI和AD三类。CN组包括CN和SMC受试者，MCI组包括EMCI和LMCI受试者，而AD组包括AD受试者。由于本研究的主要目的是根据认知评估预测未来的衰退，因此我们分组以在不同时刻的诊断之间保持一致。在纳入研究的818名参与者中，229名受试者被诊断为CN，396名被诊断为MCI，193名被诊断为AD。的人口统计信息A. Khan和S. Zubair沙特国王大学学报8003图1.一、认知模型框架。[*CML：认知机器学习]。表1中列出了研究参与者根据其基线诊断的结果。2.4. 可变抽气孔考虑到我们的目标是使用那些被一致评估或有效纳入临床环境的预测因子，并且不被患者认为是侵入性的，我们决定仅使用这些变量。ADNIMERGE数据集涉及诊断亚型、人口统计变量以及临床测试和神经心理学测试的评分由于在本研究中，某些变量无法为所有登记的受访者提供，因此提前决定排除缺失数据超过20%的变量。认知测试（临床和神经心理学）的详细描述见表2。表3列出了本研究中使用的表4给出了数据集中存在的认知评估变量的全面A. Khan和S. Zubair沙特国王大学学报8004表1人口统计详情。特性所有受试者CNMCIADN818229396193性别男性476人（58.20%）119人（51.96%）255人（64.39%）102例（52.84%）女性342人（41.80%）110人（48.03%）141人（35.61%）91人（47.15%）年龄范围54.4 –59.9 –54.4 –55.1 –平均值（S.D.）75.18（6.84）75.84（5.02）74.43（7.40）75.28（7.45）年的教育范围4–20644平均值（S.D.）15.54（3.05）16.07（2.86）15.63（3.04）14.71（3.13）族裔非西班牙裔/拉丁裔793226380187西班牙裔/拉丁裔192134未知6132种族白色761210370181黑色3916158亚洲14392超过13012印第安人/阿拉斯加1010婚姻状况结婚630156317157丧偶108404820离婚5117259从未结婚281567未知1100表2认知测量描述。变量描述ADAS阿尔茨海默全面检查，以评估AD的认知和非认知症状。ADAS 11阿尔茨海默该评估包括11个问题。这个数字可以是0到70之间的任何数字。0分表示无损害，而70分表示严重损害。ADAS 13阿尔茨海默它包括13个问题。该值的范围为0到85。0分表示无损害，85分表示严重损害。ADASQ4这是ADAS11的任务4。它是单词识别认知分量表。CDRSB临床痴呆评定-方框总和它测量痴呆症的进展，特别是在轻度至中度认知障碍的个体中。对患者和其他受访者（家庭成员）的半结构化访谈用于获得评级。值范围为0到18。DIGITSCOR数字广度测试评分这是一个用来评估数字存储容量的任务。参与者被给予一个数字序列，并被要求以正向跨度或反向跨度重复给考官。FAQ功能评估问卷它评估患者分数从0到30。0分表示正常，而30分表示该人非常依赖。LDETOTAL延迟全面召回它是一种神经心理学测试，评估一个人在规定的时间后回忆信息的能力。它评估一个人简易精神状态检查它是一种基于量表的评估，用于确定认知能力下降。它的范围是0到30。正常评分范围为25 - 30，轻度评分范围为21 - 24，中度评分范围为10 - 20，重度评分范围为0 - 10。mPACC测试评估认知能力、定时执行功能和情景记忆。mPACCdigit改良的临床前阿尔茨海默氏症认知复合物与数字这是一个带有数字替换的mPACC测试。mPACCtrailsB改良的临床前阿尔茨海默氏症认知复合材料与Trails B这是一个mPACC测试与Trails B替代。雷伊听觉语言学习测验RAVLT是一种神经心理学测试，经常用于测量注意力，记忆力和学习能力等语言技能RAVLT是一个五次试验程序（试验1在30分钟的内插测试后，要求受试者再次回忆第一个列表中的术语这被称为延迟召回。这些分数进一步用于生成各种汇总分数。RAVLT-LRey听觉言语学习测验-学习通过从试验5评分中减去试验1评分来计算。RAVLT-I雷伊听觉语言学习测验-即时它是通过汇总前五次试验（试验1至5）的结果确定的RAVLT-F雷伊听觉言语学习测验-遗忘通过从试验5评分中减去延迟回忆评分来计算。RAVLT-PF雷伊听觉言语学习测验-遗忘通过RAVLT-F评分除以试验5评分计算TRABSCOR测试B部分时间它是一种诊断测试，评估认知功能，即。思考、推理和保留信息的能力A. Khan和S. Zubair沙特国王大学学报8005表3数据集变量。人口统计学年龄、性别、教育程度、婚姻状况诊断亚型CN、MCI、AD在此过程中，将值缩放至限定范围内进行平滑以去除ADNI数据中的噪声。4. 减少：数据减少方法在分析中是有效的，临床和神经心理测验ADAS11，ADAS13，ADASQ4，CDR-SB，RAVLT-L，RAVLT-I，RAVLT-F，RAVLT-PF，MMSE，LDETOTAL，DIGITSCOR，TRABSCOR，FAQ，mPACCDigit，mPACCtrailsB在不影响数据完整性的情况下，原始数据集（Khan和Zubair，2020）。在这项研究中，降维数据约简策略。它允许检测和删除不相关、弱相关或重复的变量或维度。包括它们的平均值和标准偏差（S.D.），以及缺失值的比例，这是考虑该数据集的重要因素。2.5. 数据预处理使用4步策略处理采集的数据集，即，清洁、整合、转化和减少。1. 干净：在本研究中，数据存在噪声、不完整和不一致。一般来说，不准确/脏数据会阻碍挖掘过程。由于大多数挖掘方法都包含某些技术，因此它们通常会处理丢失或有噪声的数据，这些数据不一定具有弹性。因此，我们通过几个数据清理过程运行数据，作为基本数据预处理步骤的一部分。这项回顾性研究需要对不一致的神经影像学数据进行插补。表4显示了基线时提取特征的缺失值这个缺失值问题是通过k个最近的邻居（k = 5个邻居）进行填补来解决的。由于插补值不会增加偏倚，因此多变量插补的结果允许对具有源（原始）数据相似联合分布的整个数据集进行分析（Khan和Zubair，2020）。2. 集成：数据集成包括将来自不同来源的数据组合到一个内聚的数据存储库中。多个数据库、数据立方体和平面文件就是这些源的示例冗余是另一个关键考虑因素。如果一个属性是从另一个表派生的，它有时是多余的。后续数据集中的冗余也可能是由变量的不一致引起的由于ADNI数据仓库由大量数据集组成，我们发现ADNIMERGE数据集中不一致的某些数据值是从其他几个ADNI数据集中提取的然后相应地对提取的数据值进行积分，其具有对应受试者ID的相同值3. 转换：在本研究中，数据转换包括以下策略：归一化和平滑.在正常化-2.6. CML模块-1本实验的目的是通过结合三组不同的认知测试并建立它们之间的相关性来检查分类性能。那些心理测试，显示出正相关被选中。此外，该实验旨在确定与CML模块2中描述的第二种方法相比，该方法是否适合优化分类并提高性能。如表2所述的心理测量测试被分为三类。第一类包括ADAS测试，第二组包括RAVLT测试，第三组包括其余的认知评估。经相关性分析，筛选出形成正相关的变量.而其余显示负相关或相关性差的测试则从数据集 中 删 除 。 因 此 ， RAVLT-L 、 RAVLT-I 、 ADAS11 、 ADAS13 、ADASQ4、MMSE、DIGITSCOR、LDELTOTAL、mPACCdigit和mPACCtrailsB认知变量被选择用于新的简化数据集。2.7. CML模块-2本实验的目的是检查分类性能的基础上的认知测试变量，建立后的顺序特征选择进行该特征选择算法遵循贪婪搜索算法的模式，该算法将m维特征空间减少到n维特征空间，其中m n。在这个过程中，4折交叉验证和随机森林作为基础分类器。标准化选择方法以去除不相关特征并最大化模型精度。因此，MMSE、CDRSB、RAVLT-I、DIGITSCOR和LDETOTAL是选择的变量，并包括在简化数据集中。此外，该实验旨在确定这种方法是否适合于优化分类并提高性能。表4描述性统计。10.mPACCtrailsB-0.33（2.44）-7.60（3.39）-14.24（3.09）0.011.RAVLT-L5.85（2.28）3.30（2.35）1.81（1.79）0.4812.RAVLT-I43.33（9.09）30.76（9.04）23.16（7.70）0.4813.RAVLT-F3.58（2.73）4.67（2.26）4.54（1.91）0.4814.RAVLT-PF34.18（27.64）67.86（31.41）88.70（21.92）0.9715.TRABSCOR89.21（44.26）130.74（73.69）197.95（87.09）1.71S.No.变量CN平均值（S.D.）MCI平均值（S.D.）AD平均值（S.D.）基线缺失%1.ADAS 116.20（6.20）11.4（4.42）18.60（6.28）0.122.ADAS 139.50（4.19）18.62（6.27）28.87（7.62）0.973.ADASQ42.85（1.72）6.18（2.26）8.56（1.56）0.04.CDRSB0.03（0.12）1.60（0.88）4.29（1.64）0.05.DIGITSCOR45.75（10.20）36.85（11.17）26.93（12.81）0.616.FAQ0.14（0.60）3.82（4.46）12.99（6.84）0.367.LDETOTAL12.97（3.57）3.81（2.27）1.27（1.90）0.08.MMSE29.11（0.98）27.03（1.78）23.34（2.06）0.09.mPACCdigit-0.12（2.47）-7.47（3.29）-13.98（3.01）0.0A. Khan和S. Zubair沙特国王大学学报8006与第一种方法相比，如CML模块1所述。2.8. 模型开发2.8.1. 分类模型使用了机器学习和深度学习，并开发了可用于检测AD的可能潜在实例的分类器。基于CML模块-1和CML模块-2期间选择的变量，构建阿尔茨海默病的混合分类模型。分别对每个模块运行模型开发步骤。将数据集分为训练集和测试集，每个集包含80%和20%的数据。在对训练集进行10次迭代的5倍重复分层交叉验证后，将在完整训练集上训练的优化分类器应用于独立测试集。2.8.2. 机器学习和深度学习算法ADNI数据集用于训练ML算法，以在患有AD、MCI和认知健康背景的个体之间进行鉴别。在这项研究中，使用了19个基于机器学习和深度学习的分类器（如下所述）来研究构建模型的影响各种All分析在Python环境中进行，使用Scikit-Learn库中可用的ML技术的实现A.基于集成：1.AdaBoost（Adaptive Boosting）：这种ML分类器采用集成方法。包围分类器包含许多ML分类器。当AdaBoost用于弱ML分类器时，它会产生更准确的强分类器。作为集成分类器，它首先将ML分类器拟合到训练数据集，然后将ML分类器的多个副本拟合到相同的训练数据集。不同之处在于，分配给误分类事件的权重以这样一种方式改变，即后续分类器将重点放在具有挑战性的案例上（Cao等人，2013年）的报告。该分类器最常用于增强任何ML算法的性能2.额外树（极端随机树）：这种学习算法是一种大规模随机树分类器，用于集成方法。它的结构与决策树分类器不同。此外，它们比随机森林分类器快得多分离的决策树被组合在一个类似森林的结构中，以产生用于分类目的的结果。它利用了一个元估计器，该估计器将许多随机决策树（即额外树）拟合到各种数据集属性（Geurts等人，2006年）。它防止过拟合和优化的分类器3.Random Forest：它是一个使用集成技术的元估计ML分类器。准确地说，它由多个独立的决策树组成，这些决策树共同工作。它将各种决策树分类器拟合到原始数据集的子样本中（Denisko和Hoffman，2018）。随机森林中的每一棵树都提供了类别预测。最终的结果模型预测是包含大多数投票的类。此外，它采用了平均策略，以提高精度和控制过拟合。然后，该集成组胜过任何成分特异性分类器。近年来，它已更多地用于痴呆相关问题的识别和分类（Dauwan等人，2016; Gray等人， 2011年）。4.极端梯度提升（XGB）：该分类器利用梯度提升与决策树分类器结合来提高速度，从而提高系统的整体性能（Khan和Zubair，2018）。B.基于树：5.决策树：决策树是由根节点、内部节点、叶节点、和一根树枝。根节点由顶节点表示，内部节点由特征（属性）表示，叶节点由结果表示，分支由决策规则表示。此外，它学习模式并根据特征值拆分数据。决策树是一种非参数监督的机器学习分类器.决策树的主要目标是通过从数据特征中学习一组派生的决策规则来构建能够预测目标特征的模型（Amancio和Comin，2014）。C.广义线性模型：6.逻辑回归：这是一种统计技术，用于预测给定一组属性值的类成员资格的概率（Hosmer等人，2013年）的报告。它是一种概率模型，当因变量具有二项分布时使用。因此，因变量和自变量之间的关系是根据一个函数定义的，该函数可用于预测未来的事件。我们采用了正则化技术来防止过度拟合的问题。进行正则化以降低成本函数，从而使参数与训练数据相匹配。Lasso和Ridge Regression是两种简单的策略，用于降低模型复杂性并避免简单Logistic回归可能发生的过度拟合。a)Lasso Regression（L1）：这是一种使用L1正则化的回归模型。在评估输出时，在这种正则化方法中完全丢弃所有不太重要的特征。因此，Lasso回归不仅可以帮助用户减少过拟合，还可以帮助用户进行特征选择。L1可以生成稀疏模型（具有少量系数的模型）;一些系数可以被清零和省略。b)岭回归（L2）：这是一种使用L2正则化的回归模型。这通过添加等于系数幅度的平方的惩罚来修改成本函数。因此，岭回归减小了系数的大小，有助于降低模型复杂性和多重共线性。L2模型不产生稀疏模型，并且所有系数都被相同的因子压缩（没有被丢弃）。7.被动主动：这是一组在线学习算法，可用于机器学习分类和回归。在这里，特别是，各种算法的二进制和多项式分类以及回归，序列预测，和单类预测（Crammer和Dekel，2006年）。这种全面的分析能够识别算法的最坏情况下的损失约束。这种在线分类器与部分拟合方法结合使用，该方法批量训练模型。HashingVectorizer用于确保特征空间随时间保持恒定。每个数据样本投影到统一的特征空间，通过这个矢量化。A. Khan和S. Zubair沙特国王大学学报80078.随机梯度下降（SGD）：它是一种机器学习分类器，对于线性模型（如Logistic回归和支持向量机）的基于判别的学习特别有效。它包括正则化线性分类器和SGD学习。通常，它拟合的模型由损失参数控制。损失函数的梯度是通过一次取一个样本并同时更新模型来估计的（Robbins和Monro，1951）。然而，它确实需要大量的超参数。例如，用于正则化的若干迭代和参数此外，它对特征缩放非常敏感，这是SGD分类器的主要限制之一。D.朴素贝叶斯：9.朴素贝叶斯：它是一种基于贝叶斯定理（Rish，2001）的贝叶斯机器学习它的工作原理是假设一个特定特征的效果独立于给定类中其他特征集的效果。这被称为类条件独立性.以下两类朴素贝叶斯分类器根据它们考虑的分布假设进行描述a)Bernoulli Naive Bayes：这是针对多变量建模优化的Naive Bayes分类器的特殊情况。它操作布尔（二进制）fea- tures。它使用具有多个变量的伯努利分布来实现朴素贝叶斯分类器。它将每个特征视为二进制值，而不管训练数据集中的特征数量如何b)高斯朴素贝叶斯（GNB）：这是朴素贝叶斯分类器的一个变体，在特征连续时使用。假设所有特征集都服从高斯分布，即正态分布。E. 基于邻居：10.K最近邻（KNN）：这种方法遵循基于实例的学习技术。它不是开发一个广泛的内部模型，而是捕获训练数据的实例。KNN分类器仅考虑与预测的事件非常接近的那些观察结果（Zhang，2016）。它执行以K个最近邻为中心的学习，其中K是高度依赖于数据的，并且表示用户指定的数值。此外，它是一个非参数机器学习分类器。术语与庞大的功能集相比，它在有限的功能集上运行良好F. 支持向量机：11.支持向量机（SVM）：这些分类器是监督机器学习方法的集合，可用于分类以及回归。它们在大型数据集上有效地执行。支持向量，即决策函数，是使用部分训练数据构建的，因此提高了它们的记忆效率（Kotsiantis，2007）。它表现出广泛的行为，因为决策功能是使用各种内核函数实现的。基于核参数，为SVM分类器定义了两种主要类型的分类器：a)线性SVM：此ML分类器类似于支持向量分类器，除了内核参数设置为“线性”。它是用lib-linear而不是libsvm编写的（Pedregosa等人，2011年）。作为结果，在从可用的惩罚和损失函数值中选择适当的惩罚和损失函数参数时，它具有更大的自由度。b)径向基函数（RBF）SVM：在这种类型的SVM中，内核参数设置为RBF添加围绕数据点的正常曲线，允许通过拓扑标准的形式设置决策边界，例如总和大于0.5的曲线G. 神经网络：12.感知器：这是一个通用的计算模型，用于使用线性可分函数。它是一个ML分类器，基于与SGD分类器相同的基本概念。这是一种预测算法，它确定给定输入所属的确切类别（由数字向量表示）。一般来说，它聚合输入，即加权和，并且如果加权总和超过阈值则返回值1;否则，它返回值0（Chawla等人， 2002年）。H. 深度学习：13.卷积神经网络（CNN）：它是一种深度学习神经网络，专门用于处理结构化数据阵列。它是一种算法，可以将图像作为输入，为图像中的各种方面/对象提供可学习的权重和偏差CNN的力量源于一种特殊类型的层，称为卷积层。CNN由许多卷积层堆叠在一起组成，每个卷积层都能够识别更复杂的结构。14.门控递归单元（GRU）：在递归神经网络（RNN）中，GRU充当门控机制。GRU的功能类似于带有遗忘门的长短期记忆（LSTM），但参数较少，因为它没有输出门。它试图利用节点之间的连接来完成与内存和集群相关的机器学习任务。GRU帮助调整神经网络的输入权重，以解决梯度消失问题，这是RNN的一个普遍挑战。15.长短期记忆网络（LSTM）：长短期记忆网络（LSTM）是一种递归神经网络，特别适合处理长依赖关系，例如序列预测问题中的依赖关系。LSTM具有反馈连接，这意味着它们除了分析图像等单个数据点外，还可以分析完整的数据一个典型的LSTM单元由四个组件组成：一个单元，一个输入门，一个输出门和一个for- get门。细胞在任意时间间隔内保留数据，三个门控制信息的流入和流出16.深度神经网络（DNN）：它基于神经网络架构。它由三个节点层组成：输入、隐藏和输出。它由一系列完全连接的层构成每个后续层由一组非线性函数组成，这些非线性函数表示来自前一层的所有输出（完全连接）的加权和。它通过反向传播对输入数据进行分类。此外，使用SGD或lbfgs作为求解器来优化对数损失函数，这是一种准牛顿技术（Pedregosa等人， 2011年）。A. Khan和S. Zubair沙特国王大学学报80082.8.3. 交叉验证（CV）和数据扩充程序我们的目标是创建一个算法，可以产生最佳的广义性能，而不是只为训练时使用的实例。因此，对于每一个超参数拟合，CV提供了这种广义性能的近似。在这一步中，训练数据被分成10倍的实例，这些实例被保留在训练过程之外，其余的实例被重复训练。然后将该算法应用于经过训练的保留样本。实施了10倍重复分层CV训练和测试方法。不平衡分类问题在数据分布通常在目标变量上有偏差的情况下是一个严重的问题（Kohavi，1995）。它在构建ML模型时提出了挑战。如果处理不好，不平衡分类会导致ML模型的开发，忽略并导致性能较差的模型，准确性较低。在这项研究中，我们解决了不平衡的分类问题，使用合成少数过采样技术（SMOTE）。这是一种专门处理少数类的数据增强技术（Lavrac. 1999年）。目标变量分为三类，即正常、MCI和AD受试者。特别是，在MCI和AD类中发现了差异。正因为如此，所构建的ML模型导致性能较