医学信息学的未来趋势和CAD系统指南-人工智能在医学中的局限性和进一步发展的挑战

医学信息学解锁24（2021）100596人工智能在机器人、诊断图像分析和精确度方面的医学：当前的局限性，未来的趋势，CAD系统指南医学Tetiana Habuzaa，Alramzana Nujum Navaz a，Faiza Hashim a，Fady Alnajjar a，*，Nazar Zakia，Mohamed Adel Serhania，Yauhen Statsenko ba阿拉伯联合酋长国b阿拉伯联合酋长国A R T I C L EI N FO保留字：机器人与健康肿瘤学辅助技术医学成像深度学习神经网络精准医学调查A B S T R A C T医学中的人工智能已经得到学术界和工业界的认可，它彻底改变了医疗服务提供者提供医疗服务的方式，并被所有利益相关者所感知目标：我们的目标是回顾最近在医学领域构建人工智能应用的趋势，并通过概述障碍来促进其进一步发展。次级目标：（1）强调我们已确定为医疗保健人工智能相关研究的关键领域的人工智能技术;（2）为建立可靠的基于人工智能的医学CAD系统提供指导方针;（3）揭示开放的研究问题，挑战和未来研究的方向。方法：为了解决这些任务，我们对用于医疗目的的人工智能应用的主要分支的参考文献进行了系统的回顾。我们主要关注的是所回顾研究的局限性结论：本研究总结了医疗保健领域人工智能相关研究，讨论了面临的挑战，并提出了进一步研究的开放性研究问题机器人技术在改善各种医疗领域的医疗服务方面取得了巨大的飞跃此外，机器人正在取代人类助手，因为它们学会了变得更加社交和可靠。然而，仍然存在必须解决的挑战，以使医疗机器人能够在诊断和干预中使用。用于医学成像的AI消除了视觉诊断过程中的主观性，并允许将医学成像与临床数据，生活方式风险和人口统计相结合。放射学AI解决方案的缺点包括缺乏透明度和专注于缩小诊断问题。设计一个最佳的自动分类器应该结合疾病的专家知识和最先进的计算机视觉技术。精准医学和肿瘤学中的AI允许由于分子检测发现的基因组学畸变而进行风险分层。总而言之，人工智能不能取代医生。然而，医学可能会受益于机器人技术、CAD和基于AI的个性化方法。1. 介绍近年来，机器在许多认知任务中已经达到甚至超过了人类。人工智能（AI）的变革力量遍布许多行业。人工智能对医疗保健的影响非常有希望，它可能在不久的将来彻底改变医疗保健领域。AI可以应用于许多领域医疗保健的数字化转型。将创新技术应用于医生的日常工作，可以安全地实时访问数据和大数据分析。这增加了专家之间的合作，提高了治疗的整体质量。预计未来几年，公共和私营部门对医疗AI的投资总额将增长，到2021年将达到66亿这可能导致到2026年美国医疗保健经济每年节省1500亿美元[1]。变革将从根本上重塑的 医疗保健前景和影响 自动化操作，精确度从医院护理和临床研究到药物手术，预防 医疗干预，和诊断EX perts发明和诊断预测。强大的计算资源的快速增长的可用性和低成本正在导致预测一更显著影响对的业务和* 通讯作者。电子邮件地址：fady. uaeu.ac.ae（F.Alnajjar）。https://doi.org/10.1016/j.imu.2021.100596接收日期：2020年12月7日;接收日期：2021年4月30日;接受日期：2021年5月3日2021年5月11日网上发售2352-9148/©2021的 作者。发表通过 Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：www.elsevier.com/locate/imuT. Habuza等人医学信息学解锁24（2021）1005962缩写二维3D立体加速精度AI人工智能AD阿尔茨海默ADC表观扩散系数AUC受试者工作特征曲线下面积AUPRC精确-回忆曲线下面积AUROC 受试者工作特性曲线下的面积CAD计算机辅助诊断系统卷积自动编码器NN CE对比度增强CNN卷积神经网络CO-RADS是一种针对疑似COVID-19患者的分类CT评估方案COVID-19冠状病毒病2019 CT计算机断层扫描CVV颅骨穹窿容积CXR胸部X光片（胸部X光）cGAN条件生成对抗网络DCE动态对比增强MRI基于DCNN深度学习的CNN深度DLR深度学习放射组学DSC Dice相似系数DTL深度转移学习DWI扩散加权成像EC细胞内镜检查FP假阳性结果FrCN全分辨率卷积网络GA遗传算法HC健康对照品JAFROC Jackknife Alternative Free-Response ROCKNN K-Nearest Neighbors算法LIDC-IDRI肺部图像数据库联盟和图像数据库资源倡议LN淋巴结LR Logistic回归MCI轻度认知功能障碍MG乳房X线检查MKL多核学习MLA机器学习算法MLP多层感知器mpMRI 多参数磁共振成像MRI磁共振成像MTS转移LVV侧脑室容积OCT光学相干断层扫描PCR聚合酶链反应PET正电子发射断层扫描PI-RADS前列腺概率神经网络R–CNNRegion-based Convolutional Neural NetworksResNetResidualRF随机森林RNN递归神经网络ROC受试者工作特性RT-PCR逆转录PCRRW Random WalkerSn灵敏度Sp特异性SPECT单光子发射计算机断层扫描SVM支持向量机SWE二维（2D）剪切波弹性成像T1W T1加权成像T2W T2加权成像TB结核病TI-RADS甲状腺成像报告和数据系统TL迁移学习US超声诊断YOLO You-Only-Look-Once，一种区域性深度学习方法医疗保健的行政部门，而不是它的临床部分[2]。人工智能的发展有望为客户提供高质量的个性化和数据驱动的服务。在某些任务中，人工智能在时间和准确性方面优于人类。随着基于人工智能的工具的财务可用性减少，它们有可能减少从业人员和护士的工作量。以下段落介绍了人工智能驱动的主要医疗领域（疾病预防，诊断和治疗）的演变。疾病预防可能受益于AI。技术应用鼓励人们改变他们的行为，例如，专用的移动软件可以对健康的生活方式进行主动管理。人工智能，随着医疗物联网（IoMT）在移动和独立的健康应用已经帮助人们[3疾病诊断随着AI的发展而发展。 该球体可以通过两种方式受益于AI，即通过提高诊断程序的灵敏度和积累来自不同来源的诊断信息（例如，图像、实验室发现、功能测试）。人工智能在早期阶段更准确地检测出血、中风或癌症等疾病方面显示出有希望的结果，并且假阳性率较低。根据美国癌症协会的年度统计报告，美国癌症死亡率在过去几年中一直在稳步下降[7]。癌症死亡率下降的假设原因是由于改善-人们生活方式的改变癌计算机视觉中用于自然图像处理的深度学习（DL）技术可以成功应用于提高医生的绩效和诊断的准确性。他们还有助于改善患者的大型组织将大数据分析应用于疾病诊断。例如，IBM的Watson forHealth可帮助医疗机构分析大量与健康相关的数据，诊断[11]。数据分析的障碍是医学信息的异质性，例如，医学期刊症状测试结果治疗案例研究因此，大数据技术与新的人工智能方法一起使用，应该使医生能够使用诊断工具。Watson可以查看、存储和处理上述医疗数据。另一个成功的例子是技术创新者和医疗机构是谷歌研究人员和医生与患者合作解决现实世界的医疗保健问题通过利用机器学习（ML）算法，例如设计用于模拟人脑的神经网络模型，来实现Lems。ML寻找数据中的隐藏模式，以识别风险患者，分割感兴趣区域，评估数据，诊断并做出决策[13，14]。疾病治疗也在AI的帮助下取得了进展。这一进展涉及医院护理的改善、新药的开发等.疾病管理需要一种全面的方法来提供和实施护理协调计划、短期或长期治疗计划以及帮助患者的智能解决方案T. Habuza等人医学信息学解锁24（2021）1005963更好地对待他们一旦疾病得到正确诊断，临床医生就可以利用新的人工智能方法来扫描大量的健康记录，以找到疾病的模式这种方法也适用于与年龄有关的疾病。在过去的几十年里，全球的预期寿命老龄化与许多疾病有关，机器人被用来帮助个人更长时间地保持独立，就像30多年来在医院和实验室中发生的那样机器人用于手术，康复，物理治疗，并支持那些长期条件[15]。机器人具有巨大的潜力，彻底改变临终关怀[16AI使机器人成为更加社会化。他们可以通过自然语言处理模型，图像识别和DL算法检测与用户进行交流并了解用户的需求。发现毒品。近年来，DL算法已经解决了计算机视觉问题，这对药物开发研究过程产生了影响。根据加州生物医学研究协会的数据[19]，一种药物从研究实验室进入市场平均需要12年。通过使用新的人工智能方法，这一时间段可以大大缩短。AI可用于生成具有特定特性的新型分子，检测大规模可见模式（包括组织和细胞），了解病理生理学，生成新型候选药物，建立可靠的生物标志物，并显着降低成本和上市时间[20，21]。这项调查的重点是医疗保健的三个关键领域，据我们所知，人工智能的使用将对医疗保健产生重大的积极影响。病人成本：● 机器人健康机器人技术可以帮助人们在实验室中进行重复性任务，协助手术，康复，物理治疗，支持长期疾病的患者，为患者提供护理，老年人等（节。3）。● 医学图像分析自然图像处理的计算机视觉领域具有非常活跃的研究社区。许多设计的算法和最先进的DL架构可用于医疗领域（第4节）。在分析患者的医学图像时● 精准医疗随着人工智能传统医学的进步，从人口层面到以病人为中心的方法。在这一转变中，人工智能是一项关键技术，可以为日常实践带来预防，个性化和精确性，因此可以从基因组学数据中推断出隐藏的模式。5）。图1总结了本文采用的上述三个关键医疗保健领域的分类分解。2. 目标我们的目标是审查最近在医学上构建人工智能应用的趋势，并通过制定典型的障碍来促进其进一步发展。本文件分为若干节，涉及以下次级目标：● 强调我们已经确定为医疗保健领域人工智能相关研究的关键领域的人工智能技术。● 为建立可靠的基于AI的医学CAD系统提供指导。图1.一、本文采 用 的重点医疗领域分 类分 解 。T. Habuza等人医学信息学解锁24（2021）1005964● 揭示开放的研究问题，挑战和未来研究的方向。本文其余部分的结构如下。第3节描述了机器人技术在医疗保健中的使用，以帮助患者和医务人员。在第4节中，我们讨论了DL算法如何解决医学图像分析的核心任务，例如提供更准确和容错的视觉诊断。第5节重点介绍人工智能如何帮助从基因组学数据中推断隐藏的模式。第6节讨论了与最先进的人工智能方法在医疗保健中的应用相关的问题。最后，第7节总结了论文，并强调了开放的挑战和进一步研究的方向3. AI in Robotics近年来，教授机器人新技能的技术有了很大的进步。有三种主要的成熟方法：直接编程，模仿学习和强化学习[22]。直接编程是用于手动设置所需机器人位置的最低级别解决方案。有三种主要的方法可以用于模仿学习。 它们是凯恩-心理、遥操作和观察学习。动觉训练是一种机器人身体被手动驱动并记录其运动的机制。 教师位于一个物理上遥远的远程操作时的位置。运动是用教师自己的身体来说明的，并使用运动捕捉设备或传感器来观察。从试错中学习的方法被称为强化学习（RL）。RL的目的是由角色定义的奖励，其功能是积极的强化或消极的双关。对于其在机器人技术中的应用，RL已经开发了一个定义明确的利基市场。在本节中，我们确定了机器人和AI促进健康的几个关键领域。3.1. 机器人健康老年人更容易接受移动设备，因此对家庭辅助机器人更舒适。机器人辅助可以帮助做家务或执行基本的日常功能[23]。智能代理、智能家居和服务机器人帮助老年人满足日常需求。这有助于他们尽可能长时间地独立生活，而不会有侵入性行为。使能技术将包括物联网、云服务[24]和人工智能。在埃博拉疫情和COVID-19大流行期间，人们发现了各种各样的机器人用途。机器人技术可用于大流行病爆发，以减少感染暴露，分发药物和食物，评估生命体征，促进边境控制和自动消毒[25]。3.2. 肿瘤学机器人随着机器人手术使用的增加，越来越多的外科医生在其职业生涯的早期使用机器人平台[26]。此外，越来越多的住院医师将机器人手术纳入他们的核心课程。基于熟练程度的机器人培训计划已经发展起来。它们被应用到肿瘤外科研究员的培训中。结果表明，经过培训，研究员可以安全地进行复杂的胃肠机器人手术，并在毕业后融入技能集[27]。从开放手术到腹腔镜手术的过渡，机器人手术的范围以及对具有复杂机器人医疗程序专业知识的外科医生的需求将增加。一项关于前列腺癌开放式和机器人辅助腹腔镜手术（RALP）的研究[28]表明，选择RALP的患者平均教育水平较高，尽管每次手术的成本高出约30%。关于并发症，据报道，开放技术的血栓栓塞发生率较高，而围手术期出血较少，输血率较低关于RALP关于机器人在手术中的作用的研究提出了一个数学模型[29]。该模型表明机器人手术是肺叶切除术和肺切除术的首选方案。它分析了发病率，再入院率和死亡率，以及费用，住院时间和手术时间。表1概述了机器人技术在癌症领域的最新文献。它强调了机器人在多个医疗亚专科中的使用，包括妇科、泌尿科、食管、宫颈、直肠和结肠直肠干预。3.3. 社交机器人在患者健康SARA是一种社会辅助机器人（SAR）解决方案[38]，目前正在开发中。它旨在为轻度认知障碍的老年人提供自动健康监测和帮助SARA面临的挑战包括安全性、隐私性、可靠性、物联网网络管理以及设备和数据互操作性。机器人活动支持系统（RAS）[39]生产的机器人可以协助患者“以水代粮”。RAS机器人观察病人的活动，如果没有采取服药步骤，机器人接近病人并提供帮助。 这是由Envi实现的。环境感知、目标检测、映射和DL神经网络的连续学习。辅助机器人在日常场景中与人类近距离接触方面具有很大的潜力，包括床转移辅助、洗澡辅助、行走辅助、监测和通信辅助[40]。因此，将机器人融入智能环境-肢体可以为功能受限的个体提供交互式支持，还可以减轻或分担护理者3.4. 机器人辅助康复机器人辅助康复可以帮助人们在中风和其他神经系统疾病后恢复，例如获得神经运动稳定性[41]。人工智能使机器人能够从供应室获取物品，将物品送到护理点，追踪生命体征监测仪和静脉输液架，并运行实验室[42]。3.5. 外科机器人机器人手术可以有效地改善手术流程并缩短手术时间。机器人有助于处理身体各部位的手术，改变工作流程[43]。机器人手术导致了放射学、病理学的数字化，以及神经网络图像分析的进步。它提供了一个3D放大视图和精确的运动，而双手动操作与关节臂。然而，机器人手术的成功将在很大程度上取决于可用数据的质量[44]，尽管在医疗保健领域存在隐私问题。在手术过程中收集和共享的数据可以为外科医生提供有用的见解。乳腺活检、前列腺活检和近距离放射治疗是标准的诊断技术。它们可以通过超声引导的机器人经皮穿刺针应用来完成。在这些情况下，由于对手动灵活性的特定要求，建议使用机器人系统。 系统的使用提高了可疑组织识别的精确度。它有助于通过小病灶进行活检[45]。类似地，机器人可以用于MRI引导的治疗，并且可以模仿机器人。人类医生机器人系统可以执行需要人类判断、感觉整合和手眼协调小规模操作任务。它被称为稳定的手微操作系统[47]。这使得两者操作员的手和一个专门设计的gogic工具3.6. 生物机器人学涉及生物启发和生物识别模型的研究是趋势T. Habuza等人医学信息学解锁24（2021）1005965表1肿瘤学中机器人技术的最新研究进展标题，肿瘤学领域特征（+和-）表1（续）标题，肿瘤学领域特征（+和-）食管癌手术机器人+机器人辅助微创子宫内膜癌的机器人与传统腹腔镜手术：我们现在在哪里[30]，妇科将机器人手术应用于妇科肿瘤：在三级医院进行的前300例手术[31]，妇科+微创技术+三维立体视觉，手腕器械具有更好的灵活性和优越性与传统腹腔镜相比，人体工程学。+在子宫内膜癌患者中，特别是肥胖患者组，机器人手术在并发症发生率、失血量、手术时间和住院时间方面优于剖腹手术和腹腔镜手术。+老年子宫内膜癌症受益于机器人技术。+最新技术，如荧光机器人相机，在机器人盆腔手术中用作前哨淋巴结映射的一部分。+减少术后感染和疼痛以及改善美容。+新型机器人仪器（VeSPA，Intuitive Surgical）可实现软件方便的器械拭子，克服了传统腹腔镜单部位手术中违反直觉的从右到左方向。+机器人辅助的学习曲线手术时间短，或近似于X线10次手术，前提是整个手术团队都全力以赴。+减少出血，降低风险[35]，食管机器人在结直肠手术中的当前作用[36]，结直肠利用taTME和机器人技术降低R1局部晚期直肠癌伴直肠阴道和宫颈受累的风险[37]，直肠食管切除术（RAMIE），有助于胸内手工缝合技术，这是复杂的刚性医疗器械。+RAMIE已被证明是优于开放手术。+机器人辅助方法对患者和外科医生都有好处。+转为开放手术的比率下降，主要是在直肠癌患者中。+等同的肿瘤学结局。+促进皮质内吻合，特别是右侧结肠切除术可能有助于降低肠梗阻率和住院时间。+机器人方法用于结直肠在右半结肠切除术中，手术是安全，且可能导致肠功能更快恢复，促进皮质内病变。- 成本增加，手术时间延长。+介绍使用taTME技术促进局部晚期直肠癌后阴道切除术+案例强调了拥有愿意采用机器人等新技术的专业外科医生。泌尿肿瘤学中的机器人技术[32]，并发症，更快地从手术中恢复，缩短住院时间和病假+内窥镜缝合程序可以很快被外科医生采纳。更少机械性更有机的机器人。生物机器人是生物和人工（自治或半自治）系统之间的相互作用。它涉及通过机电系统理解和实现复杂的生物体重点生物（例如，昆虫）在人工智能中的应用依赖于对+前列腺癌的机器人手术，肾癌、膀胱癌、睾丸癌和阴茎癌。+机器人视频内窥镜腹股沟淋巴结切除术提供了更高的放大率、三维清晰度、额外的自由度以及手术过程中更精确和受控的解剖。+一个机器人膀胱内尿转移，具有较轻的切口疼痛，减少肠道暴露，并减少液体失衡。- 手术机器人的局限性在于其成本、对训练有素的工作人员的要求以及生命和身体的生物学，而不是大脑，作为自动智能的机制[48，49]。4. 医学图像分析在过去的几十年里，医学成像已成为医疗保健不可或缺的一部分成像广泛用于检测、验证、差异诊断、疾病治疗和康复。图2示出了图像模态。人工智能算法在其处理中取得了显着的成果医生分析不同形式的数字医学图像，包括X射线，超声（US），计算机断层扫描（CT），磁共振成像（MRI）和正电子发射断层扫描手术室外：机器人程序如何改变住院病房的资源利用[33]妇科引入机器人根治性子宫切除术治疗1bi期宫颈癌[34]，宫颈癌缺乏触觉。+机器人手术允许更多的患者接受手术治疗，同时减少住院资源的使用。+随着非手术肿瘤问题和医疗复杂性的减少，妇科肿瘤病房功能类似于普通病房而不是外科病房。+缩短入住时间机器人手术+机器人技术实现了医院范围内的资源规划。+剖腹手术率从2010年的75%降至2017年的0%。+停留时间从6天减少到3天。+并发症发生率从68%降至45%。+输血率从43%下降到11%。PET扫描、乳房X线照相术、视网膜摄影术、组织学、形态学载玻片和皮肤镜检查。表2总结了诊断图像模态及其最常见应用的数据。报告图像是一项耗时的任务，主要由经验丰富的放射科医生和医生完成。由于病理的视觉外观和解释图像的方法的差异，阅读图像容易出错。人类专家的潜在疲劳也可能导致错误的诊断决定。例如，据报道，筛查性乳房X光检查的灵敏度和特异性在77- 80之间87%和89多次阅读可以提高识别率，但它使报告更昂贵。 计算机辅助检测（CAD）系统可以帮助医生阅读医学图像，尽管使用CAD的好处是有争议的[51]。几项研究通过比较CAD系统与双重读取[53]的性能，显示了CAD系统[52]一些研究报告称，目前使用的CAD技术并不能提高美国放射科医生在日常实践中的表现[51]。这些研究表明，CAD系统需要发展之前，医生可以使用他们的日常基础。虽然投诉率泌尿外科T. Habuza等人医学信息学解锁24（2021）1005966（下一页标题）T. Habuza等人医学信息学解锁24（2021）1005967图二. 典型医学图像样本。从左上到右下。将碘造影剂注入肘静脉并进入脑动脉的CT血管造影术;非造影MRI血管造影术;脑静脉的非造影研究，冠状面和矢状面视图（MRI静脉造影）;取栓前后的数字减影血管造影;脑白质多发性慢性缺血性病变和右侧卒中后腔隙;用磁共振波谱学研究大脑的代谢变化;由于缺血性中风导致的脑水肿（低密度区域），伴有出血性转化（高密度病灶）;胸部X射线;作为图像预处理一部分的肺部分割;肌肉骨骼放射学：膝关节MRI，后十字韧带完整，前十字韧带拉伤;卵巢子宫内膜异位症的MRI诊断：卵巢囊肿内出血，T1 W和T2 W序列，脂肪衰减;皮肤基底细胞癌的组织学;视网膜眼底照片来自参考文献[54];乳房X线照片来自INBreast数据集[55]，结构脑T1 W图像来自POBA数据集[56]。尽管计算医学图像分析的进展没有医学成像技术的进展快，但是随着用于 图 像 分析 的 新 方 法 和 算 法的 引 入 ， 情 况 正在 改 善 。 2012年 ，Krizhevsky等人通过利用称为AlexNet的深度卷积神经网络（CNN）改变了计算机视觉的时代，该网络令人信服地赢得了ImageNet竞赛[57]。在随后的几年里，研究人员设计了许多最先进的架构。 所有解决方案的共同点是卷积运算，这使得科学家们能够为基于神经网络的算法提出非常深入的结构。最近，递归神经网络（RNN）在图像处理任务中越来越受欢迎。它们在处理顺序数据时更有效，例如，图像字幕和多图像分类。这就是为什么我们在本文中不关注它们。 胶囊网络（CapsNet）似乎比CNN有更好的图像元素分层表示模型。因此，CapsNet用于图像分类任务。生成对抗网络（GAN）在图像重建、分割、生成和增强图像质量方面具有强大的功能。当今对计算机视觉问题的兴趣是巨大的，反映在最近发表的大量论文中。表3仅列出了过去三年中发表的关于医学 图 像 分 析 问题 的 几 篇 综 述 。 我 们 在 Google Scholar 、Springer 、Elsevier和IEEE Xplore数据库中找到了这些文章，并以引用降序显示了这些评论。4.1. 深度学习方法和途径深度学习方法可以分为有监督、无监督、半监督和强化学习方法.这些方法用于图像分析。它们可以应用于其他与医疗保健相关的任务。在本节中，我们描述了用于监督学习的常用CNN架构和用于无监督学习的生成对抗神经（GAN）网络。正如我们前面提到的，计算机视觉AI技术的主要构建块是CNN。CNN可以呈现整个解决方案管道，例如，在分类任务中。或者，CNN可以成为图像检测、分割、配准、生成、质量增强和基于内容的图像检索的复杂解决方案的一部分。在这项研究中，我们的目标是突出最常见的任务，在医学成像，如分类，检测和分割。图3说明了在综述文献中使用4.1.1. CNN的架构标准人工神经网络（NN）和CNN之间几乎没有区别。CNN由卷积层、池化层和全连接层编译而成，而NN仅由全连接层组成。卷积层的特征在于稀疏连接和参数共享。这允许使用公共过滤器（权重）来捕获整个图像中的类似模式。权重的数量不依赖于输入大小，因此，可以引入非常深入的架构。池化操作进一步减小了大小。该操作通过使用最大或平均置换不变函数来聚合邻域的像素。通常CNN的最后两层是完全连接的。最后一层用于预测有限值或连续值。激活函数的选择取决于任务，但大多数分类问题都是用softmax函数解决的。利用一定数量的卷积层与池化（重复几次），然后完成完全连接的层和softmax激活可以在许多CNN架构中看到。随着时间的推移，CNN模型从由几层组成的浅层架构发展到基于100多层的深层架构。一个普遍接受的原则是，更深的网络能够学习更复杂的函数并表示输入。这将导致性能的改善。然而，许多研究人员观察到，增加层最终对最终性能产生负面影响。这个问题与梯度衰减或消失有关。为了解决这个问题，作者[65]引入了残差块和深度残差网络（ResNets）。ResNets成为一个突破性的想法，与以前使用的网络相比，它可以开发更深层次的网络。建筑由数百层而不是数十层组成。ResNet在DenseNet[66]推出的一年内发展成ResNet 101，ResNet 162，ResNeXt。密集CNN背后的想法是重用CNN先前层的特征图作者称“连 接 由 不 同 层 学 习 的 特 征 图 增 加 了 后 续 层 的 输 入 的 变 化并 提 高 了 效 率 ” 。尽管在识别任务中取得了成功，但所有CNN架构都有一个共同的缺点。它们在表示内部数据时没有考虑简单和复杂对象之间的重要空间层次结构。为了解决这个问题，开发了Capsule NN（CapsNet）。囊是一组神经元。它的活动向量表示特定类型实体的实例化参数，例如对象或对象部分（[67]）。CapsNet对内部知识表示中的层次关系进行建模。即使CNN是在整个数据集上训练的，而CapsNet是在一小部分数据上训练的，它也可能优于CNN。参考文献[68]中给出了CNN和CapsNet在分类医学图像方面的性能的综合分析。该研究证明CapsNets比CNN更好地处理不平衡的数据集[69]。上述所有架构都已在不同的软件包。有关CNN的性能比较，请参阅参考文献。[70].4.1.2. 生成对抗神经网络生成对抗网络[71]利用一种无监督学习，有望用于医学图像分析。GAN基于生成模型。它由两个经过错误训练的竞争模型组成，这两个模型都可以是CNN。这些模型可以被描述为两个玩家在零和游戏中竞争。一个模型是生成人工训练图像的生成器。另一个模型是一个分类器，它将图像分类为真实的训练图像或人工图像。GAN的目标是训练生成器生成图像，这些图像无法识别为假数据。该模型处理从空间x拍摄的图像。NN生成器（y，ω1）用于对生成器进行建模在一开始，生成模型使用噪声y，并尝试将输入噪声变量y映射到真实数据空间x。NNDiscriminator（x，ω2）对数据集进行建模，并产生数据来自真实数据集的概率。训练神经网络通过更新权重将数据分为两类（真实或虚假）。该模型最大化将真实数据输入x分类为真实的概率，同时最小化将生成的图像分类为真实的概率。GAN模型的损失函数最大化鉴别器（x），同时它表2回顾图像模态及其常见应用。维度性syn.：x射线a对象放射性同位素（例如，充气）结构骨科），牙科，肺病，快速腹部乳腺X线摄影一种特殊类型的X线摄影乳腺肿块、钙化乳腺癌检测二维-四维超声研究声波在组织软组织声波的反射、折射和衰减1. 内脏疾病2. 心脏病学、胃肠病学3. 围产期CT 3D根据X射线束穿过身体与其他物体相比，放射性密度和放射性密度较高的内部结构看起来形成对比组织的X射线密度神经学（例如，颅内肿瘤）、肺病学、肿瘤学创伤骨科MRI 3D利用核磁共振效应研究组织的磁性特征对比- X射线2D测量对比度软组织肿块、液体、细胞和组织墙壁的完整性，神经病学（例如，缺血性中风）、脊椎病学、肿瘤学、肌肉骨骼放射学（关节、肌腱、骨髓）、心脏病学（心脏MRI）、内科学、泌尿学、妇科学、围产期学（胎儿MRI），- 美国2D-4D- CT二维-四维- MRI 2D-4D介质内的内腔器官或研究其通过管道中空器官、实质血管化1. 造影剂通过（例如，冲洗镜检查、子宫镜检查）2. 造影剂累积（例如，乳房X线摄影）3. 血管形成（例如血管造影）1. 解剖异常（例如，梗阻、肿块病变、腐烂）2. 肿瘤、炎症3. 血管病理学（阻塞、出血）、血管生成PET 3D在细胞水平上的变化，用代谢结构测量异常特定示踪剂的积累可能反映了肿瘤学、神经学（神经变性）等SPECT 3D放射性示踪剂或放射性药物代谢活动异常）肿瘤学、心脏病学、功能研究显微镜2D用于可视化的光学放大结构细胞、组织和器官表面的视觉外观共聚焦显微镜在皮肤科细胞学、组织学2D组织中特定染色剂的积累病理学可能解释化学位移和其他染色实验室诊断学、病理学2D内窥镜检查中空器官或体腔内部的检查内腔和中空器官内表面和流明胃肠病学、支气管内研究、胸腹外科、泌尿外科眼底镜2D用特殊镜头进行眼部检查中央和周边视网膜，光学盘斑视网膜、视盘、玻璃体液青光眼、多发性硬化、黄斑变性、视网膜肿瘤、糖尿病视网膜病变T. Habuza等人医学信息学解锁24（2021）1005968模态数据方法目标结构获取的信息医学诊断射线照相2D用X光来观察不透射线（如骨）和x射线密度肌肉骨骼放射学（创伤，骨病理学，T. Habuza等人医学信息学解锁24（2021）1005969表3AI在医学图像分析中的调查和评论个脑袋如表4所示，来自大脑研究的AI溶液主要用于MRI图像。这些模型的一个共同局限性是，它们是专为解剖T1W序列设计[74一些模型专用于分析其他成像技术，例如，静息态fMRI [78]、CT [79限制的原因是具有各向同性体积的T1W MRI图像具有脑结构所需的高空间分辨率。[59]图像分析[60]医学成像中的生成对抗网络：综述[61]医学影像中的DL概述[62]等人易X。 等人2019年爱思唯尔3732017款Springer 322分析和分割。尽管有可能获取其他模态的3D图像（例如，FLAIR）用于自动评估的AI工具在数量和可用性方面仍然有限。它们不常用，因为扫描是耗时的，并且接收到的图像具有较低的对比度分辨率，但具有较好的空间分辨率。出于这个原因，放射科医生和无线电技术人员不采用3D序列，除非对于T1W。然而，如果病变的自动分析和AI分析被非监督：医学图像分析中半监督、多实例和迁移学习的调查[63]用于医学图像分析的GAN[64]切布希纳V.等人卡泽米尼亚湾等人2019年爱思唯尔2172020年爱思唯尔125应用后，患者和专家都将受益匪浅。脑AI研究的主要问题是神经退行性疾病的早期诊断[74原因在于，尽管医学成像提供了有价值的信息，但早期放射学体征可能不明显，很容易被遗漏。由于医生主要使用脑部CT进行紧急病例，因此这种成像模式的AI模型主要用于检测关键发现最小化鉴别器（生成器（y））。鉴别器和生成器试图优化相反的损失函数。两人都与价值函数V（生成器，鉴别器）进行极大极小博弈。这一想法最近已被应用到医学图像的研究中。它允许在没有地面真实掩模的情况下分割病理病灶[72]，生成图像以提高分类性能[73]。4.2. 计算机视觉在诊断在医疗保健领域，科学家们试图用DL技术解决许多问题这些功能包括分类、病变检测、感兴趣区域（ROI）分割、配准、图像生成、图像质量改善以及将图像数据与临床报告结合以根据图像分析生成文本报告在这里，我们专注于应用和不同的方法来讨论不同的解剖区域（如大脑，眼睛，胸部，乳房，心脏，腹部）的问题，然后突出的进步，缺点和未来的发展。（见表4图三. 文恩图采用深度学习的方法和技术来解决感兴趣区域的分类、检测和分割问题如脑损伤、颅内出血、颅骨骨折、中线移位和占位效应。虽然脑CT和CTA在中风中是一个正在进行的研究问题，相应的模型在最近的出版物中呈现不足。这很可能是由于MRI的可用性增加，MRI对缺血性卒中（特别是DWI序列）具有高灵敏度。尽管DWI诊断脑梗死的准确性较高，但MRI不能取代CT，因为MRI优先考虑在入院后短时间内排除颅内出血并开始溶栓。在CT上诊断中风的问题仍然是相关的。甲状腺。对甲状腺的研究主要集中在甲状腺淋巴结恶性病变的诊断和淋巴转移的预测[83]。研究人员使用AI修订了甲状腺结节的TI-RADS风险分层[84]。研究甲状腺结节的主要成像方式是超声（US）[83，84]。为了检测淋巴结转移，他们使用CT、PET [85]。这与这些技术的适用性和信息量相对应。由于吞咽引起的运动伪影，MRI没有用，US在检测淋巴结浸润方面的灵敏度较低。淋巴结研究的一个局限性是，作者将每个淋巴结视为单个病例，以扩展训练数据集的大小。作为这种方法的结果，模型可能被过度训练以预测转移更多的某些类型的肿瘤（见表4）。眼睛作为诊断图像（例如，OCT、计算机视野检查、眼底镜）广泛用于眼科（见表4），相应的AI模型执行诊断和术前计划[86，87]。乳房X射线乳腺摄影是医学中计算机视觉AI研究的传统对象（参见表5）[88这主要有两个原因。首先，乳房X光通常用于筛查乳腺癌。第二，软组织病理用该方法的检出率低。研究人员倾向于增加敏感性，这是疾病的早期阶段。虽然US是乳腺癌的强大筛查工具，但基于美国的AI解决方案主要用于预测淋巴结状态，即，检测淋巴结转移[93，94]。由于MRI乳房X线摄影也是一种有价值的诊断工具，因此新的研究使用其数据来提供ML算法[94]。龙关于CT检测肺癌的文献越来越多（见表4AI系统允许自动检测肺结节并区分良性结节和恶性结节[95这些系统的一个共同局限性是，它们没有经过训练，无法将肺癌与其他应考虑进行鉴别诊断的病理区分开来。例如，我们未能找到检测结节病的AI解决方案。肺科将受益于这种解决方案。标题作者年期刊出版人引用次数医学领域的深度学习研究概况利延斯湾2017Elsevier5255图像分析[58]DL在医疗保健等EstevaA.2019性质691DL在医学KerJ等.2018IEEE Xplore601T. Habuza等人医学信息学解锁24（2021）10059610表4回顾了医学成像中AI的原始研究目标图像AI精度年问题队列强度限制1. 大脑脑MRI3D CNNHC vs AD：2019ND的预测(407 HC，8131. 较高的预测1. 应在T1w脑部MRIT1WAUC 99.2%，Sn98.9%，Sp 99.5%HC vs MCI：AUC 87.1%，Sn87.8%，Sp 86.5%MCI vs AD：AUC 86.3%，Sn83.6%，Sp 88.3%3D-DenseNet AD/MCI/正常访问百分之九十七点五二[74]，2020[75]，诊断（HC、MCI、AD）MCI和ADMCI，公元418年例315 HC、297MCI，公元221年例精度2. 自动诊断工具。3. 无需事先进行功能工程。1. 采用基于概率的融合方法，精度高。2. 基于集成方法的自动诊断工具与临床、认知和CSF生物标志物组合。2. AD疾病的临床异质性被忽视。3. MCI转换器与非转换器1. 需要出色的计算能力。2. 在一个数据集脑部MRIT1W传统的MLAD vs CN：累积0.984AD vs MCI vs CN：累积0.7982018[第七十六章]阿尔茨海默使用图像和临床特征进行分类09 CN，105MCI，92例AD病例1. 混合特征提取方法2. 可以提高医疗效率1. 特征提取管道是繁琐的。2. 多类分类任务性能低下脑部MRIT1wCNN广告vs CN：- 在Oasis数据集上Acc 95.35%- 在ADNI数据集上Acc 98.74%AD vs MCI vs CN：累积98.06%2019[第七十七章]阿尔茨海默病的分类229 CN、398MCI，公元192年1. 使用AlexNet进行数据组合、离群值删除和基于熵的数据选择2. 显著改善了三类检测（CN、MCI、AD）1. 多类检测仅在一个数据集上测试。2. 来自MRI图像的EXMRI切片（2DCNN）fMRI87.0%AD vs CN：Acc88.9%，AUC92.5%MCI vs CN：Acc76.2%，AUC77.5%阿尔茨海默病的分割和分类AD分类群组：AD、LMCI、EMCI和CN单模型方法2. 方法可以从特征提取和分类模型中学习。3. 获得3D面片的要素AD早期阶段的分类2. 可能在常规临床实践中实施，因为在结构性检查3. 二进制分类任务（MCI和AD）来自学习特征的2. 未提供最具挑战性的检测（MCI vs AD）3. 未进行1. 训练数据的正确性（如何评估领域专家提供的基础事实）。2. 无法对不平