基于深度学习的感染性角膜炎临床图像分类研究

工程7（2021）1002研究人工智能-文章基于深度序列特征学习的感染性角膜炎临床图像分类徐业生a，#，孔明b，#，谢文佳a，#，段润平a，方正清b，林玉晓b，朱强b，唐思良b，吴飞b，姚玉峰a，姚a浙江大学医学院附属邵逸夫医院眼科，中国杭州310016b浙江大学计算机科学与技术学院，浙江杭州31002阿提奇莱因福奥文章历史记录：收到2020年2020年3月18日修订2020年4月20日接受在线预订2020年保留字：深度学习角膜疾病序列特征机器学习长短期记忆A B S T R A C T感染性角膜炎是角膜疾病中最常见的病症，其中病原体在角膜中生长，导致角膜组织的炎症和破坏。感染性角膜炎是一种医疗紧急情况，需要快速准确的诊断，以确保及时准确的治疗，以阻止疾病进展并限制角膜损伤的程度;否则，它可能会发展为威胁视力甚至威胁眼球的疾病。在本文中，我们提出了一个序列级深度模型，通过临床图像的分类来有效地区分感染性角膜疾病。在这种方法中，我们设计了一个适当的机制，以保持临床图像的空间结构，并解开感染性角膜炎的临床图像分类的信息特征。相比之下，所提出的序列级深度模型的性能实现了80%的诊断准确率，远优于421名眼科医生在120张测试图像上实现的49.27% ± 11.5%的诊断准确率。©2021 THE COUNTORS.Elsevier LTD代表中国工程院出版，高等教育出版社有限公司。这是一篇CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。1. 介绍传统上，疾病的分类和诊断是由医生通过基于个人构建的经验和知识的观察来进行的。近年来，使用深度卷积神经网络的深度学习算法已被测试用于医学成像解释，并取得了重大进展。用于疾病分类和诊断的算法的应用主要在广泛应用医学成像技术的领域中进行了测试，包括计算机断层扫描、磁共振成像（MRI）、眼底摄影、光学相干断层扫描（OCT）和病理图像[1]。这是因为医学成像技术输出自然丰富的图像数据，商业化的医学成像技术创建标准化和一致的医学图像，可以在短时间内在单个机构或多个医疗中心收集。许多临床疾病的诊断不需要商业化的医学影像技术，*通讯作者。电子邮件地址：wufei@zju.edu.cn（F. Wu），yaoyf@zju.edu.cn（Y.- F. 么）。#这些作者对这篇文章做出了同样的贡献。在许多医疗机构的医疗实践中，记录不是常规进行的;因此，大量图像数据的收集将依赖于分散在不同医疗中心的历史积累。然而，针对此类疾病的机器学习诊断系统的开发至少具有同等重要性。对皮肤病变进行分类的研究[2]，提供恶性或良性判断，是非常规医学成像技术领域的先驱尝试。角膜疾病也可以广泛地分类在这一类别中。角膜疾病是世界范围内致盲的主要原因[3，4]。据估计，全世界有450万人因感染角膜疾病后角膜透明度丧失而患有中度至重度视力障碍[4]。感染性角膜炎是角膜疾病的最常见原因[5]。正常角膜具有透明的独特特性。感染性角膜炎最显著的特征是病原体在角膜中生长，导致局灶性团块混浊和角膜粗糙，不可避免地使每种病原微生物在组织中生长的独特特征显现出来[6]。感染性角膜炎的诊断主要依赖于眼科医生对角膜中感染性病变的视觉特征的鉴别临床上，眼科医生通常依赖裂隙灯显微镜，https://doi.org/10.1016/j.eng.2020.04.0122095-8099/©2021 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可从ScienceDirect获取目录列表工程杂志首页：www.elsevier.com/locate/engY. Xu，M.孔，W。Xie等人工程7（2021）10021003观察角膜及其他部位的正常或异常。除了作为一种观察工具外，裂隙灯显微镜还可用于拍摄照片并同时记录每个患者的角膜表现的现有状态，有助于开发基于人工智能（AI）的感染性角膜炎识别和分析的注释良好的数据集。自1998年以来，我们已经开发了一个大型的，注释良好的裂隙灯显微镜图像数据集的115 408图像，共从10 609角膜疾病患者。收集的数据集使我们能够设计基于深度学习的方法，以端到端的方式进行感染性角膜炎为了直观地模仿眼科医生诊断感染性角膜炎的方式，我们提出了一种特征学习机制，通过序列级特征学习来识别信息丰富的视觉模式，这意味着将临床图像中从感染性病变区域中心到边缘的采样块分组为序列有序集（SOS）并送入神经网络进行特征学习。我们认为，拟议的序列级特征学习机制可以利用感染性病变区域的补丁之间的空间关系，可以解开探索性因素的变化的数据样本。此外，它提供了一种潜在的策略，以实现更可靠，有效和准确的诊断。我们的模型使用数据集进行评估，并取得了正确诊断的准确性高于400眼科医生。2. 相关作品2.1. 医学数据挖掘多年来，电子病历（EMR）积累了大量的医疗数据，使研究人员能够发现潜在的知识。数据挖掘方法已广泛应用于医学数据中，以发现隐藏的知识，并使用提取的知识来帮助预测，诊断和治疗各种有害疾病。疾病预测对于预防疾病的发生、减少危害具有重要意义。Yang等人[7]使用患者He等人[8]使用EMR数据集预测肺癌术后并发症，并提取关键变量，数据集同时。带有预测诊断标签和药物信息的电子病历可以帮助自动助手预测疾病诊断，为医生提供快速诊断参考Nee等人[9]使用大型EMR文本数据集对每种疾病的EMR上下文进行建模，并在EMR中进行准确的疾病诊断预测Wright等人[10]使用数据挖掘方法从医疗数据集中获得有用的关系和规则集，以预测下一个处方药。2.2. 传统浅模型在医学图像中的应用传统的医学图像分类和分割方法采用手工特征（一般为浅模型）。Scott等人[11]在2003年使用梯度方向、角点和边缘强度检测双能X射线图像中的椎骨。区域分割和合并是基于区域的方法中的公知技术。Manousakas等人[12]应用分裂和合并技术，试图克服在MRI上使用均匀性测量时遇到的困难。 Zhao等人[13]介绍了基本的数学形态学理论和运算，提出了一种新的数学形态学边缘检测方法，可以有效地区分带有椒盐噪声的CT图像实验结果表明，该方法在医学图像去噪和边缘检测方面均优于2006年的最佳边缘检测方法Kaus等人[14]使用K均值聚类在心脏MRI中自动执行左心室分割。Cordes等人[15]通过使用分层聚类来测量功能MRI中的连接性进行了研究。该方法可以检测低频波动的相似性，结果表明，功能连接的模式可以通过类似于已知神经元连接的拓扑聚类来获得。2006年，Pohl等人[16]提出了一种将符号距离映射嵌入线性对数几率空间的方法，可以解决建模问题。虽然这些方法专注于区域，边缘和聚类，但它们对真实世界数据的性能有限[17]。2.3. 深度学习方法在医学影像中的应用在计算机辅助诊断中，深度学习现在广泛用于医学图像识别[18，19]。深度学习的基本结构为了开发基于CNN的鲁棒AI算法，我们通常需要大量的注释数据。医学图像的标准化采集不像一般自然图像采集那样容易。然而，现在，几个公共的医学图像数据库和多中心的数据收集可以帮助解决这个问题。可以大量收集某些类型的医学图像数据，例如X射线、CT、心电图仪和病理图像。通过使用这些大数据，基于CNN的AI算法可以对CT图像进行解剖结构分割[20]，对胸部X光片的正常或异常发现进行分类[21]，对肺癌或乳腺癌进行筛查[22，23]，检测头部CT扫描中的关键发现[24]，使用基于生成对抗网络（GAN）的模型对肝脏病变进行分类[25]，对心脏病进行筛查[26，27]，并检测病理图像中的淋巴结转移[27，28]。在眼科领域，由于眼底照相和OCT的图像容易收集，基于CNN的AI算法应用的主要领域是检测视网膜疾病，如糖尿病视网膜病变、年龄相关性黄斑变性和青光眼[29目前，人工智能辅助医疗诊断系统主要应用于医学影像领域。疾病的诊断，依靠自然观察的运用，主要依靠医生的个人经验。一个例子是皮肤病变;目前的AI算法可以在数字皮肤照片上区分恶性黑素瘤和良性病变[2]。角膜疾病是另一个例子，眼科医生可以使用裂隙灯显微镜来获得正确的诊断。到目前为止，还没有研究利用人工智能来提高角膜疾病的诊断准确性。3. 方法3.1. 图像数据集在机构审查委员会批准后，本研究的图像数据集包括1998年5月至2018年期间在浙江大学医学院邵逸夫医院眼科通过裂隙灯显微镜从10609例89类角膜疾病患者中拍摄的115408张临床数字图像。临床图像由Y. Xu，M.孔，W。Xie等人工程7（2021）10021004×××我两种类型的裂隙灯显微镜，即蔡司裂隙灯显微镜SL 130（Carl ZeissMeditec AG，Germany），与SL Cam集成用于成像模块，提供具有1024 768像素的分辨率的每个图像; Topcon裂隙灯显微镜（TOPCONCorporation，日本），附属于提供1740 × 1536像素的图像分辨率的数码相机单元DC-1，或者2048 1536像素。在数据集中，从活动期角膜感染患者（包括细菌性角膜炎（BK）、真菌性角膜炎（FK）和单纯疱疹病毒性角膜基质炎（HSK））中采集的图像被选择用于训练或测试集，用于算法分类到每个感染类别中。角膜感染患者的所有图像均注释有明确的临床诊断，并得到至少两项以下证据的证实：①角膜感染的临床表现，如图1（a）所示; ②角膜感染的进展受到诊断相关的单一药物或联合药物治疗的影响并终止，导致其最终治愈; ③感染部位样本的病原体鉴定：在细菌和真菌感染中，病原诊断通过显微镜检查下的样本涂片或微生物培养来确认，在病毒感染中，病原诊断通过对泪液或角膜刮擦组织样本的聚合酶链反应（PCR）评价来确认。除了角膜感染的类别之外，从患有具有类似视觉特征的其他角膜疾病的患者拍摄的图像被分类为其他诊断类别。这一类别包括各种角膜营养不良、泡状角膜结膜炎、各种角膜肿瘤、角膜乳头状瘤、角膜变性，甚至棘阿米巴角膜炎。每个类别的代表性图像系列如图所示。 1（a）.最终数据集包含来自867名患者的2284张图像，本研究训练集由来自747名患者的387张随机选择的BK图像、519张FK图像、488张HSK图像和528张其他角膜疾病图像组成。测试集包括从120名患者中随机选择的86幅BK图像、97幅FK图像、51幅HSK图像和128幅其他诊断图像。为了评估眼科医生总共使用了120张图像来评价眼科医生的表现）。3.2. 基于序列级特征学习的诊断深度模型如前所述，我们设计了一种用于感染性角膜炎分类的序列级特征学习方法为了证明所提出的方法的优越性，我们比较了我们提出的方法与其他模型，即图像级特征学习和块级特征学习。图像级特征学习深度模型使用迁移学习技术来解决训练数据有限的问题[32，33]，其中没有注释的原始临床图像直接应用于CNN进行诊断分析和分类。在我们的实验中，我们选择了三种经典的图像分类架构：视 觉 几 何 组 网 络 （ VGG ） -16[34] ， GoogLeNet-v3[35] 和DenseNet[36]。在分块级特征学习深度模型中，眼睛前段的图像最初通过手动绘制进行注释，将图像分为四个部分：角膜的感染性病变区域、角膜病变以外的区域、结膜的注射和前房的渗出。在这个深度模型中有三种迁移学习架构，即VGG-16，GoogLeNet-v3和DenseNet。在对每个图像块进行分类后，采用多数表决的方法对每个临床图像的分类结果进行预测。Fig. 1.典型的裂隙灯显微图像和t-分布随机邻居嵌入（t-SNE）的表示可视化的嵌入特征，在提出的SOS模型的四类角膜疾病。(a)BK、FK、HSK和其他角膜疾病的代表性裂隙灯显微镜图像它们在同一疾病的不同阶段表现出不同的视觉特征，或者在类别之间表现出视觉特征的差异。(b)通过所提出的SOS模型学习的深度特征通过针对疾病的每个类别的t-SNE被嵌入到二维空间中。t-SNE用于可视化高维数据，这些数据是诊断证明的摄影测试集（362张图像）的SOS模型中的特征表示彩色点云表示不同类别的疾病，显示算法如何将疾病分组到不同的聚类中。插图显示了与各个点相对应的图像。在序列级特征学习模型中，对于每个图像，如果存在病变，则将注意力集中在病变上。病变的质心被注释以建立最小的圆形区域。最小外接区域被进一步划分为围绕中心按比例增大的K个圆环分割方法如图所示。 二、从内圆环到外圆环，第i个圆环内的采样片用于构建表示为Si的片集合和集合序列{S1，S2，.. . ，SK}，遵循从最内到最外的顺序。为了解决有限的注释数据的问题，在训练过程中，应用了从每个集合中随机丢弃元素的丢弃机制，这可以生成更多的集合序列，有助于扩大数据多样性并使训练的模型更加鲁棒。集合中的每个补丁被应用于深度残差CNN（即，Den-seNet）通过编码器-解码器框架进行顺序特征学习卷积结构化编码器可以将第i个集合p i j中的第j个补丁转换为向量特征f i j以描述其固有特性，表示为补丁级特征集合{F1，F2，. . ，FK}。对于每个集合Fi，可以通过最大池化计算来生成组合的整体片特征，表示为集合f由于从病变的最内环到最外环的集合由一系列集合组成，因此长的Y. Xu，M.孔，W。Xie等人工程7（2021）1002100512K图二、说明如何对面片进行采样以及如何将面片划分为K个集。圆形表示每个集合的边界，正方形表示采样区域。请注意，为了避免图片中的过度重叠，仅显示了一半的补丁。短期记忆（LSTM）[37]是深度学习中学习序列数据的经典模型之一，可用于将集合特征序列{f '，f '，.. . ，f图像的特征可以由完全连接的网络层解码图1（b）示出了每个病变在二维空间中的嵌入特征。工作系统如图所示。3.第三章。将预测概率的结果与角膜炎的真实类型进行比较，结果的损失被反向传播以微调模型的参数[40，41]。3.3. 招募眼科医生进行基于图像的诊断分析招募了来自中国各地的眼科医生，以测试他们在基于图像的诊断分析方面的表现，作为与开发的深度学习方法的对比研究。提供给招募的眼科医生的图像和测试集中每个患者的诊断证实的图像是从第一次就诊中随机选择的（即，共120张图片）。招募的眼科医生在学术头衔（从住院眼科医生到高级眼科医生，一直到医学院的全职临床教授），隶属关系（从大学医学院的教学医院到公立医院）从市立医院到社区诊所），以及专业经验（分为1-5年、6-10年、11-1 - 5年、16-20年和20年以上）。我们总共招募了421名眼科医生。根据两步方案，眼科医生手动检查以进行基于图像的诊断分析在第一步中，眼科医生进行仅图像诊断。将来自测试集中每个患者的首次诊断图像的四类角膜疾病的图像，特别是BK、FK、HSK和其他角膜疾病，呈现给眼科医生，眼科医生通过手动检查对每个图像做出诊断决定。然后在第二步中，向眼科医生提供与每张图像相关的额外标准化和结构化医疗信息，包括简要病史、发作时间、疼痛和复发事件（如有）的等级以及药物使用史然后要求眼科医生所有眼科医生独立进行该手术，没有时间限制。3.4. 统计分析考虑到不同的学术头衔、隶属关系和专业经验导致的不同置信度，使用社会科学统计软件包（SPSS版本18.0; Cary，USA）对眼科医生手动诊断数据进行统计分析总结了眼科医生达到的诊断准确度的平均表现，并以平均值±标准差（百分比）表示。最初使用Kolmogorov-Smirnov 检验验证数据正态性采用单因素方差分析（ANOVA）对不同医院级别、不同职称之间的诊断准确率差异进行分析，符合数据正态性。最小显著性差异用于参数变量的事后分析使用Pearson相关系数检验诊断准确性与专业经验年数之间的相关性采用多元线性逐步回归分析方法，探讨了职称、医院级别、从业年限等人口学因素对老年人健康的影响。采用配对t检验（对于正态分布变量）和Wilcoxon符号秩检验（对于非正态分布变量）来确定医生在有和没有额外医疗信息的情况下的诊断准确性是否存在任何显著差异。所有检验的显著性水平均设定为0.05。图三.针对一个病变区域的顺序深度特征学习的过程。对于每个裂隙灯显微图像，病变区域被划分为最小外接圆到K个圆环部分（此处K= 3，仅用于直观说明）。从最里面到最外面的圆环，我们从每个圆环上采样块，并使用采样块来生成集合序列序列特征可以通过max-pooling和LSTM来学习Y. Xu，M.孔，W。Xie等人工程7（2021）100210064. 结果4.1. 不同深度模型图像级深度模型是目前流行的临床图像诊断模型，其中原始临床图像直接应用于CNN。本研究中使用了三种经典的深度架构VGG-16、GoogLeNet-v3和DenseNet，分别报告了该模型对BK、FK和HSK的诊断性能，如表1所示。考虑到在训练过程中直接应用于CNN的整个图像可能包含不相关的信息，我们随后使用VGG-16，GoogLeNet-v3和DenseNet架构开发了一个补丁级深度模型[42，43]在斑块级深度模型中，代替使用整个图像，最初通过手动分割来注释包括角膜的感染性病变、角膜的感染性病变以外、结膜的注射和前房的渗出的斑块。我们已经发现，对于斑块分类，三个斑块级深度模型可以分别实现49.62%、51.52%和60%的准确度（即，将每个贴片分类为相应的感染性角膜炎）。在对每个图像块进行分类之后，执行多数投票以执行临床图像分类。如表1中所记录的，具有双精度的斑块级深度模型分别实现了52.50%、55.52%和66.30%的准确度。最后，我们应用了序列级深度模型，该模型被认为具有保留临床图像的细微空间结构的能力如前所述，序列级特征是以内部-外部顺序（称为SOS）学习的我们也可以根据随机有序补丁（ROP）和顺序有序补丁（SOP）生成序列，而不是按照内外顺序顺序生成集合序列ROP通过随机顺序生成补丁序列，SOP通过内-外顺序生成补丁序列（但不使用集合结构将每个补丁分组到不同的集合中最后的评估表明，ROP特征产生的准确率为74.23%（BK为75.29%，FK为68.04%，HSK为82.35%），SOP特征产生的该评估研究表明，序列级深度模型是用于角膜疾病的自动、仅图像诊断的最佳模型。4.2. 眼科医生诊断的比较研究我们使用数据集评估了本文中考虑的所有算法，以比较每个算法和眼科医生之间的性能。表2列出了所有算法的准确性和眼科医生对该数据集（120张图像）的平均表现表3列出了眼科医生在临床影像诊断方面的表现。共有421名来自中国各地的眼科医生参加了这项研究。在没有额外医疗信息的情况下，所有眼科医生的平均准确率为49.27% ± 11.5%（范围：20.00%例如，在一个示例中，表1测试数据集上不同深度学习模型之间的分类准确性性能水平算法测试数据集（%）ACCBKFKHSK别人映像级VGG-16（图片）55.2448.8452.5762.7453.90GoogLeNet-v3（图片）57.7353.4955.6766.6758.59DenseNet（图片）61.0460.4656.7080.3957.03补丁级VGG-16（表决）52.5045.3454.6456.0054.68GoogLeNet-v3（投票）55.5244.1951.5574.5158.59DenseNet（投票）66.3059.3068.0458.8272.66序列级随机有序斑块（ROP）74.2375.2968.0482.3575.00序贯贴片（SOP）75.1466.2886.6084.3168.75索斯78.7365.1283.5190.2079.70图像级、块级和序列级特征分别从整个图像、病变区域和块集合的序列中学习。测试数据集包含来自120名患者的362张图像，包括86张BK，97张FK，51张HSK和128张其他图像Acc表示每个模型的总体准确度，列BK、FK、HSK和其他显示每个相应类别的召回率。表2深度学习模型使用总共120张图像的数据集与眼科医生竞争。眼科医生评价的等级算法数据集（%）（%）ACCBKFKHSK别人映像级VGG-16（图片）50.8346.6743.3373.3340.00GoogLeNet-v3（图片）55.8350.0063.3370.0040.00DenseNet（图片）64.1756.6763.3380.0056.67补丁级VGG-16（表决）51.6723.3343.3376.6763.33GoogLeNet-v3（投票）54.1726.6773.3380.0036.67DenseNet（投票）71.6746.6786.6773.3380.00序列级ROPS77.5066.6770.0093.3380.00SOPs79.1773.3370.0096.6776.67索斯80.0053.3383.3393.3390.00人类水平仅提供图像的眼科医生的平均表现49.2746.5545.5665.0139.95提供图像和病史的眼科医生的平均表现57.16a55.55a56.28a73.25a43.56a从测试集中选择四类角膜疾病患者的首次就诊和诊断证明图像，以构建数据集，用于与眼科医生评估和比较深度学习模型该数据集包括120张临床图像。a与仅提供图像的眼科医生的平均表现相比，P0.001Y. Xu，M.孔，W。Xie等人工程7（2021）10021007-表3根据医院级别、从业年限和眼科医生职称的平均分类准确率性能。RK：秩; STD：标准差;*P= 0.003;**P 0.001。SOS算法实现了80%的诊断准确度，包括BK、FK和HSK的分别为53.33%、83.33%和93.33%的准确度（表2）。图4描述了受试者工作特征（ROC）曲线、SOS模型的混淆矩阵和眼科医生的表现。ROC曲线是分类模型的可视化方法。曲线下面积（AUC）是性能的量度，最大值为1。如果眼科医生的敏感性-特异性点位于分类模型的曲线下方，则该模型实现优于眼科医生的性能本研究显示工作地点对眼科医师工作绩效的影响专业级别越高的眼科医生在临床影像诊断方面的表现越好，准确率越高，如主治眼科医生和研究员的表现优于住院医师（分别为P0.001和P= 0.003），但主治眼科医生和研究员之间的差异无统计学意义（P = 0.071）。就业时间与诊断准确性之间无显著相关性（P= 0.084）。当医院排名和医生级别因素综合考虑，教学医院主治医师组的准确率（57.08% ± 12.02%）优于社区医院住院医师组的准确率（41.99% ± 10.51%）（33.33%~逐步多元回归分析得出三个影响诊断准确性的模型。模型1（决定系数R2= 0.062）只有医院级别因素（β误差b=0.254，P0.001），模型2（R2= 0.100）有医院级别因素（b=0.239，P0.001），职称模型3（ R2= 0.109 ） 包 含 医 院 级 别 （ b=0.227 ， P0.001 ） 、 职 称（ b=0.326 ， P0.001 ） 和 工 作 年 限 （ b= 0.326 ， P0.001 ） 三 个0.164,P= 0.024）。当进一步向眼科医生提供与每张图像相关的其他医学信息时，包括简短的病史、发作时间、疼痛和复发事件（如有）的级别以及药物使用史，平均总诊断准确率从49.27%增加到57.16%，导致统计学上的显著差异（威尔科克森签署行列测试，P0.001）。具体而言，BK的准确性从46.55%增加到55.55%（P0.001），BK从45.56%增加到56.28%（P0.001），FK组为65.01%，HSK组为73.25%（P0.001）随着医疗信息的增加，404名医生的平均总准确率提高了8.28%，9名医生的准确率下降了2.13%，其他8名医生的准确率保持不变。5. 讨论一般来说，人类的事实判断是通过视觉、听觉、触觉、味觉和嗅觉来实现的，这使人们能够将事物分类到适当的类别中[44]。 视觉感知在这方面起着最重要的作用[45]，Y. Xu，M.孔，W。Xie等人工程7（2021）10021008图四、SOS模型的ROC曲线和混淆矩阵与眼科医生的工作绩效（a）SOS模型的ROC曲线;（b，c）眼科医生和SOS模型在眼科医生评估数据集上的混淆矩阵;（AUC：曲线下面积可以描述空间形状，大小和相关性之间的关系，以及颜色和纹理[46]。医生诊断疾病主要依靠观察和推理。在人类所有疾病中，角膜疾病在视觉上的变化表现最直接、最显著，因为健康的眼角膜具有完全透明的独特特征，这与总是表现为角膜内外影像变化的病理状态人类专业人员对角膜疾病的诊断决策是通过图像理解和分析进行的，这可能是人工智能为人类提供帮助的最合适的一般来说，深度学习是由大量注释数据驱动的[47，48]。然而，目前尚不清楚有多少临床图像的训练数据足以开发用于诊断临床疾病的AI系统我们中心20年来一直在收集和记录角膜疾病病例的临床图像，但当所有图像都根据每个疾病类别进行注释时，最常见的疾病类别可能有数千张临床图像每个角膜疾病类别中注释数据的不平衡导致我们专注于最常见的疾病，例如感染性角膜疾病，以开发本研究中AI诊断系统的第一阶段在这项研究中，我们已经证明，通过CNN的深度学习可以应用于使用通过裂隙灯显微镜拍摄的临床图像进行角膜感染性疾病的临床诊断。我们总共评估了三组九种深度学习架构，以开发一种用于角膜感染性疾病的仅图像诊断系统。从图像级和补丁级深度模型的结果来看，我们可以说，尽管只有四个类别，但这是一个很难解决的问题，特别是对于VGG-16和GoogLeNet-v3。这两种结构在斑块分类中表现不佳，因此，斑块之间的投票确实并没有显著提高他们的表现相比之下，DenseNet在补丁分类中达到60%，投票后达到66.3%这表明，如果模型在斑块分类中表现足够好，则聚焦于来自感染性病变区域的斑块可以产生比看到整个图片更高的ROP方法可以被看作是除投票之外的另一种组合补丁特征的方法结果表明，即使在没有空间信息的情况下，通过适当的组合方法，斑块级深度模型也可以得到进一步的改进。我们发现，总体而言，SOS是最有前途的方法，仅图像诊断角膜疾病的图像。SOS优于其他方法的一个可能原因是如何将临床图像的空间结构的适当利用直接实现到这种深度学习模型SOP没有表现得很好，因为它没有考虑病变区域的圆形结构。据我们所知，这是第一项提出深度学习模型来执行角膜疾病分类的研究，其准确性高于人类眼科医生在仅图像诊断中的准确性。在这项研究中注意到，在仅图像角膜疾病诊断中，一般专业人员的表现比AI系统差。毫无疑问，不正确的诊断会导致长期使用不适当的药物，导致识别特征模糊[6]，使人类诊断决策更加困难。多元回归分析表明，学历、所属单位和专业服务年限3个人口统计学因素对诊断绩效均有影响这表明上述因素可能不能真实、全面地决定眼科医生对角膜疾病的诊断准确性，或者影响诊断性能的因素因此，如果人工智能能够帮助临床医生以更高的诊断准确性显着提高他们的能力，这将大大有利于患者Y. Xu，M.孔，W。Xie等人工程7（2021）10021009减少角膜疾病的发生，节约医疗资源，减轻社会负担。由于角膜疾病导致的角膜透明度丧失，全球仍有450万人患有中度至重度视力障碍[4]，特别是在发展中国家。有两种方法可以提高诊断的准确性。一是完善医师培训体系，加强医师专业教育培训;二是开发实用人工智能系统辅助诊断。我们目前的研究表明，通过使用临床图像来开发AI系统以提高角膜疾病的诊断准确性是现实可行的在检查眼科医生的表现时，我们发现，当向医疗专业人员提供图像和病史时，与仅向专业人员提供图像时的准确性相比，诊断准确性在一定程度上增加（从49.27%增加这一结果表明，虽然附加信息可以帮助进一步提高性能。这可能也适用于AI诊断系统。研究表明，将数据驱动的机器学习与人类知识相结合，可以有效地产生可解释的、鲁棒的和通用的AI[49];病史等信息可能包含类似人类的常识，可以使模型能够用有限的训练数据解决许多不同的任务[50]。为了改进我们的AI诊断系统以提高诊断准确性，多模态学习模型（即，视觉和非视觉信息的有效结合）或更合适的顺序学习模式。不可否认的是，我们现阶段的AI诊断准确率是仅通过我们收集的有限图像数据，通过与眼科医生使用相同临床图像的表现进行比较研究，证实了这一点这种人工智能系统在临床实践中协助医生的实际应用需要更大规模的进一步和更广泛的临床评估[51]。6. 结论感染性角膜炎是眼科最常见的致盲性疾病。眼科医生通过观察裂隙灯图像来观察和诊断疾病，使用计算机辅助图像分析算法来促进在这项工作中，我们提出了一个用于感染性角膜炎端到端诊断的序列级深度模型。具体而言，依靠深度卷积网络的卓越特征提取性能，我们首先提取角膜区域的详细模式，然后将局部特征分组为符合空间结构的有序集合，我们收集了来自10000多名患者的110000多张图像。在此基础上，充分的实验比较结果证明，我们的模型是一个更可行的结构，并取得了更好的诊断性能比传统的CNN。此外，通过与400多名专业眼科医生的对比，我们发现我们的模型可以大大超过专业人士的平均水平，达到顶级眼科医生的水平表现据我们所知，这是第一项关于感染性角膜炎诊断的研究，我们的研究有力地证明了使用人工智能对这些类型疾病进行临床辅助诊断的潜力确认本研究得到浙江省卫生健康委员会重点研究项目（WKJ-ZJ-1905和2018 ZD 007）的资助。国家自然科学基金项目（61625107）。我们感谢Zhongfei Zhang的讨论和评论。遵守道德操守准则Yessheng Xu 、 Ming Kong 、 Wenjia Xie 、 Runping Duan 、Zhengqing Fang、Yuxiao Lin、Qiang Zhu、Siliang Tang、Fei Wu和Yu-Feng Yao声明他们没有利益冲突或财务冲突需要披露。引用[1] Bejnordi BE ， Veta M ， van Diest PJ ， van Ginneken B ， Karssemeijer N ，Litjens G等人，深度学习算法检测乳腺癌女性淋巴结转移的诊断评估。JAMA2017;318（22）：2199-210。[2] EstevaA，Kuprel B，Novoa RA，Ko J，Swetter SM，Blau HM，et al. 使用深度神经网络对皮肤癌进行皮肤科医生级别的分类。Nature 2017;542（7639）：115-8.[3] Sommer A，Taylor HR，Ravilla TD，West S，Lietman TM，Keenan JD，et al.发展中国家眼科护理面临的挑战。JAMA Ophthalmol2014;132（5）：640-4。[4] Pascolini D，Mariotti SP. Global Estimates of visual impairment：2010.英国眼科杂志2012;96（5）：614-8。[5] Clemens LE，Jaynes JM ，Lim E，Kolar SS，Reins RY ，Baidouri H，et al.Designedhostdefensepeptidesforthetreatmentofbacterialkeratitis.InvestigOphthalmol Vis Sci 2017;58（14）：6273-81。[6] Gopinathan U，Garg P，Fernandes M，Sharma S，Athmanathan S，Rao GN.真菌性角膜炎的流行病学特征和实验室检查结果：印 度 南 部 一家眼科护理中心的 1 0年 回顾 角膜2002;21（6）：555-9。[7] Yang Y，Luyten W，Liu L，Moens MF，Tang J，Li J.预测潜在的糖尿病并发症。在：第二十八届AAAI人工智能会议论文集; 2014年7月27日至31日;魁北克市，QC，加拿大; 2014年。 p.313- 9[8] 何涛，郭军，陈宁，徐霞，王正，傅凯，等. MediMLP：使用Grad-CAM提取肺癌术后并发症预测的主要变量. IEEE J Biomed Health Inf 2020;24（6）：1762-71.[9] 倪萍，李艳，朱军，彭军，戴正，李刚，等.基于BiGRU-Att-CapsNetwork模型的电子病历疾病诊断预测.中国医学科学院学报，2000，24（1）：119 - 119.在：2019 IEEE大数据国际会议论文集（大数据）; 2019年2月27日至3月2日;洛杉矶，加利福尼亚州，美国;2019年。p. 6166- 8[10] Wright AP，Wright AT，McCoy AB，Sittig DF.使用序列模式挖掘来预测下一个处方药。J Biomed Inf2015;53：73-80.[11] Scott IM，Cootes TF，Taylor CJ.利用局部图像结构改进外观模型匹配。在：医学成像信息处理两年一度的国际会议论文集; 2003年7月20日至25日; Ambleside，英国;2003年。p. 258比69[12] Manousakas IN，Undrill PE，Cameron GG，Redpath TW.磁共振医学图像的分割与合并：性能评估和扩展到三维。Comput Biomed Res 1998;31（6）：393-412.[13] 赵勇，桂伟，陈志，唐军，李良。基于数学形态学的医学图像边缘检测。在：2005年IEEE医学和生物学工程第27届年会论文集; 2006年1月17日至18日;中国上海; 2006年。p. 6492- 5[14] Kaus MR，von Berg J，Weese J，Niessen W，Pekar V.心脏MRI中左心室的自动分割。医学影像分析2004;8（3）：245-54。[15] [10]张晓刚，张晓刚.层次聚类测量功能磁共振成像静息状态数据的连通性。磁共振成像2002;20（4）：305-17.[16] PohlKM ，Fisher J，Shenton M， McCarley RW ， Grimson WEL ，KikinisR，等. 形状表示的对数几率图。收录于：医学图像计算和计算机辅助干预国际会议论文集; 2006年10月1日至6日;丹麦哥本哈根; 2006年。p. 955- 63[17] Lee LK ，Liew SC，Thong WJ. 医学图像分割方法综述。In ：Sulaiman HA ，Othman MA，Othman MFI，Rahim YA，PeeNC， e d i t o r s .先进的计算机和通信工程技术。Cham：Springer; 2011. p. 1069- 80[18] Shen D，Wu G，Suk HI.医学图像分析中的深度学习。Annu RevBiomed Eng2017;19：221-48.[19] Litjens G，Kooi T，Bejnordi BE，Setio AAA，Ciompi F，Ghafoorian M，et al.Asurvey on deep learning in medical image analysis. Med Image Anal 2017;42（9）：60-88.[20] 周X，高山R，王S，原T，藤田H. 基于FCN投票方法的解剖结构分割的3D CT图像截面外观的深度学习。医学物理2017;44（10）：5221-33。[21] Dunnmon JA，Yi D，Langlotz CP，Ré C，Rubin DL，Lungren MP.卷积神经网络用于胸片自动分类的评估。放射学2019;290（2）：537-44。Y. Xu，M.孔，W。Xie等人工程7（2021）10021010[22] Ardila D，Kiraly AP