多放大率深度残差网络用于显微血液图像中疟疾感染的红细胞识别

沙特国王大学学报使用深度残差网络和移动显微镜P.A. Pattanaika， Mohit Mittalb，Mohammad Zubair Khanc，S.N.熊猫daTelecom SudParis，9 rue Charles Fourier，91011，Evry Cedex，法国b日本京都北区上贺茂京都产业大学信息科学与工程学院，邮编：603-8555cTaibah大学计算机科学与工程学院计算机科学系，沙特阿拉伯麦地那41477d印度旁遮普邦拉杰普拉Chitkara大学工程技术学院阿提奇莱因福奥文章历史记录：2020年3月31日收到2020年6月11日修订2020年7月7日接受在线预订2020年A B S T R A C T显微血涂片手机图像中红细胞的自动分割是使用机器学习技术可视化和识别疟疾的关键步骤。然而，由于缺乏专家，图像质量低，人工诊断速度慢，诊断质量低，这仍然是一个令人困扰的问题。为了在一定程度上处理这些问题，我们提出了一种有效的多放大率深度残差神经网络（MM-ResNet），在该网络中，我们完全自动地将显微镜下的血液涂片图像分类为在多个放大率下感染/未感染。我们已经通过实验评估了我们的方法，使用它来训练不同紧凑深度卷积神经网络（CNN）的更有效变体，并在电话数据集上进行评估MM-ResNet端到端框架显示出与基线架构相似或更高的准确性，如通过公开可用的显微镜血液涂片电话图像上的GPU定时所测量的。这种方法是MM-ResNet在显微血液涂片图像中用于疟疾感染的红细胞识别©2020作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍疟疾是由单细胞疟原虫经按蚊雌蚊传播而引起的一种重要的致死性传染病根据世界卫生组织2018年的疟疾筛查是通过利用显微镜上的血液载玻片来检测受感染的红细胞而进行的繁琐且耗时的程序（Rosado等人，2016年）。病理学家必须检查大量病例，根据调查，最多的疟疾病例发生在非洲地区（85%）、东南亚地区（71%）和东地中海地区（71%）。这种大量的病例可能会降低病理学家手动诊断的可视化性能和准确性血涂片团块通常是致密的*通讯作者。电 子 邮 件 地 址 ： ipriyadarshinipattanaik@gmail.com （ P.A.Pattanaik ） ，mohitmittal@ieee.org （ M. Mittal ） ， mkhanb@taibahu.edu.sa （ M.Z. Khan ） ，chitkara.edu.in（S.N.Panda）。沙特国王大学负责同行审查制作和主办：Elsevier并伴随着多种细胞的融合而变得复杂当血液涂片感染疟疾时，其细胞纹理会随着时间的推移而变化，并且很难区分健康和不健康的样本。从多个视图的血液涂片图像的分析然而，由于对检查的需求不断增加，病理学家短缺，天气和光照的多样性导致了这一社会和经济上的巨大健康威胁。为了减少病理学家的工作量，通过数码相机或高分辨率智能手机有效地捕获血液涂片载玻片（Rosado等人，2016; Tek等人，2009年）。图像越直接，分辨率越高，获得更好结果和准确分析的机会就越高图像数据集的综合分析有望揭示细胞功能的复杂性和密度的许多方面。便携式智能手机数据集在本质上是无处不在和变革性的。智能手机提供了方便和成本效益的收集图像数据集与更少的时间。但是，与数码相机相比，扫描血涂片的图像质量相当低。大量的病例和低分辨率图像降低了人工解释的性能，并且难以通过正常的机器学习技术识别疾病（Tek等人，2009; LeCun等人，2015年）。这些问题可以通过许多快速预处理深度学习算法来处理，方法是自动估计用于疟疾识别的有用特征https://doi.org/10.1016/j.jksuci.2020.07.0031319-1578/©2020作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comP.A. Pattanaik等人/沙特国王大学学报1701和分级（LeCun等人，2015; Garud等人，2017年）。考虑到上述挑战和多放大率分析方法，在本研究中，我们开发了一种使用深度残差神经网络对显微血液涂片图像进行完全自动分类的新方法（Liang等人，2016年; Mr. Ekiiro等人，2015;He等人，2016年）。Araújo等人（2017 ）介绍 了一种结 合卷积 神经网络 （ CNN）和 支持向量 机（SVM）分类器的方法，用于对苏木精和伊红染色的乳房图像进行分类。这种方法有助于在不同尺度上检索信息，准确率达到77.8%。癌/非癌组为83.3%。 CNN的成功案例增加了可用的计算能力和数据集大小，有助于解决图像分类问题，从而减少了设计分类系统的领域知识。1.1. 贡献本研究的主要贡献如下：1) 这篇论文是Escheriro等人（2015）的扩展，其中使用深度卷积神经网络（CNN）开发了一个多放大率红细胞分类器，使用电话图像数据集。该框架将图像的多个视图作为输入，并在第二层到最后一层连接每个Resnet的输出，然后是最终的完全连接层。多个层收敛以形成初始以及中间归一化层，以便减少消失梯度。2) 我们提出了一种新的扩展MM-ResNet框架，将血液涂片图像分类为感染和未感染的红细胞图像，平均准确率为98.08%。MM-ResNet工作良好，并且具有跨层保存信息的最大好处，与sigmoid和tanh激活函数不同，线性机制保留了更多信息（Abdi和Nahavandi，2016）。根据需要，随着宽度的增加，功能也会增加，从而提高精度。3) 该方法遵循并行技术，有助于降低MM-ResNet的计算成本。该模型有三个输入，允许多个输入和输出使用GPU同时并行工作（Abdi和Nahavandi，2016）。4) 使用电话图像数据集，我们评估了不同的紧凑基线深度卷积神经网络。MM-ResNet系统能够实现更快的收敛速度和更少的计算负载，并且比显微镜血涂片手机图像上的其他深度学习基线结果具有更好的性能5) 使用跳过连接方法（Orhan和Pitkow，2017）可以改进训练，并且在处理梯度消失的问题时非常有效论文的其余部分系统地组织如下：第二部分描述了相关的工作.第3节介绍了新方法MM-RESNET的细节;第4节说明了数据收集和实验设置。第5节侧重于结果和讨论，第6节陈述结论性意见。2. 相关工作深度学习的概念已经成为计算机视觉和机器学习最复杂的方法之一（ Quinnet al. ， 2016; Itamar 等 人 ， 2010; Mittal 和 Kumar ，2014）。深度学习架构带来的主要优势是部分地通过GPU加速克服了硬件和并行化的进步的限制（Pattanaik等人，2020; Mittaland Kumar，2015）。使用深度残差神经网络作为获得由顶层产生的高级特征的基本过程，并且与传统方法相比有助于改善分类结果（Yuhang et al.，2017年; Wu等人，2016;Mittal和Saraswat，2019; Mittal和Kumar，2016）。在LeCun et al.（2015）中，LeCun et al.介绍了深度学习的优势，并概述了深度学习的架构和技术。在高级深度学习技术的帮助下，从原始数据中提取简单的特征，并从堆栈层中学习更复杂的特征。Garud等人（2017）在多视图放大的乳腺FNAC样本中使用Google Net CNN架构来检测恶性或良性类别。建议的CNN实现了89.71%的准确性，在8倍验证37乳腺细胞病理学样本。类似地，Liang et al. （2016）提出了一个强大的基于16层CNN的模型，以自动检测标准显微镜图像上感染的疟疾和未感染的单细胞。研究表明，CNN模型显示出比迁移学习模型更高的结果，灵敏度为（96.99% vs. 89.00%），F分数为（97.36% vs.90.24%）。Quartiiro等人（2015）显示了在多视图医学图像分析中使用深度CNN（未注册CC/MLO乳房X线摄影和MC/Mass分割）与单视图相比的优势。所提出的方法使用乳腺成像报告和数据系统（BI-RADS）评分的基准数据集产生经典结果。Kaiming He等人对不同的残差网络进行了简要的研究，并说明了残差单元如何更容易优化，并且可以从相当大的深度获得精度。本文提供了全面的经验证据，证明剩余学习（ResNet）是通用的，并且比其他更深层次的多层机器学习架构性能更好。ResNet有效地处理了梯度消失和精度下降的问题，并从图像中提取了有用的特征。已经提出了残差单元架构的许多变化，以使学习的表示在小变化时更稳定的输入模式。另一种变体，称为深度信念网络（DBN），由Wu et al.（2016）提出，其中为了使用计算类标签概率的反向传播算法来微调输入。该新的DBN模型将4100个外周血涂片图像分类为寄生虫或非寄生虫类，其性能指标为F分数89.66%，灵敏度水平97.60%，特异性95.92%。深度学习领域取得重大进展以处理、分类以及提取许多不同类型的数据中的特征（Babu等人，2016; Krizhevsky等人，2012年）。谷歌团队领导创建了一个具有152层的ResNet架构，其复杂性仍然低于VGGNet，并实现了3.57%的最高错误率，并经受住了ILSVRC 2015年的挑战（Hung和Carpenter，2017; Das等人，2015年）。ResNet连接以相对较低的计算成本显著缩短了收敛时间（Zhao和Koch，2012）。Abdi和Nahavandi（2016）提出了一种新的CNN多残差网络，与使用原始残差网络的Image Net，CIFAR-10和CIFAR-100数据集上的其他现有模型相比，该网络能够提高分类精度。 该模型优于产生高达15%的计算复杂度的改善。Orhan和Pitkow（2017）简要描述了跳跃连接的概念及其在消除奇点方面的令人满意的成功。该文件解决了各种问题的奇异性所造成的置换对称性，线性相关的节点，还有更多。由于隐藏层的增加，更深的网络显著减慢了学习以及重叠方向，因此跳过连接在一定程度上克服了这一困难（Greenspan等人，2016年）。总之，深度神经网络越来越多地找到解决显微血液涂片图像的方法，其他1702P.A. Pattanaik等人/沙特国王大学学报×××××××公司简介医学相关分析的挑战相对图像集。虽然审查结果很好，但所有技术仍然需要在大量未标记/未注册图像上证明其稳定性和性能。公平地说，目前的制度在医疗领域仍有很大的改进空间。因此，我们提出了一种新的方法，旨在执行准确和鲁棒的机器学习模型，并且在血液涂片显微镜电话图像数据集的性能准确性方面与一些基于深度学习的神经元制作的特征相一致。3. 提出的多重放大深度残差网络（MM-ResNet）所提出的多放大率残差网络架构是单个ResNet的修改后的集合，如图所示。1.一、血涂片图像分类是一个非常具有挑战性的任务，MM-ResNet需要从非常少的训练样本中学习，并且每次折叠都可以得到相似的类分布。使用显微镜智能手机适配器捕获的红细胞可视化图像与高端显微镜捕获的图像相比差异太大。MM-ResNet被训练以识别这些红细胞，并且对形状、颜色和纹理的适当理解被淡化以对低质量图像中的红细胞进行分类。智能手机数据集无处不在，具有减轻偏远地区疟疾负担的巨大潜力。从血液涂片载玻片获得的图像成本低，并且本质上容易改变。智能手机图像的质量较低，具有各种亮度，模糊的纹理和边缘变化，这使得分类任务更加困难和复杂。为了应对这些挑战，MM-ResNet可以为这个问题提供结果，特别是通过使用残差单元进行分类的有希望的结果。根据图1，MM-ResNet方法采用三个输入：显微血液涂片样本的200倍图像、400倍图像和1000倍放大图像。每个放大输入视图与ReLu一起通过卷积层，其中卷积层包括8个大小为33+的滤波器，具有9个连续的残差单元。每个残差单位由批次归一化（BAN）+ReLu+权重定义每个卷积层表示由相同的八个滤波器组成的前三个残差单元，三乘三。同样，第4、第 5和第6残留装置包含16个3号滤器3等，第7;第8和第9单元有32个过滤器，3 3.对于每个ResNet，我们将32个输出特征连接起来，形成96（323）个特征，然后是一个完全连接的层，提供两个输出（正常/未感染和感染/疟疾）。在MM-ResNet分类器中，有多个残差单元堆栈，其中每个残差单元可以通过以下数学表示：xn1¼HxnfMMRESxn;Wn1当量（1）迭代地清除在反向传播期间较高层的梯度其中，xn表示第n个sf 1;.的输入特征。. 表示第n个残差单元的权重集合，其中，是该残差单元中的多个层的数量，是一个神经元的残差函数具有多个层的网络，其执行来自所有单个ResNet的最后一层的输出的级联，批量归一化（BAN）和ReLu表示具有H（xn）的直线单元是恒等映射。该方法在每次卷积后立即采用批量归一化（BAN），通过提高神经网络的优化能力，大大加快了训练过程，从而对每个小批量的每一层进行归一化。深度更广的ResNet分类器可以Fig. 1.多放大深度残差网络（MM-ResNet）用于显微血涂片手机图像架构的全自动分类训练没有困难，提高正规化。MM-ResNet在输入层之后的相邻层之间引入恒等映射跳过连接H（xn）（注意，从输入层不允许跳过跳过连接是实质上改进更深和更宽的神经网络的训练的额外连接，并且在跳过一个或多个层的框架的不同层中在适应过程中，给定血液涂片载玻片的标记电话图像的集合，在给定的Msf200×;400×; 1000×g的放大率下，表示为（xn;Wn n×/M，W NSP感染;未感染感染我1; 2;. ;NM.深度残差网络输出可以在位置“N”处使用等式（1）递归地获得。（1）作为P.A. Pattanaik等人/沙特国王大学学报1703X× ××X×ΣΣ×××MMRES××i;jXX接下来，我们将评估我们的方法与深N-1xN¼x nfMMRESxn;Wn2n1根据整个端到端框架，单个ResNet后跟一个包含两个节点的完全连接层，一个表示感染/疟疾，另一个表示未感染/正常，表示如下：~z¼fMMRES=200;N;x 400;N;x1000;N;WMMRES=300其中z~z分别是“真”概率分布和预测概率分布。zs {0，1}表示血液涂片图像的类标签，其可以是感染的或未感染的。每个单独的ResNet通过以下方式给出输出：N-1x 200 N 1/4x 200 Nf×200n;W200n×400 n形状、颜色和纹理被淡化以分类低质量图像中的红细胞。智能手机数据集无处不在，具有减轻偏远地区疟疾负担的巨大潜力。从血液涂片载玻片获得的图像成本低，并且本质上容易改变。智能手机图像质量低，亮度不一，纹理模糊，边缘变化，这使得分类任务更加困难和复杂。为了应对这些挑战，MM-ResNet可以为这个问题提供结果，特别是通过使用残差单元进行分类的有希望的结果。根据图1，MM-ResNet方法需要三个输入：显微镜下血液涂片样本的200倍图像、400倍图像和1000倍图像。每个放大输入视图与ReLu一起通过卷积层，其中卷积层包括8个大小为3× 3的过滤器的情况。n1N-1MMRES;;加上九个连续的剩余单元。每个剩余单位通过批量标准化（BAN）+ ReLu +权重定义。每个卷积层代表的第一三残留装置x 400;N 1/4x400;n

下载后可阅读完整内容，剩余1页未读，立即下载