医学信息学解锁：基于深度卷积架构的小麦病害分类

医学信息学解锁25（2021）100642使用改进的深度卷积架构的叶和穗小麦病害检测分类&Lakshay Goyala，Chandra Mani Sharma a，Anupam Singh a，Pradeep Kumar Singhb，*a印度德拉敦UPES计算机科学学院b印度加济阿巴德德里-NCR KIET研究所计算机科学系A R T I C L EI N FO保留字：小麦病害分类深度学习作物健康图像理解监督学习A B S T R A C T小麦是世界上第三大收获和消费的谷物。然而，很大一部分小麦作物由于疾病而腐烂。有二十多种小麦病害对作物有害。因此，这些疾病的人工诊断变得非常具有挑战性。小麦病害自动分类有助于提高作物产量和质量。此外，它可以成为作物质量评估和定价的有用机制。基于深度学习的图像分析在疾病诊断和分类中有应用。穗和叶是小麦植株中受影响最严重的部分。大多数疾病可以通过这些部位的特征来识别。提出了一种新的小麦病害分类方法。训练一个新的深度学习模型，将小麦病害准确分类为10类。该方法具有较高的测试精度为97.88%。此外，它的准确性指标比其他两个流行的深度学习模型实验结果表明，该方法在精度、召回率和f值等参数上表现更好。1. 导言和相关工作在全球范围内，小麦是继玉米和大米之后的第三大消费谷物。根据联合国粮食及农业组织（UNFAO）的数据，世界上每10个人中就有1人因粮食短缺而严重营养不良。在许多发展中国家，每公顷谷物产量与发达国家相比非常低[1]。此外，这种差异可归因于在实地使用先进的工具和技术。目前，第四次工业革命正在颠覆一切。人工智能、机器学习、物联网和边缘计算在农业领域的革命中发挥着至关重要的作用[2]。这些技术有助于精准农业，从而减少资源浪费并增加利润[3]。对小麦病害进行适当的诊断和及时的补救措施可以避免粮食的浪费。此外，它可以确保小麦产量的良好品质，最终为农民带来最大的利润。深度学习可以以可接受的精度解决图像分类问题。这些方法与传统的基于特征的监督学习方法如支持向量机、随机森林等不同。监督深学习方法被认为是端到端的方法，因为它们不需要手工制作的特征作为输入。另一方面，底层操作可以自己提取和学习特征。近年来，深度学习模型已广泛用于图像分类。存在许多预先训练的深度学习模型，这些模型已经在大规模数据集上进行了训练。人类生活的许多方面都受到粮食质量的影响。全球粮食短缺，发展中国家，特别是亚洲和非洲的发展中国家，正在努力消除饥饿和营养不良。作物产量低影响了农村家庭的整体福祉[27]。随着信息和通信技术的进步，更新的技术解决方案正在到达农民人工智能驱动的移动应用程序在这方面变得越来越有用，Uzhinskiy等人[27]提出了一种基于深度学习的小麦疾病分类移动应用程序。病原体是导致作物产量损失的小麦病害的主要原因[28]。病原体影响小麦植株的可见和不可见部分。可见的部分是叶、茎和穗，而不可见的部分是根。Azimi等人[28]研究了* 通讯作者。电子邮件地址：lakshaygoyal425@gmail.com（L.Goyal），cmsharma. gmail.com（C.M.Sharma），anupam. ddn.upes.ac.in（A.Singh），yahoo.com（P.K.Singh）。https://doi.org/10.1016/j.imu.2021.100642接收日期：2021年4月9日;接收日期：2021年6月15日;接受日期：2021年2021年6月19日网上发售2352-9148/© 2021由Elsevier Ltd.发布这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表医学信息学期刊主页：www.elsevier.com/locate/imuL. Goyal等医学信息学解锁25（2021）1006422Fig. 1. VGG16架构。图二. ResNet50架构。小麦赤霉病（FHB）和形态生化特征的研究。&在田间小麦病害识别领域正在进行一些研究[4]。开发了一个基于弱监督的小麦病害诊断系统，并给出了一个小麦病害数据集。基因组的变化可以帮助增加对某些类型疾病的抵抗力。这是一个完全不同的学科。然而，人工智能的介入可以使新方法的探索变得更加容易。冈萨雷斯-卡马乔等[5]讨论机器学习的应用。小麦抗锈作物基因组选择的研究进展此外，Azadbakht等人[6]还将机器学习用于小麦疾病分类。不同的机器学习技术，如支持向量机（SVM）、k-近邻分类器（KNN）、决策森林、线性判别分析（LDA）、朴素贝叶斯分类器、卷积神经网络、递归神经网络等，已用于小麦病害分类[15与其他基于特征选择的方法相比，支持向量机和决策森林的性能更好深度学习模型不需要显式的特征提取，它可以作为学习的一部分来完成这些方法能够自己从这些特征中提取和学习。这就是为什么深度学习方法被称为端到端机器学习方法，并且对于作物病害分类应用非常有用[20卷积神经网络是在图像分类任务中表现良好的核心深度神经网络。最近，这些方法比传统的监督学习分类方法表现得更好。研究人员已经在深度学习网络模型中取得了许多改进。递归神经网络（RNN）克服了CNN的局限性。此外，长短期记忆（LSTM）是对RNN的增强。然而，深度学习分类器也有一些局限性。在训练过程中，这些方法需要大量的数据，并且非常资源密集。过度拟合是另一个常见问题，其中模型在训练和测试准确性方面存在很大差距。这是由于模型记住了示例，而不是从它们中学习。丢弃和正则化可以帮助减轻过度拟合，因为可以拥有尽可能多的数据。当数据和计算资源稀缺时，迁移学习可以提高分类性能[26]。迁移学习是指使用可能没有在同一数据集上训练过的预训练模型的权重对于典型的图像分类任务，有许多预训练的深度学习架构可用，例如VGG16，VGG19，RESNET 50，MobileNet V2等。深度学习模型的分类精度受数据集的大小、数据的多样性和类别不平衡程度的影响[ 7 ]。分析数据集大小变化对模型性能的影响&使用深度学习模型进行疾病分类[9]。提出了一项关于不同作物种植的深度学习方法的调查。2. 用于图像分类的有许多深度学习架构可用于图像分类和理解[10]。对植物病害检测进行了详细的讨论。在他们的工作中讨论了各种类型的流行病、大流行病、流行病、疾病和检测方法。在[11]的工作中讨论了对各种深度学习算法及其应用的调查。此外[12]，提出了另一项关于医学图像分析中深度学习的调查。在[13，14]的工作中，讨论了机器学习在图像理解中的应用。在本节中，我们简要介绍两种流行的架构，即VGG16和ResNet 50。这些架构主要L. Goyal等医学信息学解锁25（2021）1006423图3.第三章。（一）. 拟议系统的示意流程图，用于什么疾病分类图 3（b）款。提出的用于监督学习的深度学习模型。见图4。 从数据中进行深度学习。用于图像中的对象识别任务。然而，在迁移学习和参数调整的帮助下，它们足以胜任其他任务，包括视频分类、语义分割、感兴趣区域提取、图像索引和检索等。在后面的实验结果中，我们使用VGG16和ResNet 50进行小麦病害分类。在这里，我们将简要介绍它们。2.1. VGG16深度学习架构VGG16是一种基于卷积神经网络（CNN）的深度学习架构，由16个wt层组成这些层位于不同的类别，包括卷积层，最大池层，激活层等。实际上，有13个卷积层，5个最大池层，3个密集层，总共21层。然而，架构中只有16个wt层。softmax分类器遵循两个完全连接的层，每个层有4096个节点。网络的宽度从一个较小的值64开始，在每个池化层之后以系数2递增。VGG16则有1.4亿个参数。预训练的VGG16模型已经在一个非常大的图像数据集（ImageNet）上进行了训练，可以用作转移学习模型来解决图像识别中的类似问题（见图1）。①的人。L. Goyal等医学信息学解锁25（2021）1006424××表1图五、 样本选自收 集 的数据集LWDCD2020。该模型用于标记未看见的样本。图图3（b）示出了所提出的用于小麦的深度卷积模型大小麦病害分类数据集（LWDCD2020）的组成。小麦病害分类图片数量腥黑穗病1150黑糠1100根和根颈腐烂1040赤霉病1270健康的小麦1280叶锈病1620白粉病1230棕褐色斑点1220小麦散黑穗病1100小麦线条花叶11502.2. ResNet50深度学习架构ResNet 50（残差网络）是另一种神经网络架构模型，有50层。ResNet的中心思想是提出一种假设的“特征性的替代关联方式”，它至少避免了一层。ResNet 50的架构如图2所示。 在标准ResNet50模型中，共有23，587，712个参数。其中，有23，534，592个可训练参数和53，120个不可训练参数。3. 小麦病害分类图3（a）示出了所提出的用于小麦病害分类的系统的架构。训练数据集被流式传输到深度学习模型（如图3（b）所示），其中该模型学习10个不同类别的数据的区别特征（见图3（b））。（见图5）4）.模型中的权重（参数）在反向传递中更新，以反向传播用预测值和期望值计算的误差。训练过程在有限数量的迭代中重复，称为epoch。一旦训练停止，模型的 准 确 性 就 会 被 记 录 下 来 并 导 出 到 磁 盘 。随后，委员会注意到，疾病分类当卷积、池化和正则化活动沿着信号处理流水线的路径应用时，卷积神经网络可以有效地解决图像分类问题。该模型已使用超过1.2万张小麦病害图像进行了训练。最终，训练好的模型接受一张图像，并可以用疾病类别（或“健康小麦”，如果它与这个类别匹配）来标记它。对于训练，它输入224 224像素Xel RGB图像。该模型具有卷积层，其内核大小为3 3。为了减少训练向量空间的大小，应用了最大池化。该模型包含21个卷积层，7个最大池化层和3个全连接层。卷积层中使用的激活函数是ReLU（Rectified Linear Unit ）和LeakyReLU。密集层中使用的激活函数是ReLU。有两个完全连接的层，然后是SoftMax分类器和Dropout（0.5）。使用的优化器是Adam。使用的卷积步幅为一个像素。网络的宽度从估计值64开始，在每个池化层之后增加两倍所提出的架构学习大约25，305，356个参数。具有可训练权重的层仅是卷积层和全连接层。最大池化层用于减小输入图像的大小，其中softmax用于做出最终决定。这些卷积层和池化层有助于识别特征，之后将是用于学习和预测的密集层。在密集层SoftMax的末尾，使用激活函数，该激活函数从K个复合函数级联中标准化分布动态。每一层节点都在前一层产生的输出上进行训练。因此，每个连续层中的节点可以识别更复杂和详细的特征。算法DS：具有9种不同类别的小麦病害和1种类别的健康小麦的数据集。每个类的训练集包含大约Iij：表示给定类别中的第i个图像（3个通道）L. Goyal等医学信息学解锁25（2021）1006425=··•×·见图6。对小麦散黑穗病、褐斑病、白粉病、叶锈病、健康小麦、赤霉病、冠根腐病、黑糠病、黑星病和条斑病的预测结果。&表2建议方法的准确度测量。表3不同模型的架构比较。类别精密度回忆F1-评分卡纳尔邦特型号尺寸（M）层模型描述训练精度测试精度黑糠0.98 0.98 0.98冠根腐烂0.98 0.98 0.98&该模型650 24 21 conv+ 3 fc层98.62% 97.88%赤霉病0.98 0.98 0.98健康小麦0.98 0.98 0.98VGG16 528 16 13 conv+ 3 fc层94.66% 90.87%叶锈病0.99 0.98 0.98白粉病0.98 0.98 0.98棕褐色斑点0.97 0.98 0.97小麦散黑粉病0.97 0.97 0.97ResNet-50100 50 49 conv+ 1 fc层93.66% 81.96%小麦条纹马赛克0.96 0.97 0.96DS_Labels{Karnal bunt，Black Chaf，Crown and Root Rot，Fusa-rium Head Blight，Healthy Wheat，Leaf Rust，Powdery Mildew，Tan Spot，Wheat Loose Smut，Wheat Streak Mosaic}步骤1：加载和预处理数据加载图像并将其调整为224 224维标准化后将其转换为数字向量步骤2：定义模型定义模型中的所有层，并提及顺序和其他超参数使用ReLU和LeakyRelu应用非线性，并合并降为了减轻过拟合，请使用Dropout步骤3：模型编译和训练将损失作为随机梯度下降并将优化器作为Adam对于epoch_no 1到1000。···L. Goyal等医学信息学解锁25（2021）1006426图7.第一次会议。 使用VGG 16和RESNET 50的拟议模型的准确性和损失。模型从数据中学习，并使用SGD更新权重记录每个时期后的损失和准确性步骤4：预测标记• 加载训练好的模型和标签二值化器• 加载图像并对其进行• 预测图像• 使用多数投票决定标签3.1. 数据集：大型小麦病害分类数据集（LWDCD2020）为了训练系统，我们使用了大量的图像。这些图像的一部分（约40%）是在现场收集的，其他图像则是从现有的公开数据集中重新使用的。 新策划的数据集（LWDCD2020）包含约12，000张图像，包括9类小麦疾病和1类正常小麦疾病。图像已经过预处理，以保证尺寸的均匀性.数据集的更详细描述见表1。为了区分健康小麦和患病小麦，在数据集中增加了一个类，··L. Goyal等医学信息学解锁25（2021）1006427健康小麦的图像。LWDCD2020中的所有图像几乎只包含一种疾病，LWDCD2020图像包含复杂的背景，各种捕获条件，不同疾病演变阶段的各种表征，以及不同小麦疾病之间的相似特征。接下来的阶段是用增强图像改进数据集。进行给定检查的主要原因是准备网络，以便熟悉将一个类与其他类区分开来的特征。因此，当使用更多增强图像时，网络熟练掌握正确特征的机会已经扩大。4. 实验结果讨论&4.1. 实验装置和工具该方法已在Keras和Tensor-flow中实现。在具有Ryzen 7四核、16GB RAM 、 6 GB RAM 的 NVIDIA Geforce GTX 1660 Ti Max-Q 和Windows 10 OS 的机器上进行了EX 实验。网络被训练到1000个epoch，并且为了优化，使用了Adam优化器。整个训练在6小时左右完成。图6显示了LWDCD2020数据集的结果。4.2. LWDCD2020预测结果小麦散黑穗病、褐斑病、白粉病、叶锈病、健康小麦、镰刀菌头枯病、冠状根腐病、黑糠病、小麦赤霉病和小麦条斑病的预测结果分别见图6（a）和（b）、6（c）、6（d）、6（e）、6（f）、6（g）、6（h）、6（i）和6（j）。&对于每个预测，已经采样出4个图像。从实验结果可以看出，该方法采用多数轮询策略，可以准确地将正确的标签放置在这些帧上。表2显示了所提议方法的各种准确度测量。它包括精确度，召回率和F1得分。F1得分是精确率和召回率的调和加权平均值。这个分数考虑了假阳性和假阴性。它传递了精确度和召回率之间的平衡。F1分数=2*（回忆率×精确率）/（回忆率+精确率）4.3. 与其他最先进方法的比较表3给出了这三种深度学习模型的架构比较。用于比较的各种参数是模型的大小，层数，复杂性和训练测试精度。&图图7显示了在训练和测试步骤中不同模型的损失和准确性图。在图7的顶部，示出了所提出的模型的损失和准确度曲线图，其中中部和下部分别展示了VGG16和ResNet50的这些曲线图。5. 结论本文提出了一种用于小麦病害分类的系统和一种新的深度卷积结构。该模型的优点是，它可以从大量的训练数据中进行最佳学习，该系统已被测试，从LWDCD2020数据集的疾病分类。将该方法应用于10种小麦病害（小麦散黑穗病、褐斑病、白粉病、叶锈病、健康小麦、赤霉病、冠根腐病、黑糠病、赤霉病和小麦条斑病）的分类，其测试准确率为97.88%，而训练样本的平均&准确率为98.62%。与其他深度学习方法相比，性能有相当大的与VGG 16和RESNET 50相比，精度分别提高了7.01%和15.92%。因此，所提出的技术可以作为一个很好的工具，小麦病害分类。竞合利益作者声明，他们没有已知的可能影响本文所报告工作引用[1] 波拉克湾 某些高度发达国家与发展中国家的粮食安全状况。J AgribusinessRural Dev 2016;40（2）：385-98.[2] [10]李文，李文.从精准农业到工业4.0 Br FoodJ2019;121（8）：1730-43.[3] 杨晓萍，王晓萍. 通过人工智能嵌入式传感实现精准农业。IEEE跨仪器测量2019;69（7）：4103-13。[4] 卢军，胡军，赵刚，梅芳，张春。小麦田间病害自动诊断系统。计算机电子农业2017;142：369-79。[5] Gonz'alez-CamachoJM，OrnellaL，P'erez-RodríguezP，GianolaD，DreisigackerS，CrossaJ.机器学习方法在小麦抗锈育种中的基因组选择应用。PlantGenome2018;11（2）：170104.[6] Azadbakht M，Ashourloo D，Aghighi H，Radiom S，Alimohammadi A.利用机器学 习 技 术 检 测 不 同 叶 面 积 指 数 下 冠 层 尺 度 小 麦 叶 锈 病 。 计 算 机 电 子 农 业2019;156：119-28。[7] 巴贝多JGA。数据集大小和种类对植物病害分类深度学习和迁移学习有效性的影响。计算机电子农业2018;153：46-53。[8] Saleem MH，PotgieterJ，Arif KM.通过深度学习进行植物病害检测和分类。植物2019;8（11）：468.[9] 杨X，孙M.深度学习在作物种植中的应用。在：IOP会议系列：材料科学与工程，490。IOP Publishing; 2019年4月。第6页。 062053[10] Fang Y，Ramasamy RP.植物病害检测方法的现状与展望。生物传感器2015;5（3）：537-61。[11] Pouyanfar S，Sadiq S，Yan Y，Tian H，Tao Y，Reyes MP，Iyengar SS.深度学习：算法、技术和应用。ACM Comput Surv 2018;51（5）：1-36.[12] LitjensG，KooiT，BejnordiBE，SetioAAA，CiompiF，GhafoorianM，S'anchezCI. 深度学习在医学图像分析中的应用。Med Image Anal 2017;42：60-88.[13] Sharma CM，Kushwaha AKS，Roshan R，Porwal R，Khare A.基于离线特征提取和机器学习的智能视频对象分类方案。 Int J Computer Sci Issues 2012;9（1）：247.[14] DograJ，Jain S，Sharma A，Kumar R，Sood M.基于模糊图切割技术的脑肿瘤MR图像检测。Recent Adv in Computer SciCommunications（原名：RecentPat Comput Sci 2020;13（3）：362-9）。[15] Nema S，Di X it A.基于支持向量机的小麦叶片检测与防治。2018年数字企业技术电路和系统国际会议（ICCSDET）IEEE; 2018年12月。p. 1比5。[16] [10]杨文军，李文军.深度卷积神经网络用于野外基于移动捕获设备的作物病害分类。 计算机电子农业2019;161：280-90。[17] [10]张X，苏J，韩D，苏B. 利用注意力机制和移动设备图像通过深度学习对小麦条锈病进行分级。 前植物科学2020;11.[18] Lin Z，Mu S，Huang F，Mateen KA，Wang M，Gao W，JiaJ. A unified matriX-basedconvolutional neural network for fine-grained image classification ofwheat leafdiseases. IEEE Access2019;7：11570-90.[19] 金新，杰玲，王松，齐宏军，李世文。利用深层神经网络对小麦高光谱图像进行分类。Rem Sens2018;10（3）：395。[20] Argüeso D，Picon A，Irusta U，Medela A，San-Emeterio MG，Bereciartua A，Alvarez-Gila A.使用田间拍摄的图像进行植物病害分类的少镜头学习方法。 计算机电子农业2020;175：105542。[21] Loey M，ElSawy A，Afify M.农作物植物病害检测中的深度学习：综述。 Int JServ Sci Manag Eng Technol 2020;11（2）：41-58.[22] 苏军，易东，苏乙，米正，刘春，胡新，陈文辉。智能农业中的空中视觉感知：小麦条锈病监测的实地研究。 IEEE Trans Indust Informatics2020;17（3）：2242-9.[23] NagarajuM，Chawla P. 深度学习技术在植物病害检测中的系统综述。IntlJSystem Assurance Eng Manag 2020;11：547-60.[24] Stewart EL，Wiesner-Hanks T，Kaczmar N，DeChant C，Wu H，Lipson H，Gore MA. 使用深度学习对无人机图像中的北方叶枯病进行定量表型分析。RemSens2019;11（19）：2209。[25] Hasan MM，Chopin JP，Laga H，Miklavcic SJ.利用卷积神经网络检测和分析小麦穗。 Plant Methods 2018;14（1）：1-13.L. Goyal等医学信息学解锁25（2021）1006428[26] Garg K，Bhugra S，Lall B.使用深度学习从田间图像数据自动量化植物病害。在：IEEE/CVF计算机视觉应用冬季会议论文集; 2021。p. 1965-72年。[27] [10]张晓刚，张晓刚，张晓刚.植物病害检测多功能平台及移动应用。在：在Proc. 27th Symp.核电气补偿CEUR研讨会程序NEC; 2019年。p. 110- 4[28] Azimi N，et al. Statistical and Machine Learning-Based FHB Detection in DurumWheat.植物育种生物技术。2020;8：265-80.https://doi.org/10.9787/PBB.2020.8.3.265.