基于预训练CNN模型的水稻生物胁迫分类比较分析

农业中的人工智能6（2022）167基于预训练深度神经网络的水稻作物生物胁迫分类比较分析纳文·NMalvadea，e，Rjjesh Yakkundimathb，e，Girish Saunshib，e，马汉泰什角Elemmic，e，Parashuram Barakid，ea信息科学与工程系，SMT。卡玛拉和斯里。文卡帕湾Agadi工程技术学院，Lakshmeshwar，582116，卡纳塔克邦，印度b计算机科学与工程系，K. L. E. 印度卡纳塔克邦Hubballi理工学院，邮编：580030cNavkis工程学院计算机科学与工程系，Hassan，573217，卡纳塔克邦，印度d计算机科学与工程系，SMT。卡玛拉和斯里。文卡帕湾Agadi工程技术学院，Lakshmeshwar，582116，卡纳塔克邦，印度Visvesvaraya Technological University，Belagavi 590018，Karnataka，Indiaa r t i c l e i nf o文章历史记录：2022年3月8日收到2022年9月8日收到修订版，2022年2022年9月16日网上发售保留字：水稻作物压力分类生物压力PlantVillageImageNet预训练CNN模型a b s t r a c t农业部门也不例外，深度学习工具和技术的广泛使用。本文提出了一种基于预训练卷积神经网络（CNN）模型的水稻作物生物胁迫自动检测方法。这项工作还提供了领先的CNN模型之间的实证比较，这些模型具有来自ImageNet权重的迁移学习，即Inception-V3，VGG-16，ResNet-50，DenseNet-121和MobileNet-28。本试验以水稻生长发育过程中最常见、最具破坏性的三种生物胁迫--褐斑病、芒刺病和叶瘟为研究对象。实验结果表明，ResNet-50模型实现了最高的平均水稻作物应力分类准确率为92.61%，优于其他考虑的CNN模型。本研究探讨了CNN模型用于水稻作物胁迫识别的可行性以及自动化方法对非专家的适用性版权所有© 2022作者。出版社：Elsevier B.V.我代表科爱通信公司，公司这是一个开放在CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）下访问文章。1. 介绍印度是一个水稻种植国，拥有适应各种农业气候条件的各种水稻因此，作物已成为各种生物和非生物胁迫的宿主，所有这些都对作物的生产力和生存产生负面影响。认识到它们所造成的经济损失，人们已经努力此外，专家和政治家也关心提高水稻产量和产量。农业专家通过肉眼观察单个水稻叶片来识别胁迫类别，这在本质上是主观和繁琐水稻*通讯作者：副教授，系。信息科学与工程，Smt。卡玛拉和斯里。文卡帕湾Agadi工程技术学院，Lakshmeshwar，582116，卡纳塔克邦，印度电子邮件地址：naveen. gmail.com（N.N. Malvade），rajeshymath@gmail.com（R.Yakkundimath），girishsaunshi@gmail.com（G. Saunshi），mc_elemmi2004@redifmail.com（M.C. Elemmi），parashuram. gmail.com（P. Baraki）。作物胁迫成分复杂，不同水稻品种的胁迫表现非常相似，这使得分类具有挑战性。快速识别作物胁迫的目标对于潜在的农民和农业科学研究人员具有各种优势。利用技术优势，采用适当的作物管理策略，通过早期干预和缓解与压力相关的问题，可以有效地提高作物产量这就需要对农业科学和技术的应用进行持续的研究在农业方面，大数据、机器学习和物联网等新兴技术已被广泛用于改善水稻生产过程的各个环节，开创了智能农业的新时代由于基于AI的深度卷积神经网络的创新，农业任务的显着收益已经被注意植物疾病识别、作物/杂草分离、水果分级和土地统计分类只是CNN实现人类水平准确性的农业应用的几个例子随着层数的逐渐增加，CNN的架构已经进行了一些改进，以使CNN可扩展到多类问题。最流行的CNN模型是GoogLeNet ， AlexNet ， Inception-V3 ， VGG-16 ， DenseNet-128 和ResNet-50。在这项工作中考虑的应用之一是图像的处理，https://doi.org/10.1016/j.aiia.2022.09.0012589-7217/© 2022作者。出版社：Elsevier B.V.我代表科爱通信公司，公司这是一篇CC BY-NC-ND许可证下的开放获取文章（http：creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表农业中的人工智能杂志主页：http://www.keaipublishing.com/en/journals/农业人工智能/N.N. 马尔瓦德河Yakkundimath，G.Saunshi等人农业人工168水稻植物叶片使用各种领先的迁移学习CNN模型。在这方面进行了文献检索，以了解当前研究的核心主题中最近的深度学习应用。采用预训练的VGG-16模型，利用田间图像对不同水稻作物生物和非生物胁迫进行自动 为了说明应用深度学习方法的技术可行性，研究人员使用了来自5种不同水稻作物品种的30，000张田间图像，其中包括12种不同的胁迫分类。实现了92.89%的平均分类准确度（Anami等人，2020年b）。在ImageNet公共图像数据集上预训练的升级VGG-19模型被部署用于基于叶片图像的五在实验中使用增强的图像数据集获得92%的平均准确度（Chen等人，2020年）。不同的CNN模型用于植物病害的识别和分类VGG-16 、 Inception-V4 、 ResNet 和 DenseNet 模 型 已 部 署 到PlantVillage图像数据集上进行实验，该数据集包括来自14种不同植物的38种不同类别的患病和健康叶片图像据报道，DenseNet提供了99.75%的更好的分类准确度得分，优于其他架构（Yakkundimath等人，2022年）。利用四种典型的CNN模型构建了小麦病害自动诊断系统. 在图像数据集中有50，000个健康和受损的小麦作物叶片的标记图像。VGG-16模型的最大平均识别准确度为97.95%（Lu等人，2017年a）。采用LeNet-5和AlexNet模型对500幅水稻叶片和茎干图像进行水稻病害识别使用AlexNet模型实现了95.48%的平均识别准确率这项工作还表明，随机池化技术提高了CNN模型的泛化能力，避免了过度拟合（Lu et al.，2017 年 b ） 。 使 用 传 统 的 图 像 分 类 器 ， 如 反 向 传 播 神 经 网 络（BPNN），支持向量机（SVM），和k-最近邻（k-NN），现场图像被用来识别12类生物和非生物水稻作物应力。BPNN分类器实现的最大平均分类准确度为89.12%（Anami等人，2020年a）。预训练的深度学习CNN模型对于构建非破坏性和具有成本效益的系统以自动识别和分类水稻作物疾病的有用性可以通过文献综述来了解。使用传统的图像处理技术，已经进行了重要的尝试来从单个叶片图像自动识别和分类水稻作物病害（Huang等人， 2015; Mohan等人， 2016;Mohanty等人， 2016; Orillo等人， 2014; Pugoy和Mariano，2011;Phadikar 等 人， 2012; Phadikar 等 人， 2013; Sethy等 人， 2020年）。文献调查揭示了预训练的深度学习CNN模型在水稻识别和分类中的潜力来自公共图像数据集的作物病害（Hughes和Salathé，2015; Saleem等人，2020; Yakkundimath等人，2022年）。这激发了人们对开发用于制定作物管理策略的复杂水稻作物胁迫识别系统的兴趣本文共分四个部分拟议方法见第2。所考虑的CNN模型的分类结果在第3中描述。工作的结论在第4中给出。2. 拟议方法研究的总体方法如图所示。1.一、第一步是选择描述水稻作物叶片上的各种生物病害的图像数据集下一步是标记或注释训练数据集。然后在测试图像数据集上评估学习的CNN模型的性能调整超参数以提高CNN模型的性能。最后，比较了不同CNN模型的分类性能2.1. 图像数据集对于数据集的准备，考虑了五种流行的水稻作物品种，这些图像是在接近太阳正午的自然光条件下使用分辨率为60兆像素的Nikon D3300数码单反相机在野外拍摄的，太阳正午是照明最一致的时期一些受胁迫的水稻作物图像是从PlantVillage图像数据集中导入的。 PlantVillage是一个公开的数据集，包括54，306张图像和影响14种不同植物的26种疾病。图像数据集包括总共3355幅图像，其中523幅图像为褐斑病症状，565幅图像为Hispa害虫，779幅图像为叶瘟症状。剩下的1488张图片来自健康的水稻作物。图2显示了受各种胁迫影响的水稻作物的一些图像利用平移、任意旋转、剪切、缩放、叠加等多种经典图像增强技术，将3355幅水稻作物图像增强到26,840幅。从数据集中收集的图像大小不同图像尺寸减小到400 × 400像素，以最大限度地减少进一步处理和存储在介质上所需的该数据集分为三个子数据集：70%用于训练（18，788张图像），20%用于验证（5368张图像），10%用于测试（2684张图像）。工作中使用的最终图像数据集的详细信息如表1所示。从数据集中收集的图像大小不同。图像尺寸减小到400 × 400像素，以最小化进一步计算所需的计算时间处理和它们在介质上的存储图1.一、拟议方法框图。N.N. 马尔瓦德河Yakkundimath，G.Saunshi等人农业人工169图二、受生物胁迫影响的水稻作物图片。2.2. CNN分类器目前的工作已经考虑了五个高潜力和常用的迁移学习模型，即VGG-16，Inception-V3（Szegedyet al. 2016）、ResNet-50（He et al.2016 ） 、 DenseNet-128 （ Huang 等 人 ， 2017 ） 和 MobileNet-28（Howard等人， 2017年），它们在ImageNet数据集上进行了预训练（Simonyan和Zisserman，2014年; He等人， 2019年）。迁移学习机制的描述可在文献中获得（Yakkundimath等人， 2022年）。 各个CNN模型的描述可在文献中获得（Too等人，2019年）。ImageNet数据集中有大约120万张图像和1000个类别的步骤在算法1中给出了在准备好的数据集上训练所考虑的CNN模型所涉及的参数。算法1. 在水稻作物应力图像数据集上训练和测试预训练的CNN模型。步骤1.使用增强的水稻作物应力图像数据集。步骤2.批量生成训练和测试图像数据集步骤3.加载基本CNN模型并仅自定义最终层。步骤4.使用不同的dropout值、不同的优化器和激活函数编译和拟合步骤5. 端N.N. 马尔瓦德河Yakkundimath，G.Saunshi等人农业人工170表1水稻作物应力图像数据集摘要培训是图形显示在图。三比七图8显示了使用测试进行评估时所考虑的CNN模型的混淆矩阵SL.水稻作物数量的图像图像数据集。所有CNN模型的性能比较是号生物胁迫等级水稻作物品种加固后训练图像验证图像测试图像基于评估指标，如精确度，召回率和F1分数从混淆矩阵。评估符合-图像总数3355 26，840 18，788 5368 2684已经产生了最高的评估指标，以及最大的验证和测试的准确率分别为96.65%和92.61%，以及合理的计算时间，以达到最佳的分类性能。3. 实验结果与讨论利用MATLAB 2021b编程平台提供的深度学习算法进行水稻作物生物胁迫分类实验导入所考虑的预训练CNN模型，并通过使用DeepNetwork Designer应用程序编辑合适的层属性来为迁移学习做准备 在所有模型中，最后一个可学习层和输出或分类层被替换以匹配新构建的水稻作物生物胁迫图像数据集的类。 所有CNN模型训练和测试操作都在运行Windows 10操作系统的单个工作站上执行，该工作站配置有IntelCore i7-11，700处理器，16GBRAM和12GB内存的NVIDIAGPU。为了控制模型训练，重要的训练选项，如初始学习率，验证频率，epochs数量和minibatch大小分别初始化为0.0001，10，30和32。所有隐藏层都使用“ReLu”函数激活该网络使用具有分类交叉熵对数损失函数的随机梯度下降（SGD）算法进行微调批量标准化应用于提高整体准确性和更快的学习。定制的CNN模型使用如表1所示的增强图像数据集进行训练和验证。单个CNN模型的训练进度、验证精度、损失等细节所有考虑的预训练CNN模型的性能比较结果如图所示。第九章4. 结论研究了Inception V3、VGGNet（16层）、ResNet（50层）、DenseNet（121层）和MobileNet（28层）等现代迁移学习模型在5个水稻品种生物胁迫分类中的有效性。利用最先进的深度卷积神经网络模型的微调和评估来确定最佳模型。在包括健康作物类别在内的四类水稻作物胁迫分类中，RestNet-50模型通过学习26，840张图像，以92.61%的最高平均分类准确率优于所有其他模型ResNet-50和DenseNet-128模型具有几乎相同的分类结果。然而，考虑到训练和测试时间，ResNet-50模型是有效的。由于这项工作考虑了大量的CNN模型用于基于图像的水稻作物生物胁迫分类任务，因此结果是有希望的。但是，工作需要进行，因为未来的研究是在提高计算时间。在目前的工作中，有一个范围，增加新的压力类别，以及增强现有的数据集与显着数量的压力水稻作物图像。工作可以通过传感器进行授权图3. 训练VGG-16CNN模型时的验证准确度和损失图。图像Ric得分和它的计算时间每epoch获得的所有的con-ric-1褐斑52341842929837418四类水稻作物图像的sidered CNN模型是2希斯帕56545203164904452在表2中列出。表2显示，ResNet-50模型具有3叶瘟779623243621246624最好性能，其次通过的DenseNet-128、MobileNet、4健康148811,904833323811190Inception-V3和VGG-16型号。ResNet-50模型N.N. 马尔瓦德河Yakkundimath，G.Saunshi等人农业人工171图四、训练Inception-V3CNN模型时的验证准确度和损失图。图五、训练MobileNetCNN模型时的验证准确性和损失图。N.N. 马尔瓦德河Yakkundimath，G.Saunshi等人农业人工172图第六章训练DenseNet-128CNN模型时的验证准确度和损失图。图第七章训练ResNet-50CNN模型时的验证准确度和损失图。N.N. 马尔瓦德河Yakkundimath，G.Saunshi等人农业人工173图八、 在测试数据集上绘制的各种训练CNN模型的混淆矩阵。N.N. 马尔瓦德河Yakkundimath，G.Saunshi等人农业人工174表2从为CNN模型绘制的混淆矩阵导出的评估指标SL. 号CNN模型水稻作物胁迫类性能度量平均验证平均测试测试准确度（%）精度召回F1分数准确度（%）准确度（%）时间（秒）褐斑95.200.880.840.861架VGG-16Hispa94.230.830.840.8387.78 89.631255叶瘟95.510.920.90.91健康94.310.920.950.93褐斑95.590.890.850.872 Inception-V3Hispa94.780.860.850.8588.22 90.174339叶瘟95.390.920.890.91健康94.580.920.950.93褐斑96.290.910.860.883 MobileNetHispa94.600.830.850.8491.11 90.741032叶瘟95.910.940.890.91健康94.680.920.960.94褐斑96.750.930.880.904 DenseNet-128Hispa95.550.860.880.8791.56 92.412578叶瘟96.130.930.910.92健康96.400.940.970.96褐斑97.020.910.910.915 ResNet-50Hispa95.360.880.860.8796.65 92.611626叶瘟96.710.940.920.93健康96.130.940.960.95图第九章 所有预训练CNN模型的性能评估结果。在开发更有效的田间和作物管理软件方面，CRediT作者贡献声明纳文·N Malvade：概念化，方法论，软件，写作-评论编辑&。Rajesh Yakkundimath：数据策展，写作Girish Saunshi：可视化，调查，监督，写作马汉泰什角Elemmi：软件，验证，编写-审查编辑&。竞争利益声明通讯作者声明，不存在代表所有提交人的利益冲突这项研究没有从公共、私人或非营利部门的任何资金来源获得专项拨款确认印 度卡 纳塔 克邦 达尔 瓦德 农业 科 学大 学首 席科 学家 SurendraPalaiah博士愿意协助我们收集数据集，并向我们传授有益的农业知识。N.N. 马尔瓦德河Yakkundimath，G.Saunshi等人农业人工175他为研究工作提供了专业知识，我们很高兴地感谢他的帮助和合作。引用Anami，B.S.，新墨西哥州纳文，Surendra，P.，2020年a。利用田间图像对生物和非生物水 稻 作 物 胁 迫 影 响 的 产 量 分 类 。 告 知 。 Proc.Agric.7 （ 2 ） ， 272-285.https://doi.org/10.1016/j.inpa.2019.08.005。Anami，B.S.，新墨西哥州纳文，Surendra，P.，2020年b。利用田间图像识别和分类影响水稻作物胁迫的产量的深度学习方法Arti fic.智能《农业》，第1（4）页，第12-20页。https://doi.org/10.1016/j.aiia.2020.03.001网站。陈杰，陈杰，Zhang，D.，中国农业科学院农业研究所所长，Sun，Y.，Nanehkaran，Y.A.，2020年。使用深度迁移学习进行基于图像的植物病害识别。Comput.《电子农业》，第1卷，第173期，第105393页。https://doi.org/10.1016/j.compag.2020.105393网站。何凯明，张，X.，Ren，S.，孙，J.，2016年。 深度残差学习用于图像识别。IEEE计算机视觉与模式识别会议论文集，pp。 770- 778He，Kaiming，Girshick ，Ross，Dollár，Piotr，2019. 重新思考ImageNet预训练。IEEE/CVF计算机视觉国际会议的主席，pp。 4918- 4927霍华德，A.G.，Zhu，M.，陈伯，Kalenichenko，D.，王伟，Weyand，T.，Andreetto，M. ， 亚 当 ， H. ， 2017. Mobilenets ： 用 于 移 动 视 觉 应 用 的 高 效 卷 积 神 经 网 络 。arXivhttps://doi.org/10.48550/arXiv.1704.04861 关 注 了 解 更 多 预 印 本 arXiv ：1704.04861。Huang，S.，（1996年），中国科学院，齐，L.，妈，X.，薛，K.，王伟，Zhu，X.，2015.基于BoSW模型的水稻穗瘟分级高光谱图像分析Comput. Electron. Agric. 118，167-178.https://doi.org/10.1016/j.compag.2015.08.031网站。Huang，G.，刘志，范德马滕湖，Weinberger，K.Q.，2017. 密集连接的卷积网络。Proc.IEEE计算机视觉与模式识别会议，pp. 4700- 4708Hughes，D.，Salathé，M.，2015年。一个开放获取的植物健康图像库，以实现移动疾病诊 断 的 发 展 。 arXivhttps://doi.org/10.48550/arXiv.1511.08060 预 印 本 arXiv ：1511.08060。卢，J，胡，J，赵，G.，Mei，F.，张，C.，2017年a。小麦田间病害自动诊断系统。Comput.《电子农业》，第1卷，第142页，第 369-379页。吕，Y.，Yi，S.，Zeng，N.，中国科学院，Liu，Y.，张玉，2017年b。利用深度卷积神经网络识别水稻病害。神经计算267，378-384。Mohan，K.J.，Balasubramanian，M.，Palanivel，S.，2016. 水稻叶片图像中病害的检测与识别。Int. J. Comput. Appl. 144（12），34-41。Mohanty，S.P.，休斯，D. P.，Salathé，M.，2016年。使用深度学习进行基于图像的植物病害检测。前面植物科学7. https://doi.org/10.3389/fpls.2016.01419网站。Orillo，J.W.，克鲁兹，J.，阿加皮托湖，Satimbre，P.J.，巴伦苏埃拉岛2014年。应用BP人工神经网络识别水稻病害2014年国际会议人形，纳米技术，信息技术，通信和控制，环境与管理（HNICEM），页。1https://doi.org/10.1109/HNICEM.2014.7016248Phadikar，S.，Sil，J.，Das，A.K.，2012年。水稻叶部病害的形态分类。Int. J. Inform.电子工程2（3），460。Phadikar，S.，Sil，J.，Das，A.K.，2013年。 利用特征选择与规则产生技术进行水稻病害分类 。 Comput.Electron.Agric.90 ， 76-85.https://doi.org/10 的 网 站 。1016/j.compag.2012.11.001。Pugoy，R.A.，马里亚诺，V.Y.，2011年。利用彩色图像分析进行水稻叶部病害的自动检测。第三届数字图像处理国际会议（ICDIP 2011），国际光学与光子学学会，80090 F。Saleem，M.H.，Khanchi，S.，Potgieter，J.，Arif，K.M.，2020年。通过深度学习元架构进行 基 于 图 像 的 植 物 病 害 识 别 。 植 物 9 （ 11 ） ， 1451 。https://doi.org/10 。3390/plants9111451。Sethy，P.K.，Barpanda，N.K.，Rath，A.K.，Behera，S.K.，2020年。 图像处理技术在水稻 病 害 诊 断 中 的 应 用 ProcediaComp.Sci.1 （ 167 ） ， 516-530 。https://doi.org/10.1016/j.procs.2020.03.308。Simonyan，K.，Zisserman，A.，2014.用于大规模图像识别的深度卷积网络。arXiv 1.https://doi.org/10.48550/arXiv.1409.1556预印本arXiv：1409.1556。Szegedy ， Christian ， Vanhoucke ， Vincent ， Ioffe ， Sergey ， Shlens ， Jon ， Wojna ，Zbigniew，2016.重新思考计算机视觉的初始架构。 IEEE计算机视觉和模式识别会议（CVPR），第10页。 2818- 2826我也是E. CYujian，L.，Njuki，S.，迎春湖，2019年。用于植物病害识别的微调深度学习模型的比较研究。Comput.《电子农业》，第1卷，第161页，第272页。Yakkundimath河，Saunshi，G.，Anami，B.，2022.利用卷积神经网络模型对水稻病害进行分类J. Inst. Eng. （印度）：B系列，1047https://doi.org/10.1007/s40031-021-00704-4网站。