PPLC-Net：气象数据增强和多级注意机制的植物病害识别模型

沙特国王大学学报PPLC-Net：基于气象数据增强和多级注意机制的植物病害神经网络识别模型戴国伟a，范景超a，b，田志敏c，王超宇da中国农业科学院农业信息研究所，国家农业科学数据中心，北京100081 b中国农业科学院国家南繁研究所（三亚），三亚572024c河北水利电力大学，河北沧州061000d中国四川省广汉市中医院广汉阿提奇莱因福奥文章历史记录：2022年12月16日收到2023年3月14日修订2023年4月6日接受2023年4月14日在线提供保留字：卷积神经网络全球平均汇集注意力机制（CBAM）天气数据增强叶病识别A B S T R A C T植物病害的准确检测和识别是发展智能化、现代化农业生产的重要环节。该研究提出了一种深度学习模型（PPLC-Net），该模型结合了扩张卷积，多级注意力机制和GAP层。该模型采用新的气象数据增强技术来扩大样本量，以提高特征提取的泛化能力和鲁棒性。特征提取网络采用可变扩展率的卷积扩展卷积域的感知域，可以有效解决空间信息提取不足的问题。轻量级CBAM注意机制位于特征提取网络的中间层。它用于增强模型的信息表示。GAP层通过减少由网络计算的参数的数量和复杂性来防止模型的过拟合。的验证保留的测试数据集表明，PPLC-Net模型的识别准确率和F1得分分别为99.702%和98.442%，参数数和FLOP数分别为15.486 M和5.338 G此外，所提出的组合CAM可视化方法可以充分验证所提出的模型的有效性版权所有2023作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍农业是粮食、原材料和燃料的主要来源，有助于一个国家的经济增长。随着全球人口的快速增长，农业正在努力满足人类的需求。目前，植物病害的发病率不断上升，发生的病害也越来越复杂。植物病害愈演愈烈危及全球粮食安全，每年造成全球10*通讯作者：中国农业科学院农业信息研究所电子邮件地址：dgwstyle@foxmail.com（G.戴），fanjingchao@caas.cn（J.Fan），tianzhimin@hbwe.edu.cn（Z. Tian），wcystyle@foxmail.com（C. Wang）。沙特国王大学负责同行审查较低的产量和对食品质量的严重影响（Bari等人，2021年）。为了确保粮食安全和农业生态系统的生存，及时准确地识别植物病害尤为重要。植物病害的发生往往表现在叶区、砧木和果实上，其中叶区病害发生频率高且显著，数据易于收集和处理，成为确定植物病害类型的重要依据之一（Chen et al. 2021年c月）。传统的病害鉴定方法主要依靠农民随着计算机技术的快速发展，农业信息化和智慧农业开始拓展。计算机视觉技术将植物的形态结构、颜色纹理等信息成像，从中提取植物的性状，https://doi.org/10.1016/j.jksuci.2023.1015551319-1578/©2023作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comG. Dai，J.范，Z。Tian等人沙特国王大学学报2兴趣可以提取和多维化，并且可以实现多参数的数据可视化，提供了一个新的研究方向，机器学习开始进入农业工作者的视野。传统的机器学习技术分割特定区域中的病变点或可见病变，然后手动提取特征，然后使用特定的分类器（如支持向量机（SVM），随机森林（RF）和人工神经网络（ANN））对目标进行分类。这些技术选择诸如疾病图像的颜色、形状和纹理的特征（Trivedi例如，2022;Wani等人，2022年）。Sahu Pandey（2023）提出了一种结合随机森林和多类SVM模型的植物叶面病害检测方法。裁剪、平滑、移除背景和改变颜色空间都可以提高可视性植物病变的位置采用改进的模糊c均值聚类（FCM）方法分割图像的病变和病变区域。由于分割，每个图像像素都应获得适当的标签。为了提高真阳性率，模型的超参数修改与塔斯马尼亚魔鬼优化（TDO）算法。优化的模型以最少的时间提供最佳性能。 Zamani等人（2022）继续采用植物病害检测的一般方法;重点研究了植物病害图像的预处理过程，采用自适应中值滤波（AMF）算法去除植物病害图像中的噪声，标记去除的噪声像素影响图像质量，直方图均衡化为图像创建了一致的灰度分布和连续的直方图，提高了图像对比度，并对K-Means分割后的图像进行主成分分析（PCA）处理，以达到联合分类器的竞争效果。SVM在精准农业（PA）的各种应用中取得了优异的效果，尤其是深度学习（DL）结合SVM被认为是精准农业的未来 趋 势 （ Kok et al. ， 2021 年 ） 。 通 过 集 成 RF 、 SVM 、 LogisticRegression（LR）和K-Neighborh-NN（K-NN）四种专家分类器，提取不同的特征用于分类器分类，并将每种植物病害类别的输出概率作为多层感知器（MLP）的输入，最后由多层感知器进行最终的病害类别预测。260种模式（Astani等人， 2022年）。 集成度更高的特性提取算法可以被看作DL自动特征提取和分类Softmax函数两者都被使用;它们可以覆盖更多的特征并获得更多维度的模式以实现类似的性能（Habib等人，2020年; Yang等人，2022年）。然而，人工特征提取方式虽然能在一定程度上识别特定疾病图像，但高度依赖相关领域知识，需要针对性地设计图像分割和特征提取方法，灵活性和通用性不强，人力和时间成本较高，难以进一步推广应用。与机器学习识别方法相比，卷积神经网络作为深度学习的算法之一，具有很强的特征学习能力以及特征表达能力，可以避免图像识别前期复杂的特征提取、选择和设计工作，广泛应用于作物病害分类（Dai et al.，2022; Dai&Fan，2022; Lu等人，2022年）。Fan等人（2022）改进了经典的InceptionV3网络，通过迁移学习将提取的特征与提取的定向梯度直方图（HOG）特征融合，识别咖啡和苹果叶片中的12种疾病。Pandi等人（2022）解释了扩展卷积和全局平均池化，以改进卷积神经网络（CNN），从而以非常少的内存使用和高分辨率图像对四类水稻植物疾病进行分类。SutajiYldalez（2022）设计了一个结合MobileNetV2和Xception的模型架构，该架构使用迁移学习和微调执行该过程以定义与VGG16、VGG19、ResNet50和InceptionV3相比具有更好性能的特征提取模型的参数。上述研究表明，卷积神经网络在作物病害识别中具有良好的适用性，但由于网络层数的增加，其训练和准确性下降困难，如何提高识别方法在具有复杂作物病害特征的真实场景中的识别精度和鲁棒性此外，虽然计算机硬件的性能有了很大的进步，但在提高识别精度的同时，还应考虑计算功耗的问题。基于上述原因，本研究首先采用提出的天气数据增强方法对输入神经网络模型的数据样本进行增强，然后将锯齿状扩张卷积块与CBAM多级注意力机制的新方法相结合，并将FC层替换为GAP层，以实现扩展卷积神经网络的有效感知场以及减少模型过拟合，最后提出基于深度学习的植物病害识别模型（PPLC-Net：），为植物病害类型的准确识别提供思路PPLC-Net相关技术材料可在GitHub上免费获得（https://github.com/we-mindful/PPLC-Net-Model）。主要贡献如下：1) 提出了一种新的气象数据增强方法，该方法将传统的数据增强与针对天气变率的数据增强技术相结合，能够尽可能模拟复杂农业环境下数据样本的多样性，缓解数据分布不均匀的问题，显著提高模型的泛化能力2) 提出了一种可变扩展率的卷积扩展方法来提取卷积上下文信息。可以获得更大的感知场，有利于提高图像分类的准确率3) 提出了一种基于扩展卷积和轻量级CBAM多级注意机制的深度模型，通过采用He-均匀分布的初始权值参数、单周期动态调整学习速率和迁移学习，实现了较好的病害叶片识别。4) 结合使用GradCAM、Extera- tionCAM和HiResCAM的CAM可视化方法，可解释模型是否正确地聚焦于特征或图案信息。论文的其余部分是系统的。第2节简要概述了数据集接下来，第3节验证了所提出的模型的性能，第4节总结并展望了本文的工作。2. 材料和方法2.1. 数据集的获取和预处理本文使用卡特拉的Shri Mata Vaishno Devi大学提供的开放式叶片图像数据集进行实验，该数据集由健康和患病叶片组成，整个数据集包含12种经济和环境有益植物，共22种叶型，G. Dai，J.范，Z。Tian等人沙特国王大学学报3××ðÞ×Mn/×由4503个图像组成，表1描述了数据集的详细参数。（Chouhan等人，2019年）。鉴于其与PlantVillage数据集相比更新的内容，选择该数据集进行训练和测试，以解决植物叶病监测与实际农业情况不密切相关的问题。植物病害种类如图1所示。图1的上部和下部图像分别表示除了Bael病叶（标记10）和Basil健康叶（标记11）之外的相似的健康叶和病叶所提出的方法中包括的四个处理流程如图2所示。图像处理在PC上执行 ， 主 要算 法 由VSCode 和 Python 3.9 执 行 ， 其中 使 用 Pytorch和OpenCV库并由GPU加速，表1描述了测试环境的详细参数。通过使用自适应缩放，实验变得更容易，因为2.2.1. 锯齿状扩张卷积在深度卷积神经网络（Deep CNN）中，上采样和池化过程中参数的不可学习性导致了内部数据结构和空间层次信息的不同程度丢失标准卷积通常随着卷积核的大小而增加，并且感觉场相应地扩大。扩大的卷积核增加了重复操作，大大增加了计算复杂度，带来了更多的模型参数，并导致过拟合问题在训练过程中变得突出。这个问题通过扩张卷积的提议来解决（Yu Koltun，2016），它可以大大增加卷积网络的有效感知场，并且具有更少的模型参数，特征图大小不变性和高图像分辨率的特点。示于图 3、防止图像信息丢失。每个m n图像大小被裁剪为256× 256像素，真实图像被截取。Ix;yxKx;yxXKs;tIx-s;y-t1它的面积为256× 192像素，位深为24。2.2. 拟议模型架构本研究提出了一种新的PPLC-Net技术，用于复杂农业环境下植物病害的识别和分类，以降低植物发病率，保护农业生态系统。提出的PPLC-Net模型由三部分组成：特征提取网络，全局平均池（GAP）层和Softmax激活层函数。特征提取网络主要由卷积层、池化层和ReLU激活函数以一定的结构堆叠而成，用于学习目标对象的高级模式信息，包含由初始卷积层提取的边缘和纹理信息，以及由更高卷积层提取的目标对象的详细部分和全局信息。在特征提取网络中使用了扩张卷积，它可以在不增加模型参数的情况下增加卷积核的感知域，同时使每次卷积输出更大范围的特征信息，保持输出特征映射大小不变，但从结果中提取最大的知识信息此外，在特征提取网络栈的卷积层中嵌入了CBAM多级注意机制，其可以关注从深度神经网络导出的更高级别的特征表示信息，并以精细的精细度区分由目标对象生成的关键区分性部分特征特征提取网络输出的特征图被用作GAP层的输入，GAP层通过计算输入特征的平均值为每个类别生成单独的特征图，使得每个输出通道获得每个类别的对应特征最后的Softmax层分配相应的预测概率到每个植物类。 图 四是提出了模型。表1数据集描述和测试系统环境配置。s<$0t<$0Ix;y/×Kx;yXXKs;tIx-ls;y-lt2s¼0t¼0扩张卷积的主要思想是在不增加模型参数的情况下增加卷积核的感知域，使得卷积输出包含更大范围的信息，同时保持输出特征图大小不变。与传统卷积相比，膨胀卷积增加了膨胀率，以表示膨胀后卷积核的大小。常规卷积和扩张卷积表达式示于等式2中。其中，标准卷积的I x;y表示执行卷积运算之前的图像元素的值，Kx;y表示卷积。大小为m×n的核，以及孔卷积计算过程。Cess由表示，L表示膨胀率。考虑一个二维图像，并选择一个区域，如图所示。 五、白色正方形是计算中涉及的元素，绿色区域是感受野，A是指标准卷积，3 3卷积核映射的感受野核为3。在扩张卷积B中，扩张率被选择为2，并且由3 - 3卷积核映射的感受野核心为5。在同样的图像处理过程中，参与计算的卷积核均为3 3，但后者感觉场明显增大。此外，感受野随膨胀率的增加而增大。过大的扩展率会使采样信号稀疏，使在浅层网络中学习的模式不稳定，破坏图像的局部相关性（Zhang et al.， 2022年）。普通的膨胀卷积存在两个问题，其一是Tessellation效应，在相同间距的卷积核中反映出一致的膨胀率，在特征图中表现出卷积质心的一种不连续性，这在卷积层叠加中尤为明显，尤其是质心偏差使得重要点获得信息而丢失.另一个问题是，信息可能需要更加相关，因此某些关键特征参数配置数据集描述健康的叶子图片2278叶子图片2225图像分辨率6000 ×4000图像格式JPG系统环境操作系统Windows 11 Professional Workstation Edition CPU Intel（R）Core（TM）i9-13900 KRAM 64.00 GBGPU NVIDIA GeForce RTX 3090信息对于图像特征提取过程变得不可靠。因此，提出了一种结合不同大小的扩展率的卷积。锯齿形扩张卷积改变了连续排列的扩张率，并根据一定范围组合设定的扩张率设定卷积区间参数（Wang et al.，2017;Zhang，2021）。如果你选择相同的膨胀率，你将回到正常的卷积。膨胀率的描述可以用等式（3）表示，其中定义的组合尺寸为3，Mi表示第i个的最大膨胀率，G. Dai，J.范，Z。Tian等人沙特国王大学学报þþFig. 1. 22种植物叶的样本数据集。图二. 植物叶面病害检测方法流程图。图三.图像自适应缩放处理。层，并且Mi=1表示当前i1层的扩展率。例如，如果第i + 1层和第Mi层的膨胀率均小于1，则组合的膨胀率为[1，2，41是1，所选择的膨胀率可以通过使用等式（4）以获得感知场的大小，其中r和k分别表示扩展率和卷积核大小，F是感受场大小，并且到图像像素范围的映射可以在图2中表示。六、Mi¼max½Mi1;Mi11;Mi13]3Fr-1×k- 1k42.2.2. 全局平均池化模块在经典的卷积神经网络（CNN）中，在执行分类任务时，通常在从骨干网络中提取特征后使用全连接层（FC）进行特征量化，量化结果将进入Softmax层进行分类。但神经网络得到的参数大多集中在FC层，FC层参数较多，极有可能造成模型过拟合，降低模型的泛化能力。Dropout层的使用在一定程度上解决了这个问题。Drop- out层通常设置在FC层，通过设置一定的概率值随机停用部分特征参数，降低神经元之间的依赖性，增强学习模型的可扩展性。但是，Dropout层图四、 我们提出的p4植物叶片病害鉴定方法的体系结构。G. Dai，J.范，Z。Tian等人沙特国王大学学报52.Σ.Σ图五. 标准卷积（A）和扩张卷积（B）的比较。见图6。 扩张的血管的卷积示意图基于概率的随机变化，并且不容易在短时间内调整模型参数，因此模型的训练时间会变长。为了解决这个问题，全局平均池化（GAP）取代了FC层（Li等人，2022年）。与传统的FC层不同，如图所示。 7、GAP是在整个特征图内的所有像素上平均的，而不需要微调参数，使得每个类别与特征图的关联更加直观。由于GAP操作没有参数参与训练，大大减少了层的非卷积部分的参数数量，因此神经网络的卷积层的卷积核参数可以很容易地微调和更新，以更充分地提取分类目标与FC层相比，GAP的优点在于：1通过增强特征映射和分类类别映射的一致性，简化了卷积网络结构;2无需更新参数，有效避免了过拟合现象;3融合了空间信息，对输入的空间变换更加稳定。2.2.3. 注意机制模块（CBAM）深度学习中的注意力机制允许人们在解决特定任务时只关注图像的一部分，而不是看到整个区域。它可以帮助突出显示分类特征，并提高模型感知有用信息的能力，同时抑制不必要的噪声。空间注意模块（SAM）和通道注意模块（CAM）机制是前馈神经网络（FFN）的两个有效注意模块（Lu Hu，2022）。水疗-在它们之中，主要的注意机制和通道注意机制分别用于在特征图中定位目标。大量研究表明，最佳网络学习发生在首先使用通道注意力，然后使用空间注意力的情况下。空间和通道注意机制适用于在特征图中定位目标。许多研究表明，当首先使用通道注意力，然后使用空间注意力时，会发生最佳网络学习（Niu等人， 2021年）。卷积块注意模块（CBAM）是注意机制的一种它包含通道注意和空间注意模块。其中，对于CAM模块在CBAM机制中，中间特征图f0R w×h×c假设为输入，其中h是每个通道的高度，w是每个通道的宽度，即，信道的权重，以及c是每层中的通道数。对特征图进行平均和最大池化，然后由多层感知器对这两个通道进行Sig-moid激活函数运算，得到通道注意特征图。等式（4）示出了通道注意模块的计算过程，其中Sigmoid是激活函数，MLP是多层感知器，并且AvgPoolf0和MaxPoolf0分别表示特征图的平均池化和最大池化。同样，对于CBAM机制，给定中间特征映射f0作为输入，使用平均和最大池化来执行降维，获得两个特征，的然后缝合一起形成根据通道尺寸的2-D特征最后，对二维特征进行卷积，以确保G. Dai，J.范，Z。Tian等人沙特国王大学学报6××××见图7。全连接层（A）和GAP层（B）的比较。图8.第八条。拟议的PPLC-Net网络的详细结构最终特征在空间维度上与原始输入兼容，随后是Sigmoid函数以生成空间注意力特征图，并乘以模块的输入以获得最终生成的特征图。具体过程如公式（5）所示。其中fn×n表示卷积运算。卷积核的大小是n×n，中间的通道和空间注意力模块的ate特征图f0 （6，7），其中表示点积。M C.f0± 1/4 S形。MLP。平均池。f00MLP。MaxPoolf04MS.f0米/秒fn×n。阿夫格普湖f0°;MaxPoo l.f05f00¼M c.f0f06f000¼Ms.f00f0072.2.4. 拟议的PPLC-Net模型为了实现植物叶片病害的准确高效诊断，设计了一种嵌入多级注意机制和扩张卷积的高精度卷积叠加结构，称为流行的植物叶片部分类网络模型（PPLC-Net）。在PPLC-Net模型中，输入图像特征的提取主要通过三种结构完成，即Conv_1，Conv_2和Subsample模块。Conv_1模块由卷积层和批量归一化层（BN）组成，整流线性单元（ReLU）。采用的BN层可以稳定训练，加速收敛和规范化模型，ReLU有效地解决了反向传播过程中的权重更新问题。从模型中堆叠在彼此顶部的各种模块中提取和传输特征需要传递器进行迭代交互。一个下采样过程，我们引入了模块层之间的残差网络的想法，这导致了大小改变，并且使得能够通过下采样过程自适应地调整特征图形状。此外，采用GAP代替FC层，提高了模型性能和识别准确率，CBAM为知识关注对象提供了关注机制。Conv_2模块承担功能之间的路径角色图 8显示了PPLC-Net模型的框图。第一块由Conv_1卷积组成，它产生一个112 112大小的特征图输出使用77大小的过滤器，然后是使用过滤器大小为3的最大池化层的池化操作3. Conv_1和Conv_2分别在第三和第四块中使用两次，并且大小为56的特征图56是用64个过滤器生成的。第五至第九个区块属于同一部分。本文用扩张卷积代替普通卷积Conv_1和Conv_2，用扩张率为（2，3），（3，5）的扩张卷积得到普通卷积5× 5，7× 7和9× 9具有相同大小的感受野，G. Dai，J.范，Z。Tian等人沙特国王大学学报7×××见图9。 应用于样本（a-i）的天气增强技术的效果。捕捉更多的特征。在减少模型参数数量的同时，可以学习更多的植物病斑颜色、纹理、边缘和角度区域的区别特征。此外，锯齿状扩张卷积可以在一定程度上恢复由下采样操作引起的性能损失。在属于10到16的块中，注意力机制CBAM模块被使用了两次，它提供了过滤深度网络以提取粗粒度信息的能力，A1和A2采用的Conv_2重复使用了11和33大小的过滤器两次，允许模型获取更小和多尺度的特征从17 到23 的块组成了PPLC-Net 模型值得注意的是，注意机制CBAM在属于10至16和17至23的区块中使用了四次，它是提供多层次特征以供注意的主要贡献者。最后，所有提取的特征信息通过大小为3 - 3的平均池化层过滤器，GAP和Softmax层对输入的特征信息进行分类。2.2.5. 数据扩充（DA）通用数据增强方法被用于大多数研究中，但对农业环境变化引起的对象分类错误的性能改善有限。为此，本文提出了一种气象数据增强方法，将传统的数据增强技术与针对天气变化的数据增强技术相结合，利用Python中Albumentations库的图像数据增强算法实现，模拟不同条件引起的环境变化。在传统的数据增强中，使用随机水平翻转将图像从右向左旋转180度（图9a）。图像采集移动操作使相机捕获的图像模糊，并且应用运动模糊变换以模糊阈值5使图像模糊（图2）。 9 b）。随机亮度-对比度变换改变可见度，亮度和对比度参数设置为0.1，对比度根据平均值进行调整（图10）。 9 c）。为了避免传感器与环境之间的干扰问题，采用了数字噪声变换随机多路复用的方法。图10个。PPLC-Net模型使用的单周期学习率曲线将图像的一个像素与数字参数1.5叠加，改变图像的原始属性以增加噪声，同时通过缩小和放大图像来降低图像质量（图9d-e）。泥溅变换可以模拟土壤较软时图像采集操作引起的泥溅形式的镜头遮挡。因此，土壤正态分布参数的平均值设为0.65，方差为0.35（图9f）。大气资料增强中，自然环境由于温湿度差异大，会产生雾。通过使用随机雾变换，可以在图像的不同位置随机添加雾，模糊背景，雾圈的透明度选择为0.15，雾强度在0.1至0.5的范围内（图9g）。植物的生命活动离不开光。采用自然光和调光技术，采用随机日光变换模拟图像.太阳耀斑出现的图像区域由4个参数（x_min，y_min，x_max，y_max）确定，x_min和y_min为起始坐标，x_max和y_max为结束坐标，本文选取坐标图像范围（0.0，0.0，1.0，0.01）作为光源（图9h）。当种植植物彼此接近，或叶片生长茂盛时，它们容易受到叶片遮挡造成的阴影的影响。随机阴影变换可以在一定程度上消除这种影响。在这里，感兴趣的阴影区域是随机的，阴影多边形的参数边缘设置.它是4，阴影的数量从1至5（图） 9 i）。 所有样品应用效果如图所示。9.第九条。2.3. 模特训练详情本研究的训练数据集由两部分组成：训练集和验证集。3，200和800张图像用于训练和验证集，503张图像被保留作为模型的最终测试数据集。在训练PPLC-Net模型之前，随机组合所提出的天气数据增强表2PPLC-Net模型的优化超参数值。号超参数优化值1批量大小642优化器AdamSGD3动量0.90004重量衰减0.00055学习率0.01006损失函数7时代608个图像平均值[0.23514299，0.26522756，0.24338898]9图像标准品[0.12180319，0.14363708，0.11331236]G. Dai，J.范，Z。Tian等人沙特国王大学学报8方法应用于训练集，并且每个方法执行的机会概率被设置为0.5。将数据增强后的植物叶片图像转换为张量。虽然BN层嵌入在PPLC-Net模型中，但为了加速模型收敛，我们随机采样数据集，计算图像像素的平均值和标准差，并将结果值归一化到图像。接下来，我们提出的PPLC-Net模型是使用Pytorch库构建的，初始权重参数是通过所有卷积层的He均匀分布建立的，以帮助网络更好地收敛（Toha等人，2022年）。学习率的选择直接影响模型的收敛状态。这里，采用称为单周期的动态学习速率调整方法（He et al.，2019），得到学习率曲线，如图10所示。模型的优化功能使用Adam和SGD的组合，并且由于本文中的植物叶片具有属于多分类任务的22个类，因此优先级是使用Adam快速获得先前的值，然后是SGD调整。表2显示了所提出的PPLC-Net模型的优化超参数值。此外，在ImageNet数据集上进行模型的迁移学习，并在本文的数据集上进一步训练得到的预训练模型。3. 实验结果及分析3.1. 模型评价指标植物叶部病害的确定和分类可以借助于不同的性能指标来进行评价为了评价PPLC-Net模型的性能，选择了五个常用的指标进行实验：准确度，精密度，灵敏度，特异性和F1评分。 在这种情况下，植物叶面病害分类性能的测量高度依赖于准确性，即，植物叶子所属类别的正确预测数与测试数据集中样本总数的比率，也称为检测概率;精度定义为模型准确分类植物叶子部分所属类别的能力;灵敏度反映模型检测植物叶子部分所属类别的能力，并且它是检测整体能力的主要特异性分析用于查询与目标图像相关的未准确分类的图像的百分比;当测试样本的类别分布不均匀时，F1-score可以在准确率和召回率之间找到适当的平衡。所有这四个指标的值范围为0到1，高值表示可靠的模型分类能力。3.2. 模型性能验证PPLC-Net模型的识别性能在处理后的植物叶片图像数据集上进行了验证，并使用第2.3节中的超参数集训练了60个时期，所得到的损耗和精度曲线如图11所示。训练损失和验证损失曲线在50次迭代后变得稳定，而训练精度和验证精度在45次迭代后达到更好的性能状态，验证精度接近1.0。虽然验证损失和验证精度曲线显示出突然的局部变化，但它们达到了适当的状态，没有过拟合或欠拟合。分析了验证曲线跳跃的两个主要原因，1。学习率的动态调整显著; 2.数据扩充方法的随机组合的执行概率太大，并且所得到的数据图像太复杂并且与实际验证图像的数据图像显著不同（Lu等人， 2022年）。为了验证模型在不同切割比例数据集上的稳定性，在训练集上对PPLC-Net模型进行训练，并使用Holdout交叉验证方法在保留的测试数据集上对模型进行验证。训练集的截集率增加，验证集的截集率减少，分为四个部分，步骤10。 每个训练集样本比率测试三次在测试数据集中取最优结果，结果见表3。PPLC-Net模型在80%样本量的训练集上取得了最佳性能，训练准确率为99.712%，测试准确率为99.702%。相比之下，对于60%和70%样本容量的训练集，性能相对较差，但测试准确率仍高于96%。显然，随着训练集样本容量的增加，PPLC-Net模型在测试数据集中的准确率也随之增加，样本容量更高的训练集在测试集完全覆盖的情况下达到了98.472%的测试F1分数。此外，具有80%样本大小的训练集足以获得更好的模型收敛性，并且对精度的负面影响小于0.03%。总体而言，我们提出的PPLC-Net模型在五个指标中具有更稳定的性能。3.3. 消融验证对PPLC-Net模型的块5至9中包含的扩张卷积（DC）、块10至16中的关注机制结构（CBAM-1）、块17至23中的关注机制结构（CBAM-2）和块25中的GAP层进行烧蚀测试。禁用PPLC-Net模型中的膨胀卷积和注意力机制结构并不影响模型的原有结构，取而代之的是FC层见图11。PPLC-Net模型的分类损失（a）和准确度（b）的线图。G. Dai，J.范，Z。Tian等人沙特国王大学学报9表3PPLC-Net模型在不同百分比的训练和测试数据集上的分类结果数据集样本量准确度（%）精密度（%）灵敏度（%）特异性（%）F1-评分（%）训练集百分之六十97.01795.52495.88998.78895.706百分之七十97.63698.02797.20399.83397.613百分之八十99.78498.42198.39699.93898.408百分之九十99.71298.54998.35499.94198.451测试集百分之八十96.66795.45996.82798.83196.138百分之九十97.50497.94797.19899.83497.571100%的99.69298.54998.39699.93798.472100%的99.70298.54598.34099.93898.442表4PPLC-Net模型中不同结构的烧蚀实验结果号模型结构准确度（%）F1-评分（%）FC间隙DCCBAM1CBAM21U81.06279.8252U89.72188.4783U87.41887.2093UUU90.42591.3204UUU91.87592.6515UUUU95.34296.3126UUU98.06997.1447UUU97.87996.8148UUUU99.70298.442表5PPLC-Net模式使用天气数据增强的实验结果。方法准确度（%）精密度（%）灵敏度（%）F1-评分（%）-随着天气数据的增强99.70298.54598.34098.442-99.25498.13398.87198.501-98.89999.02498.25798.639-99.28598.56798.48998.527平均没有气象数据增强97.57596.54496.09496.318-97.18797.36296.75197.056-96.99896.22597.00796.614-97.25396.71096.61796.662平均表6比较不同经典模型的实验结果。模型准确度（%）精密度（%）灵敏度（%）F1-评分（%）参数（M）FLOPs（G）高效B5Net94.51293.97493.09893.53430.3896.298InceptionV3Net96.34795.79896.99796.39427.1617.727DenseNet20195.48195.34396.38595.86120.01311.406AlexNet89.54890.25291.03790.64361.1011.857ResNet15295.72894.42495.60695.01160.19215.125VGG19Net92.69591.21490.30690.758143.67825.689拟议的PPLC-Net99.70298.54598.34098.44215.4865.338当GAP层未启用时。具体结果见表4。GAP层的使用相对于传统FC层提高了8.695%的准确性，DC在性能上的增益比GAP稍弱注意力机制CBAM结构的使用具有更显著程度的性能改善，与FC层相比，性能至少改善9%此外，GAP + DC + CBAM1 + CBAM2结构的组合在准确性和F1评分方面表现最好（分别为99.702%和98.442%）。此外，在烧蚀试验得到的最优块体结构组合中对气象数据增广方法进行了验证，由于数据增广子方法是随机执行的，因此我们进行了三次如表5所示，建议的天气数据增强方法的平均准确度为99.285%，比建议的方法分别高出2.032%和1.865%。分别与无数据增强的情况进行比较，证明了该方法对PPLC-Net模型的有效性。3.4. 基线模型验证本节选择了六个经典和众所周知的卷积神经网络模型作为比较实验的基线方法。这些模型结构和权重参数可以从Torchvision模型库中获得。这些模型的网络需要集成一个新的FC Softmax层，以满足本文对22种植物叶部病害的分类。另外，由于骨干网络的结构保持不变，因此可以使用迁移学习技术来执行训练。比较结果示于表6中，G. Dai，J.范，Z。Tian等人沙特国王大学学报10图12个。测试数据集中PPLC-Net模型的混淆矩阵证实了所提出的PPLC-Net在F1得分方面实现了最高性能，分别超过对照组InceptionV 3 Net和DenseNet 201的准确性2.048%和2.581%。对于PPLC-Net的参数数量和模型复杂度，与InceptionV 3 Net相比，参数数量和模型复杂度分别减少了42.984%和30.917%，与其他对照组相比具有显著优势。为了了解PPLC-Net中每个植物叶类的具体分类，我们分析了从保留测试集中随机选择的255个图像数据的分类结果的混淆矩阵，结果如图12所示。属于该类的22个植物叶部分图像中的248个被正确分类，表明在大多数情况下至少97%的不同图像被理想地分类。然而，5个患病的柠檬叶中有2个被预测为健康的柠檬叶，并且这是在所有植物类别中容易被错误分类的类别。在本研究中，我们对提出的PPLC-Net模型与其他最新文献的结果进行了全面的比较分析，如表7所示。我们的方法在传统的机器学习和深度神经网络中取得了有竞争力的结果，与Sahu和Pandey（2023），Yang等人（2022），Sutaji&Yıldalez（2022）和AnandhakrishnanJaisakthi（2022）相比，准确率分别高出0.8%，1.55%，0.6%和1.3%。考虑到分类模型的问题解决能力，更大数量的分类对模型是一个挑战。植物叶部有22类，植物病害种类多而复杂。建议PPLC-Net是一个简洁的端到端模型，实现了类似的结果，经验特征融合模型自动功能提出的范等人。（2022）和SutajiYıldız（2022）提出的多模型特征提取融合方法。同时，Yang et al.（2022 b）和Lin et al.（2022）也使用了数据增强和注意力机制来增强模型，但我们的性能优于他们。这表明，我们的方法具有良好的泛化性能和鲁棒性的大规模植物病害识别。3.5. CAM可视化验证模型的可视化可以用作诊断工具，帮助我们探索和理解深度学习模型的黑盒行为。通过选择训练获得的最优模型用于通过经由输入图像获得激活图权重的特征提取来诊断模型的潜在问题，所述输入图像用于生成二维热图。为了理解模型的可解释性，我们选择了GradCAM的组合CAM 方 法 （ Selvaraju 等 人 ， 2020 ） ， AblationCAM （ Desai&Ramaswamy，2020）和HiResCAM（Draelos& Carin，2021）从不同的角度解释模型。因此，使用用于模型学习行为的组合类激活映射（CAM）方法来可视化来自保持测试数据集的随机选择的样本图像（图13）。绘制的热图清楚地解释了PPLC-Net模型如何对图像进行分类，表7利用植物叶片图像分类叶部病害的研究进展研究方法描述业绩（%）Sahu Pandey，2023年RF + SVM（HRF-MCSVM）98.90Zamani等人（2022年）RBF-SVM97.20Astani等人，（2022年）MLP（260个分类器）95.98Yang等人，（2022年）CRAR + HOG + SVM（CRARM-SVM）98.15Fan等人，（2022年）InceptionV3 + HOG92.59Pandi等人，（2022年）DCNN + GAP96.50SutajiYldz，（2022）MobileNetV2 + Xception99.10Azgomi等人，（2023年）k-均值+13特征+MLP（ADD-NN）73.70Hasan等人，（2022年）DWT-32 +直方图特征+RF98.63Yang等人，（2022年b）AMSR + MF-RANet97.55Lin等人，（2022年）CNN + CA + MFF（CAMFFNet）89.71Morellos等人，（2022年）Inceptionv3（迁移学习）83.30Anandhakrishnan Jaisakth