基于注意力引导的花粉特征聚集网络的研究

沙特国王大学学报基于注意力引导的花粉特征聚集网络Tahir Mahmood，Jiho Choi，Kang RyoungPark韩国首尔中区Pildong-ro 1-gil，Dongguk大学电子电气工程系阿提奇莱因福奥文章历史记录：2022年9月30日收到2022年12月26日修订2023年1月17日接受2023年1月23日在线提供保留字：人工智能微视场显微镜深度学习孢粉学花粉粒A B S T R A C T花粉粒的视觉分类对于各种农业应用是至关重要的，特别是对于保护、监测和跟踪植物群以保护生物群落并保持基于蜂蜜的产品的质量。传统上，花粉粒分类是由受过训练的孢粉学家用光学显微镜进行的。尽管它们的应用范围很广，但仍然使用令人厌倦和耗时的方法。人工智能可用于花粉粒分类过程的自动化。最近，已经提出了许多基于AI的花粉粒分类技术然而，仍然有可能提高性能，包括处理时间，内存大小和准确性。在这项研究中，注意力引导花粉特征聚合网络（APFA-Net）的基础上，深度特征聚合和通道的注意力。三个公开可用的数据集，POLLEN73S，POLLEN23E，和Escherichan花粉，共7362图像从116个不同的花粉类型用于实验。所提出的方法显示，对于POLLEN 73 S、POLLEN 23 E和Escherichan花粉数据集，F-测量值分别为97.37%、 97.66%和98.39%我们确认我们的方法优于现有的最先进的方法。版权所有2023作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY许可下的文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍地球是一个植物多样性的热点。最大的花之一出现在巴西的大草原上。在过去的十年中，农业综合企业以前所未有的速度扩张。 这导致了植物群的森林砍伐率惊人的激增（Spera等人，2016年）。树木被大量砍伐，用于建造木制品、基础设施和道路，并为牧场腾出空间。近年来，自然灾害的增加也导致许多植物物种灭绝。研究人员和科学家提出了各种方法来保护植物群，例如使用花粉粒来跟踪和监测生态系统。花粉粒是存在于植物、空气、蜂产品和传粉者中的天然生物气溶胶元素（Redondo等人，2015年）。每个地区都有不同的花粉印迹。植物区系中的物种可以利用花粉粒进行保护、观察和追踪（Haselhorst*通讯作者。电子邮件地址：parkgr@dongguk.edu（K.R. Park）。沙特国王大学负责同行审查例如，2017年）。花粉粒的另一个重要用途是在基于蜂蜜的产品中（Alves等人，2020; Ngo等人，2021年）。蜂蜜中的花粉粒决定了它的来源和质量。蜜蜂收集花粉粒，同时从花中收集花蜜。分析这些花粉粒为蜜蜂的行为研究提供了重要信息。花粉粒和孢子的研究被称为孢粉学。孢粉学专家通常进行孢粉学分析，并确定花粉指纹的标准每个区域都有一个独特的花粉印迹，这使我们能够通过孢粉学采样来跟踪花粉粒的流动性。因此，了解花粉粒的植物起源起着重要作用。在常规实践中，从植物的花或枝分离花粉粒，然后清洁并固定到载玻片上。然后，孢粉学专家通常研究这些载玻片以识别花粉印迹。用光学显微镜在载玻片上检查花粉粒的大小、结构、极性和其他视觉特征然而，该过程是繁琐的、耗时的和主观的。该过程的自动化将节省时间和资源（Astolfi等人，2020;Sevillano和Aznarte，2018; Tsiknakis等人， 2022年）。近年来，人工智能（AI）越来越多地应用于各种程序的自动化。我们还可以将AI应用于花粉粒识别的自动化。AI是一个广泛的术语https://doi.org/10.1016/j.jksuci.2023.01.0131319-1578/©2023作者。由Elsevier B.V.代表沙特国王大学出版。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comT. Mahmood，J.Choi和K.R.公园沙特国王大学学报741用于在机器中复制人类智能。更具体地说，人工智能涉及训练计算机像人类一样从经验中学习。最传统的方法是提取感兴趣区域的判别特征。然后，这些识别特征被用于开发具有准确、可量化和高效潜力的AI方法。即使花粉粒相似且难以鉴定，如许多狭叶科，它也表现得很好。在我们的研究中，孢粉学专家收集了POLLEN73S的数据集（Astolfi等人，2020）、POLLEN23E（Sevillano和Aznarte，2018）和古罗马花粉数据集（Tsiknakis等人，2022），并基于标准的孢粉学标准进行花粉粒的分类。虽然基于人工智能的方法比孢粉学家的性能要低，但分类的速度非常好。例如，我们提出的方法需要0.083秒来分类一个单一的花粉图像。最近，研究人员提出了各种基于AI的方法（Haideretal. ， 2022 b; Jia 等 人，2020 年 ; Li等 人， 2020; Mahmood 等 人，2020; Sharif等人，2018）用于图像的检测、分割和分类。在标准的基于机器学习的自动化系统中，设计和选择区分性特征（称为特征工程）是一个耗时的过程，可以使用深度学习自动化。深度学习可以有效地对图像进行分类和分割感兴趣区域（ROI），而无需手动提取特征（Khan和Baik，2020）。卷积神经网络（CNN）已经解决了许多困难的问题，包括异常检测。（Ullah等人，2022）、实时火灾检测（Yar等人，2021）、人类活动识别（Hussain等人，2022; Khan等 人 ， 2022 ） 、 结 核 病 诊 断 （ Owais 等 人 ， 2020 ） 和 核 分 割（Mahmood等人，2021年）。以前的花粉粒分类方法可以大致分为手工和基于深层特征的方法。1.1. 基于特征的手工方法与主题相关的先前知识和特征工程的经验通常是开发高性能系统所必需的手工特征是人工设计的特征，这些特征如几何、纹理、统计、形状等是从使用机器学习分类器分类的花粉粒图像中提取的。在文献中，研究人员提出了各种方法，然而，我们发现实验是在有限的数据集上进行的，并且没有考虑实时例如，Treloar等人（Treloar等人，2004）考虑了几何特征，例如花粉粒的形状、周长、圆度和面积 Fisher线性判别法（Mahdianpari等人， 2018）分类器用作分类算法。他们在一个新的数据集上进行了实验，该数据集包含从波利尼西亚亨德森岛收集的12种不同的花粉粒类型。他们只对12种花粉类型进行了实验，并且只使用了一种分类器;因此，他们提出的方法不能用于对不同花粉粒进行分类Travieso等人（Travieso等人，2011）采用了统计方法，并专注于颗粒轮廓来训练隐马尔可夫模型（HMM）（Asghari等人， 2020）和支持向量机分类器（SVM）（Mahmood等人， 2018年）。他们对从中美洲哥斯达黎加收集的47种不同类型的花粉粒进行了实验在另一项研究中，改进了HMM模型的性能。García等人（García等人，2012）提出了花粉粒图像二值化的概念以用于对象识别。研究人员还考虑了多个特征，但是，通 用 化 能 力 仍 然 有 限 。 Ticay-Rivas 等 人 （ Ticay-Rivas 等 人 ，2011）利用几何、离散余弦变换（DCT）和颜色特征以及多层神经网络类Fier（Fekri-Ershad，2020）. Silva等人（Silva等人，2014）使用分水岭分割法分割花粉粒（Sharma等人，2022年）。他们使用小波变换（Jalayer等人，2021）用于特征提取，以及分类器，诸如SVM和k-最近邻（Pan等人，2020年）用于分类。Chica（Chica，2012）使用高斯（Dong和Zhou，2014）和k-最近邻（KNN）分类器的基于形状、纹理的特征进行欺诈性显微花粉粒对象分类。研究人员还提出了各种混合的基于特征的方法用于花粉颗粒分类。Kong等人（Kong等人，2016）提出了一种用于化石花粉粒识别的空间感知稀疏编码方案。他们提出的方法使用了使用全局和局部特征选择最佳区分补丁的标准。一般来说，手工制作的基于特征的方法具有缺乏鲁棒性和低准确性的局限性。花粉粒多样，结构复杂。因此，必须自动提取区别特征。基于深度学习的方法通常提取独特的信息，并且比基于手工制作的特征的方法表现得更好。1.2. 基于深度特征的方法基于深度特征的方法自动提取分类特征。由于其令人印象深刻的分类，其受欢迎程度最近有所增加。对于花粉粒分类，研究者提出了各种基于深度特征的方法，然而，我们发现大多数使用有限的数据集。 使用不同和多个数据集的实验可以更好地推广不同的花粉粒，定制的模型将具有更高的准确性和更少的推理时间。Olsson等人（2021）提出了一种使用预先训练的ResNet-18的方法（He等人，2016）、Xception（Chollet，2017）和GoogleNet（Szegedy等人，2015）用于花粉粒分类。他们的方法是在单个数据集上测试的，因此它的泛化能力可能有限。此外，诸如ResNet、GoogleNet等深度网络需要很长的训练时间。Gallardo-Caballero 等 人 （ Gallardo-Caballero 等 人 ， 2019 ） 使 用Faster R-CNN（Ren等人，2015）和Retina-Net（Hoang等人，2019年，任南京大学教授。Kubera等人（2021）介绍了一种新的CNN（SimpleModel），它是从头开始训练的，并对模型进行了微调，如Resnet-50。Battiato等人（2020）提供了一种新的数据集和基线方法，采用传统的机器学习和深度学习技术。更具体地，他们对SVM进行了实 验（Mahmood等人 ，2018 ）、 随机森 林（ Random forest）（Jiang，2005 ）、AdaBoost（Hu et al. ，2008 ）和多层感知器（Savalia和Emamian，2018）分类器。此外，他们使用了Alex-Net（Lu等人，2019）和VGG-Net（Lu et al.，2020年）进行比较。花粉粒数据采集是一项耗时的工作。它需要使用特定工具进行受控设置，如载玻片设备和光学显微镜。到目前为止，很少有数据集被汇编和提供。Astolfi等人（2020）发表了一个新的图像数据集，称为POLLEN73S，这是巴西稀树草原上的一种73花粉粒类型。提供了各种基线方法，包括DenseNet-201（Huang等人，2017）和ResNet-50。Gonçalves等人（2016）编制了一个新的数据集，称为POLEN23E。使用颜色，形状，纹理和词袋特征以及分类器（如SVM，决策树和k-最近邻分类器）的基线方法。Sevillano等人（Sevillano和Aznarte，2018）提出了一种基于迁移学习和特征提取的混合方法。他们使用预先训练的Alex-Net（Lu et al.，2019）用于特征提取和线性判别分类器（Ibrahim和Abadeh，2019）用于分类目的。研究人员已经提出了许多花粉粒分类的方法，但是，我们发现，准确性和鲁棒性可以提高。为此，我们提出了一种基于人工智能的花粉特征提取方法--注意力引导花粉特征聚合网络（APFA-T. Mahmood，J.Choi和K.R.公园沙特国王大学学报742Net）“，在各个级别上使用通道式注意力和特征聚合的核心原理。表1总结了以前的方法，并将其与所提出的方法进行了比较。拟议的研究有以下四个贡献：提出了一种新的多类分类模型APFA-Net，采用深度特征聚合和特征重新校准的方法来提取鉴别特征显微花粉图像。相关可分离卷积被用来减少所提出的方法的大小和可学习的参数。可分离卷积的组合-分层、深度特征聚合和特征重新校准增强了网络的学习潜力。总的来说，拟议的APFA-Net有1，777，929个可训练参数。该方法采用通道式注意力来增强网络的学习能力，并增强其对突出特征的敏感性。每个卷积块包括两个不同大小内核的卷积层，以捕获多尺度信息。三个不同的和大的数据集用于实验，并验证所提出的方法。总共从116个不同的花粉粒中获得了7362个花粉表1相关工作及其与所提方法的比较类型方法优点缺点基 于 手 工 制作的功能深基于特征几何特征（形状，周长，圆度和面积）与Fisher线性判别（FLD）分类器。（Treloar等人，（ 2004年第10期）隐马尔可夫模型和SVM分类器（Travieso等人，（2011年）使用隐马尔可夫模型的图像二值化、轮廓和特征提取（García等人，2012）几何DCT和颜色信息特征与多层神经网络分类器（Ticay-Rivas例如，（2011年）分 水 岭 分 割 、 小 波 变 换 特 征 以 及 SVM 和 k- 最 近 邻（KNN）（Silva等人， 2014年度）使用高斯和KNN分类器的形状和纹理特征（Dong和Zhou，2014）用于区分性块的新选择方法和空间感知稀疏编码方案（Kong等人，（2016年）SVM、决策树和k-最近邻分类器（Gonçalves等人，（2016年）ResNet-18、GoogleNet和Xception（Olsson等人，2021年）用 于 从 显 微 图 像 中 定 位 花 粉 粒 的 基 于 R-CNN 和Retina-Net的更快方法（Gallardo-Caballero等人，2019年度）一种新的模型和对现有技术模型的微调（Kubera等人， 2021年）实现SVM、随机森林、AdaBoost和深度学习方法（诸如AlexNet和VGG-Net）用于比较（Battiato等人，预训练的Alex-Net用于特征提取，Fisher线性判别用于分类目的（Sevillano和Aznarte，2018）- 使用FLD分类器的最佳降维- 展示几何特征在花粉分析中的应用。- HMM具有强大的统计基础，可以从原始序列数据中学习。- SVM分类器在高维数据集上有效地执行- SVM是内存高效的。- HMM具有强大的统计基础，可以从原始序列数据中学习。- DCT变换具有正交性和运算速度快的特点- 神经网络对噪声具有很强的鲁棒性，并用于快速评估学习的目标函数。分水岭分割具有较高的准确性，能够进行全局分割，并能得到目标轮廓的准确位置。- SVM分类器在高维数据集上是有效的.- KNN简单，可以学习对象中的非线性决策边界- KNN简单，可以学习对象中的非线性决策边界- 一种处理低维特征向量的有效方法.- 复杂花粉图像特征的最佳概括。- 支持向量机是可扩展的高维数据，并具有较低的概率过拟合。- 决策树很容易理解和解释。它适用于数值和分类数据。- 解决渐变消失的问题。- 有效利用计算资源。- 一个完整的贡献定位花粉粒从显微图像与低推理时间。- 与其他检测算法- 在不增加数据的情况下实现更高的准确性- 机器和深度学习模型- 使用Alex-Net进行更好的特征提取。- 使用FLD分类器的最佳降维- 几何要素在几何化中变形- 实验是在一个数据集上进行的，因此缺乏跨数据集的泛化。- HMM模型依赖于状态和对应的对象。- SVM分类器对于大型数据集需要很长的训练时间。- HMM模型依赖于状态和相应的对象。- DCT的实值输出需要额外的量化。- 神经网络只处理数值数据，因此需要将数据转换为数值。- 分水岭分割算法对局部极小值比较敏感，因此会对噪声图像产生影响。- 过度分割结果。- 对于大型数据集，- KNN不适用于大型和高维数据集- KNN不适用于大型和高维数据集。- 缺乏泛化能力。- 缺乏鲁棒性。- SVM核选择需要额外的努力，并且对于大型数据集需要很长的训练时间。- 决策树的性能并不稳定。噪声数据的增加导致性能显著降低。- 深度网络- 性能低于建议的方法- 有限数据集上的实验。- 达到收敛的训练时间较长。- 由于密集的候选帧，在Retina-Net中产生了大量的假阳性情况。- 缺乏通用性和鲁棒性。- 有限数据集上的实验评估- 有限的实验数据。- 低性能。- 用具有有限数据变化的数据集进行实验。- 精度较低APFA-Net（建议的方法）-在准确性和可学习参数方面的卓越性能需要强化培训●●●T. Mahmood，J.Choi和K.R.公园沙特国王大学学报743×D布勒姆DD-1D-2112拟 议 的 APFA-Net 的 代 码 和 训 练 模 型 在 GitHub （ APFA-Net ，2022）上公开提供，用于验证和可重用性目的。我们的手稿的其余部分组成如下。我们提出的方法的详细解释在第2节中给出。第3节提供了实验数据集描述、数据增强、培训和消融研究。在第4节中，我们提出了实验结果，而第5节是专门讨论。结论见第6节。2. 材料和方法2.1. 我们提出的方法的总体过程图1显示了拟议的APFA-Net的架构。通过挤压和激发（SE）的分层特征聚集和通道式注意（Hu等人，2020年）形成了开发该模型的核心概念。所提出的APFA-Net使用大小为224 - 224的输入图像来提取鉴别特征，然后将其聚合并在不同级别上重新校准通道所提出的方法有四个卷积组，每个卷积组有两个卷积块。总共有八个卷积块、两个SE块和四个特征聚合节点。第2.2分节提供了拟议的亚太地区粮食援助网的详细情况2.2. 建议方法通过自动化方法的人工分类的改进显著地改进了程序。提出的APFA-Net是基于花粉粒在不同层次上的深层特征聚集和挤压-激发注意。这两个模块的详细信息如下。2.2.1. 深度特征聚合卷积神经网络（CNN）包括多个层，每个层都有不同的用途。CNN的推理能力通过复合和聚合这些层来提高，主要是因为孤立的单层是不够的。研究人员提出了各种CNN架构，从更深到更宽的架构。然而，仅仅增加网络的深度或宽度并不能保证网络的最后一层具有最佳特征（Yu等人，2018年）。跳过连接已被证明在许多情况下是有效的;但是，它们仍然需要大量的架构工作来提高性能。在所提出的方法中，提出了一种新的深度学习架构，其中信息分层地跨网络层融合。所提出的APFA-Net聚合了浅层和深层，以获得独特的融合特征。将同一级别的层聚合并输入到前一层。此外，来自网络的较浅块的特征以跳跃连接风格与最终特征图相结合，以避免任何维数降低。所提出的方法的跨层的深度特征聚合由等式（1）表示：如下所示研究人员已经调查了深度学习的几个方面网络，以提高其性能，并减少可学习的F¼A。.研发x与深度学习网络相关的参数。一般认为，增加非线性、更大的电容和更大的感受野将提高模型的性能。然而，实际上，计算复杂度增加（Yu等人，2018年）。基于人工智能（AI）的方法需要各种各样的表示。增加深度在等式（1）中，F表示最终特征图，而d、Ai和x分别表示深度、聚合节点和级别x等式（1）中的L和R在等式（2）和（3）中定义如下：L d =0.00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000Ldx;LdxCRdx;2或网络的宽度本身并不能保证提取2最佳的区别特征。渐减或渐增的梯度-1 1 1发生，是最深的社区面临的问题，2019 -04 -2200：00：00（Fmx;如果m<$n-1：103学习工程师层与aggre-m特征的集合起着不可或缺的作用。我们学习和体验-F研发m1 x与深度学习的许多方面相结合，以减少可学习的参数并提高准确性。在花粉粒数据集中，存在复杂多样的分类群，因此，排除-剩余联络在解决梯度问题中起着重要的作用。但是，如果网络具有较小的层次结构，则可以降低●T. Mahmood，J.Choi和K.R.公园沙特国王大学学报744Fig. 1. 建议的APFA-Net（CG-n表示建议的APFA-Net中的卷积组-n）。T. Mahmood，J.Choi和K.R.公园沙特国王大学学报745×××××××~~~高×宽1/4CCCCXX（Yu等人，2018年）。因此，在所提出的方法中，在各个级别执行特征聚合，这减少了梯度减小或爆炸的机会。此外，它还为训练过程中的梯度流提供了一条可选的短路径。所提出的方法中的聚集可以由如下等式（4）Ax1;···：：xdrBatchNormXiWixib;4其中r表示非线性激活，而Wi和b分别表示CNN的卷积层中存在的权重和偏置。BatchNorm指的是批量标准化。在提出的AFPA-Net中，我们总共使用了8个卷积块，其中每个卷积块包括两个可分离的卷积层（Chollet，2017）和两个不同的内核（33和55）如下图所示使用。 二、深度学习模型中的卷积层对于性能和延迟非常大多数先前的网络，诸如Le-Net、VGG-Net（Lu等人， 2020）、Res-Net（He等人， 2016）、Alex-Net（Lu等人， 2019）和Dense-Net（Huanget al.， 2017）使用标准卷积层。最近，研究人员提出了标准卷积层的 新 变 体 ， 例 如 可 分 离 卷 积 和 群 卷 积 。 所 提 出 的 方 法 使 用dependently可分离卷积，这显着减少了大小，推理时间和可训练的参数。深度可分卷积分为两步：深度空间卷积和逐点卷积。如图2所示，卷积块具有内核（3× 3和5× 5）来获取多尺度信息。的特征可学习参数的增加（Hu等人， 2020年）。更具体地，CNN的通道被重新校准，并且基于重要性的大小将权重分配给每个通道SE是一种通用构建块，可以在网络中的在较早的层中，它以类不可知的方式帮助激发关键特征，而在较晚的层中，以类特定的方式激发信息特征。在SE块中有三个模块：（i）挤压，（ii）激发，和（iii）缩放模块，如图11和12所示。3和4在挤压模块中，通过聚集特征图通过其空间维度（Hw）产生通道描述符。全局信息嵌入发生在这个过程中。挤压操作的输出为11C，使用全局平均池化操作，其中C表示通道数。挤压模块输出是激励模块的输入，激励模块产生每个通道调制权重的集合。挤压模块输出11C“激发”张量，被输入到sigmoid激活层，以在0到1的范围内缩放值。sigmoid函数的输出使用逐元素乘法与输入融合。每个通道的输出都使用相应的学习权重进行缩放。以这种方式，获得新的重新校准的信道。图3呈现了SE块的不同模块。图4示出了对SE块中的输入张量执行在数学上，挤压、激发和缩放模块可以使用等式（5）输出特征图U<$½u;u;·· ·;u]=RH×W×C，则两个深度可分离的卷积层通过以下方式聚合：逐元素加法并使用批归一化层进行归一化。最后一个聚合节点连接要素从初始块和最终块收集多尺度特征。所提出的方法的第二个重要模块是信道方面的注意，它使用SE块。SE模块的详细信息见下节。2.2.2. 挤压和激励块（SE）SE块（Hong等人，2022）用于增强特征表示。CNN具有不同的操作，例如卷积层、池化和批量归一化，以表示图像特征。CNN的每个组件都扮演着特定的角色。预处理以往的研究主要集中在捕捉空间相关性上，12C1小时WFsqueezeucuci;j; 5第1页其中uceRH×W表示第c个元素处卷积运算的输出H和W表示空间维度。激励模块可以使用如下等式（6）ð6 Þ在等式（6）中，表示ReLU激活函数，其中W是RC×C，W是RC×C。SE块的最终输出，1R2R特征图之间的关系没有太多的重新缩放，并且激活由如下等式（7）表示渠道信息研究SE专注于渠道-明智的信息，并有助于提高性能，X~¼Fu;s其中，X= 1/4/2X1;X2;· ··;XC]，并且F标度e表示标量sc和特征图ucsRH×W通道式乘法。SE模块可以集成到任何深度学习模型中。我们将其集成到所提出的方法，并获得更高的精度。表2详细列出了拟议的APFA网络所采用的各层。3. 结果本节介绍了数据集、实验设置、数据增强、培训、评价标准、消融研究和每个数据集的结果。更具体地，使用三个数据集，每个数据集包含不同的数据。3.1. 实验数据集和设置图二. 单卷积块。在所提出的方法中，我们使用了三个大规模的国家的最先进的数据集，涵盖了在巴西和希腊收集的96种花粉粒类型。数据集-1表示为POLLEN 73 S（Astolfi等人，2020）;数据集-2 是POLLEN 23 E（Sevillano和Aznarte，规模T. Mahmood，J.Choi和K.R.公园沙特国王大学学报746×图三. 提出了挤压-激励块法。见图4。 在所提出的方法的SE块中执行的不同操作。2018年）;以及数据集-3是花粉数据集（Tsiknakis等人，2022年）。每个数据集的详细信息分别见第3.1.1、3.1.2和3.1.3节。3.1.1. POLLEN73S数据集POLLEN73S 数 据 集 （ Astolfi 等 人 ， 2020 ） 是 在巴西 CampoGrande市收集的巴西大草原图像数据集。它有2523个花粉图像，分为73个花粉类型。所有花粉粒类型都有35个图像，除了Gomphrenasp.，山黄麻，和玉米，其中有10，34和29图像，分别。在收集该数据集的过程中，收集植物的花和树枝，放在纸袋中干燥，并送到专家那里。这位专家认出了花，然后从花的花药中分离出花粉粒。用蒸馏水和fenicada品红溶液清洗花粉粒并将其固定在载玻片上。制备载玻片后，使用40物镜捕获花粉图像并保存用于分割目的。然后使用CorelDRAW ®软件（图形设计、插图和技术软件）分割单花粉粒图 像 |CorelDRAW ， 2022 ） 。 收 集 收 集 的 样 品 并 命 名 为POLLEN73S。该数据集是通过将每个花粉粒图像分类到73个类别中的一个来准备的。我们使用了数据集提供者使用的5重交叉验证，确保公平比较。图5显示了POLLEN73数据集样本图像。3.1.2. POLLEN23E数据集POLLEN23E（Sevillano和Aznarte，2018）数据集也可用于巴西萨凡纳，由805张图像组成，分为23种花粉类型。在每个类中，有35个图像，除了Anadenanthera colubrina类型，它总共有20个图像。数据集收集方法与POLLEN73S数据集使用的方法相同。为了提供公平的比较，我们在整个实验中使用了数据集提供者所使用的10倍交叉验证。图6示出了数据集的样本图像。3.1.3. 科隆花粉数据集蒙古花粉数据集（CPD）（Tsiknakis等人，2022年）在希腊克里特岛地区收集。数据收集时间为2019年4月至2021年4月。总共从20种不同的植物中获得了4034个花粉粒图像。该数据集包含来自不同花粉粒类型的各种图像数据提供者使用10倍交叉验证进行实验。为了提供一个公平的比较，我们还采用了10倍交叉验证的实验。图7显示了来自该数据集的样本。对于实验，硬件包括Core-i7-7700，3.60 GHz 英 特 尔 ® 中 央 处 理 器 ， 24 GB 随 机 存 取 内 存 ， NVIDIAGeForce GTX 1070 （ 2022 ） 8 GB 内 存 。 为 了 实 现 ， 使 用 了TensorFlow 2.8.0（TensorFlow，2022）。3.2. 数据增强训练数据的质量、数量和多样性会影响深度学习模型的性能。不足和低质量的训练数据导致低性能和缺乏泛化能力。进行数据扩充是为了处理数据不足和低质量的问题。在数据增强中，采用一组技术来人为地扩大数据量并增加数据的变化（Haider等人，2022年a）。Tellez等人（2019）断言，数据增强通常对深度学习网络性能起着关键作用。这可以帮助提高模型的性能并避免昂贵的染色标准化程序。在这项研究中，使用了五种不同的数据增强技术：模糊、锐化、直方图均衡化、雾度降低和噪声添加，以及翻转（水平或垂直），如图8所示。在所有三个数据集中，训练数据增加了五倍，这足以进行有效的训练。Dataset-1（POLLEN 73 S）包括2523个花粉粒图像，分为73个花粉粒类型。对于每个折叠实验，将数据分为训练集和测试集。训练集T. Mahmood，J.Choi和K.R.公园沙特国王大学学报747表2建议的APFA网络层的细节与一些参数。模块层数滤波器数量输出尺寸（W× H× C）参数数量输入块输入转换块-1 S-Conv-1_116 224×224×16 91S-Conv-1_2 139添加-1BN-1Block-2S-Conv-2_132 224× 224×32 688S-Conv-2_2 944Add-2BN-2Concat-1 C-1（Block 1 2）Avg. 池-1平均值样本池-1SE-Block-1G. Avg. 合并液-1-无× 480密集-1激活密集-2乘Block-3S-Conv-3_164 112× 112×64 3568S-Conv-3_2 4336Add-3BN-3Block-4S-Conv-4_1128 112× 112× 128 8，896S-Conv-4_2Add-4BN-4Concat-2 C-2（Block 3 4）Concat-3 Concat-3（SE Block-1 C-2）Avg. 池-3平均值合并液-3（Concat-3）- 56 × 56 × 2400Block-5S-Conv-5_1128 56× 56× 128 33，008S-Conv-5_2加-5BN-5Block-6S-Conv-6_1256 56× 56× 256 34，176S-Conv-6_2Add-6BN-6Concat-4Concat-4（Block 5 6）Avg. 池-4平均值池-4SE-Block-2G. Avg. 池-2-无× 3840密集-3激活密集-4乘Block-7S-Conv-7_1512 28× 28× 512 200，576S-Conv-7_2Add-7BN-7Block-8S-Conv-8_11024 28× 28× 1024 529920S-Conv-8_2加-8BN-8Concat-5Concat-5（Block 7 8）Concat-6Concat-6（Concat-5 SE-Block-2）Avg. 池-5平均值池-5（平均值池-3）Concat-7 Concat-7（Concat-6平均值）池-5）Avg. 池-6平均值合并液-6（Concat-7）- 7 × 7 × 21600全球平均汇总差距输出丢弃层分类仅增。训练时，除Gomophrena sp.和Zea mays分别有8个和24个图像外，每个类都有28个图像。总共，单个折叠包含2018个原始数据样本和505个保持测试数据样本。对于Gomophrena sp.，对薇甘菊、玉米类的训练图像进行锐化和水平翻转，得到26幅额外图像，训练图像总数为2044幅。然后将这2044张图像增强5次，在训练集中总共生成12,264张图像。在模型训练期间随机选择20%的验证数据。数据集-1的训练、验证和测试数据中的图像数量分别为9812、2452和505，如表3所示。Dataset-2（POLLEN 23 E）有805张图像，分为23种花粉类型。对于实验，首先分离训练和测试分割，其中每个类别具有32个训练图像，除了Anadenan-thera colubrina，其具有18个训练图像和2个测试图像。对于Anadenanthera colubrina，通过锐化和垂直翻转生成14个额外的图像。训练数据总共包含736张图像，而测试数据每折叠包含68张图像。然后，训练数据被增强了五次，每个类生成192张图像，训练中总共生成4416张图像集在模型训练期间，从训练集中分离20%的数据用于验证。对于数据集-2的单次实验，训练集、验证集和测试集分别具有3532、884和68个图像，如表3所示。T. Mahmood，J.Choi和K.R.公园沙特国王大学学报748图五. POLLEN73S数据集的示例图像。（1）Acrocomia aculeata，（2）Anadenanthera colubrina，（3）Arachis sp.，（4）大花石楠，（5）佛罗里达矮杆蕨，（6）草地石楠，（7）澳洲假马齿苋，（8）橡胶木，（9）厚穗云实，（10）巴西核果，（11）厚穗天葵，（12）美丽木棉，（13）光叶色漆，（14）野青藤，（15）刺青藤，（16）变色Combretum discolor，（17）紫堇，（18）尾叶Cosmoscaudatus，（19）巴豆urucurana，（20）Dianella tasmanica，（21）Dipteryx alata，（22）Doliocarpus dentatus，（23）Erythrina mulungu，（24）Eucalyptus sp.，（25）Faramea sp.，（26）Genipa americana，（27）Gomphrena sp.，（28）榆叶瓜豆（Guazuma ulmifolia），（29）山荷（Hortia oreadica），（30）灰藓（Hyptis sp.），（31）女贞，（32）叉枝Luehea divaricata，（33）Mabea fistulifera，（34）Machaerium（35）洋玉兰（Magnolia champaca）、（36）木薯（Manihot esculenta）、（37）圭亚那马泰巴（Matayba guianensis）、（38）曲叶树（Eflexuosa）、（39）含羞草（Mimosa ditans）、（40）紫花含羞草（Mimosa pigra）、（41）丝蕊木（Mitostemma（43）Myrcia guianensis，（44）Ochroma puridae，（45）Ouratea hexasperma，（46）Pachira aquatica，（47）Passiflora gibertii，（48）（49）细叶泡绵（Paullinia spicata），（50）禾本科（Poaceae sp.），（51）七叶原藓（Protium heptaphyllum），（52）多花角藓（Qualea multiflora），（53）蓖麻（Ricinus communis），（54）黑木（Schinus terebinthifolius），（55）Schizolobium parahyba，（56）Senegalia plumosa，（57）Serjania erecta，（58）Serjania hebecarpa，（59）Serjania laruotteana，（60）Serjania sp.，（61）西葫芦，T. Mahmood，J.Choi和K.R.公园沙特国王大学学报749（62）茄属sisymbriifolium，（63）Syagrus romanzoffiana，（64）Symplocos nitens，（65）Tabebuia chrysotricha，（66）Tabebuia roseoalba，（67）Tapirira guianensis，（68）Tradescantia pallida，(69)小花山黄麻（Trema micrantha）、（70）金雀花（Trembleya phlogiformis）、（71）匍匐赤霉病菌（Tridax procumbens）、（72）异枝山黄麻（Vochysia divergens）和（73）玉米（Zea mays）。T. Mah