农业中的苹果农药残留的机器视觉检测与深度学习网络研究

农业中的人工智能1（2019）1融合机器视觉技术和AlexNet-CNN深度学习网络的苹果采后农药残留检测江波a，b，c，何金荣b，c，d，杨淑琴a，b，c，付宏飞e，李彤a，b，c，宋怀波a，b，c，何东建a，b，ca西北农林科技大学机械与电子工程学院，陕西杨凌712100b农业农村部农业物联网重点实验室，陕西杨凌712100c农业信息感知与智能服务重点实验室，陕西杨凌712100d西北农林科技大学信息工程学院，陕西杨凌712100西北农林科技大学食品科学与工程学院，陕西杨凌712100a r t i c l e i n f o文章历史记录：收到2018年2019年1月27日收到修订版2019年2月4日接受在线预订2019年3月14日保留字：农药残留检测苹果高光谱CNN网络KNNSVMa b s t r a c t农药残留是影响食品安全的重要因素 为了实现苹果农药残留的有效检测，采用基于机器视觉的分割算法和高光谱技术对苹果图像进行前景和背景区域的分割。 通过计算圆度值并提取连通区域中圆度值最高的区域，为苹果创建感兴趣区域（ROI）掩模。以100 ppm的相同浓度使用4种农药（毒死蜱、多菌灵和2种混合农药）和1种非活性对照（对照组除外），通过获得ROI掩模中不同类型农药残留， 为了增加样本的多样性并扩展数据集，将具有不同信噪比的高斯白噪声添加到苹果的每个高光谱图像中。样本数量从4类12个样本增加到4类72个样本，每个类别提供4608个高光谱数据图像 通过理论分析和实验验证，确定了卷积神经网络（CNN）的结构和参数。 将提取的苹果高光谱图像归一化为227 × 227 × 3像素，作为CNN网络的输入，进行农药残留检测。共收集了72个样本的四类样本数据18,432个其中，使用自举抽样方法选择12，288张图像作为训练集，6144张图像作为测试集，没有重叠。 测试结果表明，当训练epoch数为10时，测试集的检测准确率为99.09%，单波段平均图像的检测准确率为95.35%。 与传统的k-最近邻（KNN）和支持向量机分类算法的比较表明，KNN的检测准确率为43.75%，平均时间为0.7645 s。结果表明，该方法是一种小样本、非接触、快速、有效和低成本的技术，可用于采后苹果中农药残留的检测© 2019作者出版社：Elsevier B.V.代表科爱通信有限公司公司这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 我不知道根据联合国粮食及农业组织2013年的统计数据苹果产量居世界第二位（Czernyszewicz，2016）。虽然农药可以增加苹果的产量，但它们也增加了食品安全的风险（Jiyun等人，2014年）。苹果中的农药残留是影响其安全性的最重要因素之一（Liang和Xie，2017; Jia等人，2017年）的报告。苹果中的农药残留问题已经引起了人们的高度重视，有效的农药残留检测方法是制约苹果农药残留*通讯作者：西北农林科技大学机械与电子工程学院，陕西杨凌712100。电子邮件地址：songhuaibo@nwsuaf.edu.cn（H. Song）.提高农药检测信息化水平在果蔬农药残留检测的前期研究中，研究者们进行了大量的研究，提出了多种有效的检测方法。针对苹果中农药残留成分和种类的不同，Zhou（Wei，2017）提出了一种检测苹果汁中农药残留的方法，涉及浊点萃取、气相色谱和质谱，可实现45种有机磷农药的分离该方法能准确检测出苹果中农药残留信息并进行分类。但该方法存在检测失真、操作复杂等缺点，不适合大规模检测苹果中的农药残留。Lei（Peng等人，2014年）提出使用多光谱荧光https://doi.org/10.1016/j.aiia.2019.02.0012589-7217/© 2019作者。出版社：Elsevier B.V.代表科爱通信有限公司公司这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表农业中的人工智能期刊主页：http://www.keaipublishing.com/en/j ournals/artificial-intelligence-in-agriculture/2B. Jiang等人 /农业人工智能1（2019）1 - 8利用图像技术检测农药残留，发现在190-300 nm紫外光激发下，含有有机磷农药的水果在440 nm附近产生显著的荧光但该方法需要预先确定实验参数，实验结果不稳定。Zhu等人（2017）提出了一种激光检测苹果中农药残留的方法。 根据已建立的各类农药残留的荧光数据，建立了利用光谱数据分析判断苹果中农药残留的经验公式。然而，该方法的真阳性率低，时间成本高，检测速度慢。Liu（Yande等人， 2017）提出了使用表面增强拉曼光谱法检测脐橙中的亚胺培南农药残留。该方法的相关系数这种方法检测精度高，但运行成本也高。Li（Zengfang等人， 2016）提出了一种基于高光谱成像技术的赣南脐橙表面农药残留检测方法，通过提取特征波段进行主成分分析，实现农残无损检测。 Zhang和Li（2018）提出了一种用于高光谱透射成像的全收敛神经网络，用于分割蓝莓瘀伤和蓝莓芽。Wang等人（2018）应用具有深度学习架构的高光谱透射率数据， 以 准确 快 速地 检 测蓝 莓 内部 的 机 械损 伤 。 Jiang 等 人（2016）利用近红外高光谱成像技术检测桑叶中的农药残留。采用连续投影法和逐步回归法对桑叶高光谱检测精度高，但算法复杂度也很高.因此我们提出了一种小样本、非接触、低成本、建立了高光谱条件下快速、高效、无损检测苹果农药残留的方法。 利用高光谱技术样本波段多的特点，提出了一种基于机器视觉技术和神经网络的苹果高光谱农药残留检测方法。在采集高光谱苹果农药残留图像的基础上，对苹果高光谱图像进行分析，提取与农药残留类型相对应的掩模图像CNN网络的结构和参数基于AlexNet框架，针对苹果高光谱图像的特点，设计了基于利用提取的高光谱图像对网络进行训练和性能测试，最终实现了苹果农药残留的快速有效无损检测2. MATERIALS和METHODS2.1. 材料富士苹果采后样品于2016年6月从杨凌苹果农业示范站采集使用高光谱仪器（卓立汉光ZOLIX型号的HyperSIS-VNIR-PFH），如图所示。1.一、分别采集了毒死蜱、菌丝体、毒死蜱与多菌灵混合农药和对照农药的高光谱数据光谱波长范围为865.11共12个样本，每个样本包含256个波段的高光谱数据。四种农药残留的数据样本被标记为A（毒死蜱）、AB（两种混合农药）、B（多菌灵）和K（无效对照）。每种农药残留物包含三种不同的数据样本，每种样本包含256个光谱数据波段，每种农药残留物总共提供768个光谱数据图像。为了增加样本的多样性，对每种农药残留的苹果高光谱图像分别加入信噪比为1、2、3、4和5 dB的高斯白噪声这将样本数量从四个类别中的12个增加到四个类别中的72个，每个类别中有4608个光谱数据图像采用自举抽样方法，将样本集随机分为训练集和测试集。训练集样本包含66.7%的数据，有48个训练样本，即每种农药残留样本12个样本测试集样本占数据的33.3%，样本数为24个，共得到48个训练样本，即每种农药残留样本6个训练样本集和测试样本集之间没有重叠后续训练和测试处理平台的处理器为3.4 GHz的Inter Core i5-7200M，内存16 GB，硬盘500 GB，算法的开发平台为MATLAB 2016 b。当获得高光谱图像时，图1.一、超光谱成像系统。B. Jiang等人 /农业人工智能1（2019）1 - 83¼N图二、提出了一种新的算法。苹果区域被固定在图像的中心，这意味着可以通过提取苹果位置的ROI信息来消除无效图像区域根据等式圆度值最大的连通区域为苹果ROI区域，如图所示。 4 d.2.2. 基于机器视觉技术的苹果图像高光谱预处理R4πSC2ð1Þ图2显示了算法的流程图。2.2.1. 苹果的投资回报率定位Otsu分割算法使用自动选择的最佳阈值来将原始图像划分为前景和背景（Kwong等人，2018年）。图3a示出了具有特定波段的苹果的高光谱图像，以及图3b示出了高光谱灰度直方图。从图中可以看出。 3、苹果的高光谱图像是一个多峰图像，其中每个峰的子峰是不同的，即它们是相对独立的。因此，该多峰图像被认为是多个单峰的线性叠加利用Otsu分割算法对高光谱图像进行处理，得到苹果的粗略像素区域，并对得到的二值图像进行形态学运算，消除非感兴趣区域干扰，分割出苹果的最终感兴趣区域。所获得的Otsu分割图像如图所示。图4a是像素填充，以提供二进制填充，如图所示。 4 b，并且单独计算每个白色像素块的像素面积值。对小于最大区域的0.05倍的其他像素区域进行滤波以获得图4c中的图像。然后计算每个连通区域的圆度（0≤RN≤其中S是连接域中像素块的面积，C是连接域中像素块的周长，单位是像素，并且RN表示连接域中像素块的圆度。2.2.2. 苹果ROI的提取所获得的ROI位置图像被用作用于提取其他带的掩模M（x，y），并且根据等式（1）计算剩余带的ROI（二）、fROI=x;yROI=x其中，FROI（x，y）是从频带中提取的ROI图像，并且F（x，y）是剩余频带的高光谱图像如图5、将苹果ROI掩模与剩余条带图像进行数学运算，得到剩余条带苹果ROI，为CNN进行特征提取奠定基础。2.2.3. CNN网络的建设CNN是深度学习模型中使用的一种深度网络与传统的神经网络模型相比，CNN具有更少的图3. 苹果高光谱图像及其直方图。（a）苹果高光谱图像（b）苹果高光谱图像直方图（x轴表示像素值出现的频率，y轴表示像素值的数量4B. Jiang等人 /农业人工智能1（2019）1 - 8图四、 获取苹果ROI区域的二进制图像。（a）Otsu分割结果。（b）图像填充。（c）过滤较小的像素块。（d）提取具有最大圆度的像素块参数和更强的表达能力，并且可以从复杂的光谱数据中自动提取有效的特征结构（Lawrence等人， 1997年）。AlexNet是一种具有相对较浅网络结构的CNN网络，能够从图像中提取丰富的特征（Yuan和Zhang，2016）。每个苹果农药残留的高光谱数据被用作一个类别或模型。苹果农药残留检测需要对未知农药残留种类进行匹配和预测。苹果中农药残留的等级数量样本被用作匹配类别或识别模式的数量。四类样本共包含18，432个光谱数据图像。CNN需要快速的训练时间，相对较浅的网络结构，以及从光谱数据中有效提取特征信息，而AlexNet网络架构满足这些条件。在分析苹果农药残留高光谱数据特征的基础上，构建了适用于苹果农药残留检测的AlexNet CNN框架。图五、用掩模获得剩余的带状苹果ROI图像。B. Jiang等人 /农业人工智能1（2019）1 - 85图第六章CNN网络结构在这项研究中提出。2.3. 传统机器学习本研究涉及的苹果农药残留高光谱数据的分类是一个典型的图像分类问题，基于不同苹果农药残留类型的高光谱数据图，将同一目标对象所反映的特定特征划分为一类。在这项研究中，为了确保尽可能多的细节输入到高光谱数据地图，农业残留物高光谱数据的图像大小被归一化为227× 227× 3像素。由于没有遇到苹果在高光谱图像中的位置变形等问题，因此在这项工作中使用了五个卷积层和三个全连接层的框架。此外，还采用了三层最大池化层来提高网络对不同类型苹果农药残留高光谱数据图像特征信息的利用率。当池化时，前一层的输出矩阵基于池化层的超参数被最大化，并且池化层没有权重或偏移值。利用Softmax函数实现信息匹配在这项研究中，有四种不同的苹果农药残留，因此Softmax包含四个感知器。使用生物学上相似的ReLu激活函数作为激活函数。 与S形函数相比，它具有三个主要优点：（i）单侧抑制;（ii）相对宽的阈值激发边界;以及（iii）稀疏激活（Glorot等人， 2012年）。最后，图1所示的CNN的网络结构。6被选入本研究。图中的蓝色箭头。 6表示卷积过程，浅蓝色表示卷积后的输出;黄色箭头表示最大池化过程，较淡的黄色表示最大池化后的输出;紫色箭头表示提取的特征值完全连接的过程。浅绿色表示使用上述网络提取的每个特征，红色表示Softmax分类器，其中包含四个感知器。使用的具体参数如表1所示。为了进一步比较的优势和劣势，用于AlexNet架构的CNN与传统图像分类方法，我们将这种方法与两种常见的图像分类方法SVM（Hearst等人，2002）和KNN（Cost和Salzberg，1993）。本文首先从高光谱数据提取亮度特征作为图像分类的基础，然后分别采用支持向量机和KNN分类器对数据中的苹果支持向量机图像分类方法在特征空间中为不同苹果农药残留的高光谱数据样本提供了一个超平面利用该超平面对高光谱数据图像的亮度特征进行了分类，即：这是高光谱图像的分类。 KNN图像分类方法可以基于距离度量给出苹果农药残留高光谱中亮度特征之间的相似性，即相似性高的亮度特征表明农药残留类型的高光谱数据图像很可能是某个物种。对比实验中使用的两种算法的关键参数如表2所示。3. 结果和讨论3.1. 分类结果和分析CNN使用12，288个高光谱数据地图样本的训练集以及最小损失函数和网络参数表1卷积神经网络中每层的参数图层名称大小Number步幅填充Conv111 × 119640Maxpooling13 × 3120Conv25 × 525640最大池23 × 3120Conv33 × 338440Conv43 × 338440Conv55 × 525640Maxpooling33 × 31206B. Jiang等人 /农业人工智能1（2019）1 - 8表2SVM和KNN方法的关键参数值SVMKNN参数值参数值Num. class成本函数类设计4平方函数一对多Num.类成本函数距离度量4平方函数欧氏距离表3CNN的检测率和效率网络名称检测率/%经过时间/s单个图像测试集单个图像测试集CNN95.3599.090.08468.0691使用小批量梯度下降（MBGD）获得（Li等人， 2017年）的报告。本研究中CNN使用的初始参数如下：时间衰减：0.0005;动量参数：0.9;批量大小：32;一个epoch：384次迭代; epoch数：10。 在第十次训练迭代后，使用6144幅高光谱数据图像的样本集对网络进行了验证。结果示于表3中。从表中可以看出，这里构建的CNN可以检测单个苹果农药残留的高光谱图像和苹果农药残留的高光谱检测图谱，准确率分别为90.55%和99.11%所需的平均时间也足够低，以满足实时检测的要求。在测试集中的6144幅苹果农药残留高光谱数据图像中，0.91%的图像被错误检测（56幅图像）。 图 7表示发生了检测误差的B类（波长1545.71 nm）的样品号42和K类（波长1545.71 nm）的样品号60。在改变图像的大小和最大池化之后，图像细节丢失，使得构造的网络难以区分相似的图像。因此，当两幅高光谱图像处于同一波段且外观相似时，网络将产生检测误差。为了进一步提高同一波段内外观相似的苹果高光谱图像的检测精度，可以增加卷积核中的特定特征的数量，即，增加了高光谱图像中苹果的个体特征信息，以确保同一波段中相似苹果之间存在较大差异。3.2. 特性图图图8示出了通过卷积层和最大池化获得的苹果的高光谱图像的对应特征图像结果。CNN中的层 由于图像在输入之前被归一化，因此获得的每个特征图像矩阵的数值分布区间为[0，1]（Vahadane等人， 2016; Garain等人，2018; Zanjani例如， 2018年）。通过比较图1中的输入图像，8用从b-卷积层得到的图像，我们可以看到，b-卷积层中的96个卷积核提取了输入图像的轮廓、亮暗像素区域等图像特征。由于得到的图像特征具有平滑效果，因此可以认为输入图像已经通过卷积核滤波了96次，每次卷积运算都可以提高网络的抗干扰能力。c最大池化层用于放大b卷积层得到的图像特征，f省略层包括3个卷积层和2个最大池化层，g全连通层连接所有提取的图像特征。该方法可以减少求解参数，提取图像的主要3.3. 与传统机器学习中的图像分类方法的比较将CNN的训练集和测试集分别作为传统图像分类过程中SVM和KNN分类算法的训练集和测试集，比较了这3种算法的性能高光谱图像检测苹果中农药残留的准确度和时间成本值见表4。在KNN和SVM分类算法中，分类是基于高光谱图像亮度特征中的信息由于使用的是高光谱数据图像，同一波段的图像亮度信息非常相似。 欧几里得距离（Mesquita等人， 2017），用于计算每幅图像的亮度特征信息也非常接近，因此用于高光谱苹果农药残留检测的正确率低达43. 75%，耗时0.7645 s。支持向量机利用其非线性映射特性，将高光谱图像亮度特征空间划分为最优超平面，最大化分类边界，分类检测精度高于KNN。综上所述，使用AlexNet框架的CNN具有强大的抗干扰能力，检测过程的时间成本较低;同时，对图像亮度特性也具有较高的鲁棒性。4. Conclusion(1) 在这项研究中，构建了一个基于AlexNet的CNN 对6144幅4种高光谱苹果农药残留图像 的检 测结 果 表明，图第七章高光谱图像的十字交叉检测。（a）B浓度样品编号42（λ= 1545.71 nm）。（b）钾浓度样品编号60（λ= 1545.71 nm）。B. Jiang等人 /农业人工智能1（2019）1 - 87图八、CNN的每一层（部分）的结果。（a）输入层。（b）卷积层（部分连接）。（c）最大池化层（d）卷积层（部分连接）。（e）最大池化层。(f)忽略图层。（g）全连接层。单波段图像为95.35%，测试集的真阳性检出率为99.09%。测试样本和训练样本之间没有重叠，这表明该网络具有很强的泛化能力。(2) 采用Otsu分割算法对高光谱图像中含有感兴趣区域的苹果二值图像进行检测通过对二值图像的圆度分析，可以得到苹果感兴趣区域的有效掩模，消除无效区域。(3) 与SVM和KNN方法相比，CNN具有时间开销小、鲁棒性高的优点。然而，当两幅高光谱图像在同一波段并且具有相似的外观时，网络容易出现检测错误。在今后的研究中，可以增加卷积核的特定特征参数数目，作为网络分类的基础，以提高网络对同一波段苹果相似高光谱图像的特征提取能力，进一步提高农药残留检测的准确性。致谢国家自然科学基金（批准号：20000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 杨 凌 示 范 区 科 技 计 划 项 目 （ 批 准 号 ：31501228）2016NY-31）。与此相关的信息和数据本文不涉及人类或动物受试者的任何研究。表4图像分类方法和CNN的比较算法承认率/%时间/秒KNN43.750.7645SVM74.3411.2301CNNs99.090.0846联系我们江波声明他没有利益冲突何金荣澄清说他没有利益冲突付宏飞声明他没有利益冲突佟力声明他没有利益冲突。宋怀波声明他没有利益冲突何东健声明其并无利益冲突赵云声明她没有利益冲突。知情同意不适用因引用成本，S，Salzberg，1993年。一种用于符号特征学习的加权最近邻算法。马赫学习. 10（1），57-78.Czernyszewicz，E.，2016年。波兰、欧洲和全球苹果生产和消费的长期趋势。科学学报Pol.15（3），95-10 4.Garain，J.，Kumar，R.K.，Kumar，D.，Kisku，D.R.，2018年用于人脸对匹配的图像特异性跨群组归一化。程序计算Sci. 132，1060-1067。Glorot，X.，Bordes，A.，本焦，Y.，2012年。 深度稀疏矩形神经网络。 国际会议上的人工智能和统计，页。 315-32 3.赫斯特，文学硕士，Dumais，S.T.，Osuna，E.，Platt，J.，2002年。 支持向量机IEEE接口13（4），18Jia，Song，Lihua，Song，Yue，Chen，Jianhui，Zhang，Wu，Hao，2017. 清洗方法对果蔬农药残留去除效果的影响。 Food Res Dev 38（20），160-16 4.江，S.，孙，J.，Xin，Z.，Mao，H.，Wu，X.，中国农业科学院，2016年。基于近红外高光谱成像技术的桑叶农药残留分布可视化研究。食品加工工程杂志40（4）。Jiyun ， Nie ， Zhixia ， Li ， Chuande ， Liu ， Jinbao ， Fang ， Wang ， Cheng ， Guo ，Yongze，Shaorong，Lei，Haifei，Li，Xu，Guofeng，2014.苹果中农药残留的风险评估。Sci. 农业罪。47（18），3655-3667。邝世文，Gao，H.，Pun，C.M.，2018. 改进人工蜂群算法及其在金相图像分割中的应用。IEEE Trans. Ind. Inf. 99，1.劳伦斯，S.，Giles，C.L.，Tennis，A.C.，一九九七年。 人脸识别：卷积神经网络方法。IEEE跨神经网络8（1），98-113。李杰，Li，X.，赵，L.，2017. 通过投影小批量梯度下降的高光谱解混。IEEE国际地球科学和遥感研讨会，pp。1133-1136。Liang，Ke，Xie，Junping，2017.快速检测技术的现状与突破水果和蔬菜中的农药残留。中国食品安全Mag.31，32-33. 梅斯基塔民主党Gomes，JP，朱尼尔，A.H. S2017年。Euclidean距离估计完整的数据集神经计算248，11-18。Peng，Lei，Lv，Shaobo，Li，Ye，2014. 农药残留检测的多光谱荧光成像技术。下巴J.卢明。35（6），748-753。8B. Jiang等人 /农业人工智能1（2019）1 - 8Vahadane，A.，彭，T.，Sethi，A.，2016年。用于组织学图像的结构保持颜色归一化和稀疏染色分离。IEEE Trans.Med. Imaging 35（8），1962-1971. 王志，胡，M.，Zhai，G.，2018年 深度学习架构在蓝莓内部机械损伤高光谱准确快速检测中的应用透射率数据。传感器18（4），1126.Wei，Zhou，2017. 浊点萃取-气相色谱-质谱法测定苹果酒中的有机磷农药。Sci. Technol.食品工业23，225-23 1.Yande，Liu，Xie，Qinghua，Wang，Haiyang，Ma，Kuirong，2017. 基于表面增强拉曼光谱的脐橙中杀虫单残留定量研究。Laser Technol.41（4），545Yuan，Z.W.，张杰，2016年。基于AlexNet 的特征提取与图像检索。第八届国际数字图像会议（100330E）。Zanjani，F.G.，Zinger，S.，Bejnordi，B.E.，拉克，2018年。使用生成对抗网络对组织病理学图像进行染色归一化。 IEEE生物医学成像国际研讨会，页。 573- 577Zengfang，Li，Bingquan，Chu，Hailiang，Zhang，He，Yong，Xuemei，Liu，2016.赣南脐橙农药残留的高光谱成像无损检测研究。光谱分析幽灵Anal. 36（12），4034-4038。张，M.，Li，C.，2018年 全卷积网络蓝莓瘀伤和花萼分割使用高光谱透射成像。2018ASABE年度国际会议。美国农业和生物工程师协会，p.1.一、Zhu，Wenxiu，Wei，Zhuang，Jianzhong，Liu，Yunqi，Tang，2017. 苹果农药残留的激光检测。Sci. Technol.Inf.15（15），116- 117.