自然光下田间棉花收获机器人图像处理算法 对印度棉花收获提供新思路

农业中的人工智能5（2021）142自然光照条件下田间棉铃检测的图像处理算法Naseeb Singha，V.K.蒂瓦里角Biswasb，C.M.Pareeka，L.K.德鲁瓦河a农业和食品工程系，IIT Kharagpur，Kharagpur 721 302，印度b电子和电气通信工程系，IIT Kharagpur，Kharagpur 721 302，印度a r t i c l e i nf o文章历史记录：收到2021年4月19日收到修订版，2021年7月5日接受，2021年在线预订2021年7月10日保留字：棉花识别图像分割颜色模型彩色阈值a b s t r a c t在发展中国家，棉花收获作业目前是人工进行由于该任务的单调性质和涉及相当大量的劳动力，该操作变得非常乏味和昂贵。该采摘机器人可以作为棉花田间选择性采摘的一种很好的选择本研究旨在开发自然光照条件下棉花收获机器人田间棉铃检测的图像处理算法提出了色差法、波段比法、YCbCr法和色差法4种图像处理算法，用于自然光照条件下棉铃的实时分割。实验结果表明，色差法的图像处理性能优于其他算法。色差法的识别率最高，为91.05%，假阳性率和假阴性率分别为6.99%和4.88%。色差法的最高灵敏度和特异度分别为81.31%和97.53%总的来说，色差方法在自然光照条件下表现出非常好的田间棉铃检测性能，这证实了其在机器人棉花收割机上的适用性。版权所有© 2021作者。出版社：Elsevier B.V.我代表科爱通信公司，公司这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 我不想让你失望棉花是天然纤维的主要来源，在印度是重要的经济作物（Konduru等人， 2013），其收获是单调的任务并且目前手动执行。印度棉花收获的机械化水平为零（Mehta et al.， 2019年），同时，随着农业工人占总工人的百分比从1991年的59.1%下降到2011年的54.6%，预计到2020年将达到40.6%，劳动力成本正在增加（Mehta等人， 2019年）。 由于人工采摘繁琐且成本高，因此人类工人可以由收割机器人代替，这可以降低收割成本（Are fi等人，2011年）。因此，收获机器人可以是选择性采摘棉铃的一个很好的选择在过去，许多研究人员已经研究了机器人水果收获;例如，番茄收获（Kondo等人，1996，2010; Lee等人， 1999; Monta等人， 1998; Yabo等人， 2016年; Zhao等人， 2016b）、秸秆浆果收获（Han等人，2012; Hayashi等人， 2010; Xiong等人， 2019; Yamamoto等人，2010）、黄瓜收获（Henten等人，2009，2006，2003，2002），苹果收获（Baeten等人，2008; Bulanon和Kataoka，2010; De-An等人， 2011年; Li等人，20 1 6 年b;*通讯作者。电子邮件地址：naseeb501@gmail.com（N. Singh）。Nguyen等人，2013; Silwal等人，2017）、樱桃收获（Kondo等人，1996; Tanigaki 等 人 ， 2008 ） 、 甜 椒 收 获 （ Bac 等 人 ， 2016;Hemming等人， 2014）、柑橘收获（Cai等人， 2009; Edan等人，1990; Harrell 等 人 ， 1990; Mehta 和 Burks ， 2014; Wang 等 人 ，2019）、猕猴桃收获（Mu等人，2020; Scarfe等人，2009; Williams等人，2019）等。收 割 机 器 人 的 第 一 个 主 要 任 务 是 使 用 机 器 视 觉 识 别 水 果（Willigenburg等人， 2004），其中使用图像处理算法来检测使用照相机捕获的收获场景和水果的数字图像。在过去，图像处理用于杂草识别（Dammer，2016; Lee等人， 1999; Tang等人， 2016年; Zhang等人，2016; Zheng等人，2017）、植物疾病鉴定（Camargo和Smith，2009; Lu等人， 2017; Singh，2019; Singh和Misra，2017; Tewari等人， 2020）、叶面积测定（Chaudhary等人，2012; Nyakwende等人，1997年; Vázquez-Arellano等人，2018）等。在农业中，图像处理被大量的研究者用于水果识别. Bulanon等人（2002 a）在他们的研究中得出结论，在RGB模型、rg色度方法以及Lu色度和红色色差方法中，rg色度方法最适合于识别富士苹果。在另一项研究中，Bulanon等人（2002 b）通过使用亮度和红色之间的差异检测富士苹果，成功率超过88%https://doi.org/10.1016/j.aiia.2021.07.0022589-7217/© 2021作者。出版社：Elsevier B.V.我代表科爱通信公司，公司这是一篇CC BY-NC-ND许可证下的开放获取文章（http：creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表农业中的人工智能杂志主页：http://www.keaipublishing.com/en/journals/农业人工智能/N. Singh，V.K.特瓦里峰Biswas等人农业人工143命名法Ii，j（i，j）像素位置处的像素强度IR（i，j）Redchanelpixelintent e nS（i，j）在（i，j）像素位置处的饱和度V（i，j）在（i，j）像素位置处的值rRB红色和蓝色通道的比率r BG蓝色和绿色通道的比率rRG红色和绿色通道的比率T阈值CA色差TP真阳性，棉花像素分割为棉花像素TN真阴性，背景像素分割为背面地面像元FP假阳性，背景像素分割为棉花像素FN假阴性，棉花像素分割为背景像素TDC真检测棉花，棉铃分割为棉铃FDC错误检测棉花，背景被分割为棉铃MC错过的棉花，棉花棉铃分割为背景而Ji等人（2012）使用颜色特征和形状特征来检测苹果，并实现了93.3%的识别率 对于草莓的检测，Xiong et al. （2019）使用RGB颜色模型，并实现了0.72的精度和召回率值。Bachche和Oka（2013）测试了各种颜色空间模型，并通过使用HSV颜色空间模型成功检测到甜椒，识别率为84%。Zhao等人（2016 a）在他们的研究中检测到了93%的目标番茄。为了采摘橙子，Hannan等人（2010）开发了一种用于收获机器人的视觉系统，其中R/（R + G +B）特征用于柑橘的识别。Are fiet al. （2011）使用RGB、HIS和YIQ颜色空间的组合来识别成熟的番茄，准确率为96.36%。使用RGB颜色模型，Putra和Soni（2018）开发了几种植被指数来估计罗布斯塔咖啡植物的光合色素和氮临界水平，并使用他们提出的指数实现了高达0.8536的决定系数（R2对于棉花采摘机器人来说，首先要完成的任务就是对田间棉铃的识别。在自然光照条件下正确识别棉铃是机器人采棉的关键由于棉铃大小不一，形状不规则，棉花田间检测是一项具有挑战性的任务光照条件也使棉花分割更具挑战性，因为棉铃的颜色在高光照期间可能是明亮的，而在低光照期间（在傍晚或多云条件期间）可能是暗淡的，这使得棉花棉铃检测更加困难。在农业中，在变化的照明下的感兴趣区域的分割一直是一项具有挑战性的任务，因为图像可以包含阴影和亮的部分，这可以产生差的阈值结果。Putra和Soni（2020）使用消费级RGB数码相机，在不确定的自然光条件下提高了叶绿素和氮含量的测量精度。Putra和Soni（2017）令人满意地评估了植被的生物物理特性，如不同光照下的植物物候近年来，各种图像处理技术也被成功地用于检测棉铃。Jin-shuai等（2011）利用YCbCr颜色空间和Fisher判别分析对棉铃进行检测，准确率达到90.44%Li等人（2016a）使用基于区域的语义图像分割方法进行田间棉花检测，并比较他们提出的方法与其他成熟的方法。他们提出的方法产生的灵敏度，特异性和准确性分别为77.3%，99.3%和97.0%的最高性能Li等人（2020）提出了一种称为NCADA的无监督域自适应方法，用于棉铃的田间识别，并报告了86.4%的效率。Wang等人（2008）通过使用颜色减法和Freeman链编码去除噪声来正确检测85%的棉铃。使用超精细空间分辨率的无人机图像，Yeom等人（2018）以88%的准确率检测了开放的棉铃。为了提高棉花收获机器人的收获精度，有必要开发新的方法和指标，以最小的图像处理时间和最小的可能的假阳性和假阴性误差，可以识别在不同光照条件下的田间棉铃。因此，本研究的目的是开发棉花分割算法的自然光照条件下，在一个算法中的单一阈值，棉桃可以检测在上午，下午或晚上的时间与最小的错误，并评估他们的基础上图像处理时间和分割精度。 为此，除了其他现有方法之外，还引入了四种新的棉花分割方法（Jin-shuai等人， 2011年; Li等人， 2020年; Li等人，2016 a; Wang等人，2008），其可用于棉花收获机器人以识别棉铃。在分析4种颜色空间的基础上，采用RGB和YCbCr颜色空间对自然光照条件下的棉花图像进行分割，选取最佳阈值，并对分割后的二值图像进行形态学开闭运算，去除噪声从命中率、假阳性、假阴性、处理时间、灵敏度、特异性和准确性等方面对所提算法的性能进行了评价2. 方法2.1. 数据收集在本研究中，在不同的照明条件下拍摄了总共135张RGB彩色图像（640 ×480像素）（表1）。使用0.922兆像素的数码相机（LogitechWebcam C270）和膝上型计算机（8GB RAM、Intel Core i5 CPU和Windows 10操作系统）进行棉花图像采集过程，所述数码相机使用互补金属氧化物半导体（CMOS）作为图像传感器，具有4.6mm的焦距和55°的对角视场我们使用的数码相机具有固定焦距、自动曝光时间和自定义白平衡模式的配置。图像采集和图像处理在Matlab® ver.R2017（Mathworks Inc.，马萨诸塞州纳蒂克。USA）（Beale等人， 2017年）。2.2. 颜色模型分析根据棉铃的颜色特征可以很容易地检测出棉铃用于彩色图像特征分割的常用颜色空间模型包括RGB（Lurstwut和Pornpanomchai，2017;Tewari等人， 2020）、HSV（Yang等人， 2015年），L*a*b（胡表1在不同距离和照明条件下捕获的图像数量时间，hAvg.勒克斯勒克斯距离，mm图像数量8：00-11：0048,003500–70015700–90015900–15001511：00-15：0067,040500–70015700–90015900–15001515：00-17：0051,200500–70015700–90015900–150015N. Singh，V.K.特瓦里峰Biswas等人农业人工144小埃吉鲁吉我的天，我的天小埃吉鲁吉我的天，我的天我的天Ri，jGi，jBi，jmx−mnð ÞðÞð Þð Þ−mn吉吉鲁吉Bi，jC例如， 2015; Zhao等人，2016 a）和YCbCr（Jin-shuai et al.，2011）彩色模型。选择合适的颜色空间模型是非常关键的为了从给定颜色成功检测特定对象mx最大值I，I II我分钟我，我0B60×。I−I> 最大我，I1C因此，自然光照下的图像分割的挑战未解决的问题因此，在本研究中，四色Hi，jB180×. IB i，j−IRi，ji> 最大我，ICð3ÞMX公司简介空间模型，即，RGB、归一化RGB（sRGB）、HSV和YCbCr分别为三百倍。IR i，j−IGi，j i> 最大我，我...分析确定适合大田棉花的颜色空间模型在自然光照条件下进行棉铃分割。最初ð Þmx−mnBi，j鲁吉吉吉捕获的RGB图像被转换成不同的颜色空间，的Eqs。（1）然后对棉铃、茎、叶的颜色通道进行了分析MX图像. 过去，各种研究人员已经针对各种农业应用实现了不同的颜色空间模型（Bachche和Oka，2013年; Hamuda等人， 2017; Tewari等人， 2020年）。在这些研究中，图像处理不是在自然照明条件下进行的BN. Singh，V.K.特瓦里峰Biswas等人农业人工145提取每个颜色空间模型的叶子，并绘制为分析箱形图如图所示。1.一、 从图 1、可以观察到棉铃颜色成分相对较明显，在RGB的情况下，可以从茎和叶的颜色中看出，与sRGB和HSV颜色空间相比，YCbCr颜色空间模型因此，在本研究中，RGB和YCbCr颜色空间被选中用于开发图像处理算法，现场棉花检测Eqs。（1）颜色空间（Camargo和Smith，2009）。假设（I，j）存在于RGBN. Singh，V.K.特瓦里峰Biswas等人农业人工146¼ ¼ ¼þ þ ¼ð Þ颜色空间，则：Si，jhmx−mni4Vi，j½mx]5RGB颜色空间中的归一化颜色r、g和b使用等式（1）来定义（6）（Yang等人，2015），其中R、G和B是棉田图像的颜色分量。rR，gG，bB，rGb16RG BR G BR GBRGB颜色空间和YCbCr颜色空间之间的转换由等式（1）描述（7）（Shaik等人， 2015年）。N. Singh，V.K.特瓦里峰Biswas等人农业人工147图1.一、RGB、sRGB、HSV和YCbCr颜色空间模型中的棉铃、茎和叶的颜色通道。N. Singh，V.K.特瓦里峰Biswas等人农业人工148.ðÞ¼- −.ðÞ¼2Y 32032019-01 -32R32.3.2. 色分量比值法在该方法中，棉花，茎，64Cb75¼6412 87564−0：169-0：33 10：5007564G757和叶片进行了研究，以分割棉铃从背景。铬1280：500 −0： 419−0： 081B棉铃、茎和叶的颜色成分比率如等式2所示计算（9）至（11）。其中，Y<$ [16，235]，Cb<$ [16，240]，Cr<$ [16，240]。2.3. 棉铃分割算法在这项研究中，双色空间模型，即，RGB和YCbCr被选择并进一步用于开发田间棉花检测算法。过去，许多研究人员使用RGB（Bulanon等人，2002 b; Ji等人，2016; Xiang等人，2011; Xu和Ying，2004;Zhao等人， 2005）和YCbCr（Moallem等人， 2017; Sabzi等人，2020，2017）颜色空间模型，以在不同的农业应用中使用颜色阈值分割来提取感兴趣区域。共开发了四种图像处理算法，其中三种算法rRB¼R=B190rBG¼B=G1000rRG¼R=G110这些比率相对于像素的数量作图，如图所示。棉铃的rBG值与茎、叶的rBG值是分离的。因此，rBG值可进一步用于棉铃与茎、叶的分割利用rBG值分割棉铃的阈值函数由方程（1）定义。（十二）、在色差法的基础上，利用RGB颜色模型，提出了颜色分量比法和色差法，并利用RGB颜色模型，提出了一种基于色差法的彩色图像分割算法。f x，y=1，1，10，0，0如果rBG≥T如果rBGT<ð12ÞYCbCr颜色模型本文提出的棉铃检测算法的工作流程图如图所示。第九章每个棉铃检测算法的细节在以下部分中给出2.3.1. 色差法为了开发基于色差法的棉铃检测算法，首先分析了R与S的分布规律G、R与B和B与图2为棉铃、叶和茎的颜色数据的G图。二、从该图中可以观察到，B与棉铃的G值是从B与B中分离出来的叶片和茎的G值，而在R与S。G和R与B颜色值分布，棉铃值与叶片值重叠，可能导致将叶片像素误检测为棉铃像素。因此，可以利用B值和G值从背景中分割棉铃因此，通过减去其中T是rBG的阈值。2.3.3. 色差法在该方法中，首先，从原始捕获的RGB图像中提取所有光照条件下的棉铃、茎和叶的红色（R）、绿色（G）和蓝色（B）分量并绘制，如图11所示。 四、从该图中可以观察到，棉花、茎和叶的R、G和B值没有完全分离，因为叶的G和B分量与棉花颜色分量重叠。在此基础上，对R、G和B组分的各种组合进行了试验，以从茎和叶中分离棉铃。最后，色差方程（Eq.（13））最适合于棉铃的茎、叶鉴别。绿色分量与蓝色分量，即，B-G，阈值CA¼ B R Gð13Þ用（B-G）法分割棉铃的函数定义为33 Eq.（八）、f x，y<$1，1，1 <$，如果<$B-G<$≥T0，0，0<ð8Þ其中CA是色差值; R表示RGB颜色空间; G表示RGB颜色空间中的绿色分量，B表示RGB颜色空间中的蓝色分量所有光照条件下棉花、茎和叶的CA值，其使用Eq.（13）如图所示。五、从图中可以看出，其中，T是（B-G）的阈值，R、G、B是图像像素（x，y）的颜色分量值从茎和叶上可以观察到棉铃因此，棉铃可以成功地从茎和叶中分离出来图二、R的分布与G、R与B和B与棉花的铃、茎和叶。N. Singh，V.K.特瓦里峰Biswas等人农业人工149.ðÞ¼图3. 棉花、茎和叶的R/B、R/G和B/G比率。根据其CA值。用CA值划分棉铃的阈值函数定义为：（十四）、从茎和叶中分离得到因此，棉铃可以从背景中分割出使用适当的阈值的Y和Cb分量。f x，y=1，1，10，0，0如果CA≥T如果CA测试ð14Þ2.4. 阈值选择式中，T为色差阈值，f（x，y）为实现颜色阈值技术后得到的最终二值图像中像素（x，y）的值在二值图像中，白色部分（像素值为1）表示棉铃，黑色部分（像素值为0）表示背景，即，茎和叶。2.3.4. YCbCr颜色模型为了开发基于YCbCr颜色空间模型的棉铃检测算法，首先，将RGB图像转换到YCbCr颜色空间，并绘制棉铃、茎和叶的Y、Cb和Cr分量，如图1A和1B所示。 六比八 从图 6，可以观察到棉铃的Y与Cb值的分布是选择合适的阈值是正确分割输入图像和成功识别棉铃的算法非常关键。过去，许多研究人员使用各种阈值方法来从图像中分割感兴趣区域（Bulanon等人，2002b; Hamuda等人，2017年; Hu等人， 2015; Ireri等人，2019; Montalvo等人，2013; Singh，2019; Tsai和Tseng，2012;Vitzrabin和Edan，2016; Yang等人，2015年）。本研究将彩色阈值法应用于棉铃图像的分割与识别。为了使错误检测最小化，使用三个性能指标，即精确度、召回率和F1得分，找到了最佳阈值（Rodríguez等人，2020年），正式表示的方程。（15）图四、棉花、叶片和茎的RGB值分布。（RcN. Singh，V.K.特瓦里峰Biswas等人农业人工150¼ðÞ¼ðÞ图五、棉花、叶、茎色差值的分布。精密TP15公司简介召回TP16TPFFN本研究采用F1评分对于完美的精确度和召回率值，F1值应该为1。在每个提出的算法中，使用了不同的阈值，并计算了该阈值的TP，FP和FN，用于计算该特定阈值的精确度，召回率和F1得分F12×精确度×召回率以正确识别棉铃为主要目标，建立了一种新的棉铃识别算法。17精确 度和召回率ÞTP是通过算法正确预测的棉铃数FP是由该算法不正确地预测为棉铃的背景，FN是由该算法不正确地预测为背景的棉铃的数量精确度衡量的是正确分类的棉铃在全部分类为棉铃的棉铃中所占的比例，而召回率衡量的是正确分类的棉铃在实际存在的棉铃数量中所占的比例要将精确度和召回率的属性组合到然而，如果一个棉铃的70%的像素被正确地分类为棉铃像素，则在本研究中，假设该算法正确地分类了该棉铃。精确度、召回率和F1得分值是根据图1和图2中所示的阈值绘制的。10- 12精确度、召回率和F1分数曲线的交点是TP较高而FP较低的值，并被认为是最佳阈值。表2显示了本研究中使用的每种算法的最佳阈值为了将棉铃从背景（茎和叶）中分割出来，需要一个合适的CA阈值，即，T=37，选自图第六章棉花、茎和叶的Cb和Y组分的分布。N. Singh，V.K.特瓦里峰Biswas等人农业人工151图第七章棉花、茎和叶中铬和钇组分的分布。图CA>37时，棉铃与背景（茎、叶）的CA值重叠最小。2.5. 开闭形态运算在对输入彩色图像（图13（A））应用阈值化操作之后，获得每个白色像素表示棉铃的二进制图像（图13然而，这包含不属于棉花但被检测为棉花像素的小像素簇形状的噪声，并且一些棉花像素被分成几个簇，而不是一个簇。然后应用闭合形态学操作来连接紧密的聚类，使用膨胀，然后使用5 × 5像素的正方形邻域进行腐蚀（图11）。13（C））。为了去除噪声，采用了一种腐蚀开运算和邻域为5 × 5的膨胀运算像素正方形应用（图）。13（D））。由于噪声方向的随机性，本研究中使用了方形2.6. 棉铃的地面实况图像地面实况图像是其中感兴趣区域（ROI）使用与提出的方法相比更准确的方法分割的图像 Hu等人（2015）将他们提出的香蕉自动分割算法与手动分割的香蕉区域进行了比较，后者在他们的研究中充当了基础事实。Tsai和Tseng（2012）比较了他们提出的颜色检测方法与基于HSL颜色空间的传统颜色检测方法的准确性Bachche和Oka（2013）在其研究中通过手动测量深度坐标精度测试的距离获得地面实况距离数据图八、棉花、茎和叶中Cb和Cr组分的分布。N. Singh，V.K.特瓦里峰Biswas等人农业人工152¼¼¼图第九章 棉铃分割图。在本研究中，所提出的分割方法的性能评估，地面真实的棉铃图像是必要的。因此，使用Adobe Photoshop CC软件（Adobe Systems，San Jose，CA）手动分割RGB图像中的棉铃，并且对每个棉铃的像素进行计数棉花（MC）表示该算法遗漏了一个棉铃以将其识别为棉铃并将其作为背景。在此基础上，通过使用方程计算命中率、假阳性率和假阴性率。（18）2.7. 已开发算法在这项研究中，两种方法被用来评估所提出的算法的性能。在第一种方法中，对真检棉（TDC）、假检棉（FDC）和漏检棉（MC）进行真检测棉花（TDC）指示当分割图像中的对象是棉铃时将其识别为棉铃命中率TDC公司简介假阳性FDC公司简介假阴性MC公司简介ð18Þð19Þð20Þ假检测棉花（FDC）指示分割图像中的对象当它不是棉铃时被认为是棉铃错过在第二种方法中，通过使用真实检测到的棉花和背景的像素数在这图10. 精确度、召回率和F1评分值与（B-G）方法的阈值。N. Singh，V.K.特瓦里峰Biswas等人农业人工153¼¼¼图十一岁精确度、召回率和F1得分值与B/G方法的阈值。方法、灵敏度（Se）、特异性（Sp）和准确度（Ac）项用于性能评价（Omid，2011），并使用等式（1）进行计算（21）-（23）。（方程式通过将正确识别的像素的数量除以像素的总数量来找出（公式（23）为了衡量所提出的算法的有效性和鲁棒性，平均值（μ）和标准还计算了偏差（σ）灵敏度TPTPFFN专属性TNFP-100准确度TP公司简介ð21Þð22Þð23Þ3. ResultsandDiscusion以不同光照条件下采集的棉花植株RGB彩色图像为例，对所提出的棉铃检测算法进行了性能评价所提出的算法在Matlab® ver. R2017（Mathworks Inc.，马萨诸塞州纳蒂克USA）和棉铃分割结果如图所示。14个。它可以是-其中TP是由算法正确预测的棉花的像素TN是由算法正确预测的背景像素FP是被算法错误地预测为cotton像素的背景像素FN是算法误将棉花像素预测为背景像素的结果。灵敏度（Eq.（21））因此是真棉检测中算法的准确性的量度，而特异性（等式（22））是真棉检测中算法的准确性的量度（22））是真实背景检测中算法准确性的度量精度服务于所有具有500像素以上大小的棉铃都是cor，所有提出的方法都能正确识别。然而，在许多情况下，存在过分割（例如：对于（B-G）方法（第3行，第1列，和第3行，第2列），CA方法（第4行，第4列），B/G方法（第5行，第3列），YCbCr方法（第6行，第3列）和欠分割（例如：对于（B-G）方法（第3行，第6列），B/G方法（第5行，第6列，和第5行，第2列），YCbCr方法（第6行，第6列和第6行，第1列））。图12个。精确度、召回率和F1评分值与CA方法的阈值。N. Singh，V.K.特瓦里峰Biswas等人农业人工154图十三. 对二值图像进行形态学开闭运算。(A)RGB图像。(B)阈值化后的二值图像（C）形态学闭运算后的二值图像（D）形态学开运算后的二值例一些小的棉铃被遗漏，而在某些情况下，背景被错误地识别为棉花。所有这些结果均在表3、4和5中定量。表3中给出了使用所提出的算法正确检测到的棉铃与人工计数的棉铃之间的比较。在该比较中，未考虑过分割和欠分割。从表3中可以观察到，色差方法正确地识别了514个棉铃中的468个棉铃，然后是YCbCr方法，使用该方法正确地识别了461个棉铃在所有三个子类中，8：00-11：00、还在命中、假阳性和假阴性方面比较了所提出的算法的性能（表4）。可以观察到，超过86%的棉铃可以正确识别使用所提出的算法与假阳性率低于14%。最高的命中率（91.05%）实现了色差法其次是YCbCr方法（89.68%）。通过改变阈值，该方法的命中率可以进一步提高，但同时错误概率的增加。 Jin-shuaietal. （2011）使用YCbCr颜色空间实现了90.44%的准确度。在这项研究中，使用色差法实现了88.52%的准确性，而Wang等人。（2008）在他们的研究中，使用颜色减法和Freeman链编码实现了88.09%的准确性。图14个。一个棉花棉铃检测的例子，从所提出的方法在各种光照条件和各种复杂背景下拍摄的一组图像的结果。（第1行-原始RGB图像;第2行-地面实况图像;第3行-（B-G）方法;第4行- CA方法;第5行- B/G方法;第N. Singh，V.K.特瓦里峰Biswas等人农业人工155图15个。上午、下午和晚上所提出的方法的命中率比较。所提出的算法在灵敏度、特异性和准确性方面的性能在表5中给出。从表5中可以观察到，所有提出的算法分别实现了超过79%、97%和94%的灵敏度、特异性和准确度。Li等人（2016 a）使用基于区域的语义图像分割方法检测棉花，并在前向图像上分别实现了77.3%，99.3%和97.0%的灵敏度，特异性和准确性值，而在本研究中，发现色差的性能高于本研究中提出的其他方法，灵敏度，特异性和准确性值分别为88.69%，97.53%和95.79%所提出的算法的性能进行了评估，在上午，下午和晚上的时间。为此，针对早晨时间捕获总共60个图像（具有如表1中所示的相同设置），并且形成12个组（每个组具有5个随机选择的图像）;并且比较命中率、假阳性和假阴性。使用所提出的算法对每组图像进行计数对下午和晚上的图像重复相同的过程所提出的方法在上午、下午和晚上的命中率如图所示。 15个。从该图中可以看出，色差法在正确检测棉铃方面优于其他提出图16显示了上午、下午和晚上的假阳性率。从该图中可以观察到，对于所有提出的算法，与晚上和早上的时间相比，下午的假阳性率更高。这是因为在下午期间的高光照，并且由于来自茎和叶的光的反射，这些被算法认为是棉铃。 由于叶片对光线的反射而导致的假阳性检测的例子如图所示。 十七岁 图图17（A）和（B）分别示出了RGB和YCbCr颜色模型中的棉花植物图像，图17（C）和（D）示出了使用YCbCr和CA方法获得的分割图像图十六岁上午、下午和晚上拟议方法的假阳性率比较。N. Singh，V.K.特瓦里峰Biswas等人农业人工156图十七岁 由于叶片对光的反射而导致的假阳性检测。图十八岁上午、下午和晚上拟定方法的假阴性率比较。表2为所提出的方法选择最佳阈值方法最佳阈值色差法，B-G 20波段比法，B/G 0.90色差方法37YCbCr颜色空间方法Cb=150; Y=145分别上午、下午和晚上的假阴性率见图11。十八岁从该图中可以观察到，假阴性率在晚上较高，与上午和下午的时间相比。可能是由于夜间光照不足，部分棉铃误认为茎、叶或土壤。对所开发的棉铃检测算法进行了性能测试，还根据每个图像的处理时间进行了比较（表6）。结果表明，色差方法相比其他开发的算法，需要更少的处理时间这可能是因为，在色差方法中，输入图像不需要被转换成双精度数据类型，并且不像在YCbCr方法中，不需要颜色空间转换从表6中可以观察到，对于相同的算法，处理时间也随着不同的图像而变化（例如，对于色差方法，最小处理时间为0.327秒，而对于色差方法，最小处理时间为0.327秒）。N. Singh，V.K.特瓦里峰Biswas等人农业人工157表3使用所提出的算法识别的棉铃数与人工计数的棉铃数的比较。时间，hAvg.勒克斯勒克斯距离，mm人工统计棉铃数(B-G)方法CA方法B/G方法YCbCr方法8：00-11：0048,003500–7004944454344700–9005548494849900–15005852535053小计16214414714114611：00-15：0067,040500–7007163666365700–9006357585656900–15004639413940小计18015916515816115：00-17：0051,200500–7006658605759700–9004741423942900–15005953545153小计172152156147154总514455468446461表4基于棉铃识别数的棉花分割算法性能研究。方法点击率（%）假阳性（%）假阴性（%）色差88.5213.127.52YCbCr89.689.976.30波段比值86.7712.479.35色差91.056.994.88表5基于像素数的棉花分割算法性能研究算法灵敏度（Se）特异性（Sp）准确度（Ac）表6比较所提出的方法处理每个图像的处理时间方法最小时间（s）最大时间（秒）Avg.时间（秒）色差0.4790.5730.511波段比值0.2720.3790.316YCbCr0.4010.4550.427色差0.3270.4290.364最大处理时间为0.429 s），随着棉铃数的增加，处理时间也增加。4. 联系我们提出了自然光照条件下田间棉铃检测最初，四色空间模型，即，通过对RGB、sRGB、HIS和YCbCr四种颜色空间模型的测试，确定了适合棉铃检测的颜色空间模型。其中，RGB和YCbCr颜色空间被选择并进一步用于开发现场棉花检测算法。针对室外自然光照条件下棉铃的实时分割问题，提出了4种图像处理算法，其中基于色差法、颜色分量比法和色度法的3种棉花检测算法，并对3种算法进行了比较和分析。像差法，开发了一种算法，利用RGB颜色模型，并利用YCbCr颜色模型。实验结果表明，彩色畸变方法的性能优于其它算法。色差法的识别率最高，为91.05%，假阳性率和假阴性率分别为6.99%和4.88%。用色差法测得最高灵敏度和特异性分别为81.31%和97.53%。由于所有提出的方法的命中率被发现在86%以上，最大假阳性率低于14%，因此，尽管存在一些挑战，如光照条件的变化，复杂的背景，在一些颜色特征的相似性，虽然所有开发的算法都表现出良好的性能棉铃检测，但色差方法优于其他开发的算法。总的来说，色差方法在自然光照条件下表现出了良好的田间棉铃检测性能，这证实了其对机器人棉花收获机的适用性所提出的算法有两个局限性，即，假阳性由于光的反射和重叠的棉铃不能分离，因此不能检测因此，尽管实验结果表明，所提出的方法在不同的自然光条件下表现出了较高的鲁棒性和准确性，但需要进一步研究以减少由于茎或叶反射光、天空或云以及重叠棉铃分裂引起的假阳性Competinterest的Declartion提交人声明不存在利益冲突确认财政支助来自印度西孟加拉邦Kharagpur的印度技术研究所引用是菲，A，Motlagh，A.M.，Mollazade，K.，Teimourlou，R.F.，2011年。基于机器视觉的成熟番茄识别与定位。Aust. J.作物。Sci. 5，1144-1149.Bac，C.W.，Roorda，T.，雷谢夫河，Berman，S.，Hemming，J.，van Henten，E.J.，2016年。密集障碍物环境下甜椒采摘运动规划问题之分析。生物系统Eng.146，85-97.https://doi.org/10.1016/j.biosystemseng.2015.07.004。Bachche，S.，Oka，K.，2013.基于不同颜色空间识别果岭基 于 并 行 立 体 视 觉 系 统 的 甜 椒 图 像 处 理 J.系 统 Des. 动 力 学 7 ， 178-196 。https://doi.org/10.1299/jsdd.7.178。Baeten，J.，Donné，K.，Boedrij，S.，Beckers，W.，Claesen，E.，2008年 自动水果采摘机 ： 苹 果 机 器 人 收 割 机 。 Springer Tracts 高 级 机 器 人 42 ， 531-539.https://doi.org/10.1007/978-3-540-75404-6_51。μσμσμσ色差79.4912.8497.380.4894.961.33YCbCr80.89.7097.20.4194.780.43波段比值84.0915.5797.170.2995.660.73色差88.699.3497.530.3495.790.52N. Singh，V.K.特瓦里峰Biswas等人农业人工158比厄，M.H.，Hagan，M.T.，Demuth，H.B.，2017年。MATLAB：神经网络软件用户指南。Bulanon，D. M.，Kataoka，T.，2010. 富士苹果果实检测系统及机器人采摘末端执行器。Agric. Eng. Int. CIGR J. 12，203-210.Bulanon，D.，Kataoka，T.，Ota，Y.，Hiroma，T.，2002年a。一种用于机器人采摘系统识别 苹 果 的 颜 色 模 型 。 J. JAPANESE Soc. Agric. Mach. 64 ， 123-133. 网 址 ： http ：//doi.org/10.11357/jsam1937.64.5_123Bulanon，D.，Kataoka，T.，Ota，Y.，Hiroma，T.，2002年b。富士苹果采收期果实自动识别的分割算法.生物系统Eng.83，405-412. 网址：//doi. org/10.1006/bioe.2002.0132。Cai，J.，Zhou，X.，中国科学院，王福，2009. 柑橘采摘机器人障碍物识别。译中国学会农业马赫40，171-17 5.Camargo，A.，史密斯，J.S.，2009年一种基于图像处理的植物病害视觉症状自动识别算法。生物系统工程102，9-21。https://doi.org/10.1016/j.biosystemseng.2008.09.030。Chaudhary，P.，Godara，S.，Cheberg，A.N.，Chaudhari，A.K.，2012年。一种快速准确的叶面积测量方法。国际计算机Appl.49，22-25. https://doi.org/10.5120/7655-0757。Dammer，K.，2016年。 实时变量除草剂应用于胡萝卜杂草控制。韦德水库56，237-246。https://doi.org/10.1111/wre.12205网站。D e-An，Z.， Jidong，L.， 我，J。，Ying，Z.， Yu，C. ，2011。一个可编