没有合适的资源?快使用搜索试试~ 我知道了~
水果成熟度自动分类的机器学习方法及挑战
农业中的人工智能7(2023)44水果成熟度分级研究概况Matteo Rizzoa,a,Matteo Marcuzzoa,1,Alessandro Zangaria,1,Andrea Gasparettob,Andrea AlbarelliaaCabCaa r t i c l e i nf o文章历史记录:收到2022年2023年2月23日收到修订版,2023年2023年3月3日在线发布保留字:水果成熟度分类机器学习深度学习1. 我不想让你失望a b s t r a c t水果是全球农业的主要作物,养活了数百万人。水果产品的标准供应链包括质量检查,以保证新鲜度,味道,最重要的是安全性。决定水果质量的一个重要因素是其成熟阶段这通常由现场专家手动分类,使其成为劳动密集型和容易出错的过程。因此,对水果成熟度分类的自动化的需求日益增加。已经提出了许多机器学习和深度学习技术在性能最好的方法中占主导地位。此外,深度学习可以对原始数据进行操作,从而使用户不必计算复杂的工程特征,这些特征通常是特定于作物的。在这项调查中,我们回顾了文献中提出的最新方法,以自动化水果成熟度分类,突出了最常见的特征描述符,他们的操作。版权所有© 2023作者。出版社:Elsevier B.V.我代表科爱通信公司,公司这是一篇基于CC BY-NC-ND许可证的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。1.1. 任务的挑战水果是一种具有重要商业价值和营养价值的食品. 它作为平衡饮食的一部分,通过提供对确保良好健康至关重要的必要生长调节因子而发挥着重要作用(Prasanna,2007)。 为了满足营养和市场质量标准,在适当的成熟阶段交付水果至关重要。此外,基于成熟度的水果作物分级能够优化收获和食品供应链中的所有后续环节。然而,根据其成熟度对新鲜水果进行分类通常是主观且繁琐的任务。 这传统上是基于人类的努力,这使得它次优。因此,人们对开发自动化水果分级过程的技术越来越感兴趣。 机器学习(ML)方法,如支持向量机(SVM),决策树和K-最近邻(KNN)算法已成功地应用于文献中的分类问题,特别是水果分类。最近,深度学习(DL)方法,如人工神经网络(ANN)及其衍生物之一卷积神经网络(CNN),也已应用于水果分类,显示出非常有前途的结果。每个成熟度分类问题的特殊性使选择适用于所有类型水果的通用技术变得困难,如果不是不可能的事实上,自然界中的水果种类繁多,这就产生了复杂的分类法。 每种水果在形状、颜色、质地和许多其他特征上都可能与其他水果不同。这种差异有时是显而易见的(例如:草莓对菠萝),而有时区分两种水果类别即使对于专家也是不平凡的(例如,苹果对亚洲梨)。此外,每种水果类型可能嵌入高度可变的特征。这是例如苹果的情况,其中富士苹果相对于澳洲青苹具有完全不同的颜色和质地(尽管具有相似的因此,水果识别的上游任务和成熟度分类的下游任务都是具有挑战性的。另一方面,必须实现水果作物供应链的自动化,以满足全球对高质量、安全食品的需求。以下部分描述了水果成熟度分类的挑战和机遇,为陈述本次调查的贡献铺平了道路*通讯作者。电子邮件地址:marteo. unive.it(M. Rizzo),marteo. unive.it(M. Marcuzzo),alessandro. unive.it(A. Zangari),andrea. unive.it(A. Gasparetto),albarelli@unive.it(A. Albarelli)。1作者对这项工作作出了同样的https://doi.org/10.1016/j.aiia.2023.02.0042589-7217/© 2023作者。出版社:Elsevier B.V.我代表科爱通信公司,公司这是一篇CC BY-NC-ND许可证下的开放获取文章(http:creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表农业中的人工智能杂志主页:http://www.keaipublishing.com/en/journals/农业人工智能/M. 里佐,M。Marcuzzo,A.Zangari等人农业人工451.2. 成熟度标准如前所述,除了区别不同种类的水果外,确保食品质量至关重要这既是出于安全原因,也是因为高质量的食品对市场更有吸引力影响水果经济价值的一个核心因素是相对较短的成熟期和缩短的收获后寿命。大量的水果在运输中储存了相当长的时间,在此期间它继续成熟。因此,成熟度是水果在供应链中的一个关键属性果实成熟是一种高度协调的、遗传程序化的、不可逆的现象,涉及一系列生理、生化和感官变化,最终导 致 具 有 理 想 品 质 属 性 的 柔 软 、 可 食 用 和 成 熟 的 果 实 的 发 育(Prasanna,2007)。在生产商方面,在成熟过程中过度的质地软化可能导致对储存的问题影响,包括凹痕和不良的成形。 在消费者方面,产品的外观是生产商最担心的问题之一,因为它对产品质量和消费者的偏好具有很强的影响力。然而,直到今天,最佳收获日期和储存寿命的预测仍然主要基于主观解释和实践经验(Mendoza和Aguilera,2004)。因此,客观准确地评估作物的成熟度对于确保优质产品的最佳产量是重要的。水果的质量(通过香气、风味、颜色和质地特征来衡量)在水果生长和成熟的果实发育过程中,以及在贮藏期间,从收获前到收获后阶段不断变化1.3. 水果成熟度分级为了满足日益增长的世界人口的需要,必须改善全球粮食质量和安全状况通过增加种植面积来增加水果产量是不可持续的,因为土地是有限的资源,因此必须提高单位土地面积的生产率与此同时,有必要防止浪费。对于水果生产,收获的时机对于确保产量符合商业成熟度规格至关重要。过熟或欠熟的水果具有较低的零售价值或甚至没有零售价值,并且代表显著的收入损失和资源浪费。对于消费者来说,过早收获会降低水果的味道和质量,而晚收获会导致保质期缩短、外观差以及不期望的异味和气味。1.4. 预测水果成熟度已知许多计算方法在预测水果成熟度方面是有效的。其中一些需要特征工程(即,统计和传统ML算法),而其他算法处理原始数据(即,DL算法)。每种方法都基于待分级的水果项目的特定特征表示为了收集区别性特征,一些方法需要便宜且简单的传感器(例如,消费者照相机),并且一些方法需要特殊的(并且通常是昂贵的)传感器(例如,声学振动检测器)。同样,有些方法是破坏性的,而另一些则是非破坏性的。换句话说,前一种类型在评估成熟度的同时破坏水果物品,而后者仍然可以评估成熟度而没有任何浪费。事实上,破坏性方法的效率是有限的,因为它们浪费了一部分作物。果实成熟度的非破坏性植株评估通常是优选的,并且已经受到越来越多的关注,因为与传统的破坏性方法相比,它提供了若干优点果实成熟过程中的表型变化是复杂的。在大多数情况下,绿色,坚硬,未成熟的水果变得更加丰富多彩,柔软,甜美,芳香。在成熟过程中,许多物理和化学属性可以被量化这些包括大小、形状、质地、硬度、外部颜色、内部颜色、叶绿素浓度、可溶性固形物含量(SSC)、淀粉、糖、酸、油和内部颜色。乙烯浓度(Prasanna,2007)。 这些特征可用于构建非破坏性和有效的水果成熟度分类器。 虽然用非破坏性方法同时评估现场所有质量属性是不现实的,但由于需要大量样品来解释现场内的变异性,破坏性实验室测量是耗时的(Li等人,2018年)。因此,需要简单的代表性非破坏性测量来评估水果的成熟度已经开发了用于特征收集的各种非破坏性技术和工具,主要是色度计、可见光和近红外(VNIR)光谱(Walsh等人,2020)、高光谱成像(Su等人, 2021)、可见光成像(Bulanon等人 , 2011 ) 、 多 光 谱 成 像 ( Shiddiq 等 人 , 2022 ) , 荧 光 成 像(Matveyeva等人,2022)和电子鼻(Baietto和Wilson,2015)。在处理成熟度分类任务的方法方面,开创性的研究采用了统计技术来处理工程特征集(例如,,Mendoza and Aguilera(2004); JaradatandZaid ( 2004 ) ; Mangas et al. ( 1998 ) ; Nagata et al.(2004))。最近,ML技术推动了最先进的技术。简单的基线算法(如SVM)被应用于上述一些特征集,并为数据驱动的成熟度自动分类铺平了道路。甚至最近,DL算法已经被探索用于替代传统的ML技术,并且在非常大的数据集可用时被证明是非常高效和有效的转换到DLparadigm允许不计算或收集工程特征,这通常是耗时且容易出错的任务。 图 1总结了从数据收集到原始输入的一些特征化表示的成熟度分类的工作流程。1.5. 贡献和文章的结构该调查提供了水果成熟度分类任务的高层次概述,以及迄今为止为达到优异性能而应用的方法我们还发现了另外两个过去一直在处理水果成熟度分类的调查 Randhawa et al.图1.一、 从原始数据收集到香蕉成熟度分级的工作流程示例。M. 里佐,M。Marcuzzo,A.Zangari等人农业人工46bb¼B图二、香蕉成熟的例子阶段。(2014)发表于2014年,因此它不包含最先进的DL方法。另一方面,Wankhade和Hore(2021)主要关注图像处理,而我们的调查不仅研究了最先进的图像处理技术,还研究了用于成熟度分类的多个正文的其余部分组织如下:§2提供了一个正式的水果成熟度分类问题的陈述以及水果成熟的基本生物学概念§3集中于可以用于(并且可能组合)生成水果项目的特征描述的不同特征§4简要概述了将分类器应用于水果成熟所需的数据预处理。§5描述了收集科学文献,收集技术和理论努力来解决水果成熟度分类问题§ 6踏上了研究具体问题的未知之地(即水果成熟度分类)到更一般的一个(即,,最佳收获时间估计); §7抓住了上述文献中的空白,并提供了该领域新的研究课题的想法;§8通过综合本文中的贡献和主题来总结我们的工作2. PRELIMINARIES这一部分介绍了水果成熟度分类问题的形式化此外,使水果成熟的基本生物学概念这些允许充分理解一些用于分级水果成熟度的特征和表示。2.1. 问题陈述给定某个数据集X,其包含有X个果实外观描述符X(例如,对于一种水果,成熟度分类问题需要学习一个函数F,该函数将每个项x∈X映射到一个预测类c,它是适当的成熟类c∈C的近似。希望c c成立。换句话说,学习的函数必须将每个输入水果描述映射到其选择的表示。其真实性的成熟度。 预测类c和地面实况c之间的距离基于误差的一些概念(例如,均方误差)。地面真实成熟度通常由人类操作员视觉评估由一些描述成熟阶段的指导方针(例如,将果皮的颜色与标准化的颜色图表进行比较)。人类视觉检查是高度主观、繁琐、耗时且劳动密集型的过程。另一方面,基于工具的技术(例如色度计或光谱仪)允许对相应特征进行准确且可再现的测量,而观察者或其周围环境的干扰最小(Anzalone等人,2013; Das等人,2016年)。水果成熟度分类问题是广泛的,这意味着它可以根据所考虑的水果类型而显着不同。第一,CzC可以任意大(尽管是离散的),并根据水果的类型而变化例如,香蕉的成熟度可以通过视觉检查分为四个成熟阶段,这与色素有关香蕉皮的变化(即,阶段1:成熟,阶段2:部分成熟,阶段3:成熟和阶段4:过熟(Mazen和Nashat,2019))。这在图1中举例说明。二、同样,枣的成熟度也可以分为五个阶段:哈纳堡、金里、哈拉尔、鲁塔卜和塔梅尔(见图1)。3)。第二,单个类中的特征之间的差异可能非常高,这意味着X可能在很大程度上是异质的。2.2. 果实成熟果实发育的特征是细胞分裂期短,随后细胞吸水伸长期长最终果实大小主要取决于初始细胞数,图3. 日期的成熟阶段的例子。M. 里佐,M。Marcuzzo,A.Zangari等人农业人工47比细胞大小(Prasanna,2007)。另一方面,成熟过程的特征是发展出特殊的颜色、风味、质地和香气。2.2.1. 乙烯的作用无可争议的证据表明,乙烯在诱导水果成熟中起着至关重要的作用(Prasanna,2007)。因此,商业收获后园艺行业的主要关注点是控制收获的水果暴露于乙烯。吸引分子生物学家的果实成熟的一个方面是乙烯诱导成熟的、不生长的组织迅速分化成一种新的状态,即从不成熟转变为成熟。因为组织已经成熟,细胞的形式和结构已经决定,所以人们认为,当成熟的开关被抛出时,所涉及的分子步骤可能相对较少。因此,研究成熟系统的信号化学物质乙烯和水果基因组之间的微妙相互作用(Prasanna,2007)。2.2.2. 更年期水果与非更年期水果水果既可以在完全成熟时收获,也可以在成熟前收获,特别是当它被出口时,储存时间很长。每一个项目都是自给自足的催化机制,以维持独立的生命,即使脱离母体植物。根据果实成熟过程中的呼吸模式和乙烯生物合成,可将采后果实分为两类:(1)跃变型果实和(2)成熟变型果实。(ii)非更年期。 更年期 果实在完全成熟并且即使当从植物上分离时也能够保持熟化过程。这种果实的呼吸速率和乙烯生成虽然在成熟时最小,但在跃变型时急剧上升,达到高峰(即在成熟期)。可食用成熟度的峰值),在成熟开始时,之后其下降(Speirs等人,1990年)。另一方面,非跃变型果实一旦脱离母体植物就不能继续其成熟过程。此外,这种类型的果实产生非常少量的内源乙烯,并且不响应外部乙烯处理。2.2.3. 质地和柔软度果实成熟与质地变化有关 质地变化是果实软化过程中的主要事件,也是Gowda和Huddar(2001)成熟过程中不可或缺的一部分。这一过程在气候性水果中显著地出现。同样,软化过程是几乎所有水果成熟的一个组成部分它具有巨大的商业重要性,因为水果的收获后寿命在很大程度上受到增加的柔软度的限制,这带来了处理过程中物理损伤的增加和疾病易感性的增加2.2.4. 文献中的果实成熟果实成熟在文献中已经被回顾了无数次1984年,Yang和Hoffman(1984)讨论了成熟的生理和生物化学的几个方面,包括乙烯暴露的影响几年后,在Speirs等人的研究中,(1990),一些证据似乎表明,蛋白质,也许RNA的合成在诱导成熟中发挥了作用现代分子生物学家的技术已经使这一理论能够以精确的方式得到检验,并且基因组学直接控制跃变型果实成熟的证据正在迅速积累尽管如此,有证据表明细胞区室通过成熟而被改变,并且最近的证据表明,随着成熟的进行,膜内的脂质氧化和/或相变有助于改变细胞内的代谢物分布新的转录和/或翻译事件和代谢物分配的变化如何相互作用并相互依赖或独立地促进成熟仍然是一个猜想。很可能这两种理论或多或少都是正确的,两种机制都涉及,但在不同类型的水果中程度不同。无论如何,果实成熟似乎是一个受良好调控的,由基因决定的事件.就像它在最后一样在一个富含能量的组织中的生物体的发育中,如果它的控制机制对所有水果类型都是相同的,那将是令人惊讶的3. Fruitfeaturerepesentatins当将数据馈送到模型(无论是基于统计的,基于ML的还是基于DL的)时,需要对所涉及的数据进行适当的表示更具体地,收集一组特征以构建每个数据项的描述 这些特征越具有代表性,在不同类别之间越多样化,分类就越有效。接下来的部分介绍了文献中用于解决水果成熟度分类问题的主要类型的特征。3.1. 颜色颜色是生产者和消费者在进行水果质量的定性评估时考虑的第一要素之一(Opara等人, 2007年)的报告。 该标准与果实成熟期间发生的物理和化学变化有关(Speirs等人,1990年)。在许多类型的水果中,由于叶绿素降解和类胡萝卜素或多酚等色素浓度的增加,成熟期间会发生颜色变化(Choo,2019)。已经研究了几个水果品种的成熟度和颜色之间的关系这些包括:番茄(Shewfelt等人,1988)、橙子(Olmo等人,2000)、番石榴(Mercado-Silva等人,1998年)和更多。要测量水果颜色的变化,主要有两种方法:使用色度计和图像采集与分析。3.1.1. 色度计色度计是水果工业中广泛使用的传统非破坏性仪器,用于测量水果颜色(Hobson等人, 1983年)。它们比人类视觉评估更精确,并且能够利用例如CIELAB颜色空间来适应通用标准。便携式色度计现在可商购获得(Jha等人,2007年),并可以携带到现场进行现场数据收集。通过使用多变量分析(例如,,Jha et al. (2007年))。然而,由色度计执行的每项测量限制了该工具用于表示整个作物中水果的成熟度的应用此外,色度计的主要缺点是加工水果物品的表面颜色必须相对均匀,以使测量有意义。否则,必须测量样品上的许多斑点以获得代表性的颜色轮廓,这对生产者来说是一项劳动密集型工作3.1.2. 彩色成像最终,对于某些应用,由于与水果的大小相比有限的采样区域,色度计根本无法获得代表性的颜色值(Yam和Papadakis,2004)。这种限制可以通过利用二维彩色成像来克服,该二维彩色成像将从果皮反射的光子转换为电信号,然后由具有电荷耦合器件或互补金属氧化物半导体传感器的照相机接收电信号与色度计相比,这种类型的颜色信息不仅可以快速获得,而且覆盖范围更大此外,该设备足够灵活,可以容易地连接到移动平台(例如,拖拉机、机器人、无人驾驶飞机)来快速收集多个数据测量。然而,即使二维成像也提出了一些挑战。首先,很难将图像中的水果与其背景分开。其次,收集的RGB值是设备相关的。通常情况下,传感器接收光并将其过滤为三个通道(红,绿,蓝),其强度值 由 水 果 样 本 根 据 当 前 照 明 和 相 机 的 内 部 特 性 确 定 ( Yam 和Papadakis,2004)。第三,精确成像需要同质M. 里佐,M。Marcuzzo,A.Zangari等人农业人工48在野外照明,这取决于地理位置和天气条件可能是很难满足的要求3.2. 挥发物由于水果香气中存在的芳香挥发物组成的差异,水果类型的香气特征差异很大,这最终由植物遗传学决定(Prasanna,2007)。 水果产生多种挥发性有机化合物,这些化合物影响其特有的独特香气,并有助于形成独特的风味特征。水果的香气和风味特征在基于个人偏好的商业水果市场中决定消费者的接受度是至关重要的。以前,已经使用专业的人类分级器基于视觉和香气特征来判断水果质量,以用于在商业水果市场中选择和评估水果在收获时的成熟度和可盐性。电子鼻设备的出现为水果的成熟度分级提供了新的替代工具这些仪器对复杂的水果挥发物混合物的鉴别是非常有效的,因此是一种很有前途的、有效的水果气味分类新工具3.3. 可见光和红外光谱当光线照射到水果表面时,它可以被吸收、散射或以定量的方式重新发射。这些量中的每一个的量由水果的物理性质和化学成分决定,因此由其成熟度决定。 可见光和近红外(VNIR)反射光谱法测量380 nm和2500 nm之间范围内的反射光。在此范围内的光反射率很大程度上取决于水果样品的光吸收。VNIR光谱法已被广泛应用为食品成熟的多个质量属性的非破坏性和快速测量方法(Wang等人, 2015年)。更重要的是,便携式设备已被开发并用于现场收集光谱数据(Makky和Soni,2014年)。3.3.1. 光谱指数无论是可见光还是红外光谱,都可以通过光谱指数进行分析,并与不同的成熟阶段相关联在回归模型中使用全波长扫描或关键选定波长处的值以与水果物品的与成熟度相关联的特定属性相关联一次仅使用一个波长作为现场评估的指标是困难的,因为这些值可能受到传感器、环境照明和颗粒尺寸的高度影响(Huang等人, 2021年)。谱指数将谱的多样性程度嵌入到紧凑的表示中。它们通常将两个或多个波长的表面反射率结合起来,以指示感兴趣的特征的相对丰度一些关键的光谱指数已被计算来描述果皮色素浓度在成熟过程中的渐进变化例如,由Ziosi等人(2008)引入的吸收指数(IAD)是通过计算峰周围两个波长(670nm和720 nm)处的吸收之间的差异获得的稳健光谱指数。发现IAD范围在不同的生长季节中是相似的,并且显示出与桃子的成熟度的良好相关性(Lurie等人, 2013),Bronchots(Costa等人,2010)和油桃(Bonora等人,2015年)。选择显著的谱指数是不平凡的。在朴素方法中,一个接一个地添加额外的波长,以便加强与主成分分数的相关性,直到没有剩余的波长是显著的。用于识别关键波长的另一种有效的自动化方法涉及使用遗传算法,该遗传算法采用基于预测准确度的自然选择和随机突变。3.3.2. 全波长与选定波长全波长或选择的光谱指数可以描述成熟过程中果皮色素浓度的变化,并提供与比色法相当的值(Ferrer等人, 2005年)。然而,果皮颜色并不总是成熟评估的唯一标准。用来自VNIR光谱的全波长或选定波长研究与成熟相关的内部品质属性(例如硬度)之间的相关性(Wang等人,2015年)。对于全波长,常见的回归模型是主成分回归(PCR),其使用多元线性回归(MLR)来与从预测因子提取的主成分得分相关联(Mahesh等人,2015年b)。这在一些水果质量评价研究中得到了实际应用(例如,,Mahesh et al. (2015 b); Rinnan等人(2009); Gomez等人(2006))。然而,物理样品属性的可变性和硬件的性能可能会产生不期望的结果(例如,光散射和在提取的光谱中产生的随机噪声)。 这些因素降低了基于VNIR特征的预测模型的准确性和鲁棒性。(2012年)。3.3.3. 光谱方法光谱方法利用比色度计和可见光成像更长的波长然而,类似于色度计,由于其低空间分辨率,它们不太可能被应用为高通量成熟评估工具光谱学已经被用于评估各种水果的成熟度,并且便携式商业光谱仪在市场上可用于原位数据收集(例如,,Saranwong et al. (2003);Camps and Christen(2009); Makky and Soni(2014))。然而,大多数研究都集中在室内,果实成熟度的收获后评估观察到不一致的性能的光谱在室内和作物开发的模型因此,在室外成熟度评价中,需要建立野外光谱预测模型,了解环境因子对光谱质量的影响3.4. 荧光水果去角质(即叶绿素的损失)是果实成熟的有效指标水果的叶绿素含量的测量可以使用荧光传感器检测,并证明与其成熟度相关(Bodria等人,2004年)。一种叶绿素荧光测定方法是在光化光照射下测量光化学和非光化学过程(Royer,1995)。目前,基于脉冲幅度调制(PAM)的光电转换器已在市场上销售。 这些使用可见蓝光来产生荧光激发并测量最小值(F0)和最大值(Fm)发出荧光。最大量子产率计算为(F m−F0)/F m。该参数被发现是负相关的成熟阶段,如。、苹果(Song等人,1997年)。这种叶绿素荧光测定方法在实验室中很受欢迎,但由于样品需要暗适应,因此难以应用于现场。在Bodria等人的研究中,(2004),他们设计了一种荧光成像系统,该系统测量了在690-740nm处的光发射,激发光在UV-蓝色和红色区域。系统的性能显示了成熟度和荧光值之间的良好相关性,即使皮肤颜色的色调几乎没有变化。该荧光成像系统用于测量的水果样品不适应黑暗,但该设备仅设计用于实验室使用。因此,与使用荧光相关的问题是环境因素的污染,这限制了原位应用。为了减少环境因素对单波段绝对发光强度的影响,人们对不同波长光源的发光率进行了更多的研究。 该研究导致了手持式多参数荧光传感器的开发:Multiplex®(Force-A,Orsay,France),其采用四个LED光源和三个同步荧光检测器(Ghozlen等人, 2010年)。M. 里佐,M。Marcuzzo,A.Zangari等人农业人工49然而,荧光传感器的当前研究仅集中在水果的特定部分的分析上,这再次限制了它们在该领域中用于高通量测量的潜在用途3.5. 光谱成像光谱成像是一种使用跨电磁频谱的多个波段的成像光谱数据是使用称为光谱仪的专用商用工具收集的。然而,有几个因素导致光谱仪在该领域的使用有限,并且缺乏消费者应用。虽然尺寸和成本是更明显的因素,但杂散光和可靠性等其他因素使挑战变得更加困难。Das等人(2016)展示了一种基于智能手机的光谱仪设计,该设计是独立的,并在无线平台上得到支持该装置解决了现场数据采集的尺寸和成本问题该装置可用于在储存设施中对不同品种的水果进行快速分类,并评估成熟度。该设备的便携性以及简化的数据收集方法在收集大量数据集方面具有巨大的优势,这些数据集可能有助于构建基于ML的模型。基于智能手机的水果测试可以为几个最终用户带来好处。目前,对苹果和其他几种水果的成熟度的许多测试是使用机械测试以破坏性的方式进行的光学测试是非破坏性的,可以帮助农民确定最佳收获时间。基于智能手机的光谱仪的所有必要组件,如光源、滤光器、微控制器和无线电路,都已组装在尺寸减小的外壳中(即,,88 mm × 37 mm × 22 mm),整个装置重48 g。光谱仪的分辨率为15 nm,提供准确和可重复的测量。该设备在智能手机上具有专用的应用程序界面,用于通信、接收、绘制和分析光谱数据。智能手机光谱仪的性能在稳定性和波长分辨率方面与现有的顶级光谱仪相当3.5.1. 高光谱成像光谱成像的一种被充分研究的形式是超光谱成像(HSI),它生成一个三维成像立方体,图像在一个连续的波长范围内。可以从每个单独的像素中提取单个光谱,这些像素代表水果样品的吸收特性和质地信息,这些信息与水果的成熟度相关(ElMasry和Nakauchi,2016)。 类似于传统的可见光成像和光谱方法,HSI是非破坏性的,并且需要很少的样品制备,但是它具有额外的优点,即它可以同时记录空间和光谱信息(Mahesh等人,2015年a)。为了评估水果成熟度,通常使用普通类型的波长色散装置,其与用于HSI图像采集的成像传感器耦合这被称为线扫描。线扫描装置具有成像光谱仪,该成像光谱仪将入射光瞬时分散成在可见光和近红外波长范围(380-1700 nm)之间的行扫描HSI相机在一个方向上连续扫描样品,因此它们可以连接到移动平台上。 已经使用拖拉机进行了实验(Bauriegel等人, 2011)、机器人(Zhao等人,2016)和无人机(UAV)(Honkavaara等人, 2012年)。总之,HSI是一种很有前途的果实成熟度评价技术。然而,该技术的现场应用将需要克服处理大量数据输出和在作物中校准可变光照水平3.5.2. 多光谱成像多光谱成像(MSI)是HSI的一种形式,其在特定波长处收集数据,而不是扫描整个波长范围。这可以使用具有与CCD或CMOS传感器耦合的液体晶体可调谐滤波器(LCTF)的帧扫描成像系统来实现。在Lu和Peng(2006)中,作者使用了五种波长,基于以前的研究,关联他们的散射profiles与苹果的成熟度使用人工神经网络。另一个低成本的MSI系统使用一个旋转滤波器轮,其中包含几个带通滤波器,而不是LCTF。然而,调谐速度低于LCTF。这种装置已被用来预测桃子的成熟度 利用四个波长的最佳组合,实现了高相关系数(Muhua等人, 2007年)的报告。类似地,Liu et al. (2015)使用具有19个波长的MSI来预测草莓的成熟度。PLS、SVM和ANN进行了比较,最佳相关系数为0.94。在上述技术中,MSI是最有前途的现场测量,因为它可以在选定的关键波长处记录高分辨率图像,用于预测特定的质量属性。与HSI相比,MSI的成本更低,更容易转换为便携式设备。具有四个窄带光源和四个在570、670、750和870 nm处的不同波长的反射传感器的便携式MSI装置已经在商业上被开发(Lurie等人,2013年)。用该装置对棕榈油进行二次判别分析和马氏距离判别分析,对不同成熟度的棕榈油进行了分类,分类正确率> 85%。4. 数据预处理为了改善水果分类任务的数据分析,许多研究已经将不同的数据预处理技术应用于建模之前获得的光谱(Rinnan等人, 2009年)。 作为预处理工具,Savitzky-Golay(SG)是最常用的数字数据平滑滤波器(Olarewaju等人,2016b; Jha等人,2006; McGlone等人, 2003年)。这将应用线性最小二乘法来拟合低次多项式数据。然而,SG对多元统计模型的性能有相反的影响例如,Jha et al. (2007)比较了多种预处理技术,发现与其他评估芒果成熟度的方法相比,平滑法没有任何改善。因此,他们警告研究人员和开发人员不要使用这种技术。标准正态变量(SNV)(Sanchez等人,2012)和多重散射校正(MSC)(Olarewaju等人,2016a)是光子散射校正最常用的两种技术。MSC用于通过将每个光谱线性化为参考光谱(通常为平均值)来消除由于光的非均匀传播距离而先前的研究表明SNV和MSC之间的相似性例如,已经证实,当使用具有SNV和MSC的PLS模型评估桃子的糖含量时,相关系数是相同的(Uwadaira等人,2018年)。然而,SNV可以应用于单个光谱而不需要参考(Sanchez等人,2012年)。在一些研究中,SNV是在去趋势的情况下进行的,其用于校正光谱的基线偏移(Sanchez等人,2012年)。产生光谱的导数是一种有用的预处理技术,用于增强细微差异并减少镜面反射的影响(Ragni等人,2012年)。5. Aproacestoclasication果实成熟期分级是近十年来研究的课题。这就催生了关于这一主题的大量文献我们的审查是基于2014年至2022年间发表的同行评审论文我们认为,这一年数范围是适当的,可以在调查的深度和广度之间取得良好的平衡在这个语料库的文学,ature,我们确定了三个主要的方法组,即:统计,ML为基础的,DL为基础的(无论涉及的水果类型许多关于水果成熟度分类的开创性文献采用统计模型来解决这一问题。与此同时,ML提供了一个强大的算法工具箱,可以实现准确的分类性能。这些方法中的一些已被应用于水果成熟度分类任务。然而,近年来,DL方法已经取代了传统技术,并有助于提高最先进的精度,而无需计算复杂的工程特征。M. 里佐,M。Marcuzzo,A.Zangari等人农业人工50进行调查,探索水果物品的多种不同属性(例如,颜色、质地、气味)。下一节将对比统计和基于ML的方法与采用DL策略的方法。在前一组中,我们详细描述了基于特征表示类别的实验(如§3中介绍 图图4描述了水果成熟分类方法的标准工作流程,从原始输入到输出等级预测。这突出了在原始数据上操作的基于DL的分类器与在丰富特征表示上操作的其他类型的分类器之间的核心差异。5.1. 基于统计和5.1.1. 颜色水果成熟度分类的一个核心属性是颜色。常见的标准化颜色空间是CIELAB颜色空间,也称为L*a*b*。在该领域的开创性工作中,Mendoza和Aguilera(2004)采用CIELAB颜色空间来区分先前由该领域的专家标记的七种不同等级的香蕉成熟度。 他们宣布了三个目标:(i)实现一个标准化的计算机视觉系统,使用CIELAB颜色空间定量表征香蕉成熟过程中的颜色变化,(ii)识别与成熟阶段相关的感兴趣特征(例如,褐斑的发展和图像的纹理特征),以及(iii)分析从图像提取的特征的辨别能力。他们收集了两个专有数据集。第一组由六手处于成熟阶段1(绿色)的香蕉组成,每手具有十三或十五个手指,储存在标准室温和湿度下直至使用。香蕉是从每只手上随机拿出来的在12天内每天测量它们的颜色变化和褐斑的发展。第二个数据集计数来自单个批次的四十九个香蕉,类似地储存,并且由合格的香蕉工业工人根据七个成熟阶段(每个阶段七个样品)在这种情况下,颜色、棕色斑点和纹理特征从banana图像中提取并用于预测。在香蕉图像的预处理阶段,使用图四、 水果成熟度分类器的示例工作流程。阈值为50的灰度级结合基于高斯拉普拉斯(LoG)算子的边缘检测技术。用二值化图像和两个指标:褐斑占总面积的百分比(%BSA)和每cm2表面上的褐斑数(NBS/cm2)来定量评价香蕉果皮上褐斑的发展。从图像中提取四个纹理特征(均匀性,对比度,相关性和熵)通过研究由同现矩阵Pd表示的像素值的空间依赖性来分析图像纹理,其中条目Pd(i,j)是在方向上分开的两个像素d-像素分别具有值i和j的相对频率或距离所用方法为简单回归、方差分析和判别分析,置信度为95%。尽管香蕉样品固有的可变性,提出的计算机视觉技术显示出巨大的潜力,区分香蕉成熟阶段之间使用简单的特征(L*,a*,b* 带,% BSA,和对比度)提取的果皮的外观用基本的判别分析技术作为分类标准,它是可能的,以98%的准确率,以确定在7个成熟阶段的49个香蕉。因此,Mendoza和Aguilera(2004)的工作为该领域的进一步研究奠定了基础。在CIELAB颜色空间中探索了其他分类方法例如,Olarewaju et al.(2016 b)比较了多元线性回归(MLR),偏最小二乘法(PLS)和主成分回归(PCR)来预测鳄梨的成熟阶段。前一种方法被证明是在自我收集的专有数据集上表现最好的Mendoza和Aguilera(2004)进行的特征分析帮助开发了使用最小选择特征集的统计和ML模型。然而,请注意,在相同的工作中,香蕉的图像被处理,包括它们的背景。相反,较新的方法(例如,,Ni et al. (2020); Septiarini等人(2019))使用语义分割将水果项与其背景隔离。这种设计选择可以产生至关重要的影响,因为它减轻了分类器根据上下文特征进行区分的风险(即:背景)而不是目标项的特征。对不同的颜色空间进行了进一步的研究在Goel和Sehgal(2015)中,他们使用R和B值之间的差异来增强不同番茄成熟阶段的分类,在250张图像的专有数据集上达到94.3%的准确研究的其他统计方法包括无监督分类,如K-means和Gustafson-Kessel算法。这些也已经成功地应用于基于RGB值自动分离不同成熟阶段的香蕉(Pardede等人, 2019年)。在后来的研究中,不是仅使用平均RGB值,而是使用每个通道的直方图 与每个成熟 度组的预定 参考直方图 进行匹配 (Satpute 和Jagdale,2016)。其他颜色空间的值,诸如色调饱和度和强度(HSI)以及色调饱和度和值(HSV),可以从RGB值导出并且更好地表示人类视觉感知(Bakar等人,2013年)。色调被定义为与某些颜色(通常是红色、绿色、蓝色和黄色)的相似程度(Hartmann等人,2011),而饱和度用于描述刺激相对于其自身亮度的色彩如何(Sural等人, 2003年)。 模糊逻辑被成功地应用于使用从HSI导出的值将菠萝分组为三个成熟阶段(Bakar等人, 2013年)。类似地,Ukirade(2014)使用HSV值作为ANN模型的输入,将番茄分为四个成熟度组。El-Bendary等人(2015)提出了一种更复杂的方法来进行番茄成熟度分类。 这采用了HSV空间中的颜色直方图和颜色矩(即,平均值、标准偏差和偏度),其测量图像中的颜色分布作为颜色特征。主成分分析(PCA)被用来提取线性判别分析(LDA)和支持向量机模型的特征,在五个成熟阶段的正确分类率超过80%。 注意,不是仅使用一个颜色空间,而是可以组合来自两个颜色空间的颜色分量,诸如在Li等人的研究中。(2014年)。他们使用室外彩色图像的RBH颜色空间M. 里佐,M。Marcuzzo,A.Zangari等人农业人工51蓝莓配上KNN经典咖啡 El-Bendary等人(2015)提出了一种类似的方法,利用颜色特征将番茄分类为五个成熟阶段。它由三个阶段组成:(i)预处理,(ii)特征提取和(iii)分类.在预处理阶段,图像被调整为250 × 250像素,以降低其颜色指数,并使用背景减法技术去除每幅图像的背景此外,每个图像都从RGB转换到HSV颜色空间。 对于特征提取阶段,应用PCA以便为数据集中的每个图像生成特征向量。最后,在分类阶段,提出的方法应用支持向量机和LDA算法进行成熟度阶段的分类。特别是,他们使用PCA除了SV
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功