立体视觉叶片自动分割与重叠叶分离的研究

阵列12（2021）100099基于立体视觉的叶片自动分割与重叠叶分离Zainab Mohammed Ameanb，a，Zaab，Tobias Lowa，c，Nigel Hancocka，ca澳大利亚昆士兰州图文巴市南昆士兰大学b伊拉克技术大学控制和系统工程系c澳大利亚昆士兰州图文巴南昆士兰大学农业工程中心A R T I C L E I N F O关键词：机器视觉立体视觉深度分割作物监测叶片检测重叠叶片A B S T R A C T农场管理和作物质量评估正变得越来越自动化，以满足需求。对植物叶、茎和果实的物理检查可以提供关于植物通过机器视觉实现视觉检测自动化带来了许多挑战，如遮挡、不规则闪电和变化的环境条件。提出了一种该算法通过协同颜色、形状和深度等特征来处理多叶分割和重叠叶分离。深度特别用于测量视差图中沿其梯度的不连续性。该算法在一系列复杂背景和不断变化的植物冠层中，对单个植物叶片的分割率为78%。使用272幅棉花和木槿植物图像对该算法进行了评估，结果表明，深度特性在分离遮挡和重叠叶片方面是有效的，分离率高达84%。该方法不需要在叶片边界上添加任何人工标记就能自动检测出叶片遮挡。此外，结果表明，在各种光照和环境条件下，两种类型的植物（棉花和芙蓉）的性能几乎相同。所开发的算法可以潜在地应用于具有与棉花和木槿相似结构的其他类型的植物1. 介绍植物通常表现出各种视觉参数，反映了它们的压力和生存要求。 自动检测单个叶片是农业中精确应用的一项重要任务，这有助于许多田间实践和作物管理策略的实施。在自然条件下检测生长植物上的多个植物叶片是视觉引导农业机器人的一项关键且具有挑战性的任务[1]。 这是由于许多原因，包括叶子和背景叶子之间的颜色相似性，同一植物上叶子的相似特征，植物结构复杂性，叶子遮挡以及图像中不同叶子大小有许多机器视觉研究涉及二维（2D）图像特征的分析，如颜色，形状和纹理，以解决精准农业中的一些问题，从杂草控制[2 然而，这些图像特征的检测取决于生长阶段、季节、环境条件和图像采集[17]。而且，大多数研究倾向于处理简单的植物结构（幼苗）[18]在早期生长阶段或大规模分析（杂草）[3]。用于识别单个叶片的图像分析技术取决于各种因素。例如，位置（例如，从顶视图或侧视图）可以捕获各种不同的叶片方向（水平或垂直），并改变叶片是否被遮挡。顶视图图像通常为完全可见或部分被遮挡的植物叶片提供水平方向，而从侧视图图像可以看到各种叶片方向。大多数涉及多叶检测技术的研究都涉及使用不同2D成像技术的幼苗或非复杂植物冠层的顶视图图像[1，18此外，各种机器学习方法也被用于识别植物图像中的多片叶子。例如，遗传算法[25]和神经网络技术[26，27]已经证明了从冠层图像中提取单个叶子和从地面检测植被像素的高性能。基于分水岭的叶片分割算法*通讯作者：伊拉克技术大学控制与系统工程系电子邮件地址：Zainab.S. uotechnology.edu.iq（Z. Mohammed Amean）。https://doi.org/10.1016/j.array.2021.100099接收日期：2021年5月25日;接收日期：2021年9月25日;接受日期：2021年9月28日2021年10月5日网上发售2590-00562021的 自行发表通过Elsevier Inc.这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表阵列期刊主页：www.elsevier.com/locate/arrayZ. Mohammed Amean等人阵列12（2021）1000992在[28以上报道的方法显示了植物叶片从其背景中的有效分割。然而，它们的分割不是基于识别连接的叶或手柄遮挡。一些研究考虑了单个叶片的分割， 使用各种形状技术[33-其他研究使用叶片形状特征来执行叶片分割，并处理部分被遮挡的植物叶片的检测[1，19]。这些研究报告，形状性状提供了一个独特的功能，可以帮助识别部分闭塞的叶子。虽然观察到令人满意的分割率，但形状特征不足以用于不规则和复杂的叶片形状或密集的植物冠层。 此外，在这些研究中的叶片形状的先验知识引入了一个潜在的限制时，试图分割具有不同叶片形状的植物。此外，基于2D图像的分割容易受到复杂环境因素的影响。 如果图像中出现系列遮挡，则2D分割方法容易失败。因此，令人满意的结果，报告了这种类型的分割标准植物和几个莲座丛植物。三维（3D）成像技术已经被引入，因为它能够添加另一个特征，特别是深度，以分析植物的3D特性，从而抵消2D特征的问题。该技术广泛应用于植物的局部检测、重建植物冠层的3D模型和室内条件下的植物表型分析技术[38利用2D或2.5D传感器开发了各种研究，用于识别遮挡和非遮挡叶片[49]。这些研究中的大多数旨在从捕获密集深度数据的2.5D传感器重建植物的3D模型，例如立体视觉[47，50]，飞行时间（ToF）相机[51]和RGB-D传感器，如Microsoft Kinect传感器的两个版本（v1和v2）[44，50，52]。将立体视觉与ToF传感器用于植物叶片监测的比较表明，ToF传感器具有低分辨率，对目标纹理更鲁棒，并且更好地提取叶子形状。另一方面，立体视觉传感器具有比ToF更高的分辨率，并且对保留边缘不连续性的不同照明条件（阳光）更具鲁棒性[53]。[44]使用Kinect v1传感器进行原位单个叶片分割，并在受控温室照明设置中处理专注于单一植物类型的叶片遮挡。[50]提出了一种基于滤波器的方法，用于从2.5D点云数据中分割重叠的叶子在受控的光照条件下。该方法取得了较高的分割率，但也有一些限制，涉及到复杂的形状为基础的检测方法，并不能在阳光直射的条件下工作。[54]将基于区域的 卷 积 神 经 网 络 （ R-CNN ） 与 基 于 密 度 的 噪 声 应 用 空 间 聚 类（DBSCAN）聚类算法相结合，以分割重叠的叶子。最近，[52]准备了一个使用Kinect v2的便携式设备，用于捕获植物叶子的单视点2.5D帧，用于无损和原位叶面积测量。根据报告的结果，该器械 可以测量非遮挡叶片的表面积，但在较高强度勒克斯范围的直射阳光下工作时有一些限制，并且可以从连续遮挡中识别遮挡叶片。 这是由于Kinect v2在日光下的分辨率有限，无法捕获单个叶子之间的小物理分离[52]。还可以使用两种方法从2D传感器的不同视图帧重建植物的3D模型。首先，通过在植物周围移动单色相机从不同的视点捕获图像。然后，一个特殊的软件被称为结构从运动（SfM）重建的三维模型的植物。 例如，[55]和[50]使用SfM方法从物体的多个视点生成3D点云，然后重建植物叶片的3D模型。后来，[56]结合2D和3D分割技术，从3D图像中自动分割植物叶片，然后将每个分割的叶片投影到2D图像上，算法来处理叶子重叠。这些方法需要围绕目标对象手动操纵相机togenerate生成the 3D model模型of the plant植物.此外，在不受控制的照明条件下，很难将它们应用于户外应用二是单台摄像机的设置和转台为工厂或固定式 多摄像头设置等装备。这种方法的两个例子是多视图立体（MVS）[45]和轮廓形状[57]。报告的结果表明，从轮廓恢复形状的方法比其他3D重建方法更快，而[45]的MVS计算成本高，难以在不受控制的照明条件下使用。 上述工作对不同室外光照条件下密集植物冠层的遮挡叶分割的关注相当少。结果仅限于温室环境、室内和室外（多云/阴凉）条件下使用各种传感器。这些传感器产生密集和准确的2.5D或3D深度信息，但工作规范仍有限制[58]。因此，更多的挑战，预计在室外（不受控制的）环境中检测叶片和成熟的植物冠层。最近，立体视觉技术已成功地用于水果收获机器人应用。由于立体视觉传感器生成深度数据（视差图）的可靠性以及在各种照明条件下在户外环境中工作的可靠性，预计它们对植物分割和识别同样有益[59]。上述挑战提供了开发立体视觉系统的动机，该系统可以在机器人平台上用于识别重要的植物特征（例如叶子）。该系统可以执行各种农业任务，例如自动监测植物生长，疾病检查和植物胁迫的早期指示。本研究对现有研究的核心贡献总结如下：以下要点：1. 开发了一种图像分析算法，该算法可以在半结构化的室外环境和不同的阳光条件（晴天、多云和阴天）下从非简单背景中分割植物冠层。2. 通过测量差异图中沿深度梯度的不连续性，开发了一种全自动植物叶片分割和重叠叶分离算法。该算法以全局方式计算沿深度值梯度的不连续性，并相应地分离重叠项。3. 该算法依赖于立体视觉传感器图像，不需要在树叶上添加任何人工标签本研究所开发之机器视觉系统可应用于农业移动机器人的几个商业和科学应用。本研究中使用的立体视觉系统（使用开发的算法）可以识别植物的重要特征（叶子），这可以帮助监测不同农业实践的植物，并识别与植物生长和健康相关的某些问题，例如 如水分胁迫、萎蔫、损害和疾病发作。 该系统还可以分析数据，计算叶片的数量，并找到每个叶片在坐标系中的位置。���������从这些信息中，可以计算出更多的信息，如植物高度，宽度和体积。本文的其余部分组织如下：第2节描述了本研究中使用的方法和材料。第三节介绍了所提出的植物叶片分割和重叠叶分离算法，第四节给出了实验结果和讨论。最后，第5节总结了重要结论。2. 材料和方法2.1. 图像采集采用8位RGB彩色Bumblebee2立体视觉摄像机（由加拿大PointGreyResearch Company设计）来捕获颜色Z. Mohammed Amean等人阵列12（2021）1000993Fig. 1. 棉花和木槿的样本。(a)（d）在阳光充足的位置种植棉花。(e)和（f）阴影条件下的棉花植物。(g)及（h）室内的芙蓉植物（g）和室外（阳光充足）位置（h）。和植物的深度图像。这种立体视觉摄像机是由一个 12 V锂离子电池。相机之所以被选中，是因为它能够产生视差图，并能在户外条件下工作。它被安装在三脚架，并连接到膝上型计算机，用于捕获图像数据集。该封装系统有两个数字电荷耦合器件（CCD）相机锁定在一个固定的组件，这是预先校准的立体装备和镜头失真。两个摄像机的焦距（λ）相等（2.5 mm），它们之间的基线（λ）距离为12 cm。相机像素分辨率为640 × 480（48帧每秒（FPS））或1024 × 768（20 FPS）。Bumblebee 2相机可生成原始彩色图像、左右校准和校正的彩色图像、视差图像/地图和3D点云数据。在Microsoft Visual C++下开发了Triclops软件开发包（SDK）和FlyCapture应用程序接口（API）函数，实现了600 × 800像素植物图像的采集。2.2. 实验计划和研究重点在这项研究中进行的实验涉及两种类型的植物（具有不同的结构），即棉花（陆地棉L.）和木槿（Hibiscus rosa-sinensisL.）（图一）。最初研究木槿属植物是因为它们的叶子分离得很清楚，随着研究的进展，这项研究更多地集中在棉花植物上，原因如下首先，棉花植物吸收大量的水，因此，监测植物生长可以显著提高水的利用率。第二，棉花的生长习性可能是最复杂的，这是由于在开始结果后，它还要继续进行营养生长。因此，连续监测多个植物特征（营养生长、茎干节间长度和果实脱落）、压力和需求可以检测生长习性的任何不平衡以改进管理决策。最后，目前还没有关于棉花的类似研究报告，这项研究有望适用于其他具有类似结构的植物。在2014年4月将棉花植物种植在两种不同的盆大小中，这导致两种不同的生长速率;这些被标记为大棉花（350 mm盆直径）和小棉花（250mm盆直径）。在2014年冬季和早春在室外环境中针对不同生长阶段捕获八个图像数据集（每个生长阶段两个图像集）。本研究中考虑的三个主要照明条件是晴天（四个数据集），阴凉（三个数据集）和多云（一个数据集）。这些图像是从植物的两个标记面拍摄的（以提供不同的叶子方向）图二. 叶片分割和计数算法。根据植物的高度和大小，距离在0.85和1.25米之间。这些植物的图片是在校园的不同地点拍摄的，如图所示。1.一、3. 叶片分割与计数算法设计与实现图2描述了新开发的分割算法的主要步骤，该算法包括两个阶段：图像预处理和增强技术，以及深度不连续性分割（DDS）技术。该算法的第一阶段包括两个步骤：Z. Mohammed Amean等人阵列12（2021）1000994图三. 对五幅棉花和芙蓉植物图像进行背景去除。第1栏：彩色图像。第2列：视差图。第3列：过滤后的视差图。 第4列：针对R、G和B颜色通道中的每一个的深度掩模之后的彩色图像。 (For为了解释该附图图例中对颜色的引用，这篇文章的网络版本）。步骤1：从背景树叶中分割植物冠层（一簇叶子，茎和树枝）步骤2：将叶簇分割成单独的叶和甚至更小的簇，其中通过应用不同的分割技术可实现。从第一阶段得到的图像由单独分割的叶子和其他仍然有连接或重叠的叶子在小集群的植物组成。最初，应用标准图像处理技术来分离重叠的叶子，例如侵蚀和膨胀操作器[60]。由于这两种技术的工作原理，产量远远达不到大多数叶片的预期要求。因此，未考虑其结果一些影响是：1. 小叶子被腐蚀操作员除去2. 其他叶子通过膨胀算子连接另一种分割方法，命名为DDS的深度不连续性和梯度标准的基础上发展。该方法涉及叶重叠的问题，并从深度信息的好处。解决其他问题，如消除环境照明条件对分割图像的影响，超出了本研究的范围。以下各节介绍新算法开发程序。3.1. 图像预处理方法植物分割算法的第一阶段使用三个分割步骤进行：使用颜色和深度信息的背景去除;基于色调分布的图像分割;以及图像增强和形状几何分析。以下部分说明了算法步骤和方法。3.1.1. 使用深度和颜色属性的背景去除过程从背景中检测感兴趣的植物区域（ROI）是使用视差图制定的，如图所示。3，第2栏。视差图的质量取决于视差图的设置。Z. Mohammed Amean等人阵列12（2021）1000995见图4。 图1的植物1侧1的HSV颜色变换。1.一、图五. 色调通道的直方图分布;由HSV颜色空间转换产生，并将开发的方程应用于其他四个颜色通道的彩色图像。选择棉花和木槿植物在图。1 .一、（有关本图例中颜色的解释，请参阅本文的网络版本立体声和验证参数。设定这些参数的最佳组合，其可以满足产生植物部分的深入信息所需的标准，特别关注叶子。 关于设置立体和验证参数以及视差图评估的更多细节在[61]中解释。该方法旨在通过三个步骤将前景区域与背景区域分割开：1. 一个特定的深度范围被指定为一个阈值，并被用作一个掩模来从原始视差图中分割ROI，并产生一个新的视差图，如图所示。3，第3栏。2. 将图1中植物的彩色图像转化为R， G和B颜色通道。3. 新的视差图被用作每个R、G和G的掩模。用于捕捉在各种户外光照现象（如过度曝光和阴影）下树叶的绿色。图图4a表示HSV颜色空间的色调通道。图 4c5行1示出了图1的植物1、侧面1和其它四种 所选植物的 归 一 化 色 调值 分 布 的 直 方 图 。 3柱1.色调分布图的比例从360归一化为1。 直方图分布的最大箱在色调通道中的绿色确定归一化色调分布的平均值（λ）和标准偏差（λ）。这些值因图像而异根据色调的直方图分布来成像。使用所述公式，计算的色度和色度用于确定绿色像素的色调的上阈值和下阈值， 等式（3.1）和（3.2）。B通道，用于从背景中分割彩色图像。找到ROI，如图所示。3，列4，其显示植物叶、茎、枝、土壤和盆。因此，我们认为，���������+如果 ≥���。���−���1 ×���ℎ 不然的话（3.1）另一种基于颜色的分割技术被引入以制定算法。3.1.2. 基于色调分布的图像分割在室外条件下，叶子可以表现出不同的光照，这可以导致不同范围的绿色。使用色调、饱和度、值（HSV）颜色空间变换从图像中分割绿色，因为它受环境照明的影响较小，并且可以保留颜色信息（色度），尽管亮度存在差异[62，63]。因此，只有色调通道是U =������ + ���100×100（3.2）其中，L和 U是绿色像素的色调分布的上限和下限阈值，并且1、2和是用于校准方程的初始化参数。该算法的初始化参数只需要调整一次。在初始化这些参数之前，从不同的数据集中随机选择的植物图像的多个色调分布的上阈值和下阈值进行视觉检查和测量，以找到色调通道中的绿色的范围。 从测量结果来看，它{L}=Z. Mohammed Amean等人阵列12（2021）1000996见图6。 二值图像变换，图像增强，和几何形状分析的五个选定的棉花和芙蓉植物图。1.一、行1 =二进制图像结果Hue频道第2行=通过应用中值滤波器和连接分量算法产生的具有不同颜色的标记的叶子。第3行=椭圆拟合到每个叶片（红色大纲）。行4 =在应用椭圆准则之后的等效视差图像。第5行=以不同颜色分割并且彼此重叠的植物叶。 (For解释有关本图例中的颜色参考，请参阅本文的网页版本观察到，如图5第2行所示，λ1= 0.25、λ2= 3和λ 2= 0.19的值可以有效地隔离树叶像素。参数的当前设置仅识别绿色对象。这些参数的初始校准后，平均值，标准偏差和上限和下限阈值自动计算为每个单一的植物图像。然后，使用色调分布的上阈值和下阈值将叶像素与其他植物部分的叶像素等式将公式（3.1）和（3.2）应用于不同光照条件下的八组棉花植物图像（252幅图像），室内和室外条件下的芙蓉植物的20个图像。 结果表明，所提出的方程可以减少图1中的大部分噪声元素。五、尽管如此，在图1的绿色图像中仍然存在微小的噪声。 5，行2，并且这在图5的二进制图像中更突出地显示。 6，第1排。3.1.3. 图像增强与几何形状分析增强过程使用不同的图像处理技术，如图像滤波器，区域和形状属性。 中值滤波器[64]由于其能力而应用大小为（3 × 3）的中值滤波器在保持图像边缘的同时降低噪声[65]。 连接组件和标记算法，也称为期望的结果是每个连接的区域对应于一个对象或一个叶子。该算法还可以滤除噪声，并根据其大小确定叶片对象。 通过检查随机选择的多个植物图像来区分不同的叶子大小，根据先前的初始化，为算法分配合适的阈值。因此，200像素的阈值显示为最佳的，以保留植物叶片的早期生长阶段（即，数据集1、2、3和4），以及Z. Mohammed Amean等人阵列12（2021）1000997300阈值用于其他生长阶段（即数据集5、6、7和8）。 低于该阈值的对象将从图像中移除。图图6表示在应用该算法和中值滤波器之后图像中的叶数的初始估计。一些图像仍然有其他对象，如部分植物茎和树枝或部分遮挡和重叠的叶子，因此，需要进一步的分割步骤。具有椭圆形状的叶轮廓是目前用于提取叶的重要特征的最常用方法[67，68]。几何测量，如椭圆的短轴和长轴，或轴比（细长度）[69]有利于进一步分析。在确定这些值之前，将椭圆拟合到图像上的每个对象，如图所示。六号，第三排。然后，短轴， 测量图像中每个物体的长轴和轴比。在此步骤之后，保存并研究测量值计算本研究中使用的所有植物叶片的长轴和轴比的最大值，以分配阈值。这些价值观，使用以下标准，将LEAD1和LEAD2用于区分叶对象和非叶最大值A≤1（3.3）并且，在本发明中，A=A���������≤������������A���������发现长轴大于190度的物体且轴比大于5.5形成高且非常薄的物体。这样的对象不能是叶对象。它可能是茎或树枝的一部分，因此它被从图像中删除了。这两个值被确定为制定标准的阈值，具体而言，1= 190和在所有情况下，这些值对本研究中使用的所有数据都有效。话虽如此，这些值可能不适用于具有不同叶片大小的其他类型的植物（叶片大小大于棉花和芙蓉叶），因此，需要新的校准。用于找到椭圆准则的二进制图像也被用作掩模以找到视差图像中的对应像素，如图1所示。 六号，第四排。从木槿植物图像中仅移除一个对象（茎的一部分），如图所示。六号，第四排。 图图6中，第5行显示植物叶被单独分割（大多数情况），而其它叶连接或重叠成小簇。这些叶子有明显的颜色，并且彼此重叠（以执行分割的第一阶段）。只有植物1，侧面1（图6u）显示100%的分割准确度。通过目视检查，其他样品植物有几片叶子由于叶子接触或重叠而被不正确地3.2. 深度不连续性分割算法（DDS）提出了一种基于深度不连续性准则的重叠叶片分割方法。图像强度的显著局部变化可以在图像中分配边缘。这种变化通常与以下两个方面的不连续性有关： 图像强度或其一阶导数[70]。因此，像素值的不连续性可以指定两个或更多个叶子的存在图像中因此，[71]和[72]研究了一些标准分割技术，如边缘查找相关技术，以检测像素值的不连续性并解决重叠问题。据观察，这些技术提供了不同的边缘叶边界，但他们无法识别内部的重叠叶内的深度值的不连续性。对这些未识别值进行了检查，并获得了以下结果：与两个重叠区域之间的深度强度的方差相比，两个重叠区域之间的深度强度的方差不足以通过边缘检测技术（也具有低阈值设置）识别见图7。 工厂3侧2颜色分割显示连接的区域1和3，重叠区2.在树叶和背景之间的深度强度。深度上的平滑梯度被分配给图像中的一个叶子，而大于三个像素值的深度梯度呈现两个不同的叶子。分割叶的深度值的不连续性通过计算视差图元素之间的增量来测量。在这项研究中开发了两种不同的深度测量方法（全球和本地）。局部测量使用每个像素与其邻域之间的直接比较。而“全局测量”计算深度的不连续性，而不需要检查图像中的每个像素。该算法包括视差图去噪（DMD）、全局和局部不连续性分割以及零邻域计数（ZNC）等四项主要技术。首先应用全局测量来考虑计算成本。工厂3侧2（图3i）作为一个例子来展示应用这些技术时的详细过程。从图7的连接区域1开始，算法技术按顺序应用于每个对象，如以下部分（第3.2.13.2.1. 视差图去噪技术（DMD）该技术可以被认为是通过过滤视差图中的噪声像素的预处理步骤。图图8a和图8b示出了用于设备3侧2的连接区域（区域1）的分离过程的一个示例（图8b）。1、采用DMD技术。的像素的值在视差图范围从138到140（图1A和1B）中，8a和8b），并且它们示出两个重叠的叶片。这些像素的值与深度值成比例（最大值表示最远的叶子）图像中值为0的像素表示图像中的空白区域。 值为1的像素被怀疑具有不正确的深度值。由于失配处理误差，这些像素被认为是噪声像素。这些错误是由许多可能的原因造成的，例如重叠、光线不足、阴影或过度曝光。应用DMD技术将噪声像素的值从1改变为0，如图8b. 图图8c示出了应用该技术的另一个示例。随后，其他DDS算法技术被应用于在图1的已经分离的叶子（浅蓝色区域）中制定连接的叶子分离。 8b.3.2.2. 全局不连续性分割技术基于全局不连续性的分割过程是通过测量被检查图像的整个区域上的深度梯度来发起的。视差图中相邻像素之间的深度的平滑增量（即，一个或两个像素的增量）指示具有平坦姿态的一个小或中等叶。深度差等于三个像素或更多表明存在两个重叠的小或中等大小的叶子，或者一个大叶子在不同的叶瓣上具有不同的深度(3.4)2Z. Mohammed Amean等人阵列12（2021）1000998⎡⎤⎢⎥⎡⎤…⎢⎥⎢ ⎥⋮⎢⎥⎢⎥���9⎢ ⎥⎢ ⎥1225⎢⎥⋮⎢⎥⎢⎥见图8。为工厂3连接区域1的叶子。叶图像和视差图（a）分离前，（b）分离后。(c)设备4侧1的两个连接区域分离使用DMD技术。（有关本图例中颜色的解释，请参阅本文的网络版本图图9示出了相邻像素之间的明显差异，其范围从8到10（示出为红色对绿色），指示了检查区域中的两片叶子。该指示基于通过检查具有重叠和非重叠叶的大范围视差图而分配的阈值。可以测量深度梯度，而不需要找到被检查对象中的每对相邻像素之间的差异。全局不连续性分割（GDS）技术已经发展到通过找到阵列中的唯一像素值并生成唯一向量U来受益于唯一属性。这些值被按升序排序并存储在U向量中（等式2）。（3.5））。计算U的每对连续像素之间的差然后，U矢量被分成一组更小的分量U1，U2，U3，.. . . ���..小分量的数目指示重叠叶的数目，其中每一分量仅含有对应于单个向量的那些视差值。图9、Eq。（3.6）示出了使用GDS技术成功分离的两个重叠叶的实例。根据 对于该技术，由于相邻像素之间的差异，这些叶子的唯一向量被分成两个向量U1和U2或两组像素。矢量U 1包括红色的像素区域，并且向量U 2包括绿色区域的像素。每个向量代表一片叶子。该技术通过测量深度梯度不连续性而不需要检查每个像素而具有优于边缘检测技术的优点。然而，它们都针对像素值的不连续性。在某些情况下，独特的矢量表示其元素之间的平滑深度增量，而彩色图像显示该特定区域中的两个重叠的叶子。 在这种情况下，有必要使用局部技术来搜索深度不连续性。⎡���1 ⎤���3见图9。 两片重叠的叶子（植物3的区域2）和它们的分离方法，GDS技术。上图显示了重叠的叶子。视差图声明像素之间的明显差异。下图显示了分离后的结果。 (For对该图例中颜色的解释， 读者可参阅本文的网页版142⎢143⎥⎢���2 ⎥144⎢145⎥148⎡ ⎤⎢149 ⎥⎢���4 ⎥⎢148⎥142⎢143⎥150���5⎡���1⎤2014年4月[]⎡���9⎤U =149= U1 144 U2 151（第3.6条）U=6 = U UU������Z. Mohammed Amean等人阵列12（2021）1000999⋮⎢⎢⎥⎥153���7...⎢⎥（3.5）150⎢⎣145⎥⎦152���7���8⎢⋮ ⎥⎢⎣������⎥⎦⎢⎣���3⎥⎦⎢⎣���6⎥⎦3���8���⎢⎣������⎥⎦151152⎢⎣154⎥⎦153⎢⎣154⎥⎦Z. Mohammed Amean等人阵列12（2021）10009910[客户端]+的+的+++见图10。视差图示出了相邻像素的大差异，公式3.7表示唯一向量U的平滑增量。3.2.3. 局部不连续性分割：八邻域差分技术（ENBD）开发该技术以分离其中唯一向量U（等式10）是唯一向量U（等式11）的那些特定情况。（3.5））在U的元素之间呈现平滑的深度增量。与此相反，视差图包含一个以上的叶，并在视差图上观察到一个尖锐的深度梯度。陡峭的梯度意味着相邻像素之间的差异超过阈值。ENBD正在根据当地深度不连续性针对这些不同地区。图10、Eq.（3.7）举例说明这种情况。U = 141 142 143 144 145 146 147 148（3.7）像素值的两个范围（141至142）和（145至147）分别由绿色和红色区域表示（图10）。由于相邻像素之间的差异大于阈值，因此每个区域表示一片叶子。这项技术的概念是测量中心像素与其相邻像素之间的深度差使用卷积与（3 × 3）内核，如图10和11所示。 11 a-D.这些数字表示从任意开始的矩阵状态。移动内核计算中心像素（参考像素）和其他八个相邻像素之间的绝对差。该过程的公式如下：当绝对差大于或等于阈值时，相邻像素的值被设置为零。当绝对差的值等于零时，跳过相邻像素，这意味着不进行改变。零值中心像素也被跳过，并且不能进行任何改变，因为这些像素与任何相邻像素之间的深度的绝对差等于相邻像素本身的值。 随后，移动核完成每列的分离过程，并逐渐向右移动。应用连通分量和标记算法（第3.1.3节）验证分离。使用ENBD分割方法后，所有改变的像素都被染成红色，以声明它们的位置（图1）。11 d）。3.2.4. 零邻计数技术零邻居计数技术（ZNC）已被开发并应用于连接的叶子在应用ENBD后没有分离的情况。视差图中的这些区域仍然由几个像素连接，因为深度差小于阈值。图12a示出了由少量像素连接的植物3（区域3）的两片叶子，并且示出了相同两片叶子的对应视差图。该技术通过在视差图的所有像素上移动九个中心像素被设置为并依次行以完成叶片分离。 在确认分割并且标记分离的叶子之后，过程立即停止，并且不需要检查视差图的所有元素。除非ENBD技术检测到深度的不连续性，否则不能应用ZNC技术。 图图12b和12c示出了算法过程。图图13展示了ENBD和ZNC技术分离单个叶片的操作。根据 图中的标签。13中，一些组分仅使用ENBD技术（大多数情况下）分离成单个叶，而其他组分在必要时使用ENBD和ZNC技术4. 结果评价和讨论图1的所选棉花和木槿植物的最终植物叶分割。 1如图所示。14个。第二列和第四列表明，通过使用开发的DDS，结果得到了改善，并通过相关列中叶片数量之间的差异进行识别。表1证实了随着所提出的技术被添加到叶分割算法中，准确度从72%增加到91%。然而，由于照明条件问题和其他因素，少数叶子仍然从最终分割结果中丢失，这些因素将在本节中针对不同的数据集在棉花和芙蓉植物图像上进行了算法的评估，以显示其在各种条件下工作的能力，并解决某些情况下的一些当前限制。通过对所有图像中的一般故障实施典型修复，开发并调整该算法以实现主要适用性。该算法随后被应用于8个不同生长阶段的棉花数据集，以针对一般问题，所有图像。总共，该算法被应用于252幅棉花植物图像和20幅木槿植物图像。考虑了三种光照条件，以检验算法在多种光照条件下的可靠性的情况。表2将这些条件标记为：“晴朗”表示晴朗的天空，“阴暗”表示太阳有阴影，“多云”表示完全云层覆盖。 表2还显示了棉花植物数据集在这些天的太阳能值。为了评估其可靠性，所开发的算法被施加到棉花（木槿）以外的植物。木槿植物图像是在2013年秋季期间在与棉花植物相同的条件下拍摄的。对于每个数据集，根据植物大小、大棉花和小棉花对结果进行细分。使用以下指标评价所开发算法1. 真阳性（TP）：通过开发的算法正确识别的真实植物叶片。2. 假阴性（FN）：表示植物叶被错误地识别为非叶。3. 假阳性（FP）：表示未正确识别的非叶作为一个真正的植物叶，或一个大而弯曲的叶子识别两次。4. 真阴性（TN）：对正确识别为一片无叶。由于图像中被真正识别为非叶子对象的对象的数量无法计数，因此在准确度计算期间没有考虑该度量。对于每个数据集，使用方程计算灵敏度（召回率）、精确度、准确度和F-测量。 （4.1）������������������������������=× 100%（4.1）������������������������=× 100%（4.2）A���������������������=+×100%（4.3）参考像素的数目为零时，将其值设置为零− =2���������������������2× 100%（4.4）邻居是三个或更多。此过程应用于所有列正+ +Z. Mohammed Amean等人阵列12（2021）10009910见图11。 使用ENBD技术分割叶片;红色像素表示窗口的中心，黄色像素表示八个相邻像素，蓝色像素表示窗口的中心。显示了应用该技术后的变化像素。 (For有关本图例中颜色的解释，请参阅网页版这篇文章）。见图12。 区域3连接叶的视差图：（a）植物3的由少量像素连接的两个区域和相同连接区域的视差图。(b)序列ZNC技术。（c）使用ZNC技术分离两个相连区域后的视差图图十三. （a）区域3的彩色图像，植物3在使用ENBD和ZNC技术分离之后，（b）植物2在使用DDS技术之后的最终分割图像，（c）不同区域植物4在使用ENBD和ZNC技术分离后的总产量。 (For关于本图图例中颜色的解释，读者可参考本图图例的网络版本。（见文章）表1图1A 和 1B 中 的8个 选择的 棉花和木槿植物的 最 终 叶 分 割 结 果 。 图 14个。技术名称自动计数总叶片视觉图像计数假阴性假阳性完全正确段准确度%4.1. 结果评价预处理GDS 106 122 4 20 102 81ENBD 112 122 5 15 107 84ENBD+ZNC 120 122 5 7 115 91许多挑战和困难问题，如部分阴影和该算法的主要挑战是在多变的室外条件下分割具有许多遮挡边界的复杂结构的植物叶片。虽然户外图片有由于户外条件下的照射，出现了过度曝光区域。根据植物叶片的颜色、形状和深度特性，有效地将其从自然背景中分割出来。图像951224319172DMD981224289475Z. Mohammed Amean等人阵列12（2021）10009911图14. 图1B的八株植物的最终叶分割。1.一、 第1列和第3列显示了使用图像预处理算法后的结果;第2列和第4列显示了结果在使用DDS算法后。表2棉花植物数据集收集。这些图像是在2014年冬季和早春收集的数据条目图像条件太阳方向太阳能（瓦特/米2）数据集1阳光多次波178(July 13，12数据集2阴影N/A N/A(July 14，10 am数据集3 Sunny Single 273（8月8日，12数据集4阴影N/A N/A（8月9日，上午数据集5 Sunny Single 285（8月28日，下午1数据集6多云N/A 77（8月26日，12数据集7 Sunny Single 253（9月19日，上午数据集8 Shady N/A N/A（九月十九日下午三该算法的准确性进行了评估之间的比较自动分割产生的叶片数，从植物图像的视觉计数得到的数量。测试的数据集具有272个图像对（彩色图像和视差图），总共有2453片棉花和芙蓉叶。的 使用所开发的分割算法能够成功地检测1910片叶子，对于单个植物叶子的分割率为78%。使用所述分离器进行封闭叶的分离Z. Mohammed Amean等人阵列12（2021）10009912表3在所有条件下，棉花和木槿植物的开发算法的总分割率，其中A =准确度，S =灵敏度，P=精度和F = F-测量。条件所有环境照明条件工厂规模编号图 片 数量A%S%P%F%大棉6470808683小棉188 69 76 89 8220 73 78 92 85总比率272 71 78 89 83提出了DDS算法。结果表明，在578片连续重叠的叶片中，分离成功484片，分离率达84%。下表3显示了在不同光照条件下棉花和木槿属植物的总体检出率。该表还显示了两种植物的大致相同的性能，在小型和大型棉花植物的结果之间没有观察到显著差异。图图14示出了成功检测到的具有各种位置和形状（单个、接触和重叠）的许多叶子的植物图像的一些示例。木槿属植物的分割准确度、灵敏度、精确度和F-度量略高于棉花（表3）。 由于棉花和芙蓉植物的结构不同以及图像拍摄地点（室内）不同，预期结果会更高。表4示出了与晴天条件相比，在阴暗和多云条件下棉花叶的可接受分割率。这是由于图像在阳光条件下曝光过度或受到部分阴影问题的影响。然而，阴凉条件可能具有低照明或不足的光覆盖，导致在阴凉处拍摄的一些图像的假阴性和假阳性叶子。小型棉花植株在阳光和阴暗条件下的准确率非常相似（68%），但据报道，多云条件下的准确率更高（73%）。总体而言，两种棉花尺寸的分割率都是足够的;然而，图像受到户外环境问题的影响，例如阳光直射和远处的树木。同样，木槿植物图像的条件的多样性产生不同的分割率。由于木槿属植物不是本研究的主要对象，木槿属植物图像的样本量不如棉花图像的样本量大。在室内（80%）和背阴（79%）条件下观察到木槿属植物的高准确率，而在晴天（67%）和多云（65%）条件下实现了中等准确率。4.2. 结果讨论该算法在阳光明媚，阴凉，多云的条件下进行评估。进行特定测试以检查每个数据集的一种照明条件，揭示不同的照明问题。此外，其他图像呈现了其他叶片因素的影响，例如接触和重叠的叶片，叶片方向和叶片大小。以下小节将分析这些因素对细分结果的影响。结果表明，来自不同数据集的某些图像存在光照覆盖不足，例如部分阴影或低光条件下，而其他图像显示曝光过度的区域。4.2.1. 部分阴影阴影的叶子可能被识别为两片叶子或一片叶子，这两片叶子或一片叶子对于使用深度特性的正叶子识别具有不充分的信息。这是由于具有两个不同区域（阴影、未阴影）的叶子可能产生不正确的深度信息，因为立体图像对之间的相关性取决于边缘图像的亮度像素而