基于RealSense的苗块无损监测系统研究

农业中的人工智能3（2019）18利用英特尔实感深度摄像头实现自动移栽的苗块集成无损监测Tabinda Naz Syed，Liu JizhanXiang，Zhou Xin，Zhao Shengyi，Yuan Yan，Sami Hassan Ahmed Mohamed，Imran Ali Lakhiar江苏大学现代农业装备与技术教育部重点实验室，江苏212013a r t i c l e i n f o文章历史记录：收到2019年2019年9月18日收到修订版2019年9月18日接受在线预订2019年10月18日关键词：机器视觉RealSenseSR300分割苗移栽a b s t r a c t植物生长参数的无损检测是自动化育苗移栽中的一个重要问题。最近，已经提出了几种基于图像的监测方法，并可能开发用于几种农业应用。提出并开发了一种基于RealSense的近距离苗块综合监测机器视觉系统。该策略基于近景深度信息。在此基础上，采用点云聚类和适当的算法对三维苗木模型进行分割。此外，还开发了数据处理流水线，对4个不同品种的苗木形态参数进行了以辣椒、番茄、黄瓜和生菜4个不同的幼苗品种为材料，在不同光照条件下进行了光、暗培养试验。此外，分析结果表明，由于近距离近红外探测，在明亮和黑暗环境中没有发现显著差异（p<0.05）然而，结果表明，RealSense和手工方法之间的茎直径关系被发现为R2=0.68黄瓜，R2=0.54番茄，R2=0.35辣椒和R2=0.58生菜幼苗。辣椒、番茄、黄瓜和生菜的苗高与RealSense的相关系数分别大于R2=0.99、0.99、0.99和0.99根据实验结果，可以得出结论，RGB-D集成监测系统与目的的方法，可以实践的苗圃苗木最有前途的不高的劳动力要求，在易用性方面。该系统具有良好的稳定性和相关性，可用于植物生长监测。另外，对于移栽机器人的实时视觉伺服操作也具有一定的实用价值。© 2019 作 者 由 爱 思 唯 尔 公 司 制 作 和 主 持 我 代 表 科 爱 通 信 公 司 ， 公 司 这 是 CCBY许可下的 开 放 获 取 文 章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍苗木移栽是植物生产中最重要的环节之一。在特定的生长阶段，将幼苗移植到低密度生长托盘中以进一步生长和发育。在移植过程中，幼苗被多次处理，以用健康的幼苗替换腐烂或缺失的植株一般来说，它是通过需要额外时间和能量的手动操作来执行的。在目前的实践中，秧苗移植操作被认为是一项巨大的劳动密集型工作（Kumar和Raheman，2008年）。除了高昂的劳动力成本，可用性和可持续性正在成为插头生产行业发展的一个重要问题因此，难以大规模扩大人工育苗移栽生产研究人员认为，这可能是最合适的选择，实现自动机器人技术的幼苗移植（津贺，2000年）。许多研究（Hwang和*通讯作者。电子邮件地址：liujizhan@ujs.edu。cn（L. Jizh an）。Sistler，1986; Kutz等人， 1987; Ting等人，1990 a; Ting等人，1990b; Humphries和Simonton，1993; Tai等人， 1994; Xin等人， 2018）设计并申请了自动秧苗移植机的专利，并得出结论，机器人移植机可以通过准确可靠地执行重复性任务来减少秧苗移植的劳动力需求。用于托盘或盆的全自动移栽机可以达到35，000株植物/h植物的高效率（Ryu等人，2001年; Tian等人， 2010; Ting等人， 1992; Han等人， 2018年）。此外，研究人员正在尝试使用机器视觉技术（MVT）来确定植物的健康状况，通过将传感器相机放置在自动移栽机的插塞保持器因为MVT可以检测和识别采摘植物的状态，即采摘植物是否具有良好的形态结构。此外，该系统还可以方便地识别堵塞物出孔。目前，MVT在研究人员中越来越受欢迎 同时，也提出并开展了多功能插秧机与机器人的配套研究。这些研究的结论是，这两种技术相结合，可以帮助生产健康和统一的幼苗，减少时间和劳动力的需求。https://doi.org/10.1016/j.aiia.2019.09.0012589-7217/© 2019作者。Elsevier B.V.代表KeAi Communications Co.制作和主办，这是CC BY许可证下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表农业中的人工智能期刊主页：http://www.keaipublishing.com/en/j ournals/artificial-intelligence-in-agriculture/T.N. Syed等人 /农业人工智能3（2019）18 - 3219因此，利用传感器相机监测植物健康状况可以被认为是现代农业中一个有价值的、必不可少的和重要的研究课题和应用问题。 特别是在过去的几年里，随着技术创新的发展，几种类型的传感器相机已被用于监测植物健康状况，具有高清晰度。其中，高光谱技术不断涌现。传感器相机通过非破坏性提供广泛，目的和精确的必要数据（Shimizu和Yamazaki，1996;Lee，2007;Müller-Linow和Pinto-Espinosa，2015）。此外，Tai et al. （1994）开发了一种MVT辅助的机器人移栽机。他们的研究得出结论，所提出的算法能够检查随机定向的苗盘中高度不均匀的生长介质块研究报告称，为了监测幼苗生长，幼苗结构参数及其功能的准确测量是非常关键的（Alenyà等人，2011; Papari and Petkov，2011）. 由于干扰的存在、背景复杂、与培养基质表面的对比度低、强度不均匀等因素，使得机器视觉系统对植物的监测较为复杂。然而，植物分割仍然是该系统在实际应用中的一个具有挑战性的问题。类似地，立体视觉是用于植物生长测量的技术（Andersen等人， 2005; Lati等人， 2013; Yeh等人， 2014; Aksoy等人，2015年）。该方法分辨率高，测量速度快，但对被测物的结构敏感，精度不高此外，对于3D（三维）植物测量，一些科学家使用ToF（飞行时间）相机（Alenyà等人， 2011; Klose等人，2011; Chaivivatrakul等人， 2014; Song等人， 2014年）。研究报告称，有组织的光是获得3D信息的另一种策略它已被用于高精度植物生长监测和其他相关研究。然而，设备复杂或昂贵，这限制了其应用（Li等人， 2013; Bellasio等人， 2012; Nguyen等人， 2015年）。RGB-D传感器（英特尔实感和微软Kinect）改变了监测和生长测量领域，因为它们可以在实际时间内获得物体的3D细节和彩色数据几位研究人员介绍了Kinect（v1）用于植物生长评估（Yang et al.， 2016年; Hu等人， 2018年）。然而，在Kinect和RealSense上进行了一些有价值的工作，用于开放式作物监测，温室植物测量，苹果植物建模，并使用深度球横向方法来发现柑橘果实的三维几何特征（Alenyà等人， 2011;Song等人， 2014; Li等人， 2013; Klose等人， 2011; Chaivivatrakul等人， 2014年; Liu等人， 2017年）。 刘等人最近的一项研究。（2018）开发了一种使用RealSense深度传感器的识别算法，用于近距离识别和定位机器人收获的水果。他们的研究报告说，所提出的识别算法具有几个优点，如快速的前地面，背景去除，并可能有助于收割机器人的高实时视觉伺服操作在早期的作品中，RGB-D传感器相机在植物照片研究中表现出色RGB-D传感器可以生成实时强度数据，这对于3D映射来说是一种更少的计算成本与其他传感器相比，RGB-D指示器非常经济然而，在全实况场景中使用RGB-D传感器的植物跟踪研究，并且其尚未被实质性地分析。为此，本研究采用RealSense SR300深度传感器，对基于机器视觉技术的苗块一体化无损监测进行了实验和分析此外，本研究提供了一个自动幼苗生长监测策略，这是基于三维深度点云技术。2. 作为相关工作的文献综述目前，人工智能（AI）在传统农业中已经取得了重要的成就，可以通过利用有限的资源，在较少的人为干预下，适当地规划多项活动和（Lakhiar等人，2018年a）。此外，人类还需要决策和自动化的复杂计算机监测和控制技术，以减少意图，提高系统的效率到目前为止，一些研究得出结论，在农业中采用不同的计算机智能技术（CITA）可以提高农业活动的效率（Lakhiar等人，2018年b）。然而，采用CITA的简要概念可以在不同作者进行的研究中找到（Shamshiri等人，2018a，2018 b，2018 c; Jiang等人， 2019年; Xia等人， 2019年; Liu等人， 2019年）。此外，基于计算机视觉（CVB）或MVT是人工智能领域最受欢迎的研究课题之一 它主要是指利用计算机来模拟人类的视觉功能，从图像中提 取 信 息 并 对其进 行 理 解 ， 最 终 用 于 实 际 的检 测 、 测 量 和 控 制（Shamshiri et al.，2018年a）。MVT的基本原理是通过光电元件将光转换为电信号，然后通过各种成像技术对手术对象进行分析处理，从对象中提取有用信息。 MVT主要用于精确地执行几种农业活动，例如作物生长监测、环境条件监测、农业生产自动化和农产品质量识别（Shamshiri等人，2018年b）。通常，MVT是通过使用图像处理技术来执行的，其涉及诸如图像获取、预处理、分割、目标检测和分类的一些基本过程。表1显示了在农业中通过使用具有不同算法、技术和相机的CVB应用程序近年来，研究人员非常关注将RGB- D相机用于农业自动化和机器人，包括植物监测。有几种类型的RGB-D相机，如RealSense，KinectV2，华硕Xtion Pro，结构传感器和许多其他。此外，RealSense SR300是一款价格低廉的设备，在一定程度上降低了各种场景下的应用成本。它集成了二维模块和三维深度模块，使设备能够感知物体的深度信息。其硬件结构主要包括RGB摄像头、红外摄像头和红外激光发射器三个核心部件。这三个因素的组合可以获得从周围区域感知的物体的深度信息（Liuet al.， 2018年）。3. 材料和方法3.1. 材料苗木生长监测机器视觉系统由传感器、数据读取软件和计算机组成。此外，传感器为Intel RealSense SR 300深度传感器，主机为笔记本电脑，规格为Intel Core i5-6200U CPU 2.40GHZ 64位操作系统，基于X64的处理器，软件为Microsoft Visual Studio 2013，MATLABR2016 a和Image J。选择辣椒、番茄、黄瓜和生菜4种类型的植物幼苗将幼苗生长在两个50室托盘中，并在播种4周此外，在幼苗生长4周后，从每个品种中随机选择均匀大小的幼苗进行监测和评估。但是图图1显示了用于实验的选择的幼苗，图2显示了用于实验的选择的幼苗。 2显示传感器。3.2. 方法3.2.1. 监控策略和所提出的算法的概述通过分析，提出了基于近景深度信息的苗木监测过程。 用于监测幼苗的预定算法在图3中示出。 此外，所提出的方法可以进一步详细描述为：首先，我们通过深度阈值化来确定幼苗与RealSense之间的距离。后来，幼苗被20T.N. Syed等人 /农业人工智能3（2019）18 - 32表1以前的研究是通过使用基于计算机视觉的应用程序与不同的算法，技术和相机在农业中进行的作者年应用/型号/系统目标结论/评论Chikushi等人1990蜘蛛软件黄瓜根长分析植物根长，准确率达98%Yang等人2000模糊逻辑决策系统杂草的识别与检测正确性除草剂用量减少15精准农业利用IT工具Chen等人杜与孙20022004机器视觉技术及应用基于five的家禽尸体和苹果病害检测食品质量专注于高光谱成像系统经济高效的多用途图像处理埃里维斯和2005步骤便携式高光谱可调成像用于恢复用于对系统施加增加精准农业应用，鼓励菲茨杰拉德Puchalski等人2008系统（PHyTIS）图像处理技术组合平移、缩放和旋转苹果缺陷图像配准在检测瘀伤，结痂和霜冻方面获得了96%的准确率损害Tellaeche等人2008决策和图像分割消除燕麦、杂草除草剂喷雾剂Artizzu等人2009案例推理系统在谷类作物土壤、作物和杂草对不同领域，获得了80%的相关系数Jin等人2009自适应和固定强度拦截从户外图片黄皮缺陷检测及其条件91.4%的识别率，92.1%的分类率和100%的Terasawa等人2009Otsu分割用于图像校正的土豆植物生长状态观察基于远程和分析传感技术韦斯和格哈德Beers等人20092010描述形状特征的图像可视化技术杂草密度和物种变异的检测农业可持续发展基于双光谱图像的植物背景分割注重过渡管理和战略利基Guijarro等人2011自主机器人导航成像，通过图像处理识别杂草纹理，绿色管理确定了黑麦或小麦等作物的生存能力，受控模糊聚类阈值化植物、玉米、谷物和大麦减少计算时间姆鲁纳利尼河等人Reis等人20112012基于神经网络的K-means聚类算法葡萄识别系统通过模式识别白葡萄和红葡萄模糊逻辑和人工神经网络结合计算机技术可用于作物病害的Classi采用97%的红葡萄和91%的白葡萄，Silva等人2012LabView图像处理彩色图像杂草覆盖度的测定低成本的替代品耕作与免耕农田阿南德·H Kulkarni2012Gabor滤波器和ANN classi滤波器百分比植物病害使用彩色摄像机基于图像的植物特征提取与分类等人处理技术Sabah Bashir等人皮尤什·乔杜里20122012基于共生矩阵和K均值聚类的图像应用Otsu中值滤波器植物病害的图像检测植物叶片它可以用来分类各种植物病害疾病分类的基础上计算尺寸的等人Sanjay B.教授等人2013方法基于视觉的图像处理基于颜色变换植物叶片病害当场神经网络可以用来提高识别率，Wu等人2013检测算法图像处理和分割使用自动异性纤维检测分级过程获得准确和快速的分割Otsu方法棉制品Kelman和Linker迪奥尼西奥·安杜哈尔20142016苹果检测算法微软Kinect v2摄像头通过树木图像玉米杂草发生量的估计结果表明，85%的苹果边缘有15%的非凸形轮廓，40%的非凸形轮廓结果表明，该方法可用于等人Xiong et al.2017立体成像系统使用Kinect Fusion算法的作物体积重建估计体积、作物状态确定和杂草检测开发了非破坏性和高通量三维冠层结构单个叶片形状曼努埃尔2018微软Kinect v2摄像头油菜幼苗利用三维数据估算叶面积对齐并合并四点云，MAPE为8.8%巴斯克斯-阿雷利亚诺等人玉米植株7.8%最初被视为近距离监测，以发现任何损坏，然后发送到进一步的过程。在下一步中，捕获RGB-D图像。因此，所有数据集都自动收集到VisualStudio C++的数据库中。为了去除深度图像中的前地和背景，采用了阈值法.在此基础上，对苗木进行块状和茎状分割，得到苗木的深度点云。最后，采用不同的算法提取了苗木的形态特征.3.2.2. 校准RealSense深度传感器首先，将Intel RealSense SR300深度传感器固定在三脚架上，并通过USB端口与可用的数据接收器源（如笔记本电脑）连接此外，英特尔实感SR 300深度传感器位于直线路径中距离幼苗75-220 mm的位置。因此，相机设置在130 mm的30°向下位置，用于固定所选监测对象的最佳视野然而，图4显示了英特尔实感深度传感器的校准视图，用于从选定对象获取数据。3.2.3. 利用RealSense深度传感器近距离监测秧苗本研究的主要目的是利用近景监测系统测量苗木生长参数。因此，整个监测策略是基于深度信息的。此外，首先，我们确定了近距离检测范围为75其次，根据图像中点云的个数将秧苗分割第三，利用自上而下的像素深度数据，消除了前地和背景的干扰，检测出秧苗的茎尖（茎），实现了对秧苗茎干健康与否的判断。以相同的方式，监测幼苗块是否健康或具有T.N. Syed等人 /农业人工智能3（2019）18 - 3221Realsense校准传感器近距离监控使用RealSense进行影像采集和RealSenseRGB信息收集深度信息收集删除阴影的干扰，苗形分割成块和茎以获得点基于聚类分析的图1.一、 所选幼苗的类型（a）辣椒、（b）番茄、（c）黄瓜和（d）莴苣。非理想状态。第四，在去除多余深度信息的过程中，快速分割成苗块和苗茎，决定送去进一步处理。最后，从幼苗的深度图像中提取特征此外，所测量的参数包括苗高、叶面积、周长和茎粗。 使用IntelRealSense SR300深度传感器监测秧苗的整个过程如图所示。 五、3.2.4. 使用英特尔实感SR300深度传感器采集图像3.2.4.1. RGB图像采集。 所有种类的植物在不同的生长阶段看起来都是一样的，但是不同植物的元素和属性在每个生长阶段都是不同的，包括形状，大小和颜色。此外，本研究还分析了黄瓜、辣椒、番茄和生菜幼苗的不同生长阶段照片分辨率为640 × 480，采用RGB（24位）格式拍摄图像中的每个像素都是由0到255之间的三种原则（对应于红色，蓝色和绿色）在使用RealSense深度传感器捕获照片后，将照片移至应用不同图像处理技术的下一步骤，如第3.2.6所述。 图 6显示RGB图像采集的详细过程。3.2.4.2. 深度图像采集。第一步是捕获幼苗的RGB图像。之后，我们进入第二步，即获得幼苗的深度图像详细信息采集的程序代码在MicrosoftWindows 8.1环境下在计算机上完成，并在Microsoft Visual Studio2013软件系统上进行了搭建首先编写了图像获取程序，调用使能流函数获取深度流信息.随后，选取非简洁类指针获取每个像素的深度值作为指向第一个细节深度缓存的地址。然后，我们使用深度图像的整数像素指针来调节帧数据的宽度最终，访问每个像素的强度（y ×深度图像的像素指针+x）等于3.2.5. 消除背景和分割该方法主要分两步进行：第一步是背景去除，第二步是将秧苗图像分割成块和茎。分割的目标是开始通过深度阈值法通过圆形偏移量借给中心p（x，y）并输出到文本文档. 每帧有640 × 480个数据点深度N图像采集算法如图所示。第七章判断苗木图像聚类是否成功Y端图二、 英特尔实感SR300深度传感器。图3. 整套工厂监控系统的流程图。记录像素坐标图像提取植物特征打印并保存幼苗图像22T.N. Syed等人 /农业人工智能3（2019）18 - 32图四、以系统平台为例说明了苗木数据的获取。利用深度点云提取算法对物体进行分割，获取深度信息。此外，所提出的分割方案的整体过程在下面展示并且在图1A和1B中呈现。8和9。• 首先，利用RealSense深度传感器获取幼苗的RGB-D图像，并进行对齐处理。• 其次，幼苗图像的点云数据包含环境的某些部分（例如，房间的墙壁）称为背景，其通常不同于有用数据的深度信息。因此，在设置阈值范围后将其删除• 在此基础上，利用整数像素指针从点云数据中提取前景像素因此，在深度图像上使用整数像素指针之后，将深度图像相应地分割成若干个子区域此外，在该阶段，仅移除植物提取物和非绿色背景对象。• 同时，在滤波后的深度图像上测量梯度矢量场（GVF）利用梯度矢量场估计了散度的中心• 最后，根据深度数据发散的中间点，对主动轮廓模型（ACM）进行自动初始化。在深度图像上应用主动轮廓模型，将幼苗分割为块状和茎状两部分3.2.6. 基于机器视觉的植物形态特征提取3.2.6.1. 股骨柄直径。利用RGB-D数据对苗木茎粗进行分析，以评估受损和弱苗。此外，通过使用Image J软件从捕获的RGB-D图像测量幼苗茎直径。首先，将图像转换为二值图像（黑白）。在第二步中，设置阈值范围以区分感兴趣的对象与背景。而图像中所有值低于阈值的像素都被转换为黑色，所有值高于阈值的像素都被转换为白色。第三步选择茎并使其复制。之后，通过选择手绘工具突出显示股骨柄的尖端区域，并分析股骨柄直径。图五、 使用RealSense深度传感器的近距离秧苗监测（a）秧苗生长参数测量监测的主要程序，（b）苗茎分割后的近距离秧苗监测，（c）苗茎分割后的近距离秧苗监测。T.N. Syed等人 /农业人工智能3（2019）18 - 3223从Realsense传感器通过设置阈值范围使用整数像素指针基于活动轮廓模型的苗木块状分割应用梯度向量场(GVF)找到发散中心开始设置相机距离读取幼苗RGB图像保存图像没有结束了？等待几秒钟返回其初始位置结束操作端是的图第六章RGB图像采集流程图。3.2.6.2. 株高。测量植物高度以评估幼苗的生长和发育。此外，关于实验，基于分割成块和茎的植物的点云测量植物高度（图10）。在MATLAB软件中完成了植株高度通过给定的表达式（1）计算相对高度。HR HS HL1其中HR=相对高度，HS=茎的高度，HL=块的高度3.2.6.3. 叶面积。叶面积测量用于跟踪植物的生长和健康状况。因此，测定叶面积的目的是了解苗木营养状况和发育速度。它是植物最重要的光合作用器官，影响着叶片的生物生产力在详细的过程中，首先，从RealSense深度传感器获取深度图像，然后进行进一步的处理。因此，深度数据被接收并存储为.text文档格式。其次，将适当的算法应用到MATLAB中，并借助数据光标工具提取叶面积区域中的像素数，然而，图11示出了整个过程的图形用户界面（GUI）。其中，深度照片由像素组成，其中每个连通区域代表叶面积的像素3.2.6.4. 警戒线植物周围的边界称为幼苗的周长。为了检测苗木的周长，首先将深度图像打开到MATLAB中，通过合适的算法对图像进行全面扫描之后，通过运行程序，图第七章 深度点云数据采集流程图。图八、 拟议分段安排的流程图。开始启动使能流功能，激活分辨率为640 × 480的深度数据流，选择16位无符号整数深度数据流，输出深度值单位为mm。端释放实例释放当前帧存储深度信息获取深度信息，某一点收集当前帧深度数据初始化流样本确定是否到达的数据流深度创建示例Sense Manager界面24T.N. Syed等人 /农业人工智能3（2019）18 - 32图第九章 基于RGB-D苗木分割的点云处理的主要过程。幼苗的边缘出来，并相应地测量周长，如图1B所示。12个。3.2.7. 多视角下的苗木监测为了消除突然的运动，导致幼苗振动和降低点云的质量，连续旋转。因此，为了评估真实的3D网格采集性能，通过定位传感器来生成待测量的幼苗的传感器发出垂直扫描的红外光，以覆盖幼苗的高度本试验选取了4个不同的苗木品种进行在75-220 mm的近景拍摄范围内，从每个品种采集15个样品，模拟其生长状态，在不同角度（0°、45°、90°和135°）下测量其苗高为每个幼苗设置4个视图以收集深度信息，总共收集了60个位置对于每个样本，幼苗在同一位置上每45°连续旋转，以接收整个深度点云。然后，利用MATLAB软件，采用苗木特征提取策略，对茎块的深度信息进行识别幼苗的多视图如图所示。13岁3.2.8. 不同光照条件下的苗木监测为了分析RealSense深度传感器在光照下监测幼苗的性能，并将其在黑暗中的有效性等同起来，每个实验都设置了黑暗和光照环境，如图所示。14个。由于光照条件是苗木监测技术的一个重要因素黑暗中的分析在没有光的情况下进行，从8图10. 基于茎块分割的株高提取原理。T.N. Syed等人 /农业人工智能3（2019）18 - 3225图十一岁 用于叶面积测量和实时可视化的图形用户界面。到晚上10同时，在晚上12点到3点的光线下进行检查3.3. 验证RealSense深度传感器的实验为了验证RealSense深度传感器用于苗高和茎粗测量的有效性，在江苏大学的温室中种植了4种不同的幼苗品种在每个品种中随机抽取15个苗高和14个茎粗样本进行验证。该程序允许在幼苗上验证RealSense深度传感器，不同规模的复杂性。手动和MV（机器视觉）的数据收集步骤如下：• 为了验证RealSense深度传感器，首先考虑手动用卷尺从苗块的底部到苗块的顶部垂直测量苗（茎和苗块）的高度，用游标卡尺测量茎直径• 在MV采集方法中，我们使用了RealSense深度传感器摄像头。一旦从RealSense深度传感器摄像头捕获图像并在PC端接收到图像，就开始对图像进行处理功能。RGB-D图像的目的是获得图12个。 苗木周长测量实验现场。26T.N. Syed等人 /农业人工智能3（2019）18 - 32图13岁幼苗3D视图在不同的角度。其中行表示（a）辣椒、（b）番茄、（c）黄瓜和（d）莴苣。它的原始3D点云，允许测量（a）种子的高度和（b）每个幼苗的茎直径3.4. 数据分析方差分析（ANOVA）用于确定两种方法和推导参数之间的相关性并进行回归用变异系数R2（coefficient of variation）评价其准确性，并根据95%置信度下的p值（0.05）确定其显著性4. 结果和讨论4.1. 苗木形态参数监测用MV法对40个供试材料的幼苗进行了形态质量测定，并将其分为4个品种，每个品种10个样品。然而，所获得的结果如图所示。 15个。如可见于图15、测得的平均叶面积为辣椒（678.5 mm）、番茄（850.5mm）、黄瓜（420.6 mm）和生菜（126.3 mm）;平均茎粗为辣椒（2.5 mm）、番茄（850.5 mm）、黄瓜（420.6 mm）和生菜（126.3mm）;(2.7辣椒、番茄、黄瓜和生菜的平均株高分别为97.8 mm、40.7 mm、39.7 mm和41.0 mm，平均周长分别为162.3 mm、162.3mm、138.0 mm和172.0 mm。因此，可以说，幼苗形态使用英特尔实感SR300深度传感器可以显著检测到这些参数。4.2. 苗高多视图表现对4个不同的苗木品种在60个观测点上进行了多视角性能的观测 监测结果如图所示。 十六岁此外，它可以在图中看到。 17不同的视图对英特尔实感SR300深度传感器的准确性没有显著影响。但生菜的成功率最高，黄瓜的成功率最低。生菜苗高最高，黄瓜次之，辣椒次之，番茄最低。因此，可以说英特尔实感SR300深度传感器可以用于监测不同位置的幼苗4.3. 不同光照条件为了验证RealSense深度传感器在不同光照条件下的性能，设置了黑暗和光照环境这些幼苗的图像是在实验室中在两种条件下拍摄的：光照和黑暗。因此，考虑到高度和形状特征，试验考虑了4种类型的幼苗（番茄、辣椒、黄瓜、在近距离拍摄的每种条件下共分析了40个样品根据回归分析，在p值（0.05）的光照和黑暗环境下，苗高和形状检测效果的效果保持相同结果表明，光与光之间的检出率没有明显差异，T.N. Syed等人 /农业人工智能3（2019）18 - 3227图14个。拍摄不同光照条件下的幼苗图像。其中行表示（a）辣椒、（b）番茄、（c）黄瓜和（d）莴苣。和黑暗环境中的光敏感性，可以有效地克服光敏感性。因此，所提出的方法提供了有用的概念，不同类型的幼苗植物可以有效地监测在任何光照条件下。其中辣椒的识别率最高，在98 ~ 100%之间黄瓜、番茄和生菜的成功然而，实验结果如图所示。十八岁4.4. 传感器确认方差分析表明，本文提出的测定苗木茎径和苗高的方法具有很强的显著相关对各品种的苗高（60个样本）和茎粗（56个样本）进行方差分析（ANOVA），结果见图1。 19（a和b）。分析结果表明，150012009006003000辣椒番茄黄瓜3.53.02.52.01.51.00.50.0辣椒番茄黄瓜1209060300(a)（b）第（1）款2001601208040辣椒番茄黄瓜生菜各种茎块0辣椒番茄黄瓜(c)（d）其他事项图15个。 基于（a）叶面积、（b）茎直径、（c）株高和（d）周长评估幼苗质量。叶面积（mm²）株高（mm）周长（mm）直径（mm）28T.N. Syed等人 /农业人工智能3（2019）18 - 32图十六岁 幼苗地面实况（0°）和SR300在多视图下采集的数据之间的3D比较。其中行表示（a）辣椒、（b）番茄、（c）黄瓜和（d）莴苣。用手动（参考）和MV方法获得的结果拟合线性对应的详细结果进一步如图所示。 20（a和b）。从图20（a）中可以看出，用于确定幼苗高度测量的手动和MV之间的相关性，发现 R2值高于（ R2=0.99）辣椒、（R2=0.99）番茄、（R2=0.99）黄瓜和（R2=0.99）莴苣。辣椒品种的平均苗高在160 mm左右最高番茄、辣椒、黄瓜和生菜茎粗的相关系数分别为（R2= 0.54）、（R2= 0.35）、（R2= 0.68）和（R2= 0.58）。20（b）. 生菜茎粗最大（3.7mm），黄瓜、辣椒、番茄次之.50403020100生菜、番茄、辣椒、黄瓜育苗品种图十七岁多视图中幼苗的高度。此外，仔细观察表明，15个样本的总苗高聚为一类，14个样本的总茎直径聚为一类表明苗高的R2在回归线附近的离散度结果表明，高R2值证明了RealSense深度传感器工具的准确性;因此，它可以成为监测幼苗健康状况的绝佳工具由此可见，人工法与MV法在茎粗和苗高上的平均差异极显著（pb0.53）和（pb0.99），在95%置信水平下的差异为b0.05（0.95）4.5. 基于多视图的比较的影响本研究旨在提出基于75-220 mm近景范围的苗块综合监测方法除此之外，这项工作的目标是提出一种使用图像分析监测幼苗生长参数的替代技术，并介绍一种新的方法，可以提供最快的结果与有用的技术。设计了一种基于深度点云的图像分割算法，通过MV评价苗木生长发育情况算法在C++、Image J和MATLAB软件中实现深度照片是在多个视图中捕获的，以积累传感器的精度。如图 17、通过比较，平均生菜的监测成活率明显高于其它方法。结果表明，SR300摄像机在任何角度的监测都不会影响苗木的实际高度。因此，该方法可用于“苗高（像素）T.N. Syed等人 /农业人工智能3（2019）18 - 32291209060300胡椒1 2 3 4 5 6 7 8 910号样品黑暗之光（a）黄瓜9060300120番茄1 2 3 4 5 6 7 8 9 10号样品黑暗之光（b）生菜12090603001 2 3 4 5 6 7 8 910号样品黑暗之光（c）90603001 2 3 4 5 6 7 8 9 10号样品暗光（d）图十八岁（a）辣椒、（b）番茄、（c）黄瓜和（d）生菜在不同光照条件下的RealSense深度传感器精度实验结果。其中p-值（0.05）在光照和黑暗环境下比较。近距离（75-220 mm）的“手持200160120804003.532.521.510.50辣椒番茄黄瓜生菜品种（b）图19. 人工和机器视觉（MV）的相关性：RealSense（MV）测量苗高（a），RealSense（MV）测量苗茎直径（b）。垂直条表示标准误差。在通过邓肯多重比较检验确定的p值（0.05）处，条上方具有不同字母的平均值是统计学显著的4.6. 在光照条件下光是植物监测的重要因素，而所提出的方法是基于红外技术。RealSense深度传感器会对样品发出红外光并收集信息。因此，它可以固定在移栽机器人上，并可以在自然条件下顺利地进行RealSense深度传感器具有最小近距离检测范围（75 mm）的优势，这在本研究中得到了证实。该系统在光照和黑暗环境下进行训练，并比较结果。因此，所获得的结果显示在黑暗以及在光照环境中的显著p值（0.05）性能4.7. 用于监测的RealSense深度传感器的可靠性通 过 比 较 基 于 苗 高 和 茎 直 径 的 手 动 和 MV 方 法 的 结 果 来 检 查RealSense传感器的准确性本研究的结果证实，自动化方法是可靠的标准手动方法。实验结果表明，人工采集的数据与RealSense SR300深度传感器采集的数据具有良好的线性关系。然而，人工测量方法既费时又费力。因此，它们不适合大规模实验。然而，我们提出的方法是完全依赖于可视化。4.8. 近距离秧苗苗木质量是苗高、茎粗、营养根大小和形态的综合这些特性共同决定了植物移植到田间后的营养状况传统上，植物生长参数通过使用测量带或手持仪器如激光和超声波测距仪手动测量因此，我们提出了一种基于苗高、周长、茎粗和叶面积等形态特征的挤压苗质量MV方法。 结果，非破坏性和有效地，我们发现令人满意的结果。手动MV胡椒番茄黄瓜品种（一）手动MV苗高（mm）成功率（%）直径（mm）成功率（%）成功率（%）成功率（%）30T.N. Syed等人 /农业人工智能3（2019）18 - 32图20. 苗高（A）、茎粗（B）的数据分布和拟合结果的散点图，从RealSense（MV）与手动方法获得的图像图中显示了不同的品种，即（a）辣椒，（b）番茄，（c）黄瓜和（d）生菜。4.9. 所提出的算法我们的研究的显著贡献和优势是较低的设备成本，包括自动化，这提高了其性能，避免了过时。通过使用英特尔实感SR300深度传感器，其工作速度比其他传感器和人工更快，节省了时间。整个监测过程和数据处理过程自动化，设计的算法能够准确测量出秧苗的关键特征但该系统对不同种类的苗木具有较好的在现有的移栽机器人只能监测孔内托盘中的秧苗，但使用我们提出的方法在移栽机器人可以监测秧苗出孔。它通过近距离拍摄监控播种，并以更高的速度工作，这使它能够看到大型机器的周围、后面和上方它可以很容易地集成到新的或现有的生产系统。数字图像可以监测植物结构的时间变化此外，更好的质量检测，分析，测量和装配验证。作为与目前的RealSense深度传感器和基于Kinect的方法的比较（Yang等人，2016年; Hu等人， 2018），所提出的方法具有监测幼苗的优势，具有准确的生长参数测量。4.10. 未来的作品我们的目的是尝试一种新的方法，苗块集成监测与RealSense深度传感器。但分析是基于深度信息的该方法适用于小型植物，如幼苗。精心设计的原则与真正的政策相反。通过该系统的应用，可显著降低劳动强度，提高科学育种水平，从而培育出优质种苗，保证和提高作物产量。该系统是可行的，具有实用价值。可用于自动插秧机上。此外，目前的研究有一些局限性。 在这项工作中，RealSense深度传感器的工作距离设置为75-220毫米，根据幼苗的高度从植被。因此，RGB-D数据的幼苗可以准确地获得然而，所提出的方法不适合于监测大型植物。此外，相关的研究及其在机器人移植中的实际应用正在进行中。5. 结论目前，用RGB-D传感器监测植物健康状况和物候被认为是一种经济有效的方法。然而，其范围是使用传感器相机来产生时间序列信息，从而更好地理解周围环境条件、植物健康及其性能之间的关系此外，在这项研究中，我们使用了英特尔实感SR300深度传感器，并提出了一种算法来确定植物生长参数。SR300是英特尔公司于2016年开发的第二代前置摄像头。它是一种子组件相机产品，实现了短程（SR）、编码光和3D成像系统。RealSense深度传感器可以计算T.N. Syed等人 /农业人工智能3（2019）18 - 3231图20（续）。对象，从背景层分离对象，并提供比传统相机更好的对象，面部和手势识别致谢该工作得到了江苏省农业科技创新基金（CX（16）1044）、江苏省高等学校自然科学基金（16 KJA 210002）、江苏省六大人才高峰工程（JXQC-008）和江苏省高等学校重点学科发展资助项目（PAPD-2018-87）的资助。引用Aksoy，E.E.，Abramov，A.，Wörgötter，F.，Scharr，H.，Fischbach，A.，Dellen，B.，2015年