深度学习技术在咖啡植物疾病识别中的应用

博士学位的论文B REST国家工程师学院ECOMUE UNIVERSITE BRETAGNEL'Oire第601章：你是谁？数学与信息与通信科学与技术专业：计算机科学通过 塞拉沃克A.沃勒林咖啡分级和疾病识别的智能系统论文于2020年2月4日在Plouzané发表并答辩研究单位：Lab-STICC，UMR CNRS 6285论文编号：答辩前的报告员：Jean-MichelLOUBES图卢兹数学研究所DominiqueVAUFREYDAZ HDR讲师，INRIA罗纳-阿尔卑斯，蒙博诺评审团组成：主席：PatrickMEYER教授，IMT大西洋，Plouzané考官：图卢兹数学研究所Jean-MichelLoubes教授DominiqueVAUFREYDAZ HDR讲师，INRIA罗纳-阿尔卑斯，蒙博诺。PascalRedou HDR讲师，ENIB Plouzané。MihaiPolceanu讲师，格林威治大学（英国）。Dir. 论文作者：CédricBUCHE教授， ENIB Plouzané。ABSTRACT深度学习模型成功的关键因素之一是它们能够自动地从输入数据中学习重要的表示，而不需要人工专家设计任务规范c特征。然而，为了学习这些表示，深度学习方法通常需要大量的数据，而这些数据的获取成本很高，尤其是因为收集和标记数据所需的工作量。本研究调查了深度学习在现实世界中的适用性，在现实世界中，数据量很小，在不同的位置（实验室）收集，使用不同的采集技术，并在最低限度的控制条件下。作为一个用例，埃塞俄比亚的咖啡植物疾病鉴定和分级是使用深度学习技术自动化的疾病鉴别阳离子数据集的一部分是在农场捕获的，而其中一些是从互联网下载的。通过使用相似的植物数据集对模型进行rst训练，然后应用迁移学习，可以设计出仅使用562张咖啡植物图像就能对咖啡植物疾病进行分类的模型，测试准确率为90.18%。咖啡豆分级数据集在埃塞俄比亚商品交易所（ECX）的Jimma分行收集，分两轮进行。为了解决由于光照和摄像机差异而在两组中发生的数据集移位，提出了图像预处理和增强技术。然而，与通常使用的预处理方法相比，所提出的技术并没有提高模型的性能。通过精心设计架构，应用数据增强和集合学习等机器学习技术，可以获得良好的分类ER（测试数据集准确率为89.1%），对咖啡豆进行评分，性能优于分类机器学习方法和现成的深度学习模型。咖啡豆数据集将公开提供给研究人员使用。关键词：深度学习，卷积神经网络，集合学习，小数据集，咖啡草案：2019年12月20日iiiR总结深度学习模型成功的一个关键因素是它们能够从输入数据中自动学习重要的表示，而不需要人类专家设计特定于任务的特征。然而，为了学习这些表示，方法深度学习通常需要大量的数据，而这些数据的获取成本很高，主要是因为收集和标记数据所需的工作。本论文考察深度学习在现实世界中的适用性，在现实世界中，数据量很小，在不同的位置（实验室）收集，使用不同的采集技术，并在受控的最小条件下。有两个主要贡献。首先，我们感兴趣的是检测咖啡树疾病的问题，这是迄今为止文献中没有讨论的，使用的数据集包含从互联网上下载的咖啡树疾病图像，我们在自然环境中绘制了地图，并采用了转移学习方法。仅使用562张咖啡树图像就可以设计出准确率第二，我们正在解决咖啡豆的分级问题通过在埃塞俄比亚商品交易所（ECX）的Jimma分支处捕获两个系列的咖啡豆图像来创建用于咖啡为了解决由于照明和摄像机差异而在两个数据集中发生的数据集偏移，将颜色校正算法添加到现有的图像处理和数据增强流水线中。然而，与常用的预处理方法相比，这些技术并没有提高模型的这表明图像采集技术的差异并不是数据集滞后的唯一原因。我们提出并评估了一种网络体系结构，该体系结构与数据增强和集合学习技术相结合，导致了改进的分类器（分类精度）。草案日期：2019年12月20日v六在所有测试数据中为89.1%），其评估咖啡豆，并且优于传统机器学习方法（改进25.47%）和即用型模型（18%）.咖啡豆数据集和模型将向公众提供，以支持对这些重要主题的进一步研究。关键词：深度学习，卷积神经网络，集合学习，数据集，咖啡。草案：2019十一个已知的基因这个博士学位的旅程对我来说是一次改变人生的经历，如果没有这么多人和组织的支持和指导，这是不可能的首先，我想对我的赞助商--法国政府和埃塞俄比亚科学和高等教育部（MoSHE）--表示最深切的感谢，他们通过高等教育能力建设计划资助了博士学位。我还要感谢埃塞俄比亚商品交易所、ECX Jimma分公司和Jimma大学咖啡研究所的员工以及农民在数据收集过程中的善意和支持。我想借此机会向我的导师Cédric Buche教授表示衷心的感谢，感谢他接受我为他的学生，并为这个伟大的机会打开了大门。他的指导和鼓励使我成长为一名研究科学家。我也非常感谢Mihai Polceanu博士的支持。这是我与他进行的许多讨论，主要是为了确定工作的方向。他对研究和我的事业的建议一直很棒。我还要感谢我的委员会成员Patrick Meyer教授、Pascal Redou博士和Tow k Ali博士提出的意见和建议。我感谢CERV的所有现任和前任成员，特别是Andreea-Oana Petac博士。辛迪·埃文和医生感谢MihaiPolceanu自2016年我第一次来到法国以来对我的支持。你让这次冒险没有挫折感，也很有趣，谢谢。最后，我永远感谢我的家人、朋友和亲戚，他们相信我的潜力，鼓励我努力工作，追求我的梦想。是你的爱和支持帮助我保持坚强，度过那些令人沮丧的时光。特别感谢我的女儿Eliana，没有她的允许，我不会来法国攻读博士学位。谢谢你在我身体和情感上都缺席的时候表现出的勇敢和耐心。草案：2019ixC.天线内容IX图XI列表表十四首字母缩略词xv1引言11.1贡献41.2组织4最新技术水平72图像分类为阳离子92.1经典机器学习102.2Arti Cial神经网络162.3数据和表示学习222.4使用小数据集292.5结论373农业中的机器学习393.1导言393.2植物疾病和鉴别阳离子403.3作物质量分级473.4公开可用的工厂数据集523.5结论52型号534从植物55的图像中检测咖啡病4.1咖啡植物疾病数据集554.2迁移学习........................................................................................... 56x4.3实验结果584.4第64章内容物5咖啡豆分级图像数据集675.1数据收集和准备675.2数据集分析695.3可能的应用区域725.4结论736自动咖啡豆分级756.1导言756.2预处理和数据增强766.3实验结果786.4第89章7移动应用程序中的部署917.1移动应用程序的要求917.2应用程序实现937.3第97章8结论998.1未来的工作1018.2出版物103参考书目105草案：2019xiISTF.伊古尔斯2.1在预测输出上选择k的示例。当k=3时，由谜题符号显示的测试数据集将被分组为1类（蓝色正方形），但当k=5时，将被分组为2类（红色圆圈）。..................................................................................... 122.2DT显示阳离子等级为高/低。在正方形显示属性中显示的节点;链接包含决策条件，而叶节点（椭圆形）包含预测输出..........................2.3分离的超平面a.可能的超平面b.最佳超平面152.4由一组n个DT构成的RF。学分：（Koehrsen，2017）172.5具有n个隐藏层的人工神经网络体系结构2.6CNN的架构。（LeCun、Bottou等人，（1998年）........................ 202.7优化算法的性能比较（Kingma）和BA，2014年）222.8偏倚与方差的示例（James等人，（2013年）.................................242.9深度学习和经典学习作为一种功能的性能培训数据量（Zappone等人，（2019年）.........................................252.10 结构域转移的示例（Tzeng等人，（2017年）................................. 282.11 训练图片示例：a）健康的叶子图片b）患病叶图像302.12 测试图片示例：健康叶子标记为患病302.13 GAN32的概念3.1埃塞俄比亚咖啡的可出口生产。 ICO（ICO，2019）是用于生成图表的数据......................................................................... 423.2埃塞俄比亚四个咖啡种植区三种主要疾病的发生率（Zeru等人，（2012年）............................................................................................ 433.3传统图像分类阳离子44中的图像处理步骤3.4图像采集设备由A. Faridah等人，2013年和b. Oliveira等人， 2016年..................................................................... 483.5基于处理和标记凯特。专家们对四个类别中的每一个都使用不同的标准3.6洗咖啡加工。农民清洗豆子以去除果肉。洗净干豆......................... 49xii图列表3.7未洗过的咖啡加工樱桃干与所有封面完整。农民们把豆子摇干了. 503.8影响咖啡等级的一些缺陷a）碎豆b）被昆虫损坏的豆子c）被壳覆盖的豆子d）未成熟的豆子e）异物f）未成熟和破碎。514.1图片来自咖啡病数据集。A.健康B. 咖啡Rust C. 咖啡野生..................................................................................564.2来自数据库的样本图像（左）及其分段版本（右）a）在恒定背景下拍摄的健康叶片图像b）在不受控制的环境下拍摄的健康叶片图像[c-e]来自受以下因素影响的植物的叶片图像：c）社论叶斑D）霜眼叶斑E）霜霜574.3样本灰度图像大小128 x128像素a）在恒定背景下拍摄的健康叶子图像b）在不受控制的环境中拍摄的健康叶子图像[c-e]来自受以下因素影响的植物的叶子图像：c）鼻中隔叶暴d）蛙眼叶斑（e）霜霜584.4基本模型61的培训与验证准确性4.5使用数据增加和减少对基础模型性能的影响。................................. 614.6rst激活层62中Lters的可视化5.1来自数据集的示例图像。顶行：来自Dataset1的图像。下一行：来自Dataset2的图像。a）2级b）7级c）当地1级d）当地5A............. 705.2毛价值与杯价值之间的关系 由于高度相关性，我们可以仅使用原始值来建模而不会丢失大量信息。..........................................................................705.3使用PCA执行特征缩减后图像在数据集中的分布的t-SNE图。蓝色-数据集1，红色-数据集2........................................................................716.1生成的图像。 图像生成时间rst迭代b. 我-10000次迭代中生成的年龄.................................................................. 776.2伽马校正图像样本。随着伽马值的增加，图像会变暗。从左到右gamma=1（无变化）、gamma = 0.5、gamma = 1.5和gamma= 2 ............786.3咖啡分级数据集经典机器学习算法结果的箱形图6.4级联CNN81的块图草案：2019xiii图列表6.5DS1和DS2模型的性能。当使用训练时，模型的测试性能存在很大的差异不同的初始条件856.688型的混淆矩阵7.1App92的使用案例图7.2InfoBuna93的徽标7.3App94的用户界面7.4性能等级为阳离子94的状态机图7.5用于将Keras模型转换为张量ow95的代码7.6使用相同方法对预处理图像进行代码片段编码和培训期间7.7InfoBuna被咖啡农场的农民[顶部]和ECX员工[底部]xivIST T型台4.1大豆疾病数据集中。574.2不同模型的分类阳离子结果594.360号提案的架构4.4下降和正规化的604.5最佳型号的性能指标624.6Modi ed体系结构（allCnn）取代了完全连接的层通过卷积层634.7咖啡馆转移学习方法的比较轻松数据集645.1每个数据集中每个类别的样本数。几乎一半的数据集1来自已洗类别，而约76%数据集2来自未清洗的类别686.1不同参数的支持向量机性能得分796.2分类为ER81的建筑6.3级联CNN型号826.484型架构6.5实验结果总结。当仅使用平均归一化处理数据集时，模型的预测性能似乎更好。......................................................................................... 866.6应急表876.7根据模型预测编制的应急表测试数据集87草案：2019xv在克罗尼姆斯Adam：自 适应矩估计19、58、82人工智能：人工智能智能10人工神经网络xi，9，16CART： 分类阳离子和回归树13CBD：咖啡浆果病43咖啡叶锈43CNN：卷积神经网络xii，2，3，5，9，17，19，20，22，37、45、46、48、64、65、75、79、81、82、100、101、03CWD：咖啡枯萎病43深度学习3、5、10、37、43、45DT：决策树xi、9、13、16、17、45、52、78ECX：埃塞俄比亚商品交易所3，67生成性对抗网络3、29、31、76、101GDP：国内总产品1.41ICO：国际咖啡组织xi，41，42KNN：K-最近邻居11LR：逻辑回归9注：朴素贝叶斯78主成分分析44、47、69径向基函数16RCNN： 递归卷积神经网络101ReLU： 直线单元21、58、59、84RF：随机森林16，45xvi首字母缩略词支持向量机9、14t-SNE： t分布随机邻居嵌入草案：2019111. 一、引言机器学习方法已经被应用于解决社会的社会和生态问题。随着算法和计算资源的进步，它们的应用领域已经变得非常多样化，从自动驾驶到以前认为不可能解决的医疗设备（Greenspan等人，2011年）。2016年;Krizhevsky、Sutskever等人，2012年; Bojarski等人，2016年）。农业是研究人员正在应用计算解决方案的领域之一。本文提出了利用图像处理和机器学习方法实现咖啡植物疾病鉴定和分级过程的自动化。这项研究的数据集是在埃塞俄比亚收集的，埃塞俄比亚是东非的一个国家，也是世界上最大的咖啡生产国和出口国之一。该国经济以农业为主，超过80%的人口在该部门就业。目前，农业活动占国内生产总值的45%和外汇收入的90%。GDP是一个国家在特定时间（通常是一年）内生产的所有商品和服务的在农产品中，咖啡占全国经济的大部分。咖啡生产在国家的社会、经济、文化和环境因素中发挥着至关重要的作用（Stellmacher，2007年）。该部门占外汇总收入的24%，并为该国四分之一以上的人口提供了生计（Mitiku等人，2001年）。2017年）。尽管埃塞俄比亚是阿拉比卡咖啡的发源地，仍然是非洲最大的咖啡出口国之一，但传统的种植和知识差距阻碍了农民从农场赚取足够的收入。埃塞俄比亚许多地区产量或产量低的主要原因之一CH A P T E R2这是由于咖啡病，其中已经报告了许多病例（Abera等人，2011年;Alemu等人，2016年; Demelash，Ki e等人，2018年）。在早期发现这些疾病在控制传播和及时治疗方面发挥着至关重要的作用。这个过程需要一个专家来识别疾病，了解它是如何在咖啡树中传播的，并描述治疗和保护的方法。幸运的是，在大多数情况下，该地区没有专家向农民提供基于数据的分析和建议。因此，在第一年，我们设计了一个基于机器学习的自动咖啡植物疾病识别阳离子模型，使用植物或植物部分的图像来检测和分类三种主要的咖啡植物疾病。在中国学习技术中，卷积神经网络（CNN）被用来设计模型。CNN是一种专门用于处理数据的神经网络 ， 其 具 有 已 知 的 网 格 状 拓 扑 ， 例 如 时 间 序 列 数 据 和 图 像 数 据（Goodfellow，Bengio，等，2016年）。咖啡分级是我们在这项工作中自动化的第二个领域。分级是所有生产的咖啡豆在投放市场之前经过的过程。它是根据各种标准对咖啡豆进行分类的质量评估，包括咖啡豆的大小、种植地点和海拔高度、制备和采摘方式以及味道。给定的等级价值决定了豆子的市场价格这一重要的过程是由训练有素的专家进行的，他们有资格将自己的感官知觉描述为咖啡质量特征，使质量评估结果不一致和主观。因此，对于产生大量收入的这种商业产品，需要用一致的、非破坏性的和成本有效的咖啡质量分类自动化系统来支持人工操作系统。在第二年半的第三年，我致力于设计一个模型，以自动化的手动咖啡分级。使用机器学习方法自动匹配现实世界情况的挑战之一是获得足够数量的数据来设计模型。在探索了数据集的顶级来源之后（Kaggle，Inc.，2019年），亚马逊（亚马逊，2019年），......）由于没有数据集适合我们的任务，我们为自己的数据集收集了图像。对于咖啡病模型，我们通过从可信的互联网来源下载图像，并使用移动设备捕捉我们自己在埃塞俄比亚咖啡农场的图像，创建了一个数据集然后标记图像第一章。简介草案：20193埃塞俄比亚吉玛大学咖啡研究所的研究人员收集了562张咖啡植物（健康且受感染）的图像机器学习模型的性能取决于所用数据的数量和质量。与训练CNN模型所需的量相比，我们准备的咖啡植物疾病数据集很小，这导致了过度紧张;在这种情况下，模型对训练数据表现良好，但在用看不见的数据进行测试时无法推广。为了缓解这一问题，除了仔细设计模型架构外，我们还使用数据增强和转移学习（Torrey和Shavlik，2010）来设计准确的模型。数据增强是通过对现有数据进行任务规范转换来生成新的样本，而转移学习是将在一个任务中获得的知识应用于解决另一个相关领域的问题我们首先使用显示类似疾病症状的植物疾病数据集训练模型，然后将所获得的特征转移到咖啡植物疾病的分类中。我在埃塞俄比亚商品交易所（ECX）的Jimma分行收集了咖啡豆分级的数据集在两轮中，使用两种不同的移动设备收集了2109张咖啡豆的图像。除了小数据集问题之外，数据控制方法的变化引入了数据集转变，这在模型设计中产生了额外的挑战。我们尝试了传统的机器学习方法和应用迁移学习的现成深度学习（DL）这些模型的结果并不令人满意，足以引导我们进一步探索机器学习的现代趋势我们设计了一个结合整体学习的新CNN架构（Dietterich，2000; H. Chen等人，2017年），这两个模型都比经典模型做得更好，就像已经训练过的DL模型一样。最后，为了进一步提高性能并模仿手动分级过程的等级性质，设计了级联CNN模型。然而，对于现有的数据集来说，该模型过于复杂;即使使用数据增强和优化技术，也是如此。我们还试验了生成式广告周年网络（GANs）（Goodfellow，Pouget-Abadie，et al.，2014）从现有图像生成新的训练样本。但是，当使用缩小的图像作为输入时，它们无法改善41.1. 贡献模型的性能生成的图像看起来模糊和不自然。当输入图像在重构之前被裁剪成多个片段时，可以生成逼真的图像，但是，这些图像不能用于训练分类或模型，因为分级决策是基于Bean的集合做出的，并且这种方法将导致信息的显著损失。1.1贡献本论文旨在设计一个智能的咖啡分级和疾病鉴别系统。它展示了使用深度学习技术设计的模型，以帮助农民和咖啡分级专家做出决策。— 首先，使用植物或植物部分的图像来检测咖啡植物疾病的模型是使用卷积神经网络和咖啡植物的小图像（由我们自己捕获并从因特网下载）来设计的。— 第二个贡献是收集和创建一个新的咖啡豆分级数据集。— 第三，使用先前的数据集，设计了将生咖啡豆分类为12个质量等级的模型。 尽管与训练深度学习模型所需的数据量相比，数据集很小 ， 但 仍 有 可 能 在 测 试 数 据 集 上 获 得 良 好 的 模 型 准 确 率（89.1%），该模型的性能优于传统机器学习方法，就像现成的深度学习架构一样。据我们所知，这是试图使用深度学习技术解决这两个重要问题的第一项工作，因此咖啡豆数据集以及模型将公开提供，作为未来研究的基线。— 最后，设计的模型被部署在移动应用程序中，以便农民可以使用该应用程序获得关于疾病的存在和类型的第一手信息，并采取适当的行动。1.2组织第一部分专门介绍最先进的技术，并包含第2章和第3章。3.