首页分享一种基于深度学习的柑橘病虫害智能诊断方法及系统与流程

一种基于深度学习的柑橘病虫害智能诊断方法及系统与流程

来源：花匠小妙招时间：2024-11-13 05:46

一种基于深度学习的柑橘病虫害智能诊断方法及系统与流程
本发明涉及一种基于深度学习的柑橘病虫害智能诊断方法及系统。
背景技术：
：柑橘是世界上种植面积最大的水果之一。然而，日益严重的柑橘病害给广大的橘农带来了巨大的经济损失。随着移动设备的快速发展，移动服务在人民群众的日常生活中扮演着越来越重要的角色。如何开发基于移动服务的柑橘病害智能诊断系统，搭建橘农与专家之间的桥梁，实现让所有的橘农成为专家，是一个值得研究的课题。据不完全统计，世界上有140多个国家种植柑橘。由于气候变暖、禁止使用剧毒农药、柑橘树老化、除草剂滥用等因素，柑橘病虫害日益严重。柑橘黄龙病(citrushuanglongbing，hlb)是柑橘生产上最具毁灭性的世界性病害，在亚洲、非洲、南美洲和北美洲的40多个国家都有该病的发生。目前，我国许多省份都受到黄龙病菌的侵害。柑橘黄龙病潜伏期长，早期也没有明显的特异性病症，与缺素、土壤病原物为害引起的变色容易混肴，常造成误判。目前，目前，多聚酶链反应(pcr)技术通常用于检测入侵柑橘的病原菌，来判断是否受到柑橘黄龙病菌的侵染。但由于柑橘黄龙病菌在柑橘体内分布不均匀，因取样部位、dna提取等多种因素，常造成假阴性。炭疽病(anthracnose)是柑橘最常见的病害之一，它具有危害广和危害时间长的特点，主要危害叶片、枝条、花、果实和果柄。炭疽病严重发生时常造成柑橘品种大量落叶、落花、落果、枝条枯死和果实腐烂。柑橘溃疡病(canker)是柑橘栽培中面临的重大挑战，它主要危害柑橘叶片、枝梢和果实。幼树受害特别严重会造成落叶、枯梢，影响树势；果实受害重者落果，轻者带有病疤不耐贮藏，容易发生腐烂，大大降低果实商品价值，使果农防治成本增加，经济效益受损。柑橘黑星病(blackspot)在大部分柑橘产区普遍发生，主要危害果实，症状多出现在近成熟的果实上。黑星病病菌主要侵染幼果，但在幼果期无明显症状，果实膨大期至成熟期开始在表皮上出现病斑，致使鲜果的商品性下降，甚至完全丧失。柑橘砂皮病(sandpaperrust)是由柑橘间座壳菌(diaporthecitri)引起的一种真菌性病害，主要危害柑橘的嫩叶、嫩梢和幼果，病部表面产生黑褐色胶质小粒点，表面变得粗糙，影响商品性。柑桔疮痂病(scabis)，通常是由elsinoefawcettii引起。它是柑橘的重要真菌病害之一，不仅危害新梢果实，而且危害花萼和花瓣。柑橘病传播途径广、传染迅速，单凭人工肉眼进行识别，效率低下，准确率低。因此，针对以上问题，有必要设计一种基于深度学习的柑橘病虫害智能诊断方法及系统。技术实现要素：本发明所要解决的技术问题是提供一种实用的、低温下可用的基于深度学习的柑橘病虫害智能诊断方法及系统，该基于深度学习的柑橘病虫害智能诊断方法及系统诊断效率高，准确率高。发明的技术解决方案如下：一种基于深度学习的柑橘病虫害智能诊断方法，包括以下步骤：步骤1：基于专家经验建立6类柑橘病害的图像数据集；该6类柑橘病害是指：黄龙病、炭疽病、溃疡病、黑星病、砂皮病和疮痂病；步骤2：采用6类柑橘病害的图像数据集对卷积网络进行训练；从数据集中随机抽取图像组成训练集、验证集和测试集，每个类别的比例为6∶2∶2；使用五种数据增强的方法扩充训练集和测试集，利用增强后的训练集和验证集对简化的densenet网络进行训练，保存模型至系统中；并利用测试集对模型的性能进行评价；步骤3：在微信小程序的基础上建立了柑橘病诊断系统，用户使用小程序上传图像，通过上传的训练好的卷积网络模型进行诊断，返回智能诊断结果及病虫害防治建议给用户。。使用5种方法来增强训练集和测试集：水平翻转、垂直翻转、水平-垂直翻转、改变亮度和对比度；其中，增加亮度和对比度的公式为：dst＝img1×α+img2×β+γ；其中dst为目标图像，为原图img1与img2的线性组合；img1与img2是两个大小相同的图像，通过改变α，β，γ的值来改变图像的对比度和亮度，img1为原始图像，img2为与原始图像大小相同的图像，所有像素值均为0，增加图像的对比度的参数为：α＝1.5，β＝3，γ＝0，增加图像的亮度的参数为：α＝1，β＝2，γ＝40；通过数据增强的方法扩充训练集和验证集能缓解过拟合问题。使用简化的densenet-201网络进行实验；densenet-201由4个4个稠密块(denseblock)组成，其中每个denseblock是由瓶颈层(bottlenecklayers)的结构组成，瓶颈层的结构是1×1的卷积层后接上3×3的卷积，densenet-201的denseblock的详细结构是由bn-relu-conv(1×1)-bn-relu-conv(3×3)组成，其中bn代表的批标准化(batchnormalization)，relu代表线性整流函数，conv(1×1)代表1×1的卷积层，在最后一个denseblock中删除了5个瓶颈层结构，并添加了批标准化(batchnormalization)，激活函数(activationfunction)，全局平均池化(globalaveragepooling)和归一化指数函数(softmax)，这些网络层已经证明能有效的应用于卷积神经网络。最后形成了的简化densenet。将微信小程序与卷积网络相结合，在智能手机上实现在线识别的功能；用户将拍摄的柑橘病害照片上传至柑橘病诊断系统中，系统在服务器端通过上传的模型进行识别；系统将柑橘的病害的智能诊断结果发送给智能手机；诊断结果包括：病害的相关信息(如病害的症状和原因等)和相应的治疗方案。同时，用户可以搜索自己感兴趣的病例；系统还设置了专家咨询功能和监测点的功能。用户可以准确定位并设置监测点，以便尽早发现疾病并及时处理。一种基于深度学习的柑橘病虫害智能诊断系统，包括muc，在mcu中，采用前述的基于深度学习的柑橘病虫害智能诊断方法实现柑橘病虫害的智能诊断。本发明采用图像识别技术用于病虫害的识别，使用图像识别技术能够有效的提高效率与准确率，也可节省人力物力。最近深度学习在图像识别领域已经取得了巨大的成功，并且能应用于医学辅助诊断，农业和粮食生产等领域。与传统的图像识别算法相比，深度模型具有强大的学习能力和高效的特征表达能力，更重要的优点是从像素级原始数据到抽象的语义概念逐层提取信息，这使得它在提取图像的全局特征和上下文信息方面具有突出的优势。早期的卷积神经网络如alexnet和vggnet讨论了网络深度与分类性能的关系，结果表明，在结构相似的情况下，网络越深，性能越好。与alexnet和vggnet不同的是，googlenet不仅深化了网络，而且引入了inception结构，取代了传统的简单卷积层和激活函数运算，大大降低了参数。随着网络深度的不断增加，理论上网络会有更好的性能。实际上可能会发生梯度消失和梯度爆炸，导致模型不收敛，精度下降，训练误差和测试误差增大。为了解决这些问题，resnet设计了一个残差模块来训练更深层次的网络。densenet是一个紧密连接的卷积神经网络。网络将每一层与所有其他层连接起来，每一层都将前一层的特征图作为输入。这样就减轻了梯度消失的问题，增强了特征的传播。同时，鼓励特性重用，大大减少了参数的数量。另外，本发明对densenet的结构进行进一步的简化和改进，从而获得更优良的特型。有益效果：本发明提出了一种柑橘病的智能移动诊断系统及方法，训练了基于densenet的柑橘病害识别模型，利用移动微信applet实现了柑橘病害的智能诊断。首先，建立了柑橘病数据集，包含六类常见的柑橘病。其次，利用数据增强、对densenet进行简化，以减少过拟合，提高模型的泛化能力。最后，使用数据集对简化的网络进行微调，将模型保存在智能系统之中。用户可以通过微信applet将疑似柑橘病害病例的照片上传至系统。然后反馈智能诊断结果。同时，系统可以提供定位服务，方便用户设置监测点进行进一步跟踪。该系统还允许用户直接在线与专家交流。本发明的主要贡献如下：1.在专家的帮助下，构建了6种柑橘病害的图像数据集。2.利用微信applet实现了柑橘病害的智能诊断，弥补了柑橘种植者与专家之间的差距。总而言之，本发明易于实施和推广，诊断的准确率高，且诊断速度快。附图说明图1为柑橘病害智能移动诊断系统的结构图；图2为5层denseblock的结构示意图；图3为柑橘病害智能移动诊断系统体系结构图；图4为简化的densenet结构图；图5为切割致密块对分级结果的影响示意图；图6为时间消耗的比较示意图；图7为其他评价标准的比较示意图；图8为用户与模型交互信息流程图；图9为前后端信息交互详细流程图。具体实施方式以下将结合附图和具体实施例对本发明做进一步详细说明：实施例1：本发明使用微信applet在移动设备上设置系统，使用户可以随时随地使用系统。图1展示了柑橘病害智能移动诊断系统的结构。系统主要实现以下主要功能：1.用户可以通过系统拍摄柑橘病害照片，并直接上传至服务器。该系统不仅可以对柑橘的病害类型进行反馈，还可以显示病害的相关信息，如病害的症状和原因等。此外，该系统还将针对该疾病提出相应的治疗方案，有助于预防和治疗该疾病。同时，用户可以搜索自己感兴趣的柑橘类疾病病例。通过点击专家头像，可以将诊断信息发送给相应的专家。2.为了方便用户对柑橘进行监测，系统提供了设置监测点的功能。用户可以准确定位并设置监测点，以便尽早发现疾病并及时处理。3.为了缩小柑橘种植者与专家之间的差距，该系统设置了专家咨询功能，用户可以将疑难杂症以图片和文字的形式发送给专家进行专家诊断。本发明主要的方法步骤如下：步骤1：基于专家经验建立黄龙病、炭疽病、溃疡病、黑星病、砂皮病和疮痂病这6类柑橘病害的图像数据集；步骤2：使用五种数据增强的方法扩充训练集和测试集；利用增强后的训练集和验证集对简化的densenet网络进行训练，保存模型至系统中；利用测试集对模型的性能进行评价。步骤3：在微信小程序的基础上建立了柑橘病诊断系统，用户使用小程序上传图像，通过上传的模型进行诊断，返回智能诊断结果。基于训练完成的卷积网络，输入新的图像实现柑橘病虫害智能诊断。数据集的建立：由于缺乏柑橘病害数据集，通过网络、本地资料、专家访问等方式收集相关图像，构建柑橘病害数据集。表1为柑橘病害图像的数量和比例。病害类型数量比例黄龙病49623.65％炭疽病2019.59％溃疡病74635.57％黑星病27913.30％砂皮病1989.44％疮痂病1778.44％表1.柑橘病害图像的数量和比例该数据集包含六种常见的柑橘疾病：黄龙病、炭疽病、溃疡病、黑星病、砂皮病和疮痂病。每一类都包括相应的带有症状的果实和叶子的图像。每一类样本的数量和比例分布如表1所示，实验数据集的样本图像如表2所示。表2.样本图像从数据集中随机抽取图像组成训练集、验证集和测试集，每个类别的比例为6∶2∶2。利用训练集和验证集对网络进行训练，并利用测试集对模型的性能进行评价。由于数据集较小，训练网络可能过拟合。为了避免这个问题，可以对数据集进行处理，生成新的图像并增加数据集。因此，使用5种方法来增强训练集和测试集：水平翻转、垂直翻转、水平-垂直翻转、改变亮度和对比度。这样，训练集和测试集的大小就增加了5倍。数据增强方法和示例如表3和表4所示。数据增加后各类别的数量和比例分布如表5所示。本实施例中，使用公式1来增加亮度和对比度：dst＝img1×α+img2×β+γ(1)其中dst为目标图像，相当于img1与img2的线性组合。img1与img2是两个大小相同的图像。通过改变α，β，γ的值来改变图像的对比度和亮度。在实验中，img1为原始图像，img2为与原始图像大小相同的图像，所有像素值均为0。在实验中增加图像的对比度，选择α＝1.5，β＝3，γ＝0。在实验中增加图像的亮度，选择α＝1，β＝2，γ＝40。表3.数据增强的方法表4.柑橘病害数据增强图例病害类型数量比例黄龙病250123.65％炭疽病10169.61％溃疡病376135.56％黑星病140913.32％砂皮病9989.44％疮痂病8928.43％表5.柑橘病害数据增强后的图像的数量和比例卷积神经网络的介绍：随着卷积神经网络的发展，网络的层数不断增加。但是网络训练过程中的信息经过反复卷积后可能会逐渐消失。为了解决这个问题，densenet设计了一个稠密块(denseblock)结构[参见文献：h.gao，l.zhuang，m.d.v.laurens.″denselyconnectedconvolutionalnetworks，″2017ieeeconferenceoncomputervisionandpatternrecognition(cvpr)，pp.2261-2269，2017]。为了使所有网络层的信息收益最大化，网络中的任意两层都是直接连接的，这样每一层都可以接受所有前一层的特征作为输入。5层denseblock的结构如图2所示。模型的输入是x0。denseblock由l层组成，每层的非线性变换函数为hl(·)，其中l表示层数，第l层的输出记为xl。l-1层和l层之间的关系公式2所示：xl＝hl([x0，x1，...，xl-1])(2)其中[x0，x1，...，xl-1]表示denseblock将输出特征映射从0层连接到l-1层。densenet由多个denseblock组成。densenet在每两个denseblock由transitionlayer连接。其核心思想是建立不同层之间的连接，充分利用特征，进一步减小梯度消失。本发明进一步简化了densenet结构，删除了一定数量的网络层，减少了时间成本并提高了性能。基于智能手机的卷积神经网络a.系统结构基于densenet的柑橘病害智能移动诊断系统框架如图3所示。首先在专家的帮助下对数据集进行标注，然后利用数据集对简化的densenet进行训练，保存模型。最后，将其上传到云服务器的诊断系统中。用户通过移动设备上的微信applet(即微信小程序)采集柑橘病害图片并上传至系统。系统通过训练后的模型识别上传的图像，并将诊断结果和治疗建议返回给用户。b.简化系统由于数据集较小，首先对原始数据集进行了增强。然后利用数据增强后的数据集对densenet进行微调。为了减少过拟合的可能性，适当地减少了网络中的层数。图4是densenet模型训练过程的框架。使用densenet-201网络进行实验。densenet-201由4个稠密块(denseblock)组成，其中每个denseblock是由瓶颈层(bottlenecklayers)的结构组成，瓶颈层的结构是1×1的卷积层后接上3×3的卷积，这种结构可以减少输入特征图的数量，从而提高计算效率。而densenet-201的denseblock的详细结构是由bn-relu-conv(1×1)-bn-relu-conv(3×3)组成，其中bn代表的批标准化(batchnormalization)，relu代表线性整流函数，conv(1×1)代表1×1的卷积层。在最后一个denseblock中删除了5个瓶颈层结构，并添加了batchnormalization，(激活函数)activationfunction，(全局平均池化)globalaveragepooling和(归一化指数函数)softmax层，这些网络层为现有成熟技术已经证明能有效的应用于卷积神经网络。最后从而形成了的简化densenet。这样使得网络层数降低，可以缓解过拟合的问题，提高分类准确率。。具体的网络训练方法是：首先我们使用数据集对densenet-201网络进行训练，然后重新加载保存的模型，对模型进行网络进行删减，最后使用数据集进行进一步的微调，然后对测试集的图像进行测试，得到分类结果。结果表明，该测试集的分类精度得到了提高，且时间消耗较少。实验结果及分析a.实验环境实验使用intel(r)core(tm)i7-7800xcpu@3.50ghz，64.00gbram和1个nvidiageforcegtx1080tigpu进行。为了避免重复的开发工作，深度学习有大量的框架。在本发明中，应用了keras框架。网络使用随机梯度下降进行训练，其中动量选择0.9。对于数据集，使用batchsize为8和50epochs。初始的学习率为0.001，且每隔两轮乘以0.94。初始权重为densenet在imagenet上的权重。b.专业比较和性能估计在densenet201、inceptionresnetv2、inceptionv3、resnet50和简化的densenet201上使用原始柑橘疾病数据集和增强数据集进行了对比实验。不同网络对测试集的精度如表6所示。结果表明，在不同的网络中(+0.75％、+1.14％、+0.25％、+2％、+1％)，数据增强的柑橘病害数据集分类精度均有提高。简化后的densenet201分类精度比原densenet201分类精度高(+1％，+0.26％)。分类精度最高为88.53％，采用简化的densenet201数据增强集。这是因为数据扩充可以缓解数据集有限的问题。简化densenet可以缓解数据集网络过于复杂的问题，减轻过度拟合。通过适当简化网络和增强数据集，可以降低过拟合的概率。通过实验研究了删除不同瓶颈层对分类精度的影响。实验结果如图5所示。在实验中，分别测试了去除1、2、3、4、5、6个瓶颈层的影响。实验结果表明，去除5个瓶颈层(88.78％)，分类精度最高。这是因为适当减少网络层数可以缓解过拟合现象，提高分类精度。本发明还使用简化的densenet201网络对每个类的分类结果进行了统计，如表7所示。可以看出，黄龙病和溃疡病的分类精度较高，而炭疽病的分类精度较低。这是因为柑橘病害的一些特征相似，增加了柑橘病害识别的难度。同时，不同的环境和设备也会影响分类结果。在移动业务中，诊断系统的时间消耗和实时性是一个非常重要的问题。在图6中比较了原始数据集和增强数据集的不同稠密块的时间消耗。本发明还采用recall，f1-scoreandmc评价标准进行评价。利用原始数据集和数据扩充后的数据集对原始densenet进行训练。利用原始数据集和数据扩充后的数据集对简化后的densenet网络进行训练。从图7中可以看出，三种评价值均呈上升趋势，说明我们提出的方法优于其他方法。该方法对我国柑橘病害数据集具有较高的分类精度。表6.不同网络分类准确率的比较表7.简化后的densenet201对每个类别的分类精度系统的基本思路：用户用智能手机上传相册中的柑橘图片或直接对受到病虫害侵袭的柑橘拍照，小程序就能根据图片智能诊断出柑橘的疾病类型并给出预防和治疗方案。完整的柑橘疾病识别技术主要分为以下四步：(1)疾病识别模型的训练；(2)前后端通信，将图像上传；(3)调用模型识别疾病类型；(4)通过https协议将识别结果返回给用户；其中，第(1)步和第(3)步将作为技术难点在前文中详细讲解，第二步和第四步可以归类为信息的传输，具体的传输流程如图8所示；“基于深度学习的柑橘病虫害智能检测微信小程序”不仅可以实时对柑橘疾病进行诊断，还可以收集用户拍摄或上传的柑橘照片，提取照片中的经纬度信息，通过分析经纬度及用户上传频率建立病虫害检测预警系统；同时，收集到的图片将被整理分类到柑橘疾病数据库，进行柑橘病虫害数据集的采集和建设，为柑橘病虫害专家和深度学习提供类型更丰富、规模更大的柑橘疾病图像数据库。此外，本系统可以帮助果农定位疾病发生地点，及时了解橘树所受的病虫害状况，并为受病虫害侵袭的果树区域提供治疗方案，从而实现果树疾病的精准防治，有的放矢，避免过度的施肥、施药，保护水果的食用安全。前后端链接技术客户端用于连接服务端，发送请求和接收并解析数据。每个微信小程序开启时并不一定要连接服务器，一部分的数据可以进行本地临时保存与处理。但是由于小程序所占内存的空间小，所以客户端的有关数据库的操作都要发送请求交给服务器处理，让服务器根据指令执行相应的操作后，返回数据给客户端，客户端再解析。客户端与后台交互的结构非常简单，首先有一个wx.uploadfile函数，它是客户端文件的请求发送入口，用来创建连接与封装传输命令。传输命令时要把当前文件地址传入，以及接口地址。当接收到服务器返回来的数据时，要先响应服务器发出接收请求，再接收相应的数据。其次是一个wx.request接口调用函数，用于向发起https网络请求。以“图像识别”功能为例，前后端信息交互详细流程图如图9所示。结论：本发明将深度学习应用于柑橘病害的鉴定。利用密集连接网络建立了柑橘病害识别模型。同时，利用微信applet实现柑橘病害的自动识别，为果农提供专业的病害防治建议。综上所述，本发明提出了一种基于深度学习的柑橘病虫害智能诊断方法及系统，本发明的特点如下：1、通过微信小程序来打通橘农与专家之间的沟通桥梁，使用便利；该系统在移动设备上采用微信applet实现，用户可以上传图像并接收诊断结果和病虫害防治建议。2.本发明在专家的帮助下建立了6类柑橘病害的图像数据集，通过简化密集连接卷积网络(densenet)，实现了柑橘病害的智能诊断系统。实验结果表明，该方法对柑橘病害的识别准确率超过88％。通过简化densenet结构，同时也降低了预测时间消耗。当前第1页12