首页分享一种芒果采摘点识别方法与流程

一种芒果采摘点识别方法与流程

来源：花匠小妙招时间：2025-09-10 17:14

本发明属于果实采摘点识别
技术领域：
，特别涉及一种基于maskr-cnn的芒果果实分割、果梗识别和采摘点定位方法。
背景技术：
：我国芒果是原生产地之一，为芒果产出大国，芒果在我国果业发展中占有重要地位。目前芒果的采摘仍然依靠大量人力。随着我国芒果生产区不断扩大，农业劳动力的日益紧缺，亟待提高芒果采摘机械化、自动化和智能化水平。而芒果果实采摘点的有效识别是芒果智能化采摘的前提。在水果分割与采摘点识别方面，目前主要采用传统计算机视觉和目前流行的深度卷积神经网络(dcnn)。公开号cn101085442p公开一种基于rgb复合模型的柑橘图像处理分级的方法。在r通道图像上进行果实阈值分割和边缘提取，并通过计算柑橘的最大果径和目标区域的颜色水平值，进行水果分割。公开号cn104036494b公开一种用于水果图像的快速匹配计算方法,通过有效匹配区域的提取以及对sift方法的改进实现水果图像的快速匹配。公开号cn106124511a公开一种基于自适应亮度回归矫正的水果表面缺陷检测方法。将水果rgb彩色图像转换为初始灰度图像，分割背景和目标，进行二值化处理，得到水果灰度图像，计算获得亮度矫正图像，再进行二值化并完成填洞和中值滤波获得水果表面缺陷图像。公开号cn104636722a公开一种采摘机器人的重叠果实快速跟踪识别方法。通过摄像头连续采集的10帧重叠苹果图像，对采集到的第一帧图像进行分割，去除背景；通过计算圆内的点到轮廓边缘最小距离的极大值确定重叠苹果圆心的位置，根据每帧图像的圆心对机器人的运动路径进行拟合、预判，综合半径与预判路径确定下一帧图像中重叠苹果的位置，并截取重叠苹果区域；最后，采用快速归一化互相关匹配算法进行匹配识别。但此类利用计算机视觉识别树冠上水果果实，主要利用颜色、形状和纹理特征的方法存在不足。当果实的颜色与背景颜色相近时，果实分割较为困难；形状特征在较多遮挡或重叠的自然果园场景下也容易受到影响。近些年深度卷积神经网络在农业上的应用实现了巨大的突破。但目前基于深度卷积神经网络的果实实例分割研究极少，且果实实例分割是采摘点识别的重要步骤。因此，需要提供一种基于maskr-cnn的芒果采摘点识别方法。技术实现要素：本发明的主要目的在于克服现有技术的缺点与不足，提供一种芒果采摘点识别方法，此方法利用基于maskr-cnn网络的芒果果实分割模型进行果实实例分割，解决自然果园场景下光线变化、遮挡、重叠导致的检测分割难题，具有分割精准、适用场景多的优点。本发明的目的通过以下的技术方案实现：一种芒果采摘点识别方法，包括以下步骤：s1、采集芒果的图像，建立自然场景下的芒果采摘图像库；s2、建立基于maskr-cnn网络的芒果果实分割模型；s3、计算每个果实的长轴、短轴以及质心；s4、判断是否成簇：利用自底向上层次聚类法，将果实按空间关系进行聚类，将空间上相粘连、重叠的果实聚为一组，单个果实为一组，根据每组中果实的个数判断各组果实是否成簇；s5、采摘点识别：若芒果果实成簇，则识别成簇果实母枝并在母枝上定位采摘点；若芒果为单果，则分割和识别该果实的果梗，在果梗上确定采摘点。优选的，所述步骤s1的具体步骤为：s11、数据采集：采集不同光照、不同角度下的未成熟芒果彩色图像；s12、构建数据库：整理收集到的数据，将果实图像调整为统一标准格式大小，建立图像训练集、验证集和测试集；s13、数据标注：对数据进行实例分割标注；s14、数据增强：将原始图像进行对比度增强和锐度增强等操作扩充数据集。更进一步的，所述步骤s12中将果实图像格式大小为1008×756。优选的，所述步骤s2中建立芒果果实分割的maskr-cnn网络，构建精简的残差基础网络，在主干网络中构造特征金字塔结构(fpn)；在maskr-cnn网络中引入软非极大值抑制(softnms)，获得芒果果实分割模型。更进一步的，所述步骤s2的具体步骤为：s21、构建基于maskr-cnn的基础网络，基础卷积层包括5个残差模块，分别为残差模块1、2、3、4、5；移除部分残差模块，精简卷积层为38层，并将网络输出类别数改为2；s22、将残差模块5输出的特征图依次进行2倍上采样；s23、将残差模块4、3和2输出特征图经1×1卷积变换后分别与步骤s22生成特征图相加并再次进行3×3卷积变换；s24、用softnms替代nms，以降低对重叠果实的漏检和分割；s25、使用coco数据集对maskr-cnn网络进行预训练，再利用芒果分割训练集精调maskr-cnn网络，获得芒果果实分割模型。优选的，所述步骤s4的具体步骤为：令图像中的果实数为n，计算n×n的果实质心距离矩阵，层次聚类的基本算法如下：s41、初始化：将每个果实作为一个簇，簇间的距离(相似)即为各个果实之间的欧式空间距离；s42、找到最相近(最相似)的两个簇ci和cj，利用单连接法(最短距离法)计算这两个簇之间的距离：其中a和b分别是ci和cj的元素(果实)；s43、若则合并这两个簇，形成新簇，并跳转至步骤s42；否则执行s44；其中，la和lb分别为a和b的短轴长度；s44、结束，输出聚类结果：某簇中，若果实个数为1则为单果，否则，为成簇果实。优选的，所述步骤s5中当芒果为单果时，分割和识别该果实的果梗，在果梗上确定采摘点的具体步骤为：s511、将果实检测框向上外推果实长轴2/5长度的距离，获得果梗所在的感兴趣区域；s512、在果梗感兴趣区域内，用非监督颜色纹理区域分割算法jseg(j-imagesegmentation)进行枝干分割；s513、分别对各个区域计算rgb颜色空间的r、g和b通道及hsv颜色空间h等4个颜色通道的一阶、二阶和三阶颜色矩，利用最小距离分类器，识别枝干；s514、对枝干分割结果以5×5圆形结构化元素进行闭操作，平滑枝干分割结果；s515、判断果实的果梗；找出果实与枝干连结点，求连接点和果实质心连线，求连线与垂线的夹角，夹角最小的枝干为该果实的果梗，选择感兴趣区域内果梗最高处为该果实的采摘点。更进一步的，所述步骤s512中，颜色量化阈值tc＝120，尺度数量为3，区域合并阈值为tr＝0.4。优选的，所述步骤s5中，当芒果果实成簇时，识别成簇果实母枝并在母枝上定位采摘点的具体步骤为：s521、将簇中所有果实作为一个整体，取其外接矩形框；由于果梗和母枝往往在果实上方，因此，将外接矩形框向上外推，外推的高度为该簇中最大果实长轴长度的2/5，作为果梗/母枝的感兴趣区域；s522、在果梗/母枝感兴趣区域内，用jseg进行枝干分割；s523、分别对各个区域计算rgb颜色空间的r、g和b通道及hsv颜色空间h等4个颜色通道的一阶、二阶和三阶颜色矩，利用最小距离分类器，识别果梗/母枝区域；s524、对枝干区域进行连通体标记；对每个连通体，以该簇果实最高处为初始位置，向上进行行扫描，计算扫描线与枝干的交点个数，搜索最后一次交点数降为1的坐标作为母枝最高的分叉点，选择距最高分叉点上方的母枝最高处为采摘点。更进一步的，所述步骤s522中，颜色量化阈值tc＝120，尺度数量为3，区域合并阈值为tr＝0.4。本发明与现有技术相比，具有如下优点和有益效果：1、本发明利用基于maskr-cnn网络的芒果果实分割模型进行果实实例分割，解决自然果园场景下光线变化、遮挡、重叠导致的检测分割难题，具有分割精准、适用场景多的优点。2、本发明利用层次聚类方法判断果实是否成簇，并根据果实是否成簇采用不同的采摘点识别方法，更好的适应芒果采摘特点，在精确采摘的前提下保证果实的完好。附图说明图1是本发明实施例一种芒果采摘点识别方法整体框架流程图。图2是本发明实施例利用基于maskr-cnn网络的芒果果实分割模型进行果实实例分割的分割结果。图3是本发明实施例一种芒果采摘点识别方法图片处理效果流程示意图，(a)为果实实例maskr-cnn分割示意图；(b)为层次聚类果实成簇识别示意图；(c)为果梗和母枝感兴趣区域示意图；(d)为果梗/母枝jseg分割与采摘点识别示意图。图4是本发明实施例一种芒果采摘点识别方法单个果实采摘点识别示意图，(a)为果实实例maskr-cnn分割示意图；(b)为果梗和母枝感兴趣区域示意图；(c)为果梗/母枝jseg分割与采摘点识别示意图。图5是本发明实施例一种芒果采摘点识别方法成簇果实采摘点识别示意图；(a)为成簇果实示意图；(b)为果梗和母枝感兴趣区域示意图；(c)为果梗/母枝jseg分割与采摘点识别示意图。图6是图5成簇果实采摘点识别时行扫描线与枝干的交点个数示意图。具体实施方式下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。实施例一种芒果采摘点识别方法，包括以下步骤：s1、采集芒果的图像，建立自然场景下的芒果采摘图像库；s11、数据采集：用高清数码相机设备采集不同光照、不同角度下的未成熟芒果彩色图像；s12、构建数据库：整理收集到的数据，将果实图像调整为1008×756，建立图像训练集、验证集和测试集；s13、数据标注：利用开源labelme软件对数据进行实例分割标注；s14、数据增强：将原始图像进行对比度增强和锐度增强等操作扩充数据集。s2、构建精简的残差基础网络，在主干网络中构造特征金字塔结构(fpn)；在maskr-cnn网络中引入软非极大值抑制(softnms)获得基于maskr-cnn网络的芒果果实分割模型；s21、构建基于maskr-cnn的基础网络，基础卷积层包括5个残差模块，分别为残差模块1、2、3、4、5；移除部分残差模块，精简卷积层为38层，并将网络输出类别数80改为2；s22、将残差模块5输出的特征图依次进行2倍上采样；s23、将残差模块4、3和2输出特征图经1×1卷积变换后分别与步骤s22生成特征图相加并再次进行3×3卷积变换；s24、用softnms替代nms，以降低对重叠果实的漏检和分割；s25、使用coco数据集对maskr-cnn网络进行预训练，再利用芒果分割训练集精调maskr-cnn网络，获得芒果果实分割模型。s3、计算每个果实的长轴、短轴以及质心；s4、判断是否成簇；芒果果实有的一枝单果，有的一枝结两个或两个以上个成簇的果实，两种采摘点判断方式不同。因此，首先区分果实是否成簇，再针对不同情况分别识别采摘点。利用自底向上层次聚类法，将果实按空间关系进行聚类，将空间上相粘连、重叠的果实聚为一组，单个果实为一组，根据每组中果实的个数判断各组果实是否成簇；令图像中的果实数为n，计算n×n的果实质心距离矩阵，层次聚类的基本算法如下：s41、初始化：将每个果实作为一个簇，簇间的距离(相似)即为各个果实之间的欧式空间距离；s42、找到最相近(最相似)的两个簇ci和cj，利用单连接法(最短距离法)计算这两个簇之间的距离：其中a和b分别是ci和cj的元素(果实)；s43、若则合并这两个簇，形成新簇，并跳转至步骤s42；否则执行s44；其中，la和lb分别为a和b的短轴长度；s44、结束，输出聚类结果：某簇中，若果实个数为1则为单果，否则，为成簇果实。s5、采摘点识别；若芒果果实成簇，则识别成簇果实母枝并在母枝上定位采摘点；若芒果为单果，则分割和识别该果实的果梗，在果梗上确定采摘点。避免果梗太短时分泌出的汁液导致芒果黑斑，通常采摘芒果时尽量保留2～10厘米的果梗，而芒果长5～10厘米、宽3～4.5厘米，因而可利用芒果长度信息来定位采摘点。单果与成簇果实果梗生长状态不同，单果往往有着长的、下垂的果杆；而成簇的果实则两个或多两个以上果实长在同一母枝上，簇中果实的果梗常常较短且易被簇中其他果实遮挡，往往成簇的果实作为一个整体，需在母枝上定位采摘点。因此，分别识别单果和成簇果梗和采摘点。当芒果为单果时，分割和识别该果实的果梗，在果梗上确定采摘点的具体步骤为：s511、将果实检测框向上外推果实长轴2/5长度的距离，获得果梗所在的感兴趣区域；s512、在果梗感兴趣区域内，用非监督颜色纹理区域分割算法jseg(j-imagesegmentation)进行枝干分割，颜色量化阈值tc＝120，尺度数量为3，区域合并阈值为tr＝0.4；s513、分别对各个区域计算rgb颜色空间的r、g和b通道及hsv颜色空间h等4个颜色通道的一阶、二阶和三阶颜色矩，利用最小距离分类器，识别枝干；s514、对枝干分割结果以5×5圆形结构化元素进行闭操作，平滑枝干分割结果；s515、判断果实的果梗；找出果实与枝干连结点，求连接点和果实质心连线，求连线与垂线的夹角，夹角最小的枝干为该果实的果梗，选择感兴趣区域内果梗最高处为该果实的采摘点。当芒果果实成簇时，识别成簇果实母枝并在母枝上定位采摘点的具体步骤为：s521、将簇中所有果实作为一个整体，取其外接矩形框；由于果梗和母枝往往在果实上方，因此，将外接矩形框向上外推，外推的高度为该簇中最大果实长轴长度的2/5，作为果梗/母枝的感兴趣区域；s522、在果梗/母枝感兴趣区域内，用jseg进行枝干分割，颜色量化阈值tc＝120，尺度数量为3，区域合并阈值为tr＝0.4；s523、分别对各个区域计算rgb颜色空间的r、g和b通道及hsv颜色空间h等4个颜色通道的一阶、二阶和三阶颜色矩，利用最小距离分类器，识别果梗/母枝区域；s524、对枝干区域进行连通体标记；对每个连通体，以该簇果实最高处为初始位置，向上进行行扫描，计算扫描线与枝干的交点个数，搜索最后一次交点数降为1的坐标作为母枝最高的分叉点，选择距最高分叉点上方的母枝最高处为采摘点。试验数据采集果园位于广东省云浮市和肇庆市芒果果园，大概有100株芒果树。使用佳能eos800d单反相机和华为手机，距离树冠1-2米，按东南西北4个不同方向、采集芒果采摘期间的灰绿色的芒果图像共1408张。图像采集时的天气包括晴天、多云和阴天，采集时段为8:00-18:00，涵盖了顺光、逆光与侧光等可能的光照情况。从原始数据中挑选1008张作为原始训练图像，将剩余400张作为测试图像。表1芒果图像数据集数据集原始数据(张)数据扩充(张)有效目标(个)训练集1008504029712测试集40002107试验采用32gb内存、nvidiagtxtitanx型号的gpu、xeon(r)cpue3-1245v3@3.40ghz处理器的硬件平台和ubuntu16.04操作系统。在caffe2深度学习框架上，采用python作为编程语言实现本文改进的maskr-cnn算法；用matlab2018b实现果梗分割和采摘点识别。将训练集数据扩增后，训练芒果果实实例分割的maskr-cnn网络，在测试集上分割结果见图2，分割统计结果如表2所示，分割精度ap75高达91.80％，速度为每帧0.275秒。在果实分割之后，通过层次化聚类判断果实是否成簇。分别对单个果实和成簇果实进行果梗/母枝分割和采摘点识别，见图3。对于单个果实，在获取果梗感兴趣区域后，用jseg分割算法和最小距离分类器，识别枝干；利用枝干与果实的位置关系，判断该果实的果梗。如图4中存在两个枝干，分别于果实的连接点为a1和a2，分别计算质心与a1和a2的直线，并计算与垂线的夹角θ1和θ2(见图4c)，选择夹角小的枝干为该果实的果梗，并选择果梗的最高点作为采摘点。对于成簇果实，在获取果梗感兴趣区域后，用jseg分割算法和最小距离分类器，识别枝干；行扫描线穿越枝干次数来判断母枝的位置(见图6)，选择母枝感兴趣区域内母枝最高端作为采摘点。选取测试集上单果果梗和成簇果实母枝未被遮挡的样本中，随机选取100个采摘点进行识别精度验证，识别精度达87％。表2分割统计结果上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。当前第1页12