首页分享一种基于多模态模型的花菇分级采摘方法及系统与流程

一种基于多模态模型的花菇分级采摘方法及系统与流程

来源：花匠小妙招时间：2024-12-23 23:12

技术特征：

1.一种基于多模态模型的花菇分级采摘方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多模态模型的花菇分级采摘方法，其特征在于，所述s1具体包括如下步骤，获取花菇图像数据，再对图像进行亮度矫正、对比度调整操作并统一分辨率，最终获取共拥有s张m×n大小的高质量像素级的花菇图像数据，对上述花菇图像数据集利用labelimg软件进行花菇框的标注来生成标签数据，得到用于目标检测的花菇图像数据集，再对上述花菇图像数据集中的所有花菇图像根据标注框的位置信息进行统一分辨率、裁剪，同时获取对应花菇的文本标签，按照花菇级别的评判标准进行分级，得到用于多模态分级的花菇图像文本数据集。

3.根据权利要求1所述的一种基于多模态模型的花菇分级采摘方法，其特征在于，所述s2中，所述多模态的花菇分级模型主要包括三个模块，花菇检测与区域提取模块、图像特征提取模块以及多模态特征融合分级模块，具体通过以下方法实现：

4.根据权利要求1所述的一种基于多模态模型的花菇分级采摘方法，其特征在于，所述s2中，花菇检测与区域提取模块中对yolov5网络进行改进的方法包括以下步骤：

5.根据权利要求1所述的一种基于多模态模型的花菇分级采摘方法，其特征在于，所述s3具体包括如下步骤，将多模态分级模型搭载在服务器上，通过服务器控制摄像头以及机械臂的行动，摄像头采集的图像传回服务器，调用多模态分级模型完成花菇分级，服务器机根据花菇图像的位置信息生成花菇3d坐标，再结合定位芯片传回的机械臂位置信息生成机械臂运动轨迹及控制指令，并将指令发送至机械臂完成花菇的分级采摘。

6.根据权利要求1所述的一种基于多模态模型的花菇分级采摘方法，其特征在于，所述s4中，生成花菇的定位信息，即将花菇图像的2d坐标转化为现实花菇的3d坐标，包括以下步骤：

7.根据权利要求1所述的一种基于多模态模型的花菇分级采摘方法，其特征在于，所述s5具体包括如下步骤：

8.根据权利要求1所述的一种基于多模态模型的花菇分级采摘方法，其特征在于，所述s6具体包括如下步骤，根据机械臂的运动轨迹信息，由服务器生成控制指令并发送至机械臂，完成花菇分级采摘任务。

9.一种基于多模态模型的花菇分级采摘系统，其特征在于，包括数据采集模块、多模态分级模块、算法关联模块、识别定位模块、机械臂控制模块、分级采摘模块，其中：

10.一种基于多模态模型的花菇分级采摘设备，其特征在于，所述花菇分级采摘设备包括：定位芯片、摄像设备、机械臂以及采摘框，所述采摘框包括各个级别花菇的采摘框，所述花菇分级采摘设备还包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于多模态模型的花菇分级采摘程序，所述基于多模态模型的花菇分级采摘程序被处理器执行时实现如权利要求1-8中任一项所述的一种基于多模态模型的花菇分级采摘方法。

技术总结
本发明公开了一种基于多模态模型的花菇分级采摘方法及系统，该方法包括以下步骤：获取花菇图像数据，进行预处理以及数据集生成；搭建多模态的花菇分级模型，所述多模态的花菇分级模型包括花菇检测与区域提取模块、图像特征提取模块以及多模态特征融合分级模块；将摄像头、机械臂与多模态分级模型进行关联；通过摄像头采集并实时传输花菇采集数据至多模态分级模型中，生成花菇分级与定位信息；获取机械臂的位置信息，生成采摘运动轨迹信息；根据运动轨迹信息控制机械臂对花菇进行分级采摘。本发明结合花菇级别的评判标准，利用多模态特征融合的方法，实现花菇的图像文本多模态分级检测，并级联摄像头、机械臂等硬件，实现对不同级别花菇的自动分级、定位及采摘，能够保证较好的分级采摘准确性。

技术研发人员：袁国慧,何思佳,王卓然,朱佑存,杨礼远,秦帅,曾志宏
受保护的技术使用者：浙江香满亭生物科技有限公司
技术研发日：
技术公布日：2024/5/16