一种基于显著图的药用植物分类方法与流程

本发明涉及计算机视觉、细粒度图像分类、卷积神经网络、显著区域生成领域。特别是涉及一种基于显著图的药用植物分类方法。

背景技术：

中医指中国传统医学，是研究人体生理、病理以及疾病的诊断和防治等的一门学科。它承载着中国古代人民同疾病作斗争的经验和理论知识，是在古代朴素的唯物论和自发的辨证法思想指导下，通过长期医疗实践逐步形成并发展成的医学理论体系。药用植物辨识是中医药领域的基础性工作，只有确定了药用植物的类别，才能进行下一步的采摘，加工与研究等工作。然而植物种类繁多，只有有经验的专家才能通过纹理、颜色等信息正确判断药用植物种类。随着图像识别技术发展，特别是最近几年深度学习技术的兴起，让计算机识别药用植物类型成为了可能。借助计算机进行药用植物识别，一是可以帮助中医药研究人员与植物专家进行植物种类的鉴别，二是可以有效地降低大众学习中医药的门槛，有利于中医药的推广和普及。

技术实现要素：

本发明的目的是克服现有技术的不足，提供一种基于显著图的药用植物分类方法。

基于显著图的药用植物分类方法包括以下步骤：

1)应用selenium自动化测试工具进行网络图像获取；标注图书扫描图中的植物图像区域，对图书扫描图中的植物图像进行提取，得到大规模图像；

2)采用感知哈希(phash)算法，通过对灰度图进行离散余弦变换，取变换结果的低频部分，再用均值过滤的方法获取图像指纹，根据图像指纹对大规模图像进行去重，得到去重后的大规模植物图像数据集；筛选去重后的大规模植物图像数据集中的常见药用植物，得到较高质量的常见药用植物数据集；

3)基于较高质量的常见药用植物数据集对resnet18模型进行预训练，训练时采用adam优化算法更新resnet18模型参数，直至模型loss收敛于某一较小值；再使用类激活图(cam)方法生成药用植物图像的显著图；

4)根据显著图对较高质量的常见药用植物数据集中的原图进行采样；

5)基于较高质量的常见药用植物数据集对resnet101模型进行预训练；resnet101模型是通过减少resnet18中的残差结构参数，并重复堆叠该残差结构所形成的101层网络模型；分别将原图和采样图经过resnet101模型的前馈运算，得到原图特征和采样图特征；

6)使用双线性池化融合原图特征与采样图特征；记原图特征ta，采样图特征为tb，双线性池化包含以下步骤：先将h×w×d的特征张量ta转化成d×(hw)的特征矩阵xa，将同样是h×w×d尺寸的特征张量tb转化成(hw)×d的特征矩阵xb；再计算组合特征xa·xb；最后对组合特征进行开方运算和l2规范化，并将规范后的结果转换成一维向量vp；

7)将一维向量vp使用全连接层映射至分类类别的维度n，本发明对228种常见药用植物进行分类，故n取228，再对228维向量用softmax函数进行分类得分的计算，取得分最高的一维为分类结果。

本发明步骤2)所述的常见药用植物包含“银杏、金钱松、侧柏、榧树、胡桃、构树、无花果、薜荔、桑、牡丹、红茴香、豪猪刺、望春玉兰、厚朴、樟、月桂、花椒、常山、枫香树、杜仲、木瓜、枇杷、杏、郁李、桃、梅、金樱子、合欢、皂荚、槐树、吴茱萸、臭椿、香椿、苦树、楝、乌桕、黄杨、南酸枣、盐肤木、枳椇、枣、柽柳、芫花、胡颓子、八角枫、君迁子、白簕、山茱萸、柿、化香树、梣、女贞、连翘、密蒙花、欧洲夹竹桃、紫荆、牡荆、梓、细叶水团花、接骨木、日本七叶树、石楠、青钱柳、老鸦柿、南天竹、十大功劳、山楂、玫瑰、樱桃、卫矛、紫丁香、木槿、木芙蓉、石榴、枸杞、忍冬、紫藤、木通、大血藤、香花崖豆藤、中华猕猴桃、木鳖子、木香花、鸡矢藤、华中五味子、倒卵叶野木瓜、南蛇藤、苦皮藤、西番莲、萝藦、马兜铃、黄独、盾叶薯蓣、栝楼、白蔹、丝瓜、海金沙、何首乌、白首乌、杠柳、扶芳藤、绞股蓝、茑萝、络石、扁豆、千金藤、云实、地锦、凌霄、白薇、丹参、桔梗、地榆、鱼腥草、杜衡、虎杖、拳参、红蓼、杠板归、扁蓄、金荞麦、牛膝、千日红、青葙子、商陆、垂序商陆、乌头、芍药、白头翁、毛茛、延胡索、荠菜、垂盆草、佛甲草、虎耳草、龙牙草、委陵菜、翻白草、苦参、决明子、白鲜、续随子、大戟、紫花地丁、珊瑚菜、峨参、拐芹、明党参、杭白芷、紫花前胡、马鞭草、紫苏、益母草、夏枯草、金疮小草、半枝莲、地笋、荆芥、荔枝草、薄荷、活血丹、曼陀罗、玄参、地黄、车前、长叶车前、接骨草、败酱、华东杏叶沙参、半边莲、白术、茅苍术、红花、野菊、牛蒡、牡蒿、天名精、佩兰、茵陈蒿、蒲公英、鼠麹草、刺儿菜、大蓟、苍耳、半夏、掌叶半夏、东亚魔芋、蔓生百部、多花黄精、玉竹、万年青、阔叶山麦冬、麦冬、知母、紫菀、浙贝母、薏苡、萱草、绵枣儿、石蒜、长筒石蒜、忽地笑、换锦花、马蔺、白芨、姜黄、松果菊、黑心金光菊、紫萼、玉簪、灯心草、芦苇、菖蒲、石菖蒲、三白草、莲、睡莲、千屈草、香菇草、水烛、荇菜、水葱、水蓼、黄花水龙、水芹、泽泻、野慈姑、萍蓬草”的228种常见中药。

所述的步骤4)的具体采样过程为：

步骤4-1：通过双线性插值放大显著图，并用如下公式进行显著图预处理：

其中，ai,j代表步骤3)得到的显著图第i行j列的像素值，si,j代表显著图预处理结果，α代表步骤3)得到的显著图所有像素的均值；

步骤4-2：生成并输入和原图相同尺寸的空白图像；

步骤4-3：根据如下公式得到α(x,y)：

其中，h、w分别代表图像的长和宽，z是归一化系数，其用于防止偏移量越过图像边界；x和y分别表示图像中像素的横、纵坐标；

步骤4-4：根据如下公式得到β(x,y)：

其中，h、w分别代表图像的长和宽，z是归一化系数，其用于防止偏移量越过图像边界步骤4-5：根据如下公式得到j(x,y)：

其中xα表示通过函数α得到的α(x,y)，yβ表示通过函数β得到的β(x,y)；i(i,j)表示原图在第i行j列的像素值；

步骤4-6：将j(x,y)的值填入步骤4-2中空白图像的的第x行y列；得到采样图。

本发明与现有技术相比具有的有益效果：

1)由于药用植物图像之间，类间差别十分微小，想要正确地分类不同的药用植物图像，需要准确地定位到细微之处，而忽略背景噪音的影响，本发明通过显著图对原图进行采样，合理地定位到了药用植物图像的关键部位，并对关键部位进行放大，能有效提升分类算法的分类准确率；

2)尽管采样得到的采样图可以提升分类准确率，但原图中的信息仍然存在巨大价值，本发明用双线性池化操作融合了原图特征和采样图特征，在测试集数据上达到了80.14％的分类准确率，该结果显示，本发明已经可以应用于实际，帮助广大中医爱好者、中医从业者辨识药用植物类别，对中草药辨识知识的传播和学习有巨大的促进意义；

3)将图像识别技术用于中医药领域的研究当中，从而为两者的结合积累一定的经验。

附图说明

图1是基于显著图的药用植物分类方法的总体框架。

图2是本发明的显著图生成结果。

具体实施方式

基于显著图的药用植物分类方法的总体框架如图1，主要包括以下步骤：

1)应用selenium自动化测试工具进行网络图像获取；标注图书扫描图中的植物图像区域，对图书扫描图中的植物图像进行提取，得到大规模图像；

2)采用感知哈希(phash)算法生成图像指纹，根据图像指纹对大规模图像进行去重，得到去重后的大规模植物图像数据集；筛选去重后的大规模植物图像数据集中的常见药用植物，得到较高质量的常见药用植物数据集；

3)基于较高质量的常见药用植物数据集对resnet18模型进行预训练；再使用类激活图(cam)方法生成药用植物图像的显著图，显著图生成结果如图2；

4)根据显著图对较高质量的常见药用植物数据集中的原图进行采样；

5)基于较高质量的常见药用植物数据集对resnet101模型进行预训练；使用resnet101模型的卷积层对原图和采样图进行特征提取；

6)使用双线性池化融合原图特征与采样图特征；

7)使用softmax进行分类。

本发明步骤2)所述的常见药用植物包含“银杏、金钱松、侧柏、榧树、胡桃、构树、无花果、薜荔、桑、牡丹、红茴香、豪猪刺、望春玉兰、厚朴、樟、月桂、花椒、常山、枫香树、杜仲、木瓜、枇杷、杏、郁李、桃、梅、金樱子、合欢、皂荚、槐树、吴茱萸、臭椿、香椿、苦树、楝、乌桕、黄杨、南酸枣、盐肤木、枳椇、枣、柽柳、芫花、胡颓子、八角枫、君迁子、白簕、山茱萸、柿、化香树、梣、女贞、连翘、密蒙花、欧洲夹竹桃、紫荆、牡荆、梓、细叶水团花、接骨木、日本七叶树、石楠、青钱柳、老鸦柿、南天竹、十大功劳、山楂、玫瑰、樱桃、卫矛、紫丁香、木槿、木芙蓉、石榴、枸杞、忍冬、紫藤、木通、大血藤、香花崖豆藤、中华猕猴桃、木鳖子、木香花、鸡矢藤、华中五味子、倒卵叶野木瓜、南蛇藤、苦皮藤、西番莲、萝藦、马兜铃、黄独、盾叶薯蓣、栝楼、白蔹、丝瓜、海金沙、何首乌、白首乌、杠柳、扶芳藤、绞股蓝、茑萝、络石、扁豆、千金藤、云实、地锦、凌霄、白薇、丹参、桔梗、地榆、鱼腥草、杜衡、虎杖、拳参、红蓼、杠板归、扁蓄、金荞麦、牛膝、千日红、青葙子、商陆、垂序商陆、乌头、芍药、白头翁、毛茛、延胡索、荠菜、垂盆草、佛甲草、虎耳草、龙牙草、委陵菜、翻白草、苦参、决明子、白鲜、续随子、大戟、紫花地丁、珊瑚菜、峨参、拐芹、明党参、杭白芷、紫花前胡、马鞭草、紫苏、益母草、夏枯草、金疮小草、半枝莲、地笋、荆芥、荔枝草、薄荷、活血丹、曼陀罗、玄参、地黄、车前、长叶车前、接骨草、败酱、华东杏叶沙参、半边莲、白术、茅苍术、红花、野菊、牛蒡、牡蒿、天名精、佩兰、茵陈蒿、蒲公英、鼠麹草、刺儿菜、大蓟、苍耳、半夏、掌叶半夏、东亚魔芋、蔓生百部、多花黄精、玉竹、万年青、阔叶山麦冬、麦冬、知母、紫菀、浙贝母、薏苡、萱草、绵枣儿、石蒜、长筒石蒜、忽地笑、换锦花、马蔺、白芨、姜黄、松果菊、黑心金光菊、紫萼、玉簪、灯心草、芦苇、菖蒲、石菖蒲、三白草、莲、睡莲、千屈草、香菇草、水烛、荇菜、水葱、水蓼、黄花水龙、水芹、泽泻、野慈姑、萍蓬草”的228种常见中药。

所述的步骤4)的具体采样过程为：

步骤4-1：通过双线性插值放大显著图，并用如下公式进行显著图预处理：

其中，ai,j代表步骤3)得到的显著图第i行j列的像素值，si,j代表显著图预处理结果，α代表步骤3)得到的显著图所有像素的均值；

步骤4-2：生成并输入和原图相同尺寸的空白图像；

步骤4-3：根据如下公式得到α(x,y)：

其中，h、w分别代表图像的长和宽，z是归一化系数，其用于防止偏移量越过图像边界；x和y分别表示图像中像素的横、纵坐标；

步骤4-4：根据如下公式得到β(x,y)：

其中，h、w分别代表图像的长和宽，z是归一化系数，其用于防止偏移量越过图像边界

步骤4-5：根据如下公式得到j(x,y)：

其中xα表示通过函数α得到的α(x,y)，yβ表示通过函数β得到的β(x,y)；

步骤4-6：将j(x,y)的值填入步骤4-2中空白图像的的第x行y列；得到采样图。

实施例

参考图1，本发明为一种基于显著图的药用植物分类方法。该方法具体包含以下步骤：

1)通过网络爬虫采集了百度图片、中国植物图像库、中国植物主题数据库、中国植物志等图像数据库共1073828张植物图片，通过提取《六盘山药用植物原色图谱》、《实用中草药原色图谱》等图书，获取18536张植物图片，采用感知哈希算法去重，并筛选其中的常见药用植物，构成一个含有29678张，覆盖228种常见药用植物的常见药用植物图像数据集。将其中的15998作为训练集，13680张作为测试集；

2)用15998张训练集对resnet18模型进行预训练，基于预训练结果，使用类激活图(cam)方法生成13680张测试集图片的显著图；

3)根据13680张显著图，分别对13680张原图进行采样；

4)用15998张训练集对resnet101模型进行预训练，基于预训练结果，对13680张测试集原图和13680采样图进行特征提取；

5)使用双线性池化融合原图特征与采样图特征；

6)使用softmax进行分类。

最终测试结果显示，本文算法在测试集上的准确率为80.14％。另外以两组对比试验验证本文算法的有效性。

实验一：直接使用resnet101模型进行特征提取并分类，测试集准确率为75.77％。可以看到常规的卷积神经网络直接用于药用植物分类，缺少采样对原图特征的放大作用，分类准确率有明显的降低。

实验二：取消步骤5)中双线性池化操作对原图特征与采样图特征的融合操作，直接对采样图特征使用softmax进行分类，测试集准率为77.81％。可以看出，采样过程提升了准确率，但是离本发明的80.14仍然存在差距，融合原图特征与采样图特征可以有效提升特征的表示能力。

相关知识

一种基于大数据的多元农作物病虫害监测预警方法与流程
一种基于大数据的农作物病虫害诊断系统与方法与流程
一种基于人工智能的农作物病虫害预测方法与流程
一种基于机器学习的花朵种类识别方法与流程
一种基于光照强度监测系统的方法与流程
一种基于代谢组学的枣花花蜜致蜜蜂毒性效应的研究方法与流程
一种基于深度学习算法的烟叶病虫害识别方法与流程
一种基于区块链的空气能热泵监测调控方法及系统与流程
一种基于深度学习的柑橘病虫害智能诊断方法及系统与流程
一种基于花蕊局部特征的花卉识别方法与流程

网址: 一种基于显著图的药用植物分类方法与流程 https://www.huajiangbk.com/newsview1556948.html