基于PPYOLO的智能害虫防治机器人
基于PPYOLO的智能害虫防治机器人
项目团队：西南大学好想去线下队
团队成员：
方承煜(计算机与信息科学学院 软件学院)何裕元(工程技术学院)王瑞基(人工智能学院)相关技术环境：Ubuntu20.04 LTS、Python3.7、百度飞桨PaddlePaddle PP-YOLO、SolidWorks 2020、Keil5、NIVIDIA Jetson Xavier NX
项目简介
项目背景智能林业是智能地球的重要组成部分，也是未来林业创新发展的必由之路。它是领导未来林业工作、拓展林业技术应用、提高林业管理水平、提高林业发展质量、促进林业可持续发展的重要支撑和保障。智能林业与智能地球和美丽中国密切相关。
物联网网智能林业信息化综合管理系统以人为本的林业发展新模式，将不断提高生态林业和民生林业的发展水平，实现林业的智能化、安全化、生态化、和谐化。智能林业包括基础性、应用性、本质性的特征体系，其中基础性的特征包括数字化、感知化、互联化、智能化，应用性的特征包括一体化、协同化。
近年来，在林业病虫害防护方面，国家各级园林局及相关部门已做出了巨大的努力，也取得了很大的成效，但和少数发达国家相比还存在着一定的差距，尤其是在“国家森林城市”、“智慧城市”建设的大潮下，建设智慧林业信息化应用管理系统更是迫在眉睫。
产品介绍在智慧林业中，对于害虫的监测以及防治是不可避及的问题。在林业病虫害的机械化病虫害监测与防治中，无人机是使用较为广泛的一种设备，我们认为这对于广泛的防治是有效的，但在精细化防治中，无人机显然失去了优势，因此，我们决定使用轮式移动机器人完成相关任务
我们将PaddleDetection与轮式移动机器人相结合，配合激光雷达、GPS、导航相机与工业相机、农业喷洒系统等，实现了基于PP-YOLO的智能害虫防治机器人。
我们的机器人拥有自动驾驶、基于PP-YOLO的视觉感知害虫检测与识别、定点标识与报警、自动播撒农药等功能。产品建模图如下所示：
技术介绍
*项目整体分为软件系统、机器人系统、机器视觉与消杀系统。
*
软件系统为PP-YOLO算法，这是一款基于PaddleDetection改进和优化的YOLOv3模型，其精度和推理速度由于YOLOv4模型
机器人系统为六轮移动机器人，其电控系统中心板为STM32F407；底盘为独立悬挂六驱设计；边缘计算平台为NVIDIA Jetson NX；拥有农药喷洒机构。
软件层面使用PP-YOLO算法；自制林业害虫数据集，包含了常见的10000种害虫；设计网页可视化界面。
PP-YOLO算法：基于飞桨的高性能内核，模型训练速度及显存占用优势明显,我们将算法部署在了边缘计算平台——NVIDIA Jetson NX上。算法模型结构如下图所示：
考虑到机器人要兼顾强度与轻量化，因此采用冲压铝合金和碳纤维等材料作为车体结构材料。
电控中心板：STM32F407，拥有32位高性能ARM Cortex-M4处理器；高达168MHz时钟；支持FPU和DSP指令。满足电控系统控制需要。
底盘系统：该系统采用了6驱独立悬挂设计；动力输出部分使用无刷电机进行控制，用差速实现转向；悬挂部分采用了月球车构型的自适应悬挂系统，实现一定程度上的越野以及维持车身稳定。底盘建模如下：
工业相机：用以害虫检测，使用HIKROBOT相机，支持自动/手动增益调节，分辨率高。
激光雷达：DJI Livox激光雷达，拥有260米探测距离与2厘米探测精度，稳定可靠，助力机器人自动驾驶。
消杀系统大体积插拔式存储药箱，可储存80升的液体消杀药物，高压气流喷雾机配合视觉相机，可实现精准喷洒。
模块化结构对于我们的消杀及巡检机器人，其采用模块化的结构设计，所有部件均可以实现轻松更替，降低维修成本。
工作状态
该机器人可以在林地实现长续航工作，得益于优秀的6驱独立悬挂系统、基于PaddleDetection的PP-YOLO算法、智能喷洒系统，使得机器人可以在行进中实时进行害虫检测、定位以及精准播药。工作状态渲染图如下所示：
方法&步骤
#解压数据集 !unzip -d ###修改为想要解压到的路径### data/data122184/coco.zip 123
#获取Paddle Detection !git clone https://gitee.com/paddlepaddle/PaddleDetection.git -b release/2.0 12
#环境安装 !cd PaddleDetection !pip install requirements.txt 123
注意，本项目训练代码采用客制化训练方式，你可以自行选择适用COCO数据集的合适的配置文件进行以下的训练工作。
在训练前，请先将以下代码块的 ###配置文件路径### 修改为自己的配置文件路径。
#模型训练 #将-c之后的参数修改为自己的配置文件 #若使用官方文件，则文件位于./PaddleDetection/config/ppyolo文件夹下 #别忘了修改数据集路径为解压得到的数据集路径噢 !CUDA_VISIBLE_DEVICES=0 !python tools/train.py -c ###修改为配置文件路径### 12345678
#模型测试 #在完成对模型的训练后可以通过调用infer.py进行检测 !CUDA_VISIBLE_DEVICES=0 !python tools/infer.py -c ###修改为配置文件路径### -o weights=###修改为权重路径### --infer_img= ###修改为待测图片路径### 1234
#模型部署 !python tools/export_model.py -c ###修改为配置文件路径### -o weights=###修改为权重路径### #部署测试 !CUDA_VISIBLE_DEVICES=0 !python deploy/python/infer.py --model_dir=###修改为导出模型位置### --image_file=###修改为测试图片位置### --device=GPU 123456 项目总结
通过本次项目，我们利用PPYOLO算法实现了一个可以用于识别多种林业有害生物的目标检测模型，并且通过将该模型部署到基于英伟达Jetson NX的开发版所搭建的机器人端，实现了利用PPYOLO目标检测算法对林业有害生物的智能巡检、智能检测、智能消杀工作。
百度飞桨框架是一个非常优秀的深度学习框架，这次飞桨黑客松项目给了我们团队一个学习使用飞桨框架进行目标检测模型的搭建，学习使用AI Studio进行深度学习网络的训练的过程，增加了我们对于飞桨框架的了解程度，在这之后，希望我们团队能够利用飞桨框架，利用PaddleDetection创造出更多具有创造力的作品。
补充所使用大部分数据集已开源（增强后），可以通过访问数据集页面下载我们的数据集，数据集数据均通过人工标注，可能存在错误，推荐使用百度EasyDL数据集管理完成数据清洗工作。
我们同时提供了txt格式的数据集以及COCO格式的数据集（由txt通过脚本转换），您可以根据自己的需要选择合适的数据集使用。
改进版数据集及模型文件正在处理中，将会很快完成开源。
三维模型文件开源见环境内: 模型文件.zip
若不想进入环境，也可以通过以下链接下载：
链接: https://pan.baidu.com/s/1N7TFIQnUrTa2nhLA26w1Wg 提取码: 44t7
如有问题或建议，请发邮件联系：cnyvfang@outlook.com
classes:
DrosichaCorpulentaFe
DrosichaCorpulentaMa
LatoriaConsociaAd
LatoriaConsociaLa
CnidocampaFlavescensAd
CnidocampaFlavescensCo
CnidocampaFlavescensLa
plagioderaVersicoloraAd
plagioderaVersicoloraLa
ErthesinaFulloAd
ErthesinaFulloEgg
ErthesinaFulloNy
ErthesinaFulloNyLate
HyphantriaCuneaAdFe
HyphantriaCuneaLa
SpilarctiaSubcarneaAd
SpilarctiaSubcarneaLa
ChalcophoraJaponicaAd
AprionaGermariAd
PsilogrammaMenephronAd
PsilogrammaMenephronLa
SericinusMontelusFe
SericinusMontelusMa
SericinusMontelusLa
MonochamusAlternatusAd
AnoplophoraChinensisAd
ClosteraAnachoretaAd
ClosteraAnachoretaLa
MicromelalophaTroglodytaAd
LongicornLa
HyphantriaCuneaAdMa
相关知识
基于机器视觉的害虫种类及数量自动检测系统：农业监控的智能守护者
基于物联网的害虫智能监测系统设计与实现
上肢运动功能障碍的仿生智能康复辅助机器人系统
物联网虫情监测系统：基于互联网技术的智能农业害虫管理解决方案
智能花卉管理机器人：未来花卉产业的守护者
智能虫情智能测报站，农业害虫的“实时追踪器”
物理方法防治害虫
一种基于AI的无人值守农作物病虫害监测预警系统
药物防治害虫的动力学行为
【成果推介】多功能绿篱苗木智能修剪机器人
网址: 基于PPYOLO的智能害虫防治机器人 https://m.huajiangbk.com/newsview345281.html
| 上一篇: 科技创新赋能社会治理智能化 |
下一篇: 算法自律——智能化时代的创新治理 |
