首页 > 分享 > 一种矮化密植枣树修剪、环割机器人的制作方法

一种矮化密植枣树修剪、环割机器人的制作方法

花匠小妙招
2024-12-15 09:21

本发明属于智能机器人领域，涉及一种矮化密植枣树修剪、环割机器人，特别是涉及一种基于ros系统的矮化密植枣树修剪、环割机器人。

背景技术：

红枣是我国广泛种植的特色林果，而枣树的春季修剪是一项非常繁重的工作，通过对枣树二次枝数量和长度的控制，促使养分集中到挂果的枝干部位，在枣树挂果前期，需要对枣树距地面30cm左右处对主干进行环割，以切断在枣树挂果期间营养向下输送，保证营养主要留给枣树的花蕾，提高枣树的坐果率。然而，目前枣树春季修剪以及枣树挂果前期的环割主要还是依靠人工进行，劳动强度大，修剪、环割作业效率低，且有修剪、环割技能的人十分短缺，导致用工成本很高，为提高枣树树冠修剪、环割质量，降低用工成本和修剪、环割时的劳动强度，开发一套基于ros系统的矮化密植枣树修剪、环割机器人是非常有价值的。ros(robotoperatingsystem)系统是一个编写机器人软件的优秀和灵活的框架，包括了程序之间的话题消息的传递、驱动程序的管理、硬件功能的抽象描述等，并且集成了大量的通信协议和开源库，可以极大缩短矮化密植枣树修剪、环割机器人系统平台的开发周期。

技术实现要素：

针对现有技术中存在的上述问题，本发明提供一种矮化密植枣树修剪、环割机器人，基于一种三维重建与机器人技术结合的方法，实现矮化密植枣树自动化修剪、环割的目的。

本发明采用的技术方案如下：

本发明的一种矮化密植枣树修剪、环割机器人，包括移动车架系统、修剪系统、环割系统；

移动车架系统包括门型车架及均安装于门型车架上的辊筒、六自由度机械臂、第一圆盘锯、工控机、激光雷达；辊筒一端通过连接轴与门型车架相连接，在辊筒上连接有若干拨杆，连接轴由电机驱动可带动辊筒转动；六自由度机械臂一端与门型车架连接，另一端安装有rgb-d深度相机，工控机用于控制激光雷达、六自由度机械臂及rgb-d深度相机；

修剪系统安装于六自由度机械臂上，包括支撑杆、第二圆盘锯、支撑架、第一气压缸；第一气压缸与六自由度机械臂相连，支撑杆与第一气压缸相连接；支撑架一端与第一气压缸可伸缩端相连，另一端与第二圆盘锯转动相连；

环割系统通过支撑轴安装于六自由度机械臂上，包括由第一外圆轨道、第二外圆轨道一端铰接形成的完整圆形轨道、第二气压缸、第一连杆、第二连杆和第三连杆，在第一外圆轨道、第二外圆轨道内圈均设有齿轮，形成完整的圆形内齿轮，第三连杆一端与第二电机连接，另一端与第一外圆轨道连接，第二电机固连在支撑轴上，支撑轴末端与第二外圆轨道固连，圆形轨道上安装有滑块，第二气压缸与滑块固连，在第二气压缸上安装有第一电机和齿轮，齿轮由第一电机驱动并与内齿轮啮合，在第二气压缸可伸缩端安装有两根推杆，两推杆分别与第一连杆、第二连杆铰连，第一连杆与第二连杆铰接形成剪刀状，在第一连杆末端固定有压力传感器，在第二连杆末端安装有环割刀片。

上述技术方案中，进一步的，在门型车架上还安装有太阳能板和蓄电池，此外门型车架上还设有led灯为rgb-d深度相机提供光源环境，太阳能板与蓄电池相连，蓄电池给led灯供电；门型车架底部还设置有车轮。

进一步的，所述的工控机内部安装有ubuntu16.04操作系统，在其操作系统上装有kinetic版本的ros系统。

更进一步的，所述的rgb-d深度相机，采用kinectv2相机，其对枣树进行三维重建的方法如下：

1)rgb-d深度相机正面采集枣树的第一帧信息，包括枣树的彩色图，枣树的深度图像，枣树的点云图像；

2)rgb-d深度相机旋转45度再采集枣树的第二帧信息，也包括枣树的彩色图像，枣树的深度图像，枣树的点云图像；

3)通过调用kinetic版本ros系统内部的opencv3.1库中的orb算法对枣树的两帧彩色图进行暴力匹配，得到两帧彩色图像的特征点匹配；

4)通过得到的匹配特征点，根据第一帧枣树的深度图像和第二帧彩色图像，由opencv3.1库中的函数solvepnp计算出kinectv2相机旋转45度后的旋转向量r和平移向量t即相机位姿；

5)根据第二帧枣树的点云图像，通过rgb-d深度相机旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下，然后对两帧的点云图进行合成，最终得到枣树的三维重建。

更进一步的，该机器人基于pytorch深度学习框架，搭建cnn神经网络用于识别枣树剪枝点，具体方法为：

1)通过fpn+resnet提取枣树的特征图，再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测，最后对每个候选框进行识别与坐标回归；

2)用rgb-d深度相机采集枣树不同视角、不同尺度的数百张照片，并进行人工标注，框选出每个图片中枣树的剪枝点；所述的人工标注具体为：设图片中枣树的二次枝直径为d，当枣树的二次枝直径在8mm<d≤10mm范围内，需保留七到八个挂果点，若挂果点多于八个则框选出第九个挂果点为剪枝点位置，否则不框选；当图片中枣树的二次枝直径在5mm<d≤8mm范围内，需保留五到六个挂果点，若挂果点多于六个则框选出第七个挂果点为剪枝点位置，否则不框选；当图片中枣树的二次枝的直径在3mm≤d≤5mm范围内，需保留四到五个挂果点，若挂果点多于五个则框选出第六个挂果点为剪枝点，否则不框选；当图片中枣树的二次枝的直径在0mm≤d<3mm范围内，无需保留挂果点，框选二次枝与主杆的连接处作为剪枝点位置；

3)将标注后的数据输入fasterr-cnn，进行多批次训练，得到训练后的网络模型；

4)将待识别的枣树图片输入训练后的网络模型进行检测，确定枣树的剪枝点位置。

本发明的有益效果：

本发明通过对矮化密植枣树树冠骨架三维信息的获取，结合自动化修剪的人工智能系统，准确定位枣树树冠骨架剪枝点和环割的位置，实现矮化密植枣树树冠自动化修剪、环割作业，提高枣树树冠修剪、环割质量以及人工的劳动效率，降低用工成本和修剪、环割时的劳动强度。

附图说明

图1是本发明的枣树修剪、环割机器人整体结构示意图；

图2是本发明的枣树修剪系统的结构示意图；

图3是本发明的枣树环割系统结构示意图；

图4是本发明的枣树环割系统末端结构示意图；

图5是本发明的枣吊清除机构结构图；

图6是本发明的第一连杆的结构图；

图7是本发明的第二连杆的结构图；

图8是本发明的环割刀片的结构图；

图9是本发明的环割过程示意图；

图10是本发明的第一外圆轨道和第二外圆轨道连接示意图；

图11是本发明的枣树修剪、环割机器人的总体控制架构图；

图12是本实例的六自由度机械臂的控制流程图；

图13是本发明的枣树修剪、环割作业流程图；

图中：1-车轮、2-门型车架、3-拨杆、4-辊筒、5-连接轴、6-六自由度ur3机械臂、7-led灯、8-太阳能板、9-工控机、10-激光雷达、11-rgb-d深度相机、12-气压泵、13-蓄电池、14-第一圆盘锯、15-移动车架系统、16-第一外圆轨道、17-第二外圆轨道、18-内齿轮、19-滑块、20-第一电机、21-第二气压缸、22-推杆、23-第一连杆、24-连接孔(1)、25-支撑轴、26-第二连杆、27-环割刀片、28-压力传感器、29-连接孔(2)、30-第三连杆、31-第二电机、32-环割系统、33-支撑杆、34-第二圆盘锯、35-支撑架、36-第一气压缸、37-修剪系统、38-齿轮。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明：

参阅图1、图2、图3、图4、图5、图6、图7、图8、图9、图10，为实现本发明的一种具体实施例，仅为对本发明具体实现方式的说明解释，并非对本发明技术方案的限定。

一种基于ros系统的矮化密植枣树修剪、环割机器人，包括移动车架系统15、修剪系统37、环割系统32；

移动车架系统15包括车轮1、门型车架2、拨杆3、辊筒4、连接轴5、六自由度ur3机械臂6、led灯7、太阳能板8、工控机9、激光雷达10、rgb-d深度相机11、气压泵12、蓄电池13、第一圆盘锯14；拨杆3与辊筒4相连接，辊筒4一端通过连接轴5与门型车架2相连接，通过电机(图中未画出)带动连接轴5转动，使拨杆3与辊筒4敲打枣树，完成枣吊清除的目的；rgb-d深度相机11固定在六自由度ur3机械臂6上端，用于采集枣树的三维信息，六自由度ur3机械臂6通过底座与门型车架2相连接；第一圆盘锯14与门型车架2相连接，修剪枣树过长的二次树枝；太阳能板8与蓄电池13相连接，通过太阳光的照射，白天持续充电为系统提供电能，蓄电池13另一端与led灯7相连接，保证了rgb-d深度相机11对枣树信息采集的光源环境；所述的工控机9内部安装有ubuntu16.04操作系统，在其操作系统上装有kinetic版本的ros系统，其控制着激光雷达10、六自由度ur3机械臂6、rgb-d深度相机11。

修剪系统37包括支撑杆33、第二圆盘锯34、支撑架35、第一气压缸36；支撑杆33与第一气压缸36相连接，其为枣树树枝修剪提供支撑作用；支撑架35一端与第二圆盘锯34相转动连接，另一端则与第一气压缸36的可伸缩端相连接；当对枣树修剪时，第一气压缸36推动支撑架35上的第二圆盘锯34到达修剪位置，启动第二圆盘锯34完成对枣树的二次枝修剪作业。第二圆盘锯34在对枣树进行修剪时，支撑杆33对枣树树枝起支撑作用，实现有支撑切割。

环割系统32包括第一外圆轨道16、第二外圆轨道17、内齿轮18、滑块19、第一电机20、第二气压缸21、推杆22、第一连杆23、连接孔(1)24、支撑轴25、第二连杆26、环割刀片27、压力传感器28、连接孔(2)29、第三连杆30、第二电机31、齿轮38；所述的第一外圆轨道16与第二外圆轨道17通过连接孔(1)24铰接，在第一外圆轨道16、第二外圆轨道17内圈均设有齿轮，形成完整的圆形的内齿轮18，第三连杆30一端与第二电机31固定，另一端通过销轴与固定在第一外圆轨道16上的连接孔(2)29连接在一起，第二电机31驱动第三连杆30转动，第三连杆30带动第一外圆轨道16运动，第二电机31固连在支撑轴25上，支撑轴25末端与第二外圆轨道17固连。所述的滑块19安装于由第一外圆轨道16和第二外圆轨道17拼接成的圆形轨道内，且滑块19与第二气压缸21相连接；在第二气压缸21上安装有第一电机20和齿轮38，齿轮38由第一电机20驱动并与内齿轮18啮合，在第二气压缸21可伸缩端安装有两根推杆22，所述的两推杆22与分别与第一连杆23和第二连杆26相铰接；第一连杆23与第二连杆26铰接形成剪刀状，第一连杆23与压力传感器28相连接；第二连杆26与环割刀片27相连接；当对枣树进行环割时，六自由度ur3机械臂6带动环割系统32靠近枣树的主干，使得环割系统32距离地面30cm左右，此时第二电机31驱动第三连杆30转动40度，使第一外圆轨道16与第二外圆轨道17打开，让枣树到达第一外圆轨道16与第二外圆轨道17所形成封闭轨道的中心位置，第二电机31驱动第三连杆30转动负40度，使第一外圆轨道16与第二外圆轨道17合拢，同时第二气压缸21推动推杆22移动，推杆22推动第一连杆23上的压力传感器28和第二连杆26上的环割刀片27把枣树主干压紧到预设的压力值，此时，第一电机20驱动齿轮38在内齿轮18上做圆周运动，实现枣树自动环割的目的。

本实例中的rgb-d深度相机11可采用kinectv2相机，其对枣树三维重建的方法为：

1)rgb-d深度相机11正面采集枣树的第一帧信息，包括枣树的彩色图，枣树的深度图像，枣树的点云图像。

2)rgb-d深度相机11旋转45度再采集枣树的第二帧信息，也包括枣树的彩色图像，枣树的深度图像，枣树的点云图像。

3)通过调用kinetic版本ros系统内部的opencv3.1库中的orb算法对枣树的两帧彩色图进行暴力匹配，得到两帧彩色图像的特征点匹配。

4)通过得到的匹配特征点，根据第一帧枣树的深度图像和第二帧彩色图像，由opencv3.1库中的函数solvepnp计算出kinectv2相机旋转45度后的旋转向量r和平移向量t即相机位姿。

5)根据第二帧枣树的点云图像，通过rgb-d深度相机11旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下，然后对两帧的点云图进行合成，最终得到枣树的三维重建。

在对枣树进行三维重建后还需确定枣树的修剪位置，本实例采用基于pytorch深度学习框架，搭建用于枣树剪枝点识别的cnn神经网络，具体方法为：

1)通过fpn+resnet提取枣树的特征图，再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测，最后对每个候选框进行识别与坐标回归。

2)用rgb-d深度相机11采集枣树不同视角、不同尺度的数百张照片，并进行人工标注，框选出每个图片中枣树的剪枝点。具体如下：设图片中枣树的二次枝直径为d，当枣树的二次枝直径在8mm<d≤10mm范围内，需保留七到八个挂果点，若挂果点多于八个则框选出第九个挂果点为剪枝点位置，否则不框选；当图片中枣树的二次枝直径在5mm<d≤8mm范围内，需保留五到六个挂果点，若挂果点多于六个则框选出第七个挂果点为剪枝点位置，否则不框选；当图片中枣树的二次枝的直径在3mm≤d≤5mm范围内，需保留四到五个挂果点，若挂果点多于五个则框选出第六个挂果点为剪枝点，否则不框选；当图片中枣树的二次枝的直径在0mm≤d<3mm范围内，无需保留挂果点，框选二次枝与主杆的连接处作为剪枝点位置。

3)将标注后的数据输入fasterr-cnn，进行多批次训练，得到训练后的网络模型。

4)将待识别的枣树图片输入训练后的网络模型进行检测，确定枣树的剪枝点位置。

上述过程中，六自由度机械臂6可通过ros系统内部的moveit功能包对其关节空间进行规划，避障规划以及剪枝点、环割点的位置确定。

激光雷达10可通过ros系统内部的gmapping功能包对其进行控制，以确定矮化密植枣树修剪、环割机器人的自主导航的路径。

本发明的机器人的具体工作过程如下：

1)枣树三维重建和剪枝点确定过程：

为获取枣树树冠骨架精确的三维模型，rgb-d深度相机11正面采集枣树的第一帧信息，包括枣树的彩色图，枣树的深度图像，枣树的点云图像，然后rgb-d深度相机11旋转45度再采集枣树的第二帧信息，也包括枣树的彩色图像，枣树的深度图像，枣树的点云图像，通过调用kinetic版本ros系统内部的opencv3.1库中的orb算法对枣树的两帧彩色图进行暴力匹配，得到两帧彩色图像的特征点匹配，通过得到的匹配特征点，根据第一帧枣树的深度图像和第二帧彩色图像，由opencv3.1库中的函数solvepnp计算出rgb-d深度相机11旋转45度后的旋转向量r和平移向量t即相机位姿，根据第二帧枣树的点云图像，通过rgb-d深度相机11旋转45度的相机位姿转换到第一帧枣树的点云图像坐标下，然后对两帧的点云图进行合成，最终得到枣树的三维重建模型。

为确定枣树的修剪位置，基于pytorch深度学习框架搭建用于枣树剪枝点识别的cnn神经网络，具体方法为：1)通过fpn+resnet提取枣树的特征图，再送入基于滑动窗口的枣树剪枝点检测器进行候选框检测，最后对每个候选框进行识别与坐标回归；2)用rgb-d深度相机11采集枣树不同视角、不同尺度的数百张照片，并进行人工标注，框选出每个图片中枣树的剪枝点；3)将标注后的数据输入fasterr-cnn，进行多批次训练，得到训练后的网络模型；4)将待识别的图片输入训练后的网络模型检测，确定枣树的剪枝点位置。

2)矮化密植枣树修剪、环割机器人移动过程：

当枣树修剪、环割机器人将要移动时，激光雷达10向工控机9实时传送点云信息，工控机9内部的ros系统调用其gmapping功能包，处理这些点云信息，对枣树周围环境进行建图，并定位自己在地图中的位置，驱动移动车架系统15向前移动，在移动车架系统15向前移动时，电机(图中未画)驱动门型车架2上的左右两排第一圆盘锯14对枣树两侧的树枝进行粗修剪，减掉一些生长过长的枣树二次枝条，同时电机(图中未画)带动连接轴5转动，使拨杆3与辊筒4敲打枣树，并且拨杆3与辊筒4均采用尼龙棒，在敲打的过程中对枣树的损伤很小，通过枣树上的振动力的传递，使枣吊掉落，为后面六自由度ur3机械臂6的修剪做准备。

3)枣树修剪过程：

当对枣树修剪时，六自由度ur3机械臂6带动修剪系统37靠近枣树的修剪位置，第一气压缸36推动连接在支撑架35上的第二圆盘锯34向前运动到达修剪位置，在支撑杆33对枣树二次枝的支撑下，完成对枣树的二次枝修剪作业。

4)枣树环割过程：

当对枣树进行环割时，六自由度ur3机械臂6带动环割系统32靠近枣树的主干，使得环割系统32距离地面30cm左右，此时第二电机31驱动第三连杆30转动40度，使第一外圆轨道16与第二外圆轨道17打开，使枣树到达第一外圆轨道16与第二外圆轨道17所形成封闭轨道的中心位置，第二电机31驱动第三连杆30转动负40度，使第一外圆轨道16与第二外圆轨道17合拢，同时第二气压缸21推动推杆22移动，推杆22推动第一连杆23上的压力传感器28和第二连杆26上的环割刀片27把枣树主干压紧到预设的压力值，此时，第一电机20驱动齿轮38在内齿轮18上做圆周运动，实现枣树自动环割的目的。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。