首页 > 分享 > 一种基于视觉识别的百香果成熟度检测及定位方法

一种基于视觉识别的百香果成熟度检测及定位方法

花匠小妙招
2024-12-28 23:10

1.本发明属于图像识别技术领域，尤其涉及一种基于视觉识别的百香果成熟度检测及定位方法。

背景技术：

2.百香果属于西番莲科西番莲属，多年生的草质藤本植物，随着百香果的市场需求不断加大，在我国南宁许多地方均有大量种植，由于黄百香果具有生长旺盛，适应性强，耐寒性弱，果汁含量高等优点，因此种植及鲜销的主要品种为黄百香果，由于百香果为藤蔓植物，必须依靠攀爬架支撑才能正常生长，经过多地调研，水平棚架广泛应用，篱架高度为2.0～2.2m，以垂枝结果为主。由于百香果的生长特性，单纯依靠人工采摘会消耗大量人力，物力资源，面临采摘耗时长，抢收不及时，采摘效率低，单次收纳量小等问题。目前针对百香果的自动识别检测的研究很少，大部分是基于支撑向量机的果实识别算法、基于果实特色分析、图像分割识别以及基于深度学习技术的相关研究，但是均存在较大的局限性。因此，随着百香果数量增加，采摘效率低，资源浪费大以及现有检测方法的缺陷，无法克服自然环境下复杂光照以及果实被遮挡状况下对果实成熟度进行准确判断的问题，从而难以准确、及时保证果实的实时采收，以减少因果实腐烂、掉落等带来的巨大损失，为此，迫切需要开发一种高精度的方法快速、准确、有效地获取百香果分布数据情况具有重要意义，为后续识别定位采摘成熟的果实提供技术支撑。

技术实现要素：

3.本发明的目的在于：针对上述存在的问题，提供一种基于视觉识别的百香果成熟度检测及定位方法，本发明能在自然环境下对成熟百香果检测及定位，本发明可以克服自然环境下光照和遮挡的影响，快速准确的识别定位成熟的百香果果实。为了实现上述目的，本发明采用的技术方案如下：
4.本发明提供了一种基于视觉识别的百香果成熟度检测及定位方法，所述百香果成熟度检测及定位方法包括：采用双目立体相机实时采集田间果园内的百香果图像，将采集到的百香果图像用于建立voc数据集，形成待检测百香果图像；获取成熟百香果图像作为原始数据集，然后对原始数据集进行优化，再将优化后的原始数据集送入百香果目标检测模型中对对自然环境下的成熟百香果进行检测与训练，训练出最优模型；将待检测百香果图像输入训练好的最优模型中进行测试，输出图像的识别结果，根据识别结果分别对百香果进行成熟度判别与定位判断。
5.上述方案优选的，对原始数据集进行优化包括通过msrcp算法对光照图像进优化处理、对随机遮挡图像进行优化处理和利用图像数据增强技术进行扩充原始数据集的规模。
6.上述方案优选的，通过msrcp算法对光照图像进优化处理包括如下步骤：
7.步骤31：将原始数据集jpg.格式存放在voc2007文件夹下jpegimages子文件夹内，
用编号重新命名，利用labelimg图片标注工具对原始数据集进行人工标注，再用矩形框将原始数据集中的每个成熟的百香果目标图像进行框选；将熟的百香果目标图像进行标签并储存为txt格式，然后保存在annotations标签文件夹下，使标签文件与百香果目标图像一一对应；
8.步骤32：对框选的原始百香果目标图像rgb进行均衡，然后将原始rgb进行增强并映射到每个对应的色彩通道中；
9.步骤33：对增强映射后的图像辐照度进行估算，并获取辐照度的最大值与最小值；其辐照度估算满足：
[0010][0011]
式中，fn为滤波器函数；i(x,y)为图像上具体像素点坐标值；
[0012]
上述方案优选的，所述百香果目标检测模型为yolov5网络模型，将优化后的原始数据集送入yolov5网络模型中进行检测、训练，获取最优训练模型，所述待检测百香果图像输入训练好的最优yolov5网络模型中进行测试，输出待检测百香果图像的识别结果，根据识别结果进行判断百香果成熟度。
[0013]
上述方案优选的，所述yolov5网络模型由cspdarknet主特征提取网络，fpn加强特征网络以及yolo head分类回归网络组成，cspdarknet主特征提取网络对原始数据集进行特征提取，所提取的各个特征图像送入fpn加强特征网络进行上采样和下采样以实现特征融合训练，yolo head分类回归网络对特征融合图像进行分类，获取特征图中的特征点集合，根据特征点集合判断是否有百香果与其对应。
[0014]
上述方案优选的，所述百香果成熟度检测及定位方法还包括利用预测框对识别出的成熟百香果进行标注和提取成熟的百香果果实轮廓，并在百香果果实轮廓外的对应位置绘制出矩形预测框，对矩形预测框内的百香果果实轮廓进行预处理，获取百香果果实的中心点三维坐标，再根据中心点的三维坐标对成熟的百香果果实进行定位，以便对成熟的百香果果实进行定位采摘。
[0015]
上述方案优选的，对矩形预测框内的百香果果实轮廓进行预处理以及再对预处理后的百香果果实轮廓图像进行视差计算包括如下步骤：
[0016]
步骤71，对矩形预测框内的百香果果实的rgb值转换为对应的hsv值，得到基于hsv色彩空间的预测图像，使百香果果实与背景区分最为明显；
[0017]
步骤72，对hsv色彩空间的预测图像依次选用双边滤波的方式进行滤波、选用laplacian算子进行边缘锐化，消除预测图像中突出的边缘特征，提取清晰的百香果果实，
[0018]
步骤73，利用自适应阈值canny算子对已提取清晰的百香果果实进行边缘检测，获取百香果果实在自然环境状态下均一连续的边缘；
[0019]
步骤74，利用自适应阈值canny算子与hough圆检测算法相结，对百香果果实边缘信息进行检测和提取，然后沿提取出来的边缘信息绘制出在自然环境状态的下百香果果实的；
[0020]
步骤75，在绘制的百香果果实图像中找到圆心像素点，并以图像中的最左上为坐标系原点，得到圆心像素点在图像上的二维坐标，
[0021]
步骤76，将二维坐标通过立体匹配及视差计算，得到百香果果实中心点的三维坐标，再根据中心点的三维坐标对成熟的百香果果实进行定位，以便对成熟的百香果果实进行定位采摘。
[0022]
上述方案优选的，根据中心点的三维坐标对成熟的百香果果实进行定位包括如下步骤：
[0023]
步骤81：以成熟的百香果果实所在目标位置点p(x,y)为圆心、双目立体相机的左镜头坐标点p
l
(μ
l
,ν
l
)和右镜头坐标点pr(μr,νr)为检测点建立三维坐标系xcyczc，左镜头坐标p
l
和右镜头坐标pr之间的距离为d；
[0024]
步骤82：在三维坐标系xcyczc内分别计算百香果果实的目标点p在水平方向距离x、在竖直方向上距离y以及成熟百香果圆心p与原点直线距离z；
[0025]
步骤83：根据目标位置点p、水平方向距离x、竖直方向上的距离y和距离z对成熟的百香果果实进行定位，以便对成熟的百香果果实进行定位采摘。
[0026]
综上所述，由于本发明采用了上述技术方案，本发明具有如下显著效果：
[0027]
本发明针对百香果果实构建了数据集，该数据集包括未成熟、成熟的百香果表皮颜色分布、光泽度、大小、形状等特征，并通过优化数据集，克服在自然环境下复杂光照条件以及果实被遮挡的问题，然后对自然环境下成熟百香果果实目标检测模型进行训练。基于深度学习训练出最优模型，根据百香果表皮特征分析对相机釆集到的图像进行果实检测，可以对实时采集的图像进行处理，特征提取和分析，有效避免在自然环境下由自然光和遮挡引起的识别准确率不足的问题，从而实现对成熟百香果的快速检测和准确识别。以及实现对成熟果实精准、有效的定位，解决了人工采摘过程的劳动力大、效率低的问题，同时，缩短采摘周期而避免果实掉落腐烂问题，提高作业效率。
附图说明
[0028]
图1是本发明的一种基于视觉识别的百香果成熟度检测及定位方法的流程图；
[0029]
图2是本发明的百香果目标模型的检测结构示意图；
[0030]
图3是本发明的百香果色彩空间的预测处理流程示意图：
[0031]
图4是本发明的百香果轮廓检测流程示意图；
[0032]
图5是本发明的百香果果实定位检测原理结构图；
具体实施方式
[0033]
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
[0034]
如图1至图4所示，根据本发明的一种基于视觉识别的百香果成熟度检测及定位方法，所述百香果成熟度检测及定位方法包括如下步骤：采用双目立体相机实时采集田间果园内的百香果图像，将采集到的百香果图像用于建立voc数据集，形成待百香果图像；获取成熟百香果图像作为原始数据集，然后对原始数据集进行优化，再将优化后的原始数据集送入百香果目标模型中对自然环境下的成熟百香果进行检测与训练，训练出最优模型；将
待百香果图像输入训练好的最优模型中进行测试，输出图像的识别结果，根据识别结果分别对百香果进行成熟度判别与定位。
[0035]
在本发明中，对原始数据集进行优化包括通过msrcp算法对光照图像进优化处理、对随机遮挡图像进行优化处理和利用图像数据增强技术进行扩充原始数据集的规模，通过对随机遮挡的图像进行处理时，随机选择一个矩形区域，采用随机值进行覆盖，模拟百香果被遮挡的真实场景，矩形区域相对于输入图像的比例范围为0.02～0.40，遮挡区域的最小长宽比为0.3，使得百香果图像生成不同程度的遮挡，不仅可以提高模型泛化能力，而且降低了模型过拟合的概率；使用图像数据增强技术来扩充数据集的规模，降低杂草识别模型对某些图像属性的依赖，减少训练模型过拟合、加强模型的稳定性。
[0036]
在本发明中，通过msrcp算法对光照图像进优化处理包括如下步骤：
[0037]
步骤31：将原始数据集jpg.格式存放在voc2007文件夹下jpegimages子文件夹内，用编号重新命名，利用labelimg图片标注工具对原始数据集进行人工标注，再用矩形框将原始数据集中的每个成熟的百香果目标图像进行框选；将熟的百香果目标图像进行标签并储存为txt格式，然后保存在annotations标签文件夹下，使标签文件与百香果目标图像一一对应；
[0038]
步骤32：对框选的原始百香果目标图像rgb进行转换和均衡处理，然后将原始rgb进行增强并映射到每个对应的色彩通道中；在自然环境下光照情况下检测，先需要对图片进行增强处理，来强化模型对光线变化的适应能力，降低光照强度和拍摄角度对图像亮度的影响，改善了图像的反差，提高了彩色复原功能，使图像的清晰度和色彩都能精确地还原。对原始百香果目标图像rgb进行转换满足如下表达：
[0039]
int＝(ir+ig+ib)/3
[0040]
int为单通道图像；ir为原始图像中红色通道子图像，ig为原始图像中绿色通道子图像，ib为原始图像中蓝色通道子图像；
[0041]
步骤33：对增强映射后的图像辐照度进行估算，并获取辐照度的最大值与最小值；其辐照度估算满足：
[0042][0043]
式中，fn为滤波器函数；i(x,y)为图像上具体像素点坐标值，
[0044]
在本发明中通过msrcp增强的线性量化计算方获取辐照度的最大值，且满足如下表达式：
[0045][0046]
其中，r
msrcp
(x,y)表示，线性量化后的辐照度，表示的是中的最大值，表示的是中的最小值，；
[0047]
为避免图像颜色失真，将反射分量图像采用伽马亮度计算进行校正，可以有效的提高图像质量；然后对校正后的图像颜色进行还原，其中伽马亮度计算满足：
[0048]
[0049]
其中，γ表示为校准参数，取值为2；int
α
为得到的单通道图像。
[0050][0051]
b＝max(ir(i)+ig(i)+ib(i))；
[0052]
i为像素的索引，b为像素点的三个颜色通道子图像相加的最大值，将其带入上一个公式，a为括号内两者的最小值；
[0053]
为进一步扩大百香果果实本身的颜色特征，对各通道的增强按如下计算：
[0054]rmsrcp
(x,y)＝ai
r,g,b
(x,y)；
[0055]ir，g，b
(x，y)为最初对应的通道图像，r
msrcp
(x，y)表示增强处理后的图像；
[0056]
使用msrcp增强对原始图像进行优化，能够有效的改善了图片显示效果，有效的减少了光照的影响，在很大程度上提高处理后图像的全局保真性。
[0057]
在本发明中，如图2所示，所述百香果目标模型为yolov5网络模型，将优化后的原始数据集送入yolov5网络模型中进行训练，获取最优训练模型，所述待百香果图像输入训练好的最优yolov5网络模型中进行测试，输出待百香果图像的识别结果，根据识别结果进行判断百香果成熟度；所述yolov5网络模型由cspdarknet主特征提取网络，fpn加强特征网络以及yolo head分类回归网络组成，cspdarknet主特征提取网络对原始数据集进行特征提取，所提取的各个特征图像送入fpn加强特征网络进行上采样和下采样以实现特征融合训练，yolo head分类回归网络对特征融合图像进行分类，获取特征图中的特征点集合，根据特征点集合判断是否有百香果与其对应。
[0058]
cspdarknet层：为yolov5神经网络模型的主干特征提取网络，包含如下各种模块或层，其中focus:focus模块在输入图片进行特征提取前，对图片进行切片操作，即邻近下采样，将一张图片切片得到四张图片，四张图片互补且没有信息丢失，从而将输入通道扩充了4倍，即拼接起后的图片相对于原先的rgb三通道模式变成了12个通道，最后将得到的新图片再经过卷积操作，最终得到没有信息丢失情况下的二倍下采样特征图；
[0059]
conv2d:二维卷积层；将输入和卷积核作互相关运算，并加上一个标量偏差来得到输出，互相关运算是将一个二维输入数组和一个二维核数组通过互相关运算输出一个二维数组；
[0060]
bn层:统计每个通道数目所有点的像素值，求得均值和方差，然后在每个通道上分别用该点的像素值减均值除方差得到该点的像素值；
[0061]
silu层:神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层(隐层或输出层)；上一层节点的输出和下一层节点的输入之间具有一个函数关系，具体的函数称为激活函数。激活函数为非线性函数，用于处理复杂事务操作。
[0062]
csplayer残差模块：将原来的残差块的堆叠进行了一个拆分，拆成左右两部分：主干部分继续进行原来的残差块的堆叠，经过少量处理直接连接到最后，最后通过concat的方式连接。
[0063]
spp池化层:使不同任意尺寸的特征图通过ssp层之后都能输出一个固定长度的向量。然后将这个固定长度的向量输入到后续网络结构中。
[0064]
fpn:yolov5神经网络模型的加强特征提取网络：
[0065]
concat：把不同特征层堆叠累加起来的操作，使经过不同处理的特征层进行累加，便于后续对特征的融合。upsampling：上采样操作。也就是放大图片；downsampling：下采样操作。也就是缩小图片。无论上采样还是下采样都是在调整图片的大小，只有图片大小尺寸一致才能进行后续多张图片堆叠的操作。
[0066]
yolo head是yolov5的分类器与回归器，通过cspdarknet和fpn可以获得三个加强过的有效特征层，每一个特征层都有宽、高和通道数，此时我们可以将特征图看作一个又一个特征点的集合，每一个特征点都有通道数个特征。对原始图像的数据集直接送入模型训练后得到最佳训练模型的平均准确率仅为81.2％，为此，本发明通过对原始图像进行优化后送入模型训练后得到最佳训练模型，化可以使模型准确率得到提升97.8％。
[0067]
在本发明中，所述百香果成熟度检测及定位方法还包括利用预测框对识别出的成熟百香果进行标注和提取成熟的百香果果实轮廓，并在百香果果实轮廓外的对应位置绘制出矩形预测框，对矩形预测框内的百香果果实轮廓进行预处理，获取百香果果实的中心点三维坐标，再根据中心点的三维坐标对成熟的百香果果实进行定位，以便对成熟的百香果果实进行定位采摘；在本发明中，如图3和图4所示，对矩形预测框内的百香果果实轮廓进行预处理以及再对预处理后的百香果果实轮廓图像进行视差计算包括如下步骤：
[0068]
步骤71，对矩形预测框内的百香果果实的rgb值转换为对应的hsv值，得到基于hsv色彩空间的预测图像，使百香果果实与背景区分最为明显；如图3所示，基于hsv色彩空间的预测图像方式由三个部分组成：h通道(色调、色相)、通道(饱和度、色彩纯净度)、v通道(明度)只有v通道受光线影响大，由图3中可知，需从h、s通道获取图像特征，以削弱光线的影响，为此本发明从h通道下百香果果实与背景进行区分最为明显；
[0069]
步骤72，对hsv色彩空间的预测图像依次选用双边滤波的方式进行滤波、选用laplacian算子进行边缘锐化，消除预测图像中突出的边缘特征，提取清晰的百香果果实；双边滤波按照如下进行：
[0070]
设预测输入图像为f(x,y)，其具体某个(x,y)邻域内的点表示为f(x,y)，滤波输出图像为g(x,y)，双边滤波满足如下公式：
[0071][0072]
(x,y)是预测图像的当前处理点，f(i,j)是某个(x,y)邻域内的点；ω(x,y,i,j)是加权系数，为此相邻两点的距离和像素值差满足：
[0073][0074]
双边滤波中的经验参数σd和σr的选择直接影响双边滤波的输出结果。σd控制空间邻近度，σd和σr取值都为150，其大小决定滤波窗口中包含的像素个数；当σd变大时，窗口中包含的像素变多，距离远的像素点对中心像素点的影响增大，平滑程度也越高。σr用来控制灰度邻近度，当σr变大时，则灰度差值较大的点也能影响中心点的像素值，但灰度差值大于σr的像素将不参与运算，使得能够保留图像高频边缘的灰度信息，从而为后续百香果的边
缘及轮廓提取做准备；
[0075]
步骤73，利用自适应阈值canny算子对已提取清晰的百香果果实进行边缘，获取百香果果实在自然环境状态下均一连续的边缘；
[0076]
步骤74，利用自适应阈值canny算子与hough圆算法相结，对百香果果实边缘信息进行和提取，然后沿提取出来的边缘信息绘制出在自然环境状态的下百香果果实的；通过已提取出的百香果果实边缘信息，将其在图中并绘制出来，例如，绘制黄金百香果果实与圆形极为相似的图形，
[0077]
步骤75，在绘制的百香果果实图像中找到圆心像素点，并以图像中的最左上为坐标系原点，得到圆心像素点在图像上的二维坐标，根据所出来边缘进行的果实轮廓的提取，并找到百香果的圆心像素点，并以图像左上为坐标系原点，得到该像素点在图像上的坐标(x,y)，百香果圆心二维坐标是后续进行立体匹配及视差计算最关键的信息；
[0078]
步骤76，将二维坐标通过立体匹配及视差计算，得到百香果果实中心点的三维坐标，再根据中心点的三维坐标对成熟的百香果果实进行定位，以便对成熟的百香果果实进行定位采摘。
[0079]
在本发明中，如图5所示，根据中心点的三维坐标对成熟的百香果果实进行定位包括如下步骤：
[0080]
步骤81：以成熟的百香果果实所在目标位置点p(x,y)为圆心、双目立体相机的左镜头坐标点p
l
(μ
l
,v
l
)和右镜头坐标点pr(μr,νr)为检测点建立三维坐标系xcyczc，左镜头坐标p
l
和右镜头坐标pr之间的基线距离为d；目标位置点与双目立体相机的两个光心共三个点组成的平面与各自成像平面的交线称为该目标位置点p在各自成像平面中的极线，如图5所示。当通过标定确定双目立体相机的内外参数后，就可通过两条极线p-p
l
以及p-pr的约束关系式建立对应图像点之间的关系，并由此建立求解图像点三维坐标的方程
[0081]
步骤82：在三维坐标系xcyczc内分别计算百香果果实的目标点p相对于左镜头坐标点水平方向距离x、相对于左镜头坐标点竖直方向上距离y以及成熟百香果圆心p与原点直线距离z；为此，以双目相机左相机为三维坐标系原点，根据三角形的相似关系可算出成熟百香果圆心p在空间中的三维坐标(x,y,z)：
[0082][0083][0084][0085]
f为双目立体相机的焦距，x为成熟百香果圆心p在水平方向上的距离(与左镜头坐标点)，y为成熟百香果圆心p在竖直方向上的距离(与左镜头坐标点)，z为成熟百香果圆心p与三维坐标原点直线的距离。
[0086]
步骤83：根据目标位置点p、方向距离x、竖直方向上的距离y和距离z可得出百香果实际坐标p(x,y,z)，根据实际坐标值对成熟的百香果果实进行定位，以便对成熟的百香果果实进行定位采摘。准确计算成熟百香果圆心为采用采摘机器人后续采摘工作提供准确的位置信息。通过距离x、y和z为采摘机器人对成熟百香果果实进行采摘提供精确的定位，以
实现后续采摘工作的完成。该检测方法鲁棒性强、实时性好，能够更好地实现自然环境下成熟百香果的检测及定位，为百香果采摘机器人后续工作奠定了基础。
[0087]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。