首页 > 分享 > 一种实时多功能病虫害智能识别预警系统

一种实时多功能病虫害智能识别预警系统

花匠小妙招
2024-10-25 14:34

一种实时多功能病虫害智能识别预警系统

1.本发明涉及智慧农业技术领域，具体涉及一种实时多功能病虫害智能识别预警系统。

背景技术：

[0002]“民以食为天”，农业关乎民生大计，在国民经济中占有基础地位。农作物的病虫害问题也成为农业研究的焦点。农作物病虫害有种类复杂，影响程度大等特点，其发生范围和严重程度对我国国民经济、农业生产常造成重大损失，发现和解决病虫害问题是提高农作物产量的出发点。农作物病虫害检测与防治主要分为虫害检测与识别以及病害检测与识别，考虑到如今农业生产者不仅需要解决农作物叶片上已经发生的病害，而且也需求早期识别与防治，这样才能根治农作物病虫害，减轻病虫害对农业生产的影响。
[0003]
在过去的几十年中，许多学者已经尝试利用深度学习技术进行农作物的病害识别。许景辉利用深度学习技术研究识别玉米大斑病与锈病；石鑫鑫基于迁移学习的稠密卷积网络，应用数字图像处理技术和softmax回归算法达到自动提取图像特征，准确识别病害的目的；樊杰基于深度残差神经网络，分别提出了单种类农作物病害识别方法和多种类农作物细粒度病害识别方法；张怡等人选择resnet-18结构、sgd优化算法，建立了区分8种绿茶的深度学习模型；张梦雨基于resnet和注意力机制对花卉进行了识别。
[0004]
然而，这些方法在识别的精度、速度以及参数量上都有所欠缺，因此采用更快速，更简便，准确率更高的识别方法是十分必要的。
[0005]
对于农作物的虫害识别，是当今的一个新型热点话题，卢柳江等运用adaboost分类器完成农作物虫害识别，曾蒙利用yolo完成油菜虫害图像识别；马佳佳利用svm方法研究虫识别，这些方法在目标检测速度、预测精度都需要得到更好的提高。

技术实现要素：

[0006]
本发明的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本发明的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0007]
为了解决农作物病虫害识别检测的准确度和速度低下的技术问题，本发明提出了一种实时多功能病虫害智能识别预警系统。
[0008]
本发明提供了一种实时多功能病虫害智能识别预警系统，该系统包括农作物病害识别模块、农作物病害预警模块、农作物虫害图像检测模块、农作物虫害图像批量检测模块和农作物虫害视频检测模块；
[0009]
所述农作物病害识别模块用于获取病害图像，根据训练完成的病害识别网络对所述病害图像进行病害识别，得到所述病害图像对应的病害类别；
[0010]
所述农作物病害预警模块用于获取病害图像文件夹和病害阈值，根据所述病害识别网络对所述病害图像文件夹中的每张病害图像进行病害识别，得到所述病害图像对应的
病害类别，根据所述病害图像文件夹中的病害图像对应的病害类别，确定总病害率，根据所述总病害率和所述病害阈值，生成所述病害图像文件夹对应的病害信息，将所述病害信息保存到预先设置的文本文件；
[0011]
所述农作物虫害图像检测模块用于获取虫害图像，根据训练完成的虫害检测网络，对所述虫害图像进行检测识别，得到并展示所述虫害图像对应的虫害信息，虫害信息包括：虫害类别、虫害位置和虫害类别中虫害的数量；
[0012]
所述农作物虫害图像批量检测模块用于获取图像目录信息，根据所述虫害检测网络，对所述图像目录信息对应的图像进行检测识别，得到所述图像目录信息对应的图像对应的虫害信息，将所述图像目录信息对应的图像和所述图像目录信息对应的图像对应的虫害信息保存到预先设置的文件夹，展示保存路径；
[0013]
所述农作物虫害视频检测模块用于获取虫害视频，根据所述虫害检测网络，对组成所述虫害视频的图像进行检测识别，得到组成所述虫害视频的图像对应的虫害信息，并对虫害信息进行实时展示。
[0014]
进一步的，所述病害识别网络的训练过程，包括：
[0015]
构建病害识别网络；
[0016]
获取农作物病害图像集合，其中，所述农作物病害图像集合中的农作物病害图像对应的训练标签包括：病害类别；
[0017]
利用所述农作物病害图像集合和所述农作物病害图像集合中的各个农作物病害图像对应的训练标签，对病害识别网络进行训练，得到训练完成的病害识别网络。
[0018]
进一步的，所述虫害检测网络的训练过程，包括：
[0019]
构建虫害检测网络；
[0020]
获取农作物虫害图像集合，其中，所述农作物虫害图像集合中的农作物虫害图像对应的训练标签包括：虫害类别和虫害位置；
[0021]
利用所述农作物虫害图像集合和所述农作物虫害图像集合中的各个农作物虫害图像对应的训练标签，对虫害检测网络进行训练，得到训练完成的虫害检测网络。
[0022]
进一步的，所述病害识别网络是repvgg卷积神经网络，所述病害识别网络训练过程中的损失函数是loss function。
[0023]
进一步的，所述虫害检测网络是对yolov5网络进行改进的网络，所述虫害检测网络中的backbone模块中的sppf层添加了注意力机制，所述虫害检测网络中的backbone模块中的3x3卷积层用repvgg网络中的repvggblock层代替，虫害检测网络在训练过程中采用比complete-iou损失函数效果更好的efficient-iou损失函数。
[0024]
本发明具有如下有益效果：
[0025]
本发明的一种实时多功能病虫害智能识别预警系统，可以自动且高效准确地对农作物病害虫害进行识别检测和预警、具有良好的可扩展性和鲁棒性，搭建了人性化的界面，可以方便用户使用。该实时多功能病虫害智能识别预警系统可以包括农作物病害识别模块、农作物病害预警模块、农作物虫害图像检测模块、农作物虫害图像批量检测模块和农作物虫害视频检测模块。首先，上述农作物病害识别模块用于获取病害图像，根据训练完成的病害识别网络对上述病害图像进行病害识别，得到上述病害图像对应的病害类别和病害原因。接着，上述农作物病害预警模块用于获取病害图像文件夹和病害阈值，根据上述病害识
别网络对上述病害图像文件夹中的每张病害图像进行病害识别，得到上述病害图像对应的病害类别，根据上述病害图像文件夹中的病害图像对应的病害类别和病害原因，确定总病害率，根据上述总病害率和上述病害阈值，生成上述病害图像文件夹对应的病害信息，将上述病害信息保存到预先设置的文本文件。病害识别网络可以是repvgg卷积神经网络，可以提高病害识别的准确度和速度，进而，可以提高病害信息生成的准确度和速度。然后，上述农作物虫害图像检测模块用于获取虫害图像，根据训练完成的虫害检测网络，对上述虫害图像进行检测识别，得到并展示上述虫害图像对应的虫害信息，虫害信息包括：虫害类别、虫害位置和虫害类别中虫害的数量。之后，上述农作物虫害图像批量检测模块用于获取图像目录信息，根据上述虫害检测网络，对上述图像目录信息对应的图像进行检测识别，得到上述图像目录信息对应的图像对应的虫害信息，将上述图像目录信息对应的图像和上述图像目录信息对应的图像对应的虫害信息保存到预先设置的文件夹，展示保存路径。最后，上述农作物虫害视频检测模块用于获取虫害视频，根据上述虫害检测网络，对组成上述虫害视频的图像进行检测识别，得到组成上述虫害视频的图像对应的虫害信息，并对虫害信息进行实时展示。由于虫害检测网络可以是对yolov5网络进行改进的网络。上述虫害检测网络中的backbone模块中的sppf层可以添加了coordatt(coordinate attention，注意力机制)。上述虫害检测网络中的backbone模块中的3
×
3conv(3x3卷积层)可以用repvgg网络中的repvggblock层代替。虫害检测网络在训练过程中可以采用比ciou(complete-iou)损失函数效果更好的eiou(efficient-iou)损失函数。所以，通过虫害检测网络对虫害图像进行检测识别，可以提高检测识别的速度和准确度。因此，本发明可以自动且高效准确地对农作物病害虫害进行识别检测和预警、具有良好的可扩展性和鲁棒性，搭建了人性化的界面，可以方便用户使用。
附图说明
[0026]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0027]
图1为根据本发明的一种实时多功能病虫害智能识别预警系统的一些实施例的结构示意图；
[0028]
图2为根据本发明的一种实时多功能病虫害智能识别预警系统实现的步骤的一些实施例的流程图；
[0029]
图3为根据本发明的农作物病害识别模块的展示界面示意图；
[0030]
图4为根据本发明的农作物病害预警模块的展示界面示意图；
[0031]
图5为根据本发明的农作物虫害图像检测模块的展示界面示意图；
[0032]
图6为根据本发明的农作物虫害图像批量检测模块的展示界面示意图；
[0033]
图7为根据本发明的农作物虫害视频检测模块的展示界面示意图。
具体实施方式
[0034]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结
合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
[0035]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0036]
本实施例提供了一种实时多功能病虫害智能识别预警系统，该系统包括农作物病害识别模块、农作物病害预警模块、农作物虫害图像检测模块、农作物虫害图像批量检测模块和农作物虫害视频检测模块；
[0037]
上述农作物病害识别模块用于获取病害图像，根据训练完成的病害识别网络对上述病害图像进行病害识别，得到上述病害图像对应的病害类别；
[0038]
上述农作物病害预警模块用于获取病害图像文件夹和病害阈值，根据上述病害识别网络对上述病害图像文件夹中的每张病害图像进行病害识别，得到上述病害图像对应的病害类别，根据上述病害图像文件夹中的病害图像对应的病害类别，确定总病害率，根据上述总病害率和上述病害阈值，生成上述病害图像文件夹对应的病害信息，将上述病害信息保存到预先设置的文本文件；
[0039]
上述农作物虫害图像检测模块用于获取虫害图像，根据训练完成的虫害检测网络，对上述虫害图像进行检测识别，得到并展示上述虫害图像对应的虫害信息，虫害信息包括：虫害类别、虫害位置和虫害类别中虫害的数量；
[0040]
上述农作物虫害图像批量检测模块用于获取图像目录信息，根据上述虫害检测网络，对上述图像目录信息对应的图像进行检测识别，得到上述图像目录信息对应的图像对应的虫害信息，将上述图像目录信息对应的图像和上述图像目录信息对应的图像对应的虫害信息保存到预先设置的文件夹，展示保存路径；
[0041]
上述农作物虫害视频检测模块用于获取虫害视频，根据上述虫害检测网络，对组成上述虫害视频的图像进行检测识别，得到组成上述虫害视频的图像对应的虫害信息，并对虫害信息进行实时展示。
[0042]
参考图1，示出了根据本发明的一种实时多功能病虫害智能识别预警系统的一些实施例的结构示意图。该实时多功能病虫害智能识别预警系统，包括农作物病害识别模块101、农作物病害预警模块102、农作物虫害图像检测模块103、农作物虫害图像批量检测模块104和农作物虫害视频检测模块105。
[0043]
参考图2，示出了根据本发明的一种实时多功能病虫害智能识别预警系统实现的步骤的一些实施例的流程图。该实时多功能病虫害智能识别预警系统实现如下步骤：
[0044]
步骤201，农作物病害识别模块用于获取病害图像，根据训练完成的病害识别网络对病害图像进行病害识别，得到病害图像对应的病害类别。
[0045]
在一些实施例中，上述农作物病害识别模块可以用于获取病害图像，根据训练完成的病害识别网络对上述病害图像进行病害识别，得到上述病害图像对应的病害类别。
[0046]
其中，上述病害图像可以是待检测病害的农作物的图像。上述病害识别网络可以实现对病害图像进行病害识别。病害类别可以是农作物的病害的类别。例如，病害类别可以是苹果锈病。当待检测病害的农作物未发生病害时，病害图像对应的病害类别可以是待检测病害的农作物健康。
[0047]
作为示例，首先，可以将病害图像输入到上述病害识别网络，通过上述病害识别网络，得到上述病害图像对应的病害类别。接着，可以根据上述病害图像对应的病害类别，得到该病害类别对应的病害原因，该病害类别对应的病害原因也是上述病害图像对应的病害原因。病害原因可以是对病害类别的介绍或病害类别产生的原因。例如，可以预先获取病害类别对应的病害原因，这样已知病害类别，便可以得到病害类别对应的病害原因。如图3所示，在农作物病害识别模块的展示界面301上，用户可以通过点击上传图片按钮303，上传病害图像302，点击开始识别按钮304，通过病害识别网络，对病害图像302进行病害识别，得到病害图像302对应的病害类别305和病害原因306。用户可以通过点击复制结果按钮307，复制病害类别305和病害原因306。上述用户可以是使用本发明的一种实时多功能病虫害智能识别预警系统的用户。农作物病害识别模块的展示界面可以是利用pyqt5开发的gui(graphical user interface，图形用户界面)。
[0048]
可选地，上述病害识别网络的训练过程，可以包括以下步骤：
[0049]
第一步，构建病害识别网络。
[0050]
其中，病害识别网络可以是repvgg卷积神经网络。病害识别网络训练过程中的损失函数可以是loss function。
[0051]
病害识别网络的构建可以由现有方式实现，在此不再赘述。
[0052]
第二步，获取农作物病害图像集合。
[0053]
其中，上述农作物病害图像集合中的农作物病害图像可以是不同病害情况的农作物图像。上述农作物病害图像集合中的农作物病害图像对应的训练标签可以包括：病害类别。
[0054]
例如，上述农作物病害图像集合中的农作物病害图像对应的病害类别可以是已知的。农作物病害图像对应的病害类别可以是农作物病害图像所拍摄的农作物发生的病害的类别。可以将农作物病害图像对应的病害类别，作为农作物病害图像对应的训练标签。
[0055]
第三步，利用上述农作物病害图像集合和上述农作物病害图像集合中的各个农作物病害图像对应的训练标签，对病害识别网络进行训练，得到训练完成的病害识别网络。
[0056]
当病害识别网络的损失函数值收敛到最小时，病害识别网络训练完成。
[0057]
步骤202，农作物病害预警模块用于获取病害图像文件夹和病害阈值，根据病害识别网络对病害图像文件夹中的每张病害图像进行病害识别，得到病害图像对应的病害类别，根据病害图像文件夹中的病害图像对应的病害类别，确定总病害率，根据总病害率和病害阈值，生成病害图像文件夹对应的病害信息，将病害信息保存到预先设置的文本文件。
[0058]
在一些实施例中，上述农作物病害预警模块可以用于获取病害图像文件夹和病害阈值，根据上述病害识别网络对上述病害图像文件夹中的每张病害图像进行病害识别，得到上述病害图像对应的病害类别，根据上述病害图像文件夹中的病害图像对应的病害类别，确定总病害率，根据上述总病害率和上述病害阈值，生成上述病害图像文件夹对应的病害信息，将上述病害信息保存到预先设置的文本文件。
[0059]
其中，上述病害图像文件夹中的病害图像可以是目标区域内的不同位置的待检测病害的农作物的图像。病害阈值可以是预先设置的数值。目标区域可以是种植有待检测病害的农作物的区域。病害阈值可以是农作物没有发生病害的最大的值。总病害率可以是农作物发生多种病害的总概率。病害图像文件夹对应的病害信息可以表征该目标区域内的待
检测病害的农作物是否发生了病害。例如，上述病害图像文件夹中的病害图像的数量可以是6。其中第1张病害图像和第2张病害图像对应的病害类别可以是苹果白粉病。第3张病害图像对应的病害类别可以是苹果花叶病。第4、5和6张病害图像对应的病害类别可以是健康。则苹果白粉病的病害率可以是2/6。苹果花叶病的病害率可以是1/6。总病害率可以是3/6。
[0060]
作为示例，当总病害率大于病害阈值时，病害信息可以表征该目标区域内待检测病害的农作物发生了病害。当总病害率小于或等于病害阈值时，病害信息可以表征该目标区域内待检测病害的农作物未发生病害。
[0061]
作为又一示例，可以将病害图像文件夹中的病害图像输入到上述病害识别网络，得到上述病害图像文件夹中的病害图像对应的病害类别，生成上述病害图像文件夹中病害图像的数量、病害类别、病害类别对应的病害图像的数量、病害率、是否发生病害和保存路径。保存路径可以是保存上述病害信息的文本文件的路径。如图4所示，在农作物病害预警模块的展示界面401上，用户可以在设置预警值402处，输入病害阈值，可以点击选择文件夹按钮403，上传病害图像文件夹，点击开始检测按钮404，通过病害识别网络，对上传的病害图像文件夹中的病害图像进行病害识别，得到病害图像对应的病害类别，可以生成检测结果406。检测结果406可以包括：病害图像文件夹中病害图像的数量为209；病害类别可以分别为苹果白粉病、苹果斑点落叶病、苹果褐斑病、苹果花叶病、苹果灰斑病、苹果健康和苹果锈病；病害类别对应的病害图像的数量可以分别为3、36、0、12、47、95和16；病害类别对应的病害率可以分别为1.44％、17.22％、0.00％、5.74％、22.49％、45.45％和7.66％；是否发生病害：“总病害率为0.55大于预设值0.4，可能发生了病害，请及时处理”；保存路径可以为：“c:/users/dell/desktop/app/1/result.txt”。
[0062]
由于，1.44％+17.22％+0.00％+5.74％+22.49％+7.66％＝54.55％，可以对54.55％进行四舍五入保留两位小数，所以54.55％可以近似为0.55，因此，总病害率可以为0.55。
[0063]
农作物病害预警模块的展示界面可以是利用pyqt5开发的gui。
[0064]
步骤203，农作物虫害图像检测模块用于获取虫害图像，根据训练完成的虫害检测网络，对虫害图像进行检测识别，得到并展示虫害图像对应的虫害信息，虫害信息包括：虫害类别、虫害位置和虫害类别中虫害的数量。
[0065]
在一些实施例中，上述农作物虫害图像检测模块可以用于获取虫害图像，根据训练完成的虫害检测网络，对上述虫害图像进行检测识别，得到并展示上述虫害图像对应的虫害信息，虫害信息包括：虫害类别、虫害位置和虫害类别中虫害的数量。
[0066]
其中，上述虫害图像可以是待检测虫害的农作物的图像。虫害检测网络可以检测虫害图像上的虫害情况。虫害类别可以是害虫的类别。例如，虫害类别可以是但不限于：松十二尺小蠹、红脂大小蠹、松六齿小蠹、华山松大小蠹、鞘翅目长蠹和松芽枝窃蠹。虫害位置可以是害虫在虫害图像上的位置。虫害类别中虫害的数量可以是在虫害图像中属于该虫害类别的害虫的数量。
[0067]
作为示例，如图5所示，农作物虫害图像检测模块的展示界面501上，用户可以通过点击上传图片按钮504，上传虫害图像503，不需点击批量识别按钮505，点击开始检测按钮506，可以通过虫害检测网络，对虫害图像503进行检测识别，得到检测结果508，点击复制结
果按钮507可以复制检测结果508。其中，选择识别种类502是虫害检测网络可以检测识别出的虫害类别。用户可以在选择识别种类502处，选择虫害图像503所需要识别的虫害类别。在选择识别种类502处打上对勾的虫害类别可以是用户选择的所需要识别的虫害类别。统计结果509可以统计在虫害图像503上，用户选择的所需要识别的各个虫害类别中虫害的数量。例如，用户选择的所需要识别的虫害类别可以是armandi(松十二尺小蠹)、acuminatus(红脂大小蠹)、boerner(松六齿小蠹)、coleoptera(华山松大小蠹)、linnaeus(鞘翅目长蠹)、lecoute(松芽枝窃蠹)。统计结果509中的armandi：1、acuminatus:1、boerner:1、coleoptera:1、linnaeus:1和lecoute:2代表的含义分别可以是在虫害图像503上，松十二尺小蠹的数量为1、红脂大小蠹的数量为1、松六齿小蠹的数量为1、华山松大小蠹的数量为1、鞘翅目长蠹的数量为1和松芽枝窃蠹的数量为2。农作物虫害图像检测模块的展示界面可以是利用pyqt5开发的gui。当已知虫害类别中虫害的虫害类别和虫害位置时，自然可以统计出虫害类别中虫害的数量。
[0068]
可选地，上述虫害检测网络的训练过程，可以包括以下步骤：
[0069]
第一步，构建虫害检测网络。
[0070]
其中，虫害检测网络可以是对yolov5网络进行改进的网络。上述虫害检测网络中的backbone模块中的sppf层可以添加了coordatt(coordinate attention，注意力机制)。上述虫害检测网络中的backbone模块中的3
×
3conv(3x3卷积层)可以用repvgg网络中的repvggblock层代替。虫害检测网络在训练过程中可以采用比ciou(complete-iou)损失函数效果更好的eiou(efficient-iou)损失函数。通过对yolov5网络进行改进，可以提高对农作物虫害检测识别的准确度和速度。
[0071]
例如，可以通过coco数据集，对yolov5网络进行预训练，将预训练后的yolov5网络，确定为初始的虫害检测网络，后续可以通过对初始的虫害检测网络进行训练，得到训练完成的虫害检测网络。
[0072]
第二步，获取农作物虫害图像集合。
[0073]
其中，上述农作物虫害图像集合中的农作物虫害图像对应的训练标签可以包括：虫害类别和虫害位置。上述农作物虫害图像集合中的农作物虫害图像对应的训练标签可以是已知的。农作物虫害图像集合中的农作物虫害图像可以是通过摄像头采集的图像。其中，摄像头可以安装在诱捕器的顶部。诱捕器的下部可以放置一个盛放酒精的玻璃器皿。诱捕器可以放置在农作物区域内。上述摄像头可以每隔10分钟采集一张农作物虫害图像。农作物虫害图像集合中的农作物虫害图像的格式可以是jpeg格式。农作物虫害图像的图像分辨率可以为1286
×
1286pixels(像素)。农作物虫害图像集合中的农作物虫害图像的数量可以是2000。
[0074]
例如，可以保存上述农作物虫害图像集合对应的标记文件。其中，农作物虫害图像集合对应的标记文件可以是农作物虫害图像集合的xml(可扩展标记语言)文件。
[0075]
第三步，利用上述农作物虫害图像集合和上述农作物虫害图像集合中的各个农作物虫害图像对应的训练标签，对虫害检测网络进行训练，得到训练完成的虫害检测网络。
[0076]
例如，可以利用上述农作物虫害图像集合中的各个农作物虫害图像和上述农作物虫害图像集合中的各个农作物虫害图像对应的训练标签，对虫害检测网络进行训练，得到训练完成的虫害检测网络。
[0077]
又例如，利用上述农作物虫害图像集合和上述农作物虫害图像集合中的各个农作物虫害图像对应的训练标签，对虫害检测网络进行训练，得到训练完成的虫害检测网络，可以包括以下步骤：
[0078]
第一步，对上述农作物虫害图像集合中的每个农作物虫害图像进行特征提取和边界框预测，得到上述农作物虫害图像对应的预测信息，并将预测信息保存到农作物虫害图像集合对应的标记文件。
[0079]
其中，预测信息可以包括：多个预测框和预测框对应的类别。预测框可以是预测的框定虫害的矩形框。预测框对应的类别可以是该预测框框定的虫害的类别。
[0080]
例如，本步骤可以包括以下子步骤：
[0081]
第一子步骤，根据预先设置的图像目标分辨率，对农作物虫害图像集合中的农作物虫害图像的图像尺寸进行调整。
[0082]
其中，图像目标分辨率可以与虫害图像的图像分辨率相同。
[0083]
比如，可以将农作物虫害图像集合中的农作物虫害图像的图像分辨率，调整为图像目标分辨率，以实现对农作物虫害图像的图像尺寸进行调整。
[0084]
第二子步骤，将在coco数据集上的yolov5网络结构进行预训练模型、自定义农作物虫害图像训练集分别当作源域is和目标域id。
[0085]
比如，可以将在coco数据集上的yolov5网络结构进行预训练，得到的预训练模型，作为源域。可以将自定义农作物虫害图像训练集，作为目标域。其中，得到的预训练模型可以是步骤203中的可选地包括的第一步中构建的虫害检测网络。
[0086]
第三子步骤，利用虫害检测网络中backbone模块对is与id进行特征数据混合并提取两个域中的共同特征，采用了fpn(特征金字塔)结构自底向上提取特征，最后得到了三个不同尺度的特征图。
[0087]
第四子步骤，通过k-均值(k-means)聚类算法，可以对框定农作物虫害图像中的虫害的先验框进行自适应锚框计算，确定最终的先验框的尺寸大小。
[0088]
其中，先验框可以是框定农作物虫害图像中的害虫的矩形框。
[0089]
第五子步骤，利用虫害检测网络中head模块中的多尺度特征图检测方法，对步骤203包括的可选地中的第三步包括的又例如中的第一步包括的第三子步骤得到的三个不同尺度的特征图进行conv2d卷积操作，最终得到三个大小分别为bs
×
80
×
80
×
[na
×
(nc+1+4)]、bs
×
40
×
40
×
[na
×
(nc+1+4)]和bs
×
20
×
20
×
[na
×
(nc+1+4)]的特征图。
[0090]
其中，bs可以为农作物虫害图像集合中农作物虫害图像的数量(batch-size)。na可以为每个特征图中先验框(anchor)的个数。各个特征图中先验框(anchor)的个数可以相同。nc可以是虫害检测网络需要识别出的虫害的总类别。1可以代表前景背景的置信度(score)。4可以代表中心点坐标和宽高一共4个元素。
[0091]
第六子步骤，通过领域自适应方法，设计一个特征提取器提取特征，对提取到的特征进行特征转换，使得is和id的特征分布更加接近。
[0092]
第七子步骤，对步骤203包括的第三步包括的第五子步骤输出的特征图应用锚定框(anchor_box)，并生成带有类别概率、置信度和包围框的最终输出向量，采用跨网格匹配规则的方式来挑选正样本锚框作为正样本预测框。
[0093]
其中，锚定框可以是先验框。正样本预测框可以是预测信息包括的预测框。根据生
成的带有类别概率、置信度和包围框的最终输出向量可以确定正样本预测框对应的类别，即预测框对应的类别。
[0094]
本子步骤可以包括以下步骤：
[0095]
首先，比较预测框和先验框的宽和高，大于预先设置的阈值就是负样本(背景)，反之为正样本(有物体)。
[0096]
接着，当预测框与先验框匹配后，看预测框的中心点落在哪一个网格上，从当前网格的上、下、左、右的四个网格中找到离预测框中心点最近的两个网格，再加上当前网格共三个网格进行匹配，从而增加正样本数量，加速收敛。
[0097]
其中，当前网格可以是预测框的中心点落在的网格。网格可以是边长为预设长度的正方形。预设长度可以是预先设置的长度。如，可以将农作物虫害图像集合中的每个农作物虫害图像分割为多个网格。
[0098]
第二步，用农作物虫害图像集合对虫害检测网络进行训练，计算每次迭代的虫害检测网络的损失函数值，直至损失函数值收敛到最小，可以得到训练完成的虫害检测网络。
[0099]
比如，可以使用16g显存的nidia geforce rtx3090 gpu训练虫害检测网络24个小时，具体可以包括以下步骤：
[0100]
首先，设置迭代轮数(epoch)为200，一次读入的农作物虫害图像量(batch-size)为32张。
[0101]
接着，经过标签分配，就可以将目标框和正样本预测框对应起来，然后计算两者的误差。
[0102]
其中，目标框可以是最终框定虫害的矩形框。正样本预测框可以是预测的框定虫害的矩形框。传统的yolov5中采用的是ciou loss损失函数，ciou loss虽然考虑了边界框回归的重叠面积、中心点距离、纵横比。但是ciou loss反映的是预测框和实际框纵横比差异，而不是宽高分别与其置信度的真实差异，所以有时会阻碍模型有效的优化相似性。针对这一问题，我们将ciou loss更换为eiou loss。
[0103]
l
eiou
＝l
iou
+l
dis
+l
asp
[0104]
l
iou
＝1-iou
[0105][0106]
其中，a和b分别为目标框与正样本预测框的面积。l
eiou
是eiou损失函数。l
iou
是iou损失。l
dis
是距离损失。l
asp
是边长损失。
[0107][0108]
其中，cw和ch是覆盖两个box的最小外接框的宽度和高度。b预测框的中心坐标。b
gt
是真实框的中心坐标。c是最小矩形框两对角顶点之间的欧式距离。最小矩形框可以是真实框与预测框的最小外接矩形。w
gt
是真实框(ground truth)的宽。h
gt
是真实框(ground truth)的高。w是预测框(bounding box)的宽。h是预测框(bounding box)的高。ρ是真实框与预测框的中心点距离。是最小矩形框宽的平方。是最小矩形框长的平方。
[0109]
框定虫害的框的中心点坐标可以表征虫害的位置。
[0110]
步骤204，农作物虫害图像批量检测模块用于获取图像目录信息，根据虫害检测网络，对图像目录信息对应的图像进行检测识别，得到图像目录信息对应的图像对应的虫害信息，将图像目录信息对应的图像和图像目录信息对应的图像对应的虫害信息保存到预先设置的文件夹，展示保存路径。
[0111]
在一些实施例中，上述农作物虫害图像批量检测模块可以用于获取图像目录信息，根据上述虫害检测网络，对上述图像目录信息对应的图像进行检测识别，得到上述图像目录信息对应的图像对应的虫害信息，将上述图像目录信息对应的图像和上述图像目录信息对应的图像对应的虫害信息保存到预先设置的文件夹，展示保存路径。
[0112]
其中，图像目录信息可以是包含虫害图像的文件夹的路径。保存路径可以是上述预先设置的文件夹的路径。
[0113]
作为示例，农作物虫害图像批量检测模块的展示界面可以如图6所示。农作物虫害图像批量检测模块的展示界面可以是利用pyqt5开发的gui。可以通过虫害检测网络，对图像目录信息下的每个虫害图像进行检测识别。
[0114]
步骤205，农作物虫害视频检测模块用于获取虫害视频，根据虫害检测网络，对组成虫害视频的图像进行检测识别，得到组成虫害视频的图像对应的虫害信息，并对虫害信息进行实时展示。
[0115]
在一些实施例中，上述农作物虫害视频检测模块用于获取虫害视频，可以根据上述虫害检测网络，对组成上述虫害视频的图像进行检测识别，得到组成上述虫害视频的图像对应的虫害信息，并对虫害信息进行实时展示。
[0116]
其中，虫害视频可以是待检测虫害的农作物的视频。虫害信息可以包括：虫害类别、虫害位置和虫害类别中虫害的数量。
[0117]
作为示例，农作物虫害视频检测模块的展示界面可以如图7所示。农作物虫害视频检测模块的展示界面可以是利用pyqt5开发的gui。可以通过虫害检测网络，对虫害视频中的每帧虫害图像进行检测识别。
[0118]
本发明的一种实时多功能病虫害智能识别预警系统，可以自动且高效准确地对农作物病害虫害进行识别检测和预警、具有良好的可扩展性和鲁棒性，搭建了人性化的界面，可以方便用户使用。该实时多功能病虫害智能识别预警系统可以包括农作物病害识别模块、农作物病害预警模块、农作物虫害图像检测模块、农作物虫害图像批量检测模块和农作物虫害视频检测模块。首先，上述农作物病害识别模块用于获取病害图像，根据训练完成的病害识别网络对上述病害图像进行病害识别，得到上述病害图像对应的病害类别和病害原因。接着，上述农作物病害预警模块用于获取病害图像文件夹和病害阈值，根据上述病害识别网络对上述病害图像文件夹中的每张病害图像进行病害识别，得到上述病害图像对应的病害类别，根据上述病害图像文件夹中的病害图像对应的病害类别和病害原因，确定总病害率，根据上述总病害率和上述病害阈值，生成上述病害图像文件夹对应的病害信息，将上述病害信息保存到预先设置的文本文件。病害识别网络可以是repvgg卷积神经网络，可以提高病害识别的准确度和速度，进而，可以提高病害信息生成的准确度和速度。然后，上述农作物虫害图像检测模块用于获取虫害图像，根据训练完成的虫害检测网络，对上述虫害图像进行检测识别，得到并展示上述虫害图像对应的虫害信息，虫害信息包括：虫害类别、虫害位置和虫害类别中虫害的数量。之后，上述农作物虫害图像批量检测模块用于获取图
像目录信息，根据上述虫害检测网络，对上述图像目录信息对应的图像进行检测识别，得到上述图像目录信息对应的图像对应的虫害信息，将上述图像目录信息对应的图像和上述图像目录信息对应的图像对应的虫害信息保存到预先设置的文件夹，展示保存路径。最后，上述农作物虫害视频检测模块用于获取虫害视频，根据上述虫害检测网络，对组成上述虫害视频的图像进行检测识别，得到组成上述虫害视频的图像对应的虫害信息，并对虫害信息进行实时展示。由于虫害检测网络可以是对yolov5网络进行改进的网络。上述虫害检测网络中的backbone模块中的sppf层可以添加了coordatt(coordinate attention，注意力机制)。上述虫害检测网络中的backbone模块中的3
×
3conv(3x3卷积层)可以用repvgg网络中的repvggblock层代替。虫害检测网络在训练过程中可以采用比ciou(complete-iou)损失函数效果更好的eiou(efficient-iou)损失函数。所以，通过虫害检测网络对虫害图像进行检测识别，可以提高检测识别的速度和准确度。因此，本发明可以自动且高效准确地对农作物病害虫害进行识别检测和预警、具有良好的可扩展性和鲁棒性，搭建了人性化的界面，可以方便用户使用。
[0119]
以上上述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种实时多功能病虫害智能识别预警系统，其特征在于，包括农作物病害识别模块、农作物病害预警模块、农作物虫害图像检测模块、农作物虫害图像批量检测模块和农作物虫害视频检测模块；所述农作物病害识别模块用于获取病害图像，根据训练完成的病害识别网络对所述病害图像进行病害识别，得到所述病害图像对应的病害类别；所述农作物病害预警模块用于获取病害图像文件夹和病害阈值，根据所述病害识别网络对所述病害图像文件夹中的每张病害图像进行病害识别，得到所述病害图像对应的病害类别，根据所述病害图像文件夹中的病害图像对应的病害类别，确定总病害率，根据所述总病害率和所述病害阈值，生成所述病害图像文件夹对应的病害信息，将所述病害信息保存到预先设置的文本文件；所述农作物虫害图像检测模块用于获取虫害图像，根据训练完成的虫害检测网络，对所述虫害图像进行检测识别，得到并展示所述虫害图像对应的虫害信息，虫害信息包括：虫害类别、虫害位置和虫害类别中虫害的数量；所述农作物虫害图像批量检测模块用于获取图像目录信息，根据所述虫害检测网络，对所述图像目录信息对应的图像进行检测识别，得到所述图像目录信息对应的图像对应的虫害信息，将所述图像目录信息对应的图像和所述图像目录信息对应的图像对应的虫害信息保存到预先设置的文件夹，展示保存路径；所述农作物虫害视频检测模块用于获取虫害视频，根据所述虫害检测网络，对组成所述虫害视频的图像进行检测识别，得到组成所述虫害视频的图像对应的虫害信息，并对虫害信息进行实时展示。2.根据权利要求1所述的系统，其特征在于，所述病害识别网络的训练过程，包括：构建病害识别网络；获取农作物病害图像集合，其中，所述农作物病害图像集合中的农作物病害图像对应的训练标签包括：病害类别；利用所述农作物病害图像集合和所述农作物病害图像集合中的各个农作物病害图像对应的训练标签，对病害识别网络进行训练，得到训练完成的病害识别网络。3.根据权利要求1所述的系统，其特征在于，所述虫害检测网络的训练过程，包括：构建虫害检测网络；获取农作物虫害图像集合，其中，所述农作物虫害图像集合中的农作物虫害图像对应的训练标签包括：虫害类别和虫害位置；利用所述农作物虫害图像集合和所述农作物虫害图像集合中的各个农作物虫害图像对应的训练标签，对虫害检测网络进行训练，得到训练完成的虫害检测网络。4.根据权利要求1所述的系统，其特征在于，所述病害识别网络是repvgg卷积神经网络，所述病害识别网络训练过程中的损失函数是loss function。5.根据权利要求1所述的系统，其特征在于，所述虫害检测网络是对yolov5网络进行改进的网络，所述虫害检测网络中的backbone模块中的sppf层添加了注意力机制，所述虫害检测网络中的backbone模块中的3x3卷积层用repvgg网络中的repvggblock层代替，虫害检测网络在训练过程中采用比complete-iou损失函数效果更好的efficient-iou损失函数。

技术总结
本发明涉及智慧农业技术领域，具体涉及一种实时多功能病虫害智能识别预警系统，该系统包括农作物病害识别模块、农作物病害预警模块、农作物虫害图像检测模块、农作物虫害图像批量检测模块、农作物虫害视频检测模块。本发明利用训练完成的病害识别网络实现对农作物病害的识别与预警，利用训练完成的虫害检测网络实现对农作物虫害的识别与实时检测，基于PyQt5开发出GUI，用户只需在界面上进行简单的鼠标点击就可以开启关闭识别检测以及实时得到识别检测结果，其中，病害识别网络和虫害检测网络分别可以是通过对RepVGG卷积神经网络和改进的YOLOV5网络进行训练得到的。本发明提高了农作物病虫害识别检测的准确度和速度。高了农作物病虫害识别检测的准确度和速度。高了农作物病虫害识别检测的准确度和速度。

技术研发人员：杨晓慧高善阳马怡鹤张晓梅焦雪王佳惠王烨彤
受保护的技术使用者：河南大学
技术研发日：2022.08.04
技术公布日：2022/10/13