首页 > 分享 > 基于多模态影像的作物病虫害检测方法及系统、设备、存储介质与流程

基于多模态影像的作物病虫害检测方法及系统、设备、存储介质与流程

花匠小妙招
2024-11-20 13:53

1.本技术涉及农业遥感影像处理技术领域，尤其涉及一种基于多模态影像的作物病虫害检测方法及系统、终端设备、存储介质。

背景技术：

2.中国是农业大国，农作物在对外贸易和国民经济发展中具有重要地位。比如：花生，花生是中国重要的食用作物、油料作物和经济作物，在对保障中国食用油供给和安全方面具有重要意义。和其他作物一样，花生作物非常容易受到病毒、细菌和真菌的影响。花生叶斑病、锈病、青枯病、黄曲霉病是中国花生生产上的4种重要病害，中国每年因病害造成的花生减产超过30％，严重制约了花生的生产和产业发展。为了减少经济损失，遥感是监测花生作物的一种很有前景的方法。
3.遥感应用于农作物在过去十年中有了很大的发展。在农业上，遥感可用于计算肥料率、监测生物量产量、杂草检测、缺陷作物检测或病虫害检测等应用。随着技术的进步，这些应用正在不断发展，特别是随着无人机的发展，由于无人机的制造成本低，无人机开辟了进一步的研究机会。单模态影像对于作物检测存在较大缺陷，降低作物缺陷检测的可靠性。

技术实现要素：

4.有鉴于此，本技术提供一种基于多模态影像的作物病虫害检测方法，该方法基于多模态影像提高病虫害症状的可靠性。
5.为解决上述技术问题，本技术采用以下技术方案：
6.第一方面，根据本发明实施例提供一种基于多模态影像的作物病虫害检测方法，包括：
7.获取原始可见光影像与原始红外影像；
8.对原始可见光影像与原始红外影像进行图像配准处理，并分别得到配准后的可见光影像与红外影像；
9.基于所述配准后的可见光影像与红外影像分别对语义分割模型进行训练，并分别得到可见光影像模型与红外影像模型；
10.利用所述可见光影像模型与红外影像模型分别对作物区影像进行预测，并分别得到可见光影像的病虫害分布图与红外影像的病虫害分布图；
11.对所述可见光影像的病虫害分布图与红外影像的病虫害分布图进行融合处理，得到作物病虫害区域。
12.优选地，对原始可见光影像与原始红外影像进行图像配准处理，并分别得到配准后的可见光影像与红外影像，包括：
13.分别对原始可见光影像与原始红外影像进行影像预处理；
14.分别提取影像预处理后的可见光影像与红外影像中的感兴趣点并基于算法得到
所述感兴趣点的特征；
15.将可见光影像与红外影像对应的所述感兴趣点的特征进行匹配，得到配准后的可见光影像与红外影像。
16.优选地，分别对原始可见光影像与原始红外影像进行影像预处理，包括：
17.从所述原始可见光影像中提取绿色波段；
18.从所述原始红外影像中提取近红外波段；
19.利用标准化公式分别对所述绿色波段与近红外波段进行归一化处理，得到所述预处理后的可见光影像与红外影像。
20.优选地，将可见光影像与红外影像对应的所述感兴趣点的特征进行匹配，得到配准后的可见光影像与红外影像，包括：
21.将可见光影像与红外影像对应的所述感兴趣点的特征进行匹配，得到多模态影像；
22.基于动态阈值算法与随机采样一致算法去除所述多模态影像中的所述感兴趣点中的异常值；
23.将原始红外影像投影至去除异常值后的所述多模态影像中并进行对应的矩阵运算后，得到预配准红外影像；
24.将所述预配准红外影像与原始可见光影像进行配准误差处理，得到误差值；
25.所述随机采样一致算法基于所述误差值进行阈值调节，直至当所述误差值达到最低值时，所述预配准红外影像为所述配准后的红外影像。
26.优选地，基于动态阈值算法与随机采样一致算法去除所述多模态影像中的所述感兴趣点中的异常值，包括：
27.基于所述动态阈值算法进行所述感兴趣点的预选；
28.统计预选后的所述感兴趣点，并基于所述随机采样一致算法中的阈值进行判断；
29.当所述感兴趣点超出所述阈值范围，则判断所述感兴趣点为所述异常值。
30.优选地，将原始红外影像投影至去除异常值后的所述多模态影像中并进行对应的矩阵运算后，得到预配准红外影像，包括：
31.将判断在所述阈值范围内的所述感兴趣点进行矩阵运算后，得到对应的变换矩阵；
32.基于所述变换矩阵得到所述预配准红外影像。
33.优选地，将所述预配准红外影像与原始可见光影像进行配准误差处理，得到误差值，包括：
34.将所述预配准红外影像与原始可见光影像的x坐标匹配点与y坐标匹配点分别进行均方根误差处理，并分别得到x坐标误差值与y坐标误差值；
35.基于所述x坐标误差值与y坐标误差值，得到二者的综合误差值即所述误差值。
36.另一方面，本发明实施例还提供一种基于多模态影像的作物病虫害检测系统，包括：
37.获取模块，其用于获取原始可见光影像与原始红外影像；
38.配准模块，其用于对原始可见光影像与原始红外影像进行图像配准处理，并分别得到配准后的可见光影像与红外影像；
39.训练模块，其用于基于所述配准后的可见光影像与红外影像分别对语义分割模型进行训练，并分别得到可见光影像模型与红外影像模型；
40.预测模块，其用于利用所述可见光影像模型与红外影像模型分别对作物区影像进行预测，并分别得到可见光影像的病虫害分布图与红外影像的病虫害分布图；
41.融合模块，其用于对所述可见光影像的病虫害分布图与红外影像的病虫害分布图进行融合处理，得到作物病虫害区域。
42.第三方面，本发明实施例还提供一种终端设备，所述终端设备包括：
43.处理器；
44.存储器；以及程序，其中，所述程序被存储在所述存储器中，并且被配置成由处理器执行，以使得所述终端设备实现所述一种基于多模态影像的作物病虫害检测方法。
45.第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行实现所述一种基于多模态影像的作物病虫害检测方法。
46.本技术的上述技术方案至少具有如下有益效果之一：
47.根据本技术实施例的一种基于多模态影像的作物病虫害检测方法及系统，该方法基于可见光影像与红外影像即多模态影像进行作物病虫害检测，并对病虫害检测结果进行融合处理，该方法提高作物病虫害检测的可靠性与准确性；另外，原始可见光影像与红外影像进行非刚性图像配准，且基于配准误差最小化准则下进行迭代，提高了多模态影像对齐的精度。
附图说明
48.图1为本技术实施例的基于多模态影像的作物病虫害检测方法的整体流程图；
49.图2为本技术实施例的基于多模态影像的作物病虫害检测方法的整体逻辑图；
50.图3为本技术实施例的基于多模态影像的作物病虫害检测方法的配准的流程图；
51.图4为本技术实施例的基于多模态影像的作物病虫害检测方法的配准中匹配的具体流程图；
52.图5为本技术实施例的基于多模态影像的作物病虫害检测方法的配准的逻辑示意图；
53.图6为利用本技术实施例的基于多模态影像的作物病虫害检测方法的配准后的影像与现有技术中标准配准的对比示意图；
54.图7为本技术实施例的基于多模态影像的作物病虫害检测方法的红外影像与可见光影像的模型训练与预测流程图；
55.图8为本技术实施例的基于多模态影像的作物病虫害检测系统的模块图。
56.10、获取模块；20、配准模块；30、训练模块；40、预测模块；50、融合模块。
具体实施方式
57.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
58.本发明实施例提供的一种基于多模态影像的作物病虫害检测方法，应用于检测农作物的病虫害，比如：花生病虫害，当然并不仅限为花生病虫害，还可以为应用于其他作物的检测。
59.在现有技术中，由于卷积神经网络(cnn)的出现，深度学习技术在计算机视觉领域取得了巨大的进展，这项技术在农业遥感上也得到了应用。大多数关于农业遥感应用的研究都使用cnn和滑动窗口技术，但是这通常会导致影像区域边界的模糊。作物病虫害检测可以视为一个图像分割问题，因此与滑动窗口技术相比，使用语义分割方法可以以较好地边界精度检测作物病虫害。
60.本发明实施例提供一种基于多模态影像的作物病虫害检测方法，该方法基于从两个不同传感器获取的可见光图像与红外图像的组合，使得从不同传感器获取的信息能够融合，再利用训练好的模型进行预测并融合其分割结果，提高作物病虫害检测的准确性与可靠性。
61.下面通过结合具体的附图对本技术的各个实施例进行详细的说明。
62.在本技术的一个实施例中提供一种基于多模态影像的作物病虫害检测方法，如图1和图2所示，该方法具体包括如下步骤：
63.s1、获取原始可见光影像与原始红外影像。在一实施例中，利用搭载可见光传感器与红外传感器的无人机收集可见光影像与红外影像数据即原始可见光影像与原始红外影像。可见光影像包含了丰富的几何和纹理细节，但是对于光线比较敏感，在复杂场景中能够反映的信息将大大降低，比如：雾霾或强烈的光照变化等。而红外影像对于光照变化不敏感，具有较好的穿透性，但红外影像分辨率低且边缘模糊，因此结合可见光影像与红外影像即多模态影像将大大提高对作物病虫害检测的准确性。
64.作为一实例，无人机飞行高度为20m
‑
30m，平均速度为8km/h至12km/h，可见光传感器与红外传感器每两秒自动拍摄一幅图像，每幅图像之间有超过70％的重叠度。
65.s2、对原始可见光影像与原始红外影像进行图像配准处理，并分别得到配准后的可见光影像与红外影像。
66.无人机上的可见光传感器与红外传感器在进行数据采集的过程中，一般通过传感器和光学的滚动快门的模式读取，因其振动而部分失真，刚性对准模型来实现两种模式影像的配准并不适合即无法准确配准，刚性对准模型即对影像进行平移、旋转等操作。
67.在一实施例中，利用非刚性模型对原始可见光影像与原始红外影像进行对齐，以提高二者的配准精度，并进一步提高作物病虫害的检测精度。如图3和图5所示，具体包括如下步骤：
68.s21、分别对原始可见光影像与原始红外影像进行影像预处理。
69.也就是说，对原始可见光影像与原始红外影像进行初步的图像处理，具体包括：
70.从原始可见光影像中提取绿色波段，以及从原始红外影像中提取近红外波段；
71.利用标准化公式分别对绿色波段与近红外波段进行归一化处理，得到预处理后的可见光影像与红外影像。其中，标准化公式优选为0
‑
1标准化公式，利用0
‑
1标准化公式对两个光谱通道进行归一化处理，以提高两个光谱通道的对比度。
72.s22、分别提取影像预处理后的可见光影像与红外影像中的感兴趣点并基于算法得到感兴趣点的特征。在一实施例中，利用akaze算法得到感兴趣点的特征，其中，akaze算
法用于目标追踪、图像匹配等。
73.s23、将可见光影像与红外影像对应的感兴趣点的特征进行匹配，得到配准后的可见光影像与红外影像。
74.也就是说，将可见光影像对应的感兴趣点的特征映射到红外影像对应的感兴趣点的特征，或者将红外影像对应的感兴趣点的特征映射到可见光影像对应的感兴趣点的特征并进行匹配，得到配准后的可见光影像与红外影像。
75.需要说明的是：一般在进行配准过程中，将可见光影像或者红外影像种的一个作为基准，另一个进行动态调整。
76.进一步的，如图4所示，在将感兴趣点的特征进行匹配的过程中还包括：
77.s231、将可见光影像与红外影像对应的感兴趣点的特征进行匹配，得到多模态影像。
78.也就是说，多模态影像包括可见光影像与红外影像分别对应的感兴趣点的特征。
79.s232、基于动态阈值算法与随机采样一致算法去除多模态影像中的感兴趣点中的异常值。随机采样一致算法即ransac(random sample consensus,随机采样一致算法)采用迭代的方式从一组包括离群的被观测数据中估算出数学模型的参数。
80.在一实施例中，基于动态阈值算法对于步骤s22中得到的感兴趣点进行预选，利用ransac算法对预选得到的感兴趣点进行判断，当感兴趣点超出ransac算法中设定的阈值，则判断该感兴趣点位异常值并进行去除。
81.s233、将原始红外影像投影至去除异常值后的多模态影像中并进行对应的矩阵运算后，得到预配准红外影像。
82.在一实施例中，采用ransac算法与基于距离的算法进行动态阈值调节，将判断在ransac算法中设定的阈值范围内的感兴趣点进行矩阵运算后，得到对应的变换矩阵。也就是说，对于ransac算法中给定的阈值，统计内点的个数，若小于该阈值，则判断为内点，利用所有的内点计算对应的变换矩阵，并基于该矩阵获得预配准的红外图像。
83.s234、将预配准红外影像与原始可见光影像进行配准误差处理，得到误差值。匹配可见光影像中的绿色波段与红外影像中的近红外波段之间的像素点是比较困难的，因为这些用于匹配的关键点在两个光谱波段中并不一定具有相同的视觉特性，为了进一步提高配准的精度，本发明实施例利用配准误差处理将配准误差降至最低。
84.具体地，将步骤s233中得到的预配准红外影像与原始可见光影像的x坐标匹配点与y坐标匹配点分别进行均方根误差处理，并分别得到x坐标误差值与y坐标误差值。
85.进一步的，利用公式一计算x坐标匹配点之间的均方根误差即rmse(root mean squared error，均方根误差)，利用公式二计算y坐标匹配点之间的均
86.公式二如下：
[0087][0088]
基于x坐标误差值与y坐标误差值，得到二者的综合误差值即误差值。利用公式三
计算二者的综合误差，公式三具体如下：
[0089][0090]
其中，和分别为可见光影像和红外影像对应的i坐标，n为可见光图像和红外图像之间的匹配次数。
[0091]
s235、随机采样一致算法基于误差值进行阈值调节，直至当误差值达到最低值时，预配准红外影像为配准后的红外影像。也就是说，当获得的当前误差值即新误差值大于上一次误差值即旧误差值，则重新设定ransac算法中的阈值，并进行迭代计算。直至新误差值达到最低值时即新误差值小于旧误差值，则获得的预配准红外影像为配准后的红外影像，当然也可以是配准后的可见光影像。本实施例基于配准误差最小化准则下进行迭代，提高了图像对齐的精度。如图6所示，图6中显示了利用现有技术配准后红外影像与可见光影像以及利用本发明实施例中提供的配准方法经过7次迭代之后得到的配准后的可见光影像与红外影像。
[0092]
s3、基于配准后的可见光影像与红外影像分别对语义分割模型进行训练，并分别得到可见光影像模型与红外影像模型。
[0093]
如图7所示，对配准后的可见光影像与红外影像分别创建两个影像切片数据集即可见光数据集与红外影像数据集。作为一个示例，将影像切片为256x256像素，并分为四类即阴影类、地面类、健康类和病虫害症状类。将上述数据集按照5:3:2的比例划分为训练集、验证集和测试集，以得到最优的可见光影像模型与红外影像模型。
[0094]
在一实施例中，基于可见光数据集与红外影像数据集进行训练的具体步骤包括：
[0095]
构建以resnet34为解码器的unet模型；
[0096]
使用基于imagenet数据集训练的resnet34模型参数初始化unet模型中的解码器；
[0097]
利用上述步骤中获取的可见光数据集与红外影像数据集分别训练unet模型，当损失值收敛时，得到最优模型即可见光影像模型与红外影像模型。本发明实施基于多模态无人机图像数据与深度学习的病虫害检测方法，能够快速准确的检测出花生作物病虫害，为农业人员提供数据支撑。
[0098]
s4、利用可见光影像模型与红外影像模型分别对作物区影像进行预测，并分别得到可见光影像的病虫害分布图与红外影像的病虫害分布图。
[0099]
也就是说，利用步骤s3中训练得到的最优的可见光影像模型与红外影像模型对作物区影像进行预测，分别得到可见光影像的病虫害分布图与红外影像的病虫害分布图。
[0100]
s5、对可见光影像的病虫害分布图与红外影像的病虫害分布图进行融合处理，得到作物病虫害区域。
[0101]
在一实施例中，该融合处理包括对多模态影像的分割结果目标类即步骤s4中得到的可见光影像的病虫害分布图与红外影像的病虫害分布图取交集或取并集操作。
[0102]
具体的，对可见光影像的病虫害分布图与红外影像的病虫害分布图进行融合来获得更加可信或者说更加准确的检测结果。为获得融合结果，将可见光影像的病虫害分布图与红外影像的病虫害分布图中的相同位置的像素进行比较。一般主要由三种情况：第一种、在可见光影像与红外影像中相同位置的两个像素都表示病虫害类；第二种、在可见光影像上表示为病虫害类，在红外影像相同位置处表示为健康类；第三种、在可见光影像上表示为
健康类，在红外影像的相同位置处表示为病虫害类。
[0103]
利用本发明实施例提供的基于多模态影像的作物病虫害检测方法对花生作物病虫害的检测精度达到了90％以上，为花生病虫害的计算机辅助疾病检测提供了实用化方法。
[0104]
本发明实施例还提供一种基于多模态影像的作物病虫害检测系统，如图8所示，包括获取模块、配准模块、训练模块、预测模块和融合模块；其中，
[0105]
获取模块10用于获取原始可见光影像与原始红外影像；
[0106]
配准模块20用于对原始可见光影像与原始红外影像进行图像配准处理，并分别得到配准后的可见光影像与红外影像；
[0107]
训练模块30用于基于所述配准后的可见光影像与红外影像分别对语义分割模型进行训练，并分别得到可见光影像模型与红外影像模型；
[0108]
预测模块40用于利用所述可见光影像模型与红外影像模型分别对作物区影像进行预测，并分别得到可见光影像的病虫害分布图与红外影像的病虫害分布图；
[0109]
融合模块50用于对所述可见光影像的病虫害分布图与红外影像的病虫害分布图进行融合处理，得到作物病虫害区域。
[0110]
在一实施例中，配准模块20包括预处理单元、兴趣点单元和匹配单元；其中，
[0111]
预处理单元用于分别对原始可见光影像与原始红外影像进行影像预处理；
[0112]
兴趣点单元用于分别提取影像预处理后的可见光影像与红外影像中的感兴趣点并基于算法得到所述感兴趣点的特征；
[0113]
匹配单元用于将可见光影像与红外影像对应的所述感兴趣点的特征进行匹配，得到配准后的可见光影像与红外影像。
[0114]
进一步的，预处理单元包括提取子单元与归一化处理子单元，提取子单元用于从所述原始可见光影像中提取绿色波段；以及从所述原始红外影像中提取近红外波段；归一化处理子单元用于利用标准化公式分别对所述绿色波段与近红外波段进行归一化处理，得到所述预处理后的可见光影像与红外影像。
[0115]
进一步的，匹配单元包括匹配子单元、去除异常值子单元、矩阵运算子单元、误差处理子单元和阈值调节子单元；其中，
[0116]
匹配子单元用于将可见光影像与红外影像对应的所述感兴趣点的特征进行匹配，得到多模态影像；
[0117]
去除异常值子单元用于基于动态阈值算法与随机采样一致算法去除所述多模态影像中的所述感兴趣点中的异常值；
[0118]
矩阵运算子单元用于将原始红外影像投影至去除异常值后的所述多模态影像中并进行对应的矩阵运算后，得到预配准红外影像；
[0119]
误差处理子单元用于将所述预配准红外影像与原始可见光影像进行配准误差处理，得到误差值；
[0120]
阈值调节子单元用于所述随机采样一致算法基于所述误差值进行阈值调节，直至当所述误差值达到最低值时，所述预配准红外影像为所述配准后的红外影像。
[0121]
进一步的，去除异常值子单元包括预选子单元与判断子单元；其中，
[0122]
预选子单元用于基于所述动态阈值算法进行所述感兴趣点的预选；
[0123]
判断子单元用于统计预选后的所述感兴趣点，并基于所述随机采样一致算法中的阈值进行判断；当所述感兴趣点超出所述阈值范围，则判断所述感兴趣点为所述异常值。
[0124]
进一步的，矩阵运算子单元包括变换矩阵子单元，变换矩阵子单元用于将判断在所述阈值范围内的所述感兴趣点进行矩阵运算后，得到对应的变换矩阵；基于所述变换矩阵得到所述预配准红外影像。
[0125]
进一步的，误差处理子单元包括均方根误差处理子单元，均方根误差处理子单元用于将所述预配准红外影像与原始可见光影像的x坐标匹配点与y坐标匹配点分别进行均方根误差处理，并分别得到x坐标误差值与y坐标误差值；基于所述x坐标误差值与y坐标误差值，得到二者的综合误差值即所述误差值。
[0126]
本发明实施例还提供一种终端设备，终端设备包括：处理器；存储器；以及程序，其中，程序被存储在存储器中，并且被配置成由处理器执行，以使得终端设备实现一种基于多模态影像的作物病虫害检测方法。
[0127]
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序：计算机程序被处理器执行实现一种基于多模态影像的作物病虫害检测方法。
[0128]
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0129]
以上所述是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。