基于光谱图像的森林病虫害自动检测方法
Automatic detection method of forest diseases and insect pests based on spectral images
1 引言
我国天然林区主要分布在东北和西南地区，包括东北大兴安岭、小兴安岭、长白山、西南的四川、云南等地在内的广袤国土范围上。现存林木多生长在山地、峡谷和丘陵地带，地形较为复杂，在春夏森林病虫害高发季节，依靠传统的护林员巡检方式进行林木病虫害防治，效率较低，时效性差，可能由于难于及时发现发展进程中的林木病虫害，错过防治的最佳时机[1]。
随着无人机的广泛应用和人工智能技术的发展，利用无人机采集林木的多光谱图像，利用深度学习的方法进行分析和处理，能够有效检测出病虫害区域，可以大大提升森林病虫害防治的效率。林木的病虫害会导致植物叶片密度、形态、含水量等物理特征发生改变，这些特征变化在人眼远距离观测时不易察觉，但是在特定的光谱谱段下却能产生明显的光谱反射特性改变。因此，本文设计了一种基于多光谱图像检测林木病虫害的深度学习网络，并研发了一套检测软件，经过实验，能够有效检测松萎蔫病、松材线虫等常见林木病虫害[2-3]。
1检测流程
基于光谱图像的森林虫害检测处理流程如图1所示，利用无人机挂多光谱图像传感器，采集各谱段的光谱图像，形成光谱图像数据立方体，然后通过一定的降维方法，得到特征表现最强的几幅（图中设定为3）光谱图像，送入深度学习网络进行推理，推理结束后深度学习网络给出预测的染病区域，林业部门根据检测结果采取相应的措施，进行针对性的病虫害防治[4]。
下载图片 查看所有图片
2多光谱图像降维处理
林木光谱图像立方体包含了各谱段全面的光谱信息，但是由于数据量太大，直接送入卷积神经网络进行特征提取会导致网络规模过大，增加了深度网络的训练难度。而没有充分的样本训练可能导致网络参数过拟合，直接影响网络的性能。因此，在利用深度学习网络进行染病区检测前，一般需要对数据立方体进行降维处理。对光谱立方体所采用的降维方法可以分为两类，分别是基于统计的降维方法和基于经验的降维方法[5]。
基于统计的降维方法，是利用原始光谱立方体中的某些统计特性，对原始输入数据中主要的信息成分进行提取，从而减少无效的数据量，得到高特征表达的特征谱图像。其中主成分分析是用于数据降维的最常用的统计方法，该方法是利用投影变换的思想，将原有的高维空间的数据映射到低维空间，在大幅降低数据量的情况下，尽量多地保留原有的信息量，去除信息间的冗余。因此，主成分分析可用于对林木光谱图像立方体数据进行降维处理，具体步骤如下：
令，代表幅输入光谱图像各像素点在各个谱段下规范化后的灰度值，假设总共有m个谱段，n为像素数，则x1, x2,···, xn都是m×1的一维向量，而为一个的矩阵。
计算光谱图像的相关矩阵
1
式中：为的转置，则为的矩阵，求解的特征方程
2
式中：代表单位阵，求解特征方程得到个特征值并进行排序
3
统计每个特征值的累积方差贡献率
4
如果大于0.8，则可按下式计算对应特征值的特征向量
5
为的向量，计算主成分
6
向量可以视作输入向量的主成分编码。选择的越大，保留特征越多，理论上检测效果更好，但是因为数据量大，也会导致后续检测模型的通道数和参数更多，模型体量更大，模型训练和收敛难度也因此增加；而如果太小，保留的有效特征太少，检测网络就不能够有效检出染病区域。所以，的选择应该充分考虑模型体量和训练效果，并在实际使用中通过检测效果进行验证，本文中=3。通过以上主成分处理，将m个谱段的m幅输入图像，降维为3张高特征表现的主成分图像，大大减少了数据量，把这3幅图像输入后面深度学习网络用于林木病害区域检测，可以降低网络参数规模，更易于网络训练和收敛[6-9]。
基于经验的方法是通过对健康林木和染病林木的相对光谱反射率数据进行统计分析，绘制健康林木和染病林的相对光谱反射率曲线。通过观察曲线，寻找健康林木和染病林木在相对光谱反射率曲线的特异谱段，进而选取差异大的谱段图像，送入深度学习网络进行检测。如图2所示，图中展示了西安应用光学研究所光学特性研究室采集的春夏季健康林木和染病林木经过归一化的相对光谱反射率曲线，相对光谱反射率曲线的光谱波长范围为450 nm～950 nm，覆盖频段范围从蓝光一直到近红外波段。图中的实线是健康林木的光谱反射率曲线；相对地，虚线是染病林木的光谱反射率曲线。从图中可以看出，在蓝绿光波段红色健康林木和染病林木光谱反射率差异相对较小，而在近红外波段，健康林木和染病林木的光谱反射率曲线出现较大差异。因此，可以选取550 nm、650 nm、800 nm波段的光谱图像作为强特征表现图像，输入深度学习网络进行染病区域检测。相比较基于统计的方法，基于经验的方法不用进行复杂的计算，也能取得较好的检测效果。
下载图片 查看所有图片
3深度学习检测网络
从特征图中提取染病区域属于典型的语义分割问题，利用深度学习网络可以提取图像中的深层和浅层语义，相较于传统模式识别方法，泛化性能更好，实践中往往能够取得更好的分割效果[10-14]。
本文检测网络如图3所示，采用经典的编码器-解码器网络架构。首先对输入图像进行连续的卷积、下采样操作，通过1/4、1/8、1/16、1/32比例的下采样，不断缩减图像尺度，增加通道数，旨在提取原始图像中不同层次的特征信息，并对特征进行编码。解码过程与编码过程相反，将编码过程提取的特征进行解码，并通过尺度变换恢复到输入图像的尺度，然后通过预测函数进行阈值分割，最后输出分割结果。网络中用到了金字塔池化模块，它被用于进一步提炼特征和减少数据。解码过程中用到的A模块是一个注意力调整模块，它将不同层级的编码特征作为调整因子，通过调整因子将编码特征与解码特征进行融合，期间也汲取了残差网络的思想，不同网络层级间增加了直连通道，这个处理过程除了能够补充编解码过程损失的部分细节特征，也有利于模型的快速收敛[15-16]。
下载图片 查看所有图片
金字塔池化模块详细结构如图4所示，利用1×1、2×2以及4×4的平均值池化，将一张特征图扩展成3个尺度特征图，然后分别进行卷积和尺度重构，形成3幅与输入特征图等尺度的特征图，将这3幅特征图相加，再进行卷积，得到处理过的与输入特征图等尺度的输出特征图。图4只表示了一个通道的处理过程，实际上特征图包含很多个通道，对每个通道进行类似的卷积和尺度变化，在随后的加和过程，合并了一些通道，这样可以缩减后级的网络规模，当预训练过的网络在新样本上进行迁移训练时，网络会更快地收敛。后面的卷积层采用1×1卷积核，可以进一步整合通道数目，使之和后续网络结构匹配，将结果送入下一级网络[17-19]。
下载图片 查看所有图片
图3中的A模块，即注意力调整模块，详细内部结构如图5所示。将解码层输入特征图上采样，使得上采样后的特征图尺度和编码层上一级输出特征图尺度相同。将这2个相同尺度的特征图经过平均值池化和最大值池化将通道数增加一倍，经过后面卷积层和激活函数产生2个互补的调整因子，使编码过程和解码过程按调整因子的比例相加，形成融合后的特征图。通过这个过程增加了直连通道，弥补编解码过程损失的部分细节特征，同时因为内含了残差网络的思想，使得模型在训练时能够快速收敛[20]。
下载图片 查看所有图片
4检测软件设计
在相关模型算法研究基础上，设计了一套检测和管理软件，界面如图6所示。该软件整合了染病区域检测、结果分析、林区巡检日志及数据管理、信息网络共享上报等功能，还提供年份、月份对比分析等功能，可以从整体上记录和分析特定区域林木的健康情况，防治措施和效果记录，提供数据分析和可视化显示，能够辅助人工完成林木病虫害防治管理工作，有效提升林木病虫害防治的效率。
下载图片 查看所有图片
5检测结果分析
采用Tetracam公司的ADC Snap多光谱相机，光谱范围520 nm～920 nm，相机带有运动补偿功能，能够在无人机和目标图像相对移动时得到较为清晰的图像，因此较适合无人机航拍。本论文准备了从东北和西南林区采集的训练样本2 048张（松萎蔫病、松材线虫、铁杉球蚜、天幕毛虫图像各512张），测试图像512张（松萎蔫病、松材线虫、铁杉球蚜、天幕毛虫图像各128张），拍摄高度为25 m～40 m，图像分辨率像素为1 280×1 024，空间分辨率约3 cm，采用 Tesla V100 GPU平台对算法进行验证。
图7是近距离观测得到的检测结果，为了对比方便，每一张检测图片都与多光谱融合染色图进行对比。从图上可以看到，在无人机近距离观测时，同等视场角的情况下，目标区域占比更大，更利于深度学习网络进行目标检测和分割，能够较为准确地检测出染病区域，甚至有些人眼不易察觉的染色区域也能被有效识别，取得了较为满意的识别效果。这主要是因为目标在原始图像中的占比较大，因此深度学习网络经过数次下采样以后，仍有足够的像素保留细节特征，因为目标特征能够充分保留和提取，模型最终能够有效检测出染病区域。
下载图片 查看所有图片
图8是远距离观测光谱图像的检测效果，由图中可以看出，随着观测距离拉远，目标区域变小，对于较大面积连接成片的染病区域，模型仍能够检出。而对于分散的较小染病区域，则不能有效检测出来。
下载图片 查看所有图片
测试图像集上的测试统计结果如表1所示。从表1可以看出，当目标像素数少于一定值时，染病区域的检出率会大幅下降。导致这个结果的原因是在深度学习网络检测过程中，为了提取不同层次的语义特征，需要对输入图像经过1/4、1/8、1/16、1/32比例的下采样。这导致较小的目标区域在下采样过程中被损失掉了，以至于后面的网络无法提取细节特征，进而在解码过程中，不能有效恢复图像的细节特征，导致随后的分割图像中缺失了这部分较小的染病区域。但是，从林木病虫害防治经验上来说，如果出现图8所示的检测染病区域结果，虽然缺失了部分细节，但仍能够评估整片区域的染病情况，不会影响对防治措施的基本判断，在林区防护中，同样具有重要的应用价值。
表 1. 不同尺度病害区域的检出率对比Table 1. Comparison of detection rates in different scale disease areas区域大小/像素检出率/%大于等于50×5092.3大于30×30小于50×5065.6小于等于30×3023.1查看所有表
表 2. 本文方法与主流方法的比较Table 2. Comparison between proposed method and mainstream method模型图像分辨率/像素MIoU/%帧/sENet [20]1 024×51253.160.5ESPNet [21]1 024×51256.5108.3BiSeNetV2[22]1 024×51265.5152.1BiSeNetV2-L[22]1 024×51268.9117STDC1-Seg50[23]1 024×51271.1198.6STDC2-Seg50[23]1 024×51272.3149.8本文方法1 024×51275.2137.1查看所有表
表 3. 消融实验情况Table 3. Results of ablation experiments金字塔池化模块注意力调整模块MIoU/%帧/s√70.3156.6√74.5113.8√√75.2137.1查看所有表
表2统计了在本文测试数据集上本文方法和主流语义分割算法的性能对比情况。从表中可以看出，在同样测输入图像尺寸的情况下，本文方法得到的MIoU（Mean intersection over union）更高，意味着分割效果更好。在处理速度上，通过在Tesla V100 GPU平台上的测试，本文方法的帧频达到了137.1 帧/s（帧每秒），比STDC2-Seg50的帧频略低。
为了验证本论文网络结构的有效性，在本项目本论文512张测试图像上，对论文网络结构中的金字塔池化模块、注意力调整模块进行了消融实验，结果如表3所示。
从表中可以看到，保留金字塔池化模块，去掉注意力调整模块，MIoU值从75.2%下降到70.3%，说明注意力调整模块对模型提取特征具有明显的提升作用，因为减少了存储和计算环节，处理帧频从137.1 帧/s提升到156.6 帧/s。
进一步实验，去除金字塔池化模块，保留注意力调整模块。从表中可以看出MIoU值从75.2%下降到74.5%，没有经过金字塔池化的降维，理论上模型保留了更多的特征信息，但是实际分割效果却并没有提升，反而小幅下降。可能的原因是因为样本数不充分，导致模型没有充分收敛。同时可以看到，因为数据量大，推理帧频从137.1 帧/s下降到了113.8 帧/s。证明了本论文采用金字塔池化模块在提升推理速度的同时，也能帮助模型在训练样本上较好收敛。这个结果也证明了本文第二节中的分析， 即在样本数目有限的前提下，通过PCA（主成分分析）降维、金字塔池化等方法减小模型体量，不一定带来模型效果的下降，反而因为模型在特定数量的样本上收敛较好，取得了更好的分割效果。在具体应用中，降维到何种程度最为合适，没有确切的理论计算方法，需要反复试验对比，积累相关经验才能得到较为理想的效果。
通过以上实验可以看出，在同时保留金字塔池化模块和注意力调整模块的情况下，Tesla V100 GPU处理帧频达到137.1 帧/s，可以满足实时处理的需求。在实际应用中，通过无人机挂飞，利用图传模块将图像传输到地面处理单元，通过深度学习网络，可以很好地完成林区染病区检测，相比较护林员人工巡检，大大提高作业效率，缩减巡检周期，能够对森林病虫害做到早发现、早防治，帮助我们保护好珍贵、脆弱的天然林区。
6结论
我国天然林区分布范围广，地形复杂，依靠传统的护林员巡检方式进行林木病虫害防治，效率较低，时效性差，难于及时发现发展进程中的林木病虫害，可能错过防治的最佳时机。针对这个问题，本文设计一种基于多光谱图像检测林木病虫害的深度学习网络，实现了一套检测处理软件。通过无人机挂飞，利用搭建的深度学习网络，完成了林区染病区自动检测，最后对实验结果进行了分析。相比较护林员人工巡检，本文所述方法能够提高作业效率，缩减巡检周期，提高早期森林病虫害的发现概率。
周晓丽, 周立君, 伊力塔, 刘宇. 基于光谱图像的森林病虫害自动检测方法[J]. 应用光学, 2023, 44(2): 420. Xiaoli ZHOU, Lijun ZHOU, Lita YI, Yu LIU. Automatic detection method of forest diseases and insect pests based on spectral images[J]. Journal of Applied Optics, 2023, 44(2): 420.
相关知识
基于多光谱图像的蔬菜花卉病虫害辨识技术研究
森林病虫害高光谱遥感监测的研究进展
基于图像的植物病害识别与分类
基于MATLAB的农业病虫害识别系统
基于多光谱成像技术诊断植物病虫害
基于svm机器学习的植物病虫害检测方法
基于无人机高光谱和空间数据改善葡萄园病虫害监测新方法
作物病虫害高光谱遥感进展与展望
高光谱图像分类工具包：精准识别的利器
基于SVM机器学习的植物病虫害检测方法.pdf
网址: 基于光谱图像的森林病虫害自动检测方法 https://m.huajiangbk.com/newsview525736.html
| 上一篇: 美国的农作物病虫害数字化监测预警 |
下一篇: 工师学术大讲堂:基于光谱的农作物 |
