首页 > 分享 > 深度学习在植物叶部病害检测与识别的研究进展

深度学习在植物叶部病害检测与识别的研究进展

花匠小妙招
2024-09-15 10:01

1 引言

植物病害是影响植物生长的最复杂多变且难以克服的因素之一，是一种全球农业生产和生态安全的生物灾害。发生植物病害不仅影响植物的正常生长，造成农产品产量与品质的降低，还会带来粮食安全问题［1,2］。近年来，受全球气候变暖、农业水资源匮乏及农业耕地面积减少等因素影响，植物病害变得更加普遍和频繁［3］。据报道，每年仅由植物病害造成的全球经济损失高达2,200亿美元［4］。加强对植物病害的防治和管理是保证农作物高产、农产品优质的关键。

植物病害防治的关键是能够及时准确地检测病害危害区域，并对其病害类型进行辨识［5］。植物病害种类繁多，全世界已有990多种植物病毒被确认［6］。植物叶片感染病毒、真菌或生理病变后，感染部位的外部形态特征和内部生理结构均会发生变化，外部发生如形变、褪色、卷曲、腐烂、变色等，内部主要为水分和色素含量变化等［7］。由于不同病害之间的受害症状呈现模糊性、复杂性和相似性，加之部分农民的科技、文化素质普遍偏低，不能精确诊断并掌握植物病害的发生与发展，往往在植物病害严重时才大剂量地喷洒农药，容易错过病害最佳防治时期，不但造成农作物大量减产，还严重污染环境［8,9］。因此，如何快速、简便、准确地检测植物病害发生区域并对其病害种类进行识别，为病害防治提供必要信息，已成为植物种植面临的重要问题。

深度学习概念在2006年由深度学习之父Hinton正式提出［10］，但受当时硬件条件限制，一直未得到学术界重视。直到2012年，Krizhevsky等［11］在图形处理器（Graphics Processing Unit，GPU）上实现了一种著名的卷积神经网络（Convolutional Neural Networks，CNN）——AlexNet，该网络在当年斯坦福大学主办的图像识别挑战赛（ImageNet Large-Scale Visual Recognition Challenge）上的分类精度碾压了其他早期计算机视觉方法。此后，各种CNN被陆续提出，深度学习得到快速发展。

深度学习是一种模拟人脑进行分析学习的神经网络，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，解决很多复杂的模式识别难题［12］。相对于浅层学习，深度学习具有学习能力强、覆盖范围广、适应性好、性能上限高、可移植性好等优点［13］。深度学习作为新人工智能崛起的代表，不断取得重大进展，很好地解决了人工智能界很多年来一直努力但仍没有得到重要进展的问题［14］。近年来，深度学习技术逐渐被引入到植物病害检测与识别，在该领域获得了较快的发展，并涌现出大量的研究成果，已成为本领域研究热点。本文对近年来基于深度学习的植物叶部病害的检测和识别研究进行了综述，分别从植物病害图像数据集、植物病害目标检测研究进展和植物病害识别研究进展等三个方面进行阐述，总结出植物病害检测和识别目前面临的挑战，并对未来的发展趋势进行了展望。

2 植物病害图像数据集

数据集是构建深度学习模型的基础，数据集的质量和大小决定着深度学习模型能否构建成功［15］。高质量的数据集往往能够提高模型训练的质量和预测的准确率，也可有效地提高神经网络模型的泛化能力。一个更高质量的模型可以更精准地区分植物病害的不同类型及危害程度，从而提供更科学的防治措施。据调查，目前已形成了多个已公开的植物病害图像数据集，具体如

表1

所示。

表 1 公开的植物病害图像数据集及网址

Table 1 Publicly available plant disease image data sets and websites

区域数据集名称数据集网址国外 PlantVillage https：//plantvillage.psu.edu/ CVPR 2020-FGVG7 https：//www.kaggle.com/c/plant-pathology-2020-fgvc7/data Cucumber Plant Diseases Dataset https：//www.kaggle.com/kareem3egm/cucumber-plant-diseases-dataset New Plant Disease Dataset https：//www.kaggle.com/vipoooool/new-plant-diseases-dataset PlantDoc https：//github.com/pratikkayal/PlantDoc-Dataset Rice Diseases Image Dataset https：//www.kaggle.com/minhhuy2810/rice-diseases-image-dataset PlantPathology Apple Dataset https：//www.kaggle.com/lextoumbourou/plantvillageapplecolor New Plant Diseases Dataset （Augmented） https：//www.kaggle.com/noulam/tomato PlantifyDr Dataset https：//www.kaggle.com/lavaman151/plantifydr-dataset Plant disease recognition dataset https：//www.kaggle.com/rashikrahmanpritom/plant-disease-recognition-dataset Corn Leaf Diseases（NLB） https：//www.kaggle.com/rabbityashow/corn-leaf-diseasesnlb 国内 PDD271 https：//drive.google.com/file/d/1QMR1bUfEuMbZz-Mb3u2IXdbMgz7oj2Pe/view 农业病虫害研究图库（IDADP） http：//www.icgroupcas.cn/website_bchtk/index.html PDDB https：//www.digipathos-rep.cnptia.embrapa.br/jspui/ 水稻叶病数据集（Rice Leaf Diseases Data Set） https：//archive.ics.uci.edu/ml/datasets/Rice+Leaf+Diseases

2.1　国外主要植物病害图像数据集

（1）PlantVillage。该数据集是David Hudhes和Marcel Salathé联合创建的公开数据集，是目前被使用次数最多的数据库之一。PlantVillage囊括了14种植物、26种病害，共38个类别，包含54,036幅图像，非常适用于植物病害检测和识别模型的训练，但PlantVillage中的图像大多是在实验室或单一背景下拍摄的，复杂自然条件下拍摄的图像较少。

（2）Plant Pathology 2020 - FGVC7。主要是高质量带注释的苹果图像，包括苹果黑星病、苹果锈病、多种病害共存和健康叶片共3651张图像。其中苹果黑星病图像1200张，苹果锈病图像1399张，多种病害共存图像187张，健康叶片图像865张。

（3）Cucumber Plant Diseases Dataset。该数据集由Karim Negm分享，共包含695张田间自然条件下拍摄的黄瓜有病的和健康的图像。

（4）New Plant Diseasea Dataset。由Samir Bhattarai使用数据增强技术重新创建的数据集。该数据集由38个不同的类别组成，包括健康叶片和非健康叶片共87,000张，但该数据图像背景为单一背景。

（5）PlantDoc。由Singh等［16］创建，共包含2598张图像，涵盖13种植物，17种病害类型。

（6）Rice Diseases Image Dataset。涵盖水稻褐斑病、叶斑病、铁甲虫病及健康叶片共5447张图像。

（7）PlantPathology Apple Dataset。由Plantvillage衍生而来，包括苹果黑星病、黑腐病、雪松苹果锈和健康叶片4种，共包含3171张图像。

（8）New Plant Diseases Dataset（Augmented）。该数据集是一个相关番茄的数据集，基于Plantvillage数据，经数据增广技术衍生而来，包括9个番茄病害和1个健康叶片，共22,900张图像。

（9）PlantifyDr Dataset。该数据集包含10种不同植物类型，主要为苹果、甜椒、樱桃、柑橘、玉米、葡萄、桃子、土豆、草莓和番茄。37种植物病害类型共125,000张图像。

（10）Plant Disease Recognition Dataset。该数据集包含健康、粉状、生锈3种共1530张图像。

（11）Corn Leaf Diseases（NLB）。包括患病和健康玉米叶片共4,115张。

2.2　国内植物病害图像数据集

（1）PDD271。Liu等［17］收集的植物病害数据集PDD271，包括220,592幅植物叶片图像，涵盖271种植物病害类别。其中每个植物病害类别至少包含500张图像，200多株植物。且每张图像采集时都由专家及时标注。采集后，由未参与标注工作的专家进行检查，以保证标签的正确性。

（2）农业病虫害研究图库（IDADP）。该数据集是由中国科学院合肥智能机械研究所、亚热带农业生态研究所和遥感与数字地球研究所共同建设的综合数据库，涵盖大田作物、水果和蔬菜等多种植物类型及真菌、细菌和病毒等多种病害种类。每种病虫害包括几百到几千张图像。图像绝大部分用单反相机拍摄，分辨率不小于两千万像素（6000×4000，5472×3648），少部分用手机拍摄，分辨率像素为4128×2322。而且绝大多数图像都是从自然条件下拍摄的，可应用于复杂自然条件下植物病害的识别和检测。

（3）植物疾病症状图像数据库（PDDB）。该数据集是一个免费的数据库，涵盖21种植物，171种病害类型，共收集接近5万幅图像。85%的图像是在真实条件下拍摄，其他图像在可控条件下拍摄。图像全部由数码相机和移动设备拍摄，分辨率在1~24万像素之间［18］，且都经过了专家标注。

（4）水稻叶病数据集。该数据集图像是在阳光直射下以白色背景拍摄的，主要为水稻白叶枯病、褐斑病和黑穗病，每种病害均拍摄40张，共120张。

3 植物病害目标检测研究进展

植物病害目标检测是利用计算机视觉技术在复杂自然条件下检测出植物病害侵染区域及其准确位置，是植物病害准确分类识别和病害危害程度评估的前提，也是植物病害区域准确定位并引导植保装备对靶喷药的关键［19］。

早期植物病害目标检测算法采用滑动窗口策略选出候选区域，然后提取候选区域特征，最后使用分类器进行分类，从而获得目标区域，如V-J（Viola-Jones）检测、方向梯度直方图（Histogram of Oriented Gradient，HOG）检测和有关可变形部件模型（Deformable Part Model，DPM）算法等。滑动窗口方法是设置不同的尺度和宽度对图像进行遍历，虽然这种方法应用于病害定位检测可以不错过任何一个病害区域目标，但产生的多余候选窗口会带来较大的计算量，且将病害图像全部遍历一遍要花费较多时间，导致检测的实效性差［20］。另外，候选区域的特征提取采用手工方式，提取的特征较多集中在病害颜色、形状等底层特征，造成病害检测的鲁棒性差。分类器采用Adaboost、支持向量机（Support Vector Machine，SVM）等进行识别，识别速度慢、准确率低。

3.1　基于目标检测框架的植物病害检测

基于深度学习的R-CNN（Region-CNN）系列、YOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector）以及CenterNet等新检测算法显著优于早期的植物目标检测算法。基于深度学习的目标检测框架可以分为二阶检测器（Two-stage）和一阶检测器（One-stage）两大类［10］。

3.1.1　基于二阶检测器的植物病害检测

二阶检测器首先使用候选框生成器生成稀疏的候选框集，并从每个候选框中提取特征，然后使用区域分类器预测候选框区域的类别（如

图1

所示）。如基于区域建议的CNN，包括R-CNN、Fast-RCNN、Faster-RCNN及其变体。2014年，Girshick等［21］在一篇会议论文中提出了R-CNN，首次使用卷积神经网络提取图像特征，开启了利用深度学习进行目标检测的大门。在R-CNN基础上，Girshick［22］提出了Fast-RCNN，解决了R-CNN在候选区域选择的过程中出现大量重叠框的问题。经过R-CNN和Fast RCNN的积淀，Ren等［23］在2016年提出了Faster-RCNN，将特征提取、边界框回归和分类集成到一个网络中，使综合性能有较大提高，在检测速度方面尤为明显。Fuentes等［24］应用Faster-RCNN+VGGNet/ResNet的检测框架对番茄病虫害区域进行定位检测，其图像库中类别有10种病害，平均精度均值（mean Average Precision，mAP）值达到了85.98%，从此Faster-RCNN逐渐被应用到植物病害区域检测上。刘阗宇等［25,26］采用Faster-RCNN框架，分别采用ZF Net和VGGNet作为骨干网络，能准确定位葡萄叶片和叶片上的病斑。Ozguven和Adem［27］通过改变Faster-RCNN模型的参数实现对甜菜叶斑病的自动检测，对155幅甜菜图像进行了训练和测试，获得了95.48%的总体分类正确率。Bari等［28］使用Faster-RCNN对水稻患病叶片图像和健康叶片图像进行检测，识别叶片患病准确率均在98%以上，表明Faster-RCNN可以相对准确实时地检测水稻常见病害。Zhou等［29］提出了一种基于FCM-KM和Faster-RCNN融合的水稻病害快速检测方法，以3010幅图像为研究基础数据集，得到稻瘟病、白叶枯病和纹枯病的检测精度分别为96.71%、97.53%和98.26%，检测时间分别为0.65、0.82和0.53 s。Xie等［30］提出了一种基于改进的深度卷积神经网络——Faster DR-IACNN模型，在自建的葡萄叶疾病数据集（Grape Leaf Disease Dataset，GLDD）上展开研究，并引入了Inception-v1模块、Inception-ResNetv2模块和压缩和激励网络（Squeeze-and-Excitation Networks，SENet），该模型具有较高的特征提取能力，mAP精度为81.1%，检测速度为15.01 f/s。上述研究表明，基于二阶检测器的植物病害目标检测，在检测准确度方面获得了较好的病害检测效果，但由于检测速度慢，只能用在实时性要求不高的场景中。

图1 植物病害检测的二阶检测算法流程

Fig. 1 Two-stage detection algorithm diagram of plant disease detection

Full size|PPT slide

3.1.2　基于一阶检测器的植物病害检测

一阶检测器直接对特征图上每个位置的对象进行类别预测，不经过二阶检测器中的区域建议步骤（具体步骤见

图2

），如YOLO、SSD及其变体。YOLO是Redmon等［31］于2016年提出的一种一阶段检测算法。YOLO的设计不同于Faster-RCNN，它将检测过程整合为单个网络同时实现目标区域预测和分类的回归过程。YOLO并不生成候选框，而是将图像划分成网格，以网格为中心确定目标边界和类别，与Faster-RCNN相比，YOLO在满足更高精度的同时大大提高了检测速度。Bhatt等［32］在复杂自然条件下的茶园采集图像，并提出了一种基于YOLOv3的病虫害检测方法，在确保系统实时可用性的同时，实现了mAP为86%，交并比（Intersection-over-Union，IOU）为50%。Maski和Thondiyath［33］提出了几个轻量级的YOLO模型，用于移动农业机器人对植物病害的检测，主要针对木瓜环斑病建立了一个大规模的数据集，在此基础上tiny-YOLOv4算法的mAP最高可达99.9%。MobileNetV2-YOLOv3算法在疾病严重程度检测方面的最高mAP约为98.39%。李昊等［34］基于改进的YOLOv4实现柑橘病虫害叶片检测，并根据检测目标框实现柑橘病害叶片的局部分割，结合DenseNet算法对分割出来的叶片进行病害检测，检测准确率达到95.46%。

图2 植物病害检测的一阶检测算法图

Fig. 2 One-stage detection algorithm diagram of plant disease detection

Full size|PPT slide

针对YOLO的缺陷，Liu等［35］于2016年提出了SSD。相较于YOLO，SSD的改进主要包括3个方面：一是提取不同尺度的特征图，解决了YOLO不能准确检测小目标的问题；二是设计了多个不同尺度的先验框；三是在VGG16网络中增加6个卷积层来预测边界框偏移量，解决了YOLO定位不准的问题。Sun等［36］提出了一种可部署在移动设备上的轻量级的MEAN-SSD病害检测模型。MEAN-SSD是通过引入MEAN块（Mobile End AppleNet block）和所有3×3卷积核都替换为MEAN块的Inception模块构建而成，mAP能够达到83.12%，速度达到12.53 f/s。Sun等［37］提出了一种多尺度特征融合的改进的SSD算法，该方法结合了数据预处理、特征融合、特征共享、疾病检测等步骤，用于检测复杂背景下玉米叶枯病，mAP比原SSD算法的mAP高了20%左右（从71.80%提高到91.83%）。同时传输速度也从24 f/s提高到28.4 f/s，达到了实时检测25 f/s的标准。Selvaraj等［38］对比了几种著名目标检测框架和不同骨干网络组合对香蕉病虫害检测的效果，数据库包括了10种香蕉病虫害，共3万余张图像，发现SSD框架和MobileNet v1的组合检测总体效果最好。虽然经过不断地改进和优化，一阶段检测算法在植物病害精度和速度上都有所提高，但锚框的存在仍然令这种检测方法不够精简。

3.2　基于无锚框的植物病害检测

2019年，Zhou等［39］提出了一种无锚框的检测算法——CenterNet，该算法是在CornerNet的基础上改进而来，由原来对两个关键点（即图像的左上角和右下角）的检测改为对图像中心点的估计。由于该算法去掉了生成锚框这一操作，并且由热力图估计损失，省去了一些耗时的操作，所以很大程度上提升了检测性能。目前，基于CenterNet的病害检测研究还较少，但CenterNet已被证明可以应用于自然条件下的目标检测。夏雪等［40］通过CenterNet检测网络与MobileNet v3相结合，构建一个新的网络——M-CenterNet，对自然条件下果树上的苹果进行检测。并与CenterNet和SSD做对比，发现所提网络不论是检测精度还是检测速度上都比CenterNet和SSD要好很多，尤其是检测速度上，比这两种网络提高了1倍左右。Albattah等［41］提出了一种改进的CenterNet算法，以PlantVillage Kaggle数据库为主要数据来源，以DenseNet-77为基础网络对深层次关键点进行提取，然后分别对番茄、苹果、葡萄等在内的14种植物26类病害及12类健康叶片进行识别，从多方面分析得出，改进的CenterNet方法比目前最新的EfficientNet方法能够更准确地识别植物病害。无锚框的检测算法在性能上优于基于锚框的检测算法，是今后病害区域检测方面的主要研究方向。

3.3　植物病害目标检测分析与展望

近年来植物病害检测研究进展见

表2

表4

。可以看出，针对大豆、玉米、马铃薯、苹果、葡萄等植物病害目标检测，一阶段检测算法和二阶检测算法都获得了较好的检测效果。但目前文献表明，在病斑边界框（bounding box）标识时较为混乱，一些文献对一张叶片上大的病斑单独框出，一些文献则对小且多的病斑往往采用一个框，对没有明显边界的病害则往往不考虑在病害检测任务范畴内。同时，对植物生长的复杂自然场景中进行病害目标检测研究较少，这种场景下密集、小目标检测算法有待进一步研究，同时还需应对复杂自然条件下可能出现的光照、阴影、复杂背景、遮挡、叠加、小病斑检测等难点。

表2 近年来基于二阶检测器的植物病害目标检测研究进展

Table 2 Recent advances in plant disease target detection based on second-order detector

编号作者年份植物种类数据集/幅获取方法检测网络框架最优准确率/% 1 Zhang等［42］ 2021 大豆 2200 田间拍摄 Faster-RCNN 83.34 2 Hu等［43］ 2021 茶叶 398 田间拍摄 Faster-RCNN 84.50 3 Eser ［44］ 2021

辣椒

土豆

544 田间拍摄 Faster RCNN-gc 98.06 4 Rehman等［45］ 2021 苹果 1200 PlantVillage Mask RCNN 96.60 5 Anandhan和Singh［46］ 2021 水稻 1500 田间拍摄 Mask R-CNN 96.00 6 Kumar［47］ 2021 甘蔗 2940 田间拍摄 Faster-RCNN 58.13 7 Bari等［28］ 2021 水稻 2400 Kaggle+田间拍摄 Faster-RCNN 99.17 8 李鑫然等［48］ 2020 苹果 2029 田间拍摄 Faster-RCNN 82.28 9 Xie等［30］ 2020 葡萄 4449 田间拍摄 Faster DR-IACNN 81.10 10 Wang等［49］ 2019 番茄 286 线上采集 Mask R-CNN 99.64 11 Ozguven和Adem［27］ 2019 甜菜 155 甜菜叶数据集 Faster-RCNN 95.48 12 Zhou等［29］ 2019 水稻 3010 田间拍摄 Faster-RCNN 98.26 13 乔虹等［50］ 2018 葡萄 2000 田间拍摄 Faster-RCNN 90.90 16 刘阗宇等［26］ 2018 葡萄 6000 田间拍摄 Faster-RCNN 75.52 14 Fuentes等［24］ 2017 番茄 5000 田间拍摄 Faster-RCNN 90.60 15 刘阗宇和冯全［25］ 2017 葡萄 1135 田间拍摄 Faster-RCNN 87.20 表3 近年来基于一阶检测器的植物病害目标检测研究进展

Table 3 Recent advances in plant disease target detection based on first-order detector

编号作者年份植物种类数据集/幅获取方法检测网络框架最优准确率/% 1 Wang等［51］ 2021 5种植物 3000 可控环境拍摄 DBA_SSD 92.20 2 Shill和Rahman［52］ 2021 13种植物 2598 PlantDoc数据集 YOLOv4 55.45（IoU=50%） 3 Wang和Liu ［53］ 2021 番茄 1263 田间拍摄 MP-YOLOv3 95.60 4 He等［54］ 2021 西瓜 529 田间拍摄 SSD768 92.40 5 Atila等［55］ 2021 香蕉 61,486 PlantVillage 改进的YOLO 98.40 6 Maski和Thondiyath［33］ 2021 木瓜 2000 田间拍摄 YOLO 99.90 7 李昊等［34］ 2021 柑橘 392 田间拍摄 YOLOv4 87.72 8 Sun等［36］ 2021 苹果 2230 田间拍摄 MEAN-SSD 83.12 9 Liu和Wang［56］ 2020 番茄 15,000 田间拍摄 YOLOv3 92.39 10 Morbekar等［57］ 2020 14种植物 54,306 PlantVillage YOLO 65.48 11 Ponnusamy等［58］ 2020 多种植物 304 田间拍摄 YOLOv3 82.38 12 Liu和Wang［59］ 2020 番茄 2385 田间拍摄+线上采集 MobileNetv2-YOLOv3 94.13 13 Sun等［37］ 2020 玉米 8152 NLB数据集 SSD 91.83 14 Jiang等［60］ 2019 苹果 26,377 可控环境+田间拍摄 INAR-SSD 78.80 15 Tian等［61］ 2019 苹果 640 田间拍摄+线上采集 YOLOv3-Dense 95.57 16 Ramcharan等［62］ 2019 木薯 2415 田间拍摄 SSD 94.00 17 Bhatt等［32］ 2019 茶叶 4000 田间拍摄+线上采集 YOLOv3 86.00 18 Selvaraj等［38］ 2019 香蕉 18,000 田间拍摄 SSD 99.00 表4 近年来基于无锚框及自建网络的植物病害目标检测研究进展

Table 4 Recent advances in plant disease target detection based on anchor-free and self-built networks

编号作者年份植物种类数据集/幅获取方法检测网络框架最优准确率/% 1 Albattah等［40］ 2021 14种植物 54,306 PlantVillage CenterNet+DenseNet-77 99.98 2 Kavitha和Savarimuthu［63］ 2021 6种植物 3953 可控环境拍摄 DPD-DS 87.12 3 Liu等［64］ 2021 黄瓜 4788 田间拍摄 EFDet 83.32 4 Dwivedi等［65］ 2021 葡萄 4500 PlantVillage GLDDN 99.93 5 Nihar等［66］ 2021 黄豆番茄 1043 可控环境拍摄 ModCNN 97.69 6 Nagasubramanian等［67］ 2019 大豆 111 可控环境下拍摄 3D DCNN 95.73

如今已提出的病害检测算法均对特定的数据集有较好的检测效果，但若数据集发生了改变，则可能会导致检测效果不佳，所以在未来，提高模型的鲁棒性是值得研究的一个方向。另外，早期病害的检测研究仍处于空白阶段，主要因为数据采集的困难。早期病害部位信息较少，研究者无法保证准确识别病害种类与病斑位置，但早期病害检测更有利于防止病菌的传播与发展，有效防治植物病害，所以今后应重视开展对早期病害检测的开发研究，以期达到及时防治、减少损失的目的。目前对植物的病害检测还处于有人工干预的半自动化过程，探索全自动化的病害检测方法也将是未来主要研究方向之一。

4 植物病害识别研究进展

植物病害识别是指对病害图像进行处理、分析和理解，以辨识不同种类病害对象的技术，是植物病害及时有效防治的主要依据。

早期植物病害识别方法中，病害特征的提取和选择是依据先验经验人工完成的，识别性能好坏主要取决于所提取与选择的特征是否能充分表达待识别特定对象的信息和具有高可分性，以及与后续分类器的匹配性。传统的图像特征包括形状、颜色、纹理特征等，曾被广泛地用于植物病害的分类。形状特征包括基于物体边界形状的方法，如傅里叶形状描述符以及基于区域的形状表示方法，如形状不变矩、小波变换方法、小波轮廓描述符等。颜色特征包括图像各个颜色分量的一阶/二阶灰度、直方图、均值等参数；纹理特征如灰度共生矩阵、分形特征、小波、Gabor等，以及描述分形特征的分形维数，与图像的粗糙程度直接相关，用于对病斑纹理变化的描述。为提高识别性能，常见的策略是采用各种图像特征的组合以及分类器的集成。人工设计提取优秀的识别特征的要求较高，需要从事此项工作的人具有丰富的工程技能和领域专业知识，但受植物类型、生长阶段、病害种类、环境光照等因素的影响，植物病害症状复杂，人工无法对特征设计进行细致的优化，导致复杂场景下的植物病害识别效果不佳。

深度学习可以使用通用学习程序从原始数据（如图像像素）中自动学习特征，能避免人工特征工程的局限。近年来，作为深度学习核心的各种卷积神经网络被陆续提出，如ZF Net（2013）、VGG（2014）、GoogleNet（2014）、ResNet（2015）、DenseNet（2017）、MobileNet（2017）以及EfficientNet（2019）等，同时，各个卷积神经网络都在不断更新与优化中，以适应不同的任务和性能要求。基于深度学习的植物病害识别基本步骤见

图3

。

图3 植物病害识别深度学习网络图

Fig. 3 Deep learning network diagram for plant disease recognition

Full size|PPT slide

4.1　基于深度网络的植物病害识别

相较于早期植物病害识别方法，基于深度网络的植物病害识别可以自动对图像进行预处理，不再需要通过人工处理图像，因此大大提高了病害识别的效率。同时，随着网络深度的增加，模型的学习能力更强，提取的特征更丰富。但由于网络深度的增加，训练过程会消耗大量的时间，并且可能会出现在训练时过拟合的问题。不少研究人员尝试在植物病害识别中采用以CNN为主的深度神经网络，以提高识别的准确性。Kawasaki等［68］最早采用CNN进行病害识别，基于健康叶片与2种病害叶片类型的800幅黄瓜病害图像训练CNN，训练时用4-fold交叉验证，最终获得了94.9%的准确率。Sladojevic等［69］从互联网上搜集了2589张图像，包括桃、梨、苹果等6种植物叶片的13种病害、正常叶片和背景共计15种类型，通过仿射、投影和旋转等数据增广技术增加了图像数量；采用CaffeNet和迁移学习，特征提取层参数在ImageNet上预训练，只在最后分类的全连接层进行了精调（fine-tuning），该网络的平均分类准确度达到了96.3%。Mohanty等［70］比较了AlexNet和GoogleNet两种网络性能，训练数据库为PlantVillage，发现当训练数据与测试数据之比是8:2并采用迁移学习时，在GoogleNet上平均识别准确率高达99.34%。Ramcharan等［71］在田间拍摄了2756张木薯叶片图像，将剪切的15,000张小叶片图像构造数据库，采用了Inception v3和迁移学习网络模型，并与传统的SVM和 K最邻近（KNN，K-NearestNeighbor）分类器进行了对比，识别3种病害和2种虫害，发现Inception v3的平均准确率为93%，高于传统分类器。为解决网络收敛时间长和参数内存需求大的问题，孙俊等［72］在AlexNet的基础上采用批归一化方法以及加入全局池化层和缩减特征图数目的方法，得到8种改进模型，对PlantVillage中的14种植物共26种病害进行识别，其最优模型的平均测试识别准确率达到99.56%。Lu等［73］采集了9230张大田小麦图像用于训练和测试，包含6种常见小麦病害，采用深度学习框架基于多实例学习的弱监督方法，在完成诊断功能的同时，可以通过全卷积网络（Fully Convolutional Network，FCN）算法分割出病害区域，平均识别精度为97.95%。Ferentinos［74］比较了5种典型CNN模型的病害识别精度，该研究使用了一种包括25种植物和57种病害的数据库，共计87,000张叶片病害图像，其中37.3%是在大田条件下拍摄，62.7%是在实验室中拍摄；训练方法是从头训练而非迁移训练，结果表明VGG模型效果最好，平均识别准确率为99.53%。赵建敏等［75］基于TensorFlow框架，搭建8层CNN+softmax分层卷积神经网络模型，自动学习到256个病害图像特征，采用softmax分类器识别病害，简单背景单一病斑识别准确率达到87%。Xing等［76］在自然环境下采集了17种柑橘类害虫图像和7种柑橘类病害图像共12,561张，对这些图像进行了增广处理，对比6种网络模型的识别效果，其中在DenseNet基础上做了一些简化的Weakly DenseNet的效果最好，平均准确率为93.42%。曾伟辉等［77］提出了一种高阶残差和参数共享反馈的卷积神经网络模型，高阶残差子网络为病害表观提供丰富细致的特征表达，以提高模型识别精度，参数共享反馈子网络用来抑制原深层特征中的背景噪声，可提高模型的鲁棒性，该网络在PlantVillage上分类效果优于几种传统的分类器。Ji等［78］使用多个CNN组成UnitedModel提取互补的病害特征用于葡萄病害的识别，在PlantVillage上取得了很好识别效果。

4.2　基于轻量型网络的植物病害识别

近些年，为了适应复杂自然场景中数据资源有限的局限性，研究人员展开了对轻量型网络的研究。刘洋等［79］在安卓手机上实现了PlantVillage数据集病害图像识别，比较了MobileNet和Inception v3两种轻量级网络的性能，结果表明两种网络识别精度相差很小，但基于MobileNet模型的程序更小，运行速度更快。王春山等［80］提出了改进型多尺度残差网络，通过改变残差层连接方式，将大卷积核分解，减少了模型参数，设计了轻量级病害识别模型。Saleem等［81］利用Xception对PlantVillage中的26种疾病进行分类，通过对先进的CNN体系结构和改进的深度学习模型进行对比分析，选出了识别效果最好的Xception模型，然后通过各种优化器训练，选取提高性能最多的Adam优化器，对数据集中植物病害的识别准确率最终达到99.81%。De Ocamop和Dadios［82］用轻量型网络MobileNet对植物病害进行分类，证明MobileNet在数据集相对较小的情况下也能有效地对植物病害进行分类。

4.3　植物病害同步检测与识别

植物病害检测和识别不仅可以采取先检测病害区域（即感兴趣区域或IOT区域）再进行病害识别的分步操作，还可以同步进行，即对病害区域检测的同时判别病害种类。De Luna等［83］以自然条件下采集的4923张患病及健康的番茄叶片图像为研究对象，设计了一个自动图像采集系统和一个番茄病害检测和识别模型。利用以AlexNet为基础特征提取网络的F-RCNN实现病害检测的同时，对番茄叶片病害进行了分类，该模型最终准确率达到95.75%。Rashid等［84］针对病害检测和识别研究无法检测作物种类和作物病害的问题，建立了一个多层次深度学习模型来识别马铃薯叶片病害，首先使用YOLO v5对马铃薯叶片进行检测，同时使用深度学习技术PDDCNN对马铃薯叶片上的病害进行分类，得到最终准确率为99.75%；同时，他们还与VGG16、InceptionResNetV2、DenseNet_121、DenseNet169、Xception等模型进行了比较，证实该模型在精度和计算代价方面具有优势。Kiratiratanapruk等［85］使用了4种卷积神经网络预训练模型（Faster-RCNN、RetinaNet、YOLOv3和Mask RCNN）来检测6种常见的水稻病害，以在自然条件下拍摄的6330张照片为数据集，并在该数据集上使用了上述4种模型，同时实现了病叶检测和病害分类功能，YOLOv3模型最终表现良好，准确率达到79.19%。

4.4　植物病害识别分析与展望

根据卷积神经网络模型规模，神经网络可分为深度网络和轻量型网络，近年植物病害识别研究进展总结见

表5

和

表6

（第40页）。

表5 近年来基于深度网络的植物病害识别研究进展

Table 5 Recent advances in plant disease recognition based on deep network

编号作者年份植物种类数据集/幅获取方法神经网络类型最高准确率/% 1 Jiang等［86］ 2021

水稻

小麦

水稻：120

小麦：80

田间拍摄 VGG-16

水稻：97.22

小麦：98.75

2 Abbas等［87］ 2021 番茄 16，012 PlantVillage DenseNet121 99.51 3 Chellapandi等［88］ 2021 14种植物 54，306 PlantVillage DenseNet 99.00 4 樊湘鹏等［89］ 2021 葡萄 19，900 田间拍摄改进VGG16 98.02 5 Jiang等［90］ 2020 水稻 8911 田间拍摄 CNN+SVM 96.80 6 Barman等［91］ 2020 柑橘 2939 田间拍摄 SSCNN 98.00 7 Dang等［92］ 2020 萝卜 40 可控环境下拍摄 GoogLeNet 90.00 8 Ji等［78］ 2020 葡萄 1619 PlantVillage UnitedModel 99.17 9 Howlader等［93］ 2019 石榴 2705 田间拍摄 D-CNN 98.74 10 Coulibaly等［94］ 2019 粟米 124 田间拍摄 VGG16 95.00 11 Hu等［95］ 2019 茶 144 田间拍摄 CIFAR-10Net 92.50 12 Sibiya和Sumbwanyambe［96］ 2019 玉米 100 田间拍摄 50层CNN 92.85 13 王艳玲等［97］ 2019 番茄 14，529 PlantVillage AlexNet 95.62 14 Singh等［98］ 2019 芒果 1070 田间拍摄 MCNN 97.13 15 Picon等［99］ 2019 小麦 8178 田间拍摄改进ResNet-50 96.00 16 Abdalla等［100］ 2019 油菜籽 400 田间拍摄 VGG16 96.00 17 Xing等［76］ 2019 柑橘 12，561 田间拍摄 Weakly DenseNet 93.42 18 曾伟辉等［77］ 2019 47种植物 56，190 MK- D2、 PlantVillage、 AES- CD9214 HORPSF 96.75 19 Atole和Park［101］ 2018 水稻 227 田间拍摄 AlexNet 91.23 20 Zhang等［102］ 2018 玉米 500 PlantVillage+线上采集 GoogLeNet 98.90 21 Liu等［103］ 2018 苹果 13，689 可控环境下拍摄 AlexNet 97.62 22 张建华等［104］ 2018 棉花 5510 田间拍摄 VGG-16 89.51 23 Rangarajan等［105］ 2018 番茄 13，262 PlantVillage VGG16 97.49 24 Ferentinos［74］ 2018 25种植物 87，000 37.3%田间拍摄，62.7%可控条件拍摄 VGG 99.53 25 赵建敏等［75］ 2018 马铃薯 6000 田间拍摄 8层CNN 87.00 26 De Chant等［106］ 2017 玉米 1796 田间拍摄 CNN 96.70 27 Lu等［107］ 2017 水稻 500 田间拍摄 CNN 95.00 28 Oppenheim和Shani［108］ 2017 马铃薯 2465 可控环境下拍摄 VGG 90.00 29 Ramcharan等［71］ 2017 木薯 2756 田间拍摄 Inception v3 93.00 30 孙俊等［72］ 2017 14种植物 21，917 PlantVillage 改进的AlexNet 99.41 31 Lu等［73］ 2017 小麦 9230 田间拍摄 VGG-FCN-VD16 97.95 32 Fujita等［109］ 2016 黄瓜 7520 田间拍摄 CNN 82.30 33 Sladojevic等［69］ 2016 13种植物 2589 线上采集 Caffe+迁移学习 96.30 34 Mohanty等［70］ 2016 14种植物 54，306 PlantVillage AlexNet 99.35 35 Kawasaki等［68］ 2015 黄瓜 800 田间拍摄 CNN 94.90 表6 近年来基于轻量型网络的植物病害识别以及病害检测与识别同时进行的研究进展

Table 6 Recent advances in plant disease recognition based on lightweight network and disease detection and recognition simultaneously

编号作者年份植物种类数据集/幅获取方法神经网络类型最高准确率/% 1 Srinidhi等［110］ 2021 苹果 3600 田间拍摄 EfficientNetB7 99.80 2 Zhou等［111］ 2021 番茄、黄瓜 4284 田间拍摄 PRP-Net 98.26 3 Rashid等［84］ 2021 马铃薯 4062 PlantVillage YOLOv5+PDDCNN 99.75 4 Zhang 等［112］ 2020 黄瓜 2816 田间拍摄 EfficientNet-B4 96.00 5 王春山等［80］ 2020 3种植物 19,517 PlantVillage、AI Challenge2018数据集 Multi-scale ResNet 95.95 6 Saleem等［81］ 2020 14种植物 54,306 PlantVillage Xception 99.81 7 Kiratiratanapruk［85］ 2020 水稻 6330 田间拍摄 YOLOv3 79.19 8 刘洋等［79］ 2019 13种植物 54,306 PlantVillage MobileNet、Inception V3

MobileNet：95.02

Inception V3：95.62

9 De Ocamop和Dadios［82］ 2018 5种植物 6970 田间拍摄+线上采集 MobileNet 89.00 10 De Luna等［83］ 2018 番茄 4923 田间拍摄 AlexNet+ F-RCNN 95.75

植物病害图像数据库无论是开放还是私有的，都有一个共同点，即病害部位基本在图像中间，且占据图像的大部分空间，这表明目前的研究似乎集中在人机交互场景，是在部分可控拍摄条件下进行病害识别，与植保机器人面临的实际情况相差较大。大量实验表明，基于数据库识别效果最好的CNN在不同类型病害图像库表现并非始终最好，这表明需要通过大量试验才能为特定场景的病害识别筛选出最适合的网络模型。虽然有学者研究了基于移动设备的病害识别，但处理速度通常在数百毫秒以上，并非实时识别。

从深度学习在植物病害识别的研究进展看，在研究内容和网络模型等方面逐渐发生转变。在研究内容方面，逐渐从提升CNN的病害识别准确率转变成运算速度提升，从实验室单一背景植物病害识别转变成自然条件下复杂背景植物病害识别，从静态的病害图像检测转变成动态的视频检测，从单一植物叶部病害特征提取转变成对根、茎、叶、花、果不同植物器官的病害症状特征提取。在CNN模型方面，从VGG、GoogleNet、ResNet、DenseNet等网络向MobileNet、EfficientNet轻量型网络转变，保持性能不降低情况下尽量压缩模型参数、提升网络运行速度，确保网络模型可在算力有限的人工智能边缘计算平台上运行。

5 面临的挑战与展望

5.1　面临的挑战

虽然近年来国内外研究者基于深度学习技术开展了大量的植物病害目标检测与分类识别研究，推动了检测与识别准确度的提高，但在实际应用场景中，植物病害检测与识别仍然面临着诸多挑战。

（1）光照变化导致目标区域准确定位难。在实际植物种植环境中，一日之内光照变化剧烈、不同背景下的反光、不同气象条件等影响因素，造成植物病斑目标区域难以准确定位。自然光照条件下，拍摄的角度、高度或者地点可能会导致部分图片中病斑位置的颜色深浅不一，使得病斑特征不明显，从而影响分类识别准确度。

（2）背景复杂导致目标的准确检测难度大。在实际植物种植环境中获取的病害图像背景有可能会包括叶片、树干、茎秆、根部、土壤、杂草、秸秆、地膜、落叶、石头、积水、阴影等，在复杂背景条件下获取的植物病害图像对于病斑的目标检测难度较大。同时，植物病斑颜色形状等有可能与背景中的其他对象相似，造成目标检测的准确率降低。

（3）遮挡导致目标特征缺失、噪声重叠。目前，大多数研究者都避免对复杂环境下植物病害的识别，采用直接截取所采集图像感兴趣的区域的方法，很少考虑遮挡问题。遮挡问题在复杂自然环境中普遍存在，包括由叶片姿态变化引起的叶片遮挡、分支遮挡、外部光照引起的光遮挡以及不同遮挡类型引起的混合遮挡。遮挡条件下植物病害识别的难点在于特征缺失和遮挡引起的噪声重叠。不同的遮挡条件对识别算法有不同程度的影响，导致误检甚至漏检。

（4）病害相似性导致错判或者误判。不同的病害引起的症状具有相似性。症状是判断病害种类的主要依据之一，若不同种类病害的发病症状极为相似，通过二维图像无法准确地辨识，需要获取更多维度信息如深度信息、光谱信息、红外信息、荧光信息等，才能准确判断出植物病害类别。

（5）病害症状变化导致病害识别难度大。病原菌可以在植物不同时期进行侵染，发病时又会因植物的品种、生育期和器官表现出不同的症状，同一种病害在不同的危害时期或不同侵染程度下表现出不同症状。同一种病害危害植物的不同组织或植物器官症状会有差异，如嫩芽、子叶、真叶、果实、茎秆、根部等呈现出来的症状各有不同。同一种病害在同种植物器官上也会呈现不同的症状类型，比如棉花黄萎病常见的症状有4种类型，分别为黄斑型、叶枯型、萎蔫型和落叶型，这对病害识别提出了很大的挑战。

（6）多重病害交叠导致植物病害的检测和识别准确率低。目前提到的病害检测和识别都是基于每片叶子上均是一种病害或一种病害特征最为明显的情况而研究的。但在自然条件下，常见多种病害同时存在于单片叶子的情况，还存在病害与虫害相互重叠现象，使植物病害检测和识别成为一项复杂的工作。

5.2　展望

深度学习作为新一代人工智能技术有着两方面的优势：一是可随着数据规模的增加不断提升其性能；二是可以从数据中直接提取特征，削减对每一个问题设计特征提取器的工作量。因此，作为大数据时代的算法利器，深度学习技术受到各个国家的高度重视，关于卷积神经网络的研究有很多。

基于深度学习的植物病害的检测和识别技术目前已经发展的较为成熟，但在自然条件下依旧面临着很多的挑战。总体而言，难点主要集中于背景和病害本身特性的复杂上，为了克服这些难点，需要性能更好的神经网络和更丰富的数据集。在未来，深度神经网络的性能将不断提升，深度神经网络节点功能不断丰富，深度神经网络工程化应用技术不断深化。数据集也将从单一可控背景下拍摄收集转换为自然条件复杂背景下采集。另外，在数据模态方面，也将从单一模态的视觉通道向拥有近红外光谱、高光谱、红外热图像、深度、荧光等多模态数据转变，病害识别的准确率进一步提升，同时可以利用多模信息开展早期植物病害的判别。随着深度学习技术的快速发展，如何将最新深度学习技术与植物病害检测和识别相结合，解决检测器定位能力差、识别模型精度低、算法泛化性能弱以及构建大规模数据集合难等方面的问题，形成可面向复杂自然条件、多种植物病害、应用于实际大田作业的模型算法，提升田间病害的智能监测水平，创制出适用于田间作业的智能植保机械装备，是该领域未来主要的研究方向。

同时对植物病害的检测和识别并不是一个简单的工作，不能仅靠植物表面图像来获得可靠的结果。并且，在实际应用场景中，植物叶片上时常有多种病害共存，这将对检测和识别产生很大的干扰，未来植物病害检测和识别应该更好地与农业理论基础相结合，在对图像分析的基础上，还要考虑环境因素、作物生长规律以及病菌的生物学特性等多种因素，进一步提高病害识别和检测结果的实用性，同时让多种病害同时检测和识别成为可能。

=2" class="main_content_center_left_zhengwen_bao_erji_title main_content_center_left_one_title" style="font-size: 16px;">{{custom_sec.title}}{{custom_sec.content}}