订阅专栏后私信(留下联系方式)获取完整源码+远程部署
在本研究中，我们提出了一种使用 Lambda 架构进行棉花开花检测的大数据管道，该管道能够实 现数据的实时和批量处理。我们提出的方法利用 Azure 资源，例如数据工厂、事件网格、Rest API 和 Databricks。这项工作首次开发并演示了通过 Azure 云计算服务进行植物表型分析的管道的实 施。建议的管道包括数据预处理、使用通过 Azure AutoML 训练的 YOLOv5 神经网络模型进行对 象检测，以及输出图像上对象检测边界框的可视化。训练后的模型的平均精度 (mAP) 得分为 0.96，证明了其在棉花分类方面的高性能。我们使用 9,000 张图像评估 Lambda 架构管道，优化 运行时间为 34 分钟。结果说明了所提议的管道作为深度学习对象检测解决方案的可扩展性，并有 可能通过额外的 Azure 处理核心进一步扩展。这项工作通过提供一种在大型数据集上进行棉花开 花检测的新方法，推动了科学研究领域的发展，并展示了利用云计算资源(特别是 Azure)在精准 农业中高效、准确地进行大数据处理的潜力。
目录
简介
拉姆达架构
云计算
Azure 数据工厂
相关工作
论文贡献和组织摘要
数据集
棉花研究农场
棉田数据采集
数据集创建
Lambda架构管线开发
速度层
⻝入
批处理层
Azure 数据工厂连接
预处理/分析
Databricks 与数据湖的连接
输出
离线YOLOv5模型训练
数据标签
模型超参数和训练
