基于PaddleTS的土壤湿度预测
1.项目简介
属于机器学习范畴，根据多特征数据集（包含土壤不同深度的湿度逐年变化、降水天数逐年变化、土壤降雨量逐年变化等因素）搭建合适的网络模型对未来几年10cm土壤湿度进行预测。
本项目使用paddlets构建集成学习模型对10cm土壤湿度进行回归预测，主要包括数据处理、数据预处理、模型构建、模型训练、模型预测、可视化结果等过程。
PaddleTS是一个易用的深度时序建模的Python库，它基于飞桨深度学习框架PaddlePaddle，专注业界领先的深度模型，旨在为领域专家和行业用户提供可扩展的时序建模能力和便捷易用的用户体验。PaddleTS的主要特性包括：
设计统一数据结构，实现对多样化时序数据的表达，支持单目标与多目标变量，支持多类型协变量
封装基础模型功能，如数据加载、回调设置、损失函数、训练过程控制等公共方法，帮助开发者在新模型开发过程中专注于网络结构本身
内置业界领先的深度学习模型，例如NBEATS、NHiTS、LSTNet、TCN、Transformer 等
内置经典数据转换算子，支持数据处理与转换，包括缺失值填充、异常值处理、归一化、时间相关的协变量提取等
内置时序数据分析算子，帮助开发者便捷实现数据探索，包括数据统计量信息及数据摘要等功能
支持自动超参寻优，自动、高效满足效果调优需求
在本项目中，我们就通过一个典型示例，介绍如何在实际场景应用PaddleTS。
请点击此处查看本环境基本用法.
Please click here for more detailed instructions.
2 .数据集介绍
数据集统计了某草原从2012年1月-2022年3月的土壤数据，包括10cm湿度(kg/m2)，40cm湿度(kg/m2)，100cm湿度(kg/m2) ，土壤蒸发量(W/m2)，降水天数字段等等。需要对数据集按照时间顺序进行排序处理方可进行时间序列预测。
经过初步分析随着时间变化，土壤湿度同样呈现规律性变化
数据集中的样本是乱序的，需要自己按照时间顺序进行排序处理
数据集所包含字段以及该字段的数据类型如下所示：
筛选合适的字段进行预测即可
重点需要根据10cm湿度进行预测
2.1数据的读取
import pandas as pd df=pd.read_excel(r"/home/aistudio/data/data179898/soil_humidity.xlsx") 12
3.数据处理
df.head() 1 10cm湿度(kg/m2)40cm湿度(kg/m2)100cm湿度(kg/m2)200cm湿度(kg/m2)datetime土壤蒸发量(W/m2)土壤蒸发量(mm)monthyear经度(lon)纬度(lat)植被指数(NDVI)降水量(mm)最大单日降水量(mm)降水天数315.1750.4082.44165.922022-03-311.0501.1342022115.37544.1250.1914.572.546214.9652.1393.44164.482022-02-280.6650.7032022115.37544.1250.187115.5750.049112.1052.1493.45164.482022-01-310.2800.2722022115.37544.1250.010796.0470.1021012.4552.1493.45164.482021-12-310.4100.4412022115.37544.1250.010607.3139.88291512.2133.8547.07166.702021-11-300.3300.36122021115.37544.1250.0264.062.793
需要把一些object或者是字符、整型等某列进行转换为pandas可识别的datetime时间类型数据，方便时间的运算等操作。
pandas.to_datetime函数可以将一个标量，数组，Series或者是DataFrame/字典类型的数据转换为pandas中datetime类型的时间类型数据。
df['day']=1 df['datetime']=pd.to_datetime(df[['year', 'month','day']]) del df['day'] 1234
观察数据发现2012-12-1的数据缺失，不能构成时间序列
将2012-11-1的数据复制到12月，并按照时间早晚的方式排序，方便后续进行处理预测等
df=df.append(df.iloc[122],ignore_index=True) df.iloc[123,4]='2012-12-1' df['datetime']=pd.to_datetime(df['datetime']) df['datetime'] = df['datetime'] - datetime.timedelta(1) df = df.sort_values(by='datetime', ascending=False) 12345
相关性分析
from pylab import mpl from matplotlib.font_manager import FontProperties myfont=FontProperties(fname=r'/usr/share/fonts/fangzheng/FZSYJW.TTF',size=12) sns.set(font=myfont.get_name()) corr = df.corr() # 调用热力图绘制相关性关系 plt.figure(figsize=(10,10),dpi=100) sns.heatmap(corr, square=True, linewidths=0.1, annot=True) 12345678
<AxesSubplot:> 1
观察数据的分布情况
ax = plt.figure(figsize=(24,35)) for i in range(len(df.columns[:-1])): ax.add_subplot(5,5,i+1) sns.kdeplot(df.iloc[:,i],shade=True) plt.title(df.columns[i]) plt.tight_layout(); 1234567
画图个特征的折线图，查看其时序期况
observed_cov_cols=[ '40cm湿度(kg/m2)', '100cm湿度(kg/m2)', '200cm湿度(kg/m2)', '土壤蒸发量(W/m2)', '土壤蒸发量(mm)', 'month', '经度(lon)', '纬度(lat)', '植被指数(NDVI)', '降水量(mm)', '最大单日降水量(mm)', '降水天数'] ax = plt.figure(figsize=(24,35)) for i in range(len(observed_cov_cols)): ax.add_subplot(5,5,i+1) df[observed_cov_cols[i]].plot() plt.title(i) .plot() plt.title(i) plt.tight_layout();
1234567891011121314151617181920212223
4.数据集的构建
TSDataset 是 PaddleTS 中最主要的类之一，其被设计用来表示绝大多数时序样本数据。通常，时序数据可以分为以下几种：
单变量数据，只包含单列的预测目标，同时可以包涵单列或者多列协变量
多变量数据，包涵多列预测目标，同时可以包涵单列或者多列协变量
TSDataset 需要包含time_index属性，time_index支持 pandas.DatetimeIndex 和 pandas.RangeIndex 两种类型。
from paddlets.datasets import TSDataset # 构建数据集 dataset = TSDataset.load_from_dataframe( df, # pd.DataFrame time_col="datetime", # 索引 observed_cov_cols=[ '40cm湿度(kg/m2)', '100cm湿度(kg/m2)', '200cm湿度(kg/m2)', '土壤蒸发量(W/m2)', '土壤蒸发量(mm)', 'month', '经度(lon)', '纬度(lat)', '植被指数(NDVI)', '降水量(mm)', '最大单日降水量(mm)', '降水天数'], target_cols='10cm湿度(kg/m2)', # 需要预测的结果 freq='M' ) # 数据统计与展示 dataset.plot() dataset.summary()
123456789101112131415161718192021222324252627 10cm湿度(kg/m2)40cm湿度(kg/m2)100cm湿度(kg/m2)200cm湿度(kg/m2)土壤蒸发量(W/m2)土壤蒸发量(mm)month经度(lon)纬度(lat)植被指数(NDVI)降水量(mm)最大单日降水量(mm)降水天数missing0.0000000.0000000.0000000.000000.0000000.0000000.0000000.0000.0000.0000000.0000000.0000000.000000count124.000000124.000000124.000000124.00000124.000000124.000000124.000000124.000124.000124.000000124.000000124.000000124.000000mean14.61229842.33451655.348387167.227509.1428639.5949606.362903115.37544.1250.23931565.21883117.3600819.709677std2.8491567.41771214.4771040.977819.1339719.5304543.4765990.0000.0000.146182115.03461219.7186465.479858min9.64000029.71000042.360000164.480000.2800000.2700001.000000115.37544.125-0.0170000.0000000.0000000.00000025%12.46500035.22750044.732500166.797501.1225001.1975003.000000115.37544.1250.1760006.1000003.8100006.00000050%14.39500042.71000048.605000167.370006.2600006.6900006.000000115.37544.1250.20500029.97500010.2250009.00000075%16.73500046.76000060.815000167.8900014.73500015.7837509.000000115.37544.1250.32500063.81750021.02000013.000000max22.10000061.70000093.450000168.5600037.17000039.26000012.000000115.37544.1250.605000796.04000089.92000029.000000
划分数据集
按照0.8：0.2的比例划分训练集与测试集数据
并对划分后的数据集进行可视化
# 划分训练集和验证集 train_dataset, val_test_dataset = dataset.split(0.8) # 8:2 val_dataset, test_dataset = val_test_dataset.split(0.5) # train_dataset.plot(add_data=[val_dataset,test_dataset], labels=['Val', 'Test']) # transform from paddlets.transform import StandardScaler from paddlets.transform import MinMaxScaler #scaler = MinMaxScaler() scaler = StandardScaler()#数据归一化 scaler.fit(train_dataset) ts_train_scaled = scaler.transform(train_dataset) ts_val_scaled = scaler.transform(val_dataset) ts_test_scaled = scaler.transform(test_dataset) ts_val_test_scaled = scaler.transform(val_test_dataset) ts_train_scaled.plot(add_data=[ts_val_scaled,ts_test_scaled], labels=['val_sacled', 'test_scaled'])
1234567891011121314151617<AxesSubplot:xlabel='datetime'> 1
标准化的接口。 这些在 PaddleBaseModel 中声明的 fit、predict 标准化接口接收、返回统一的 TSDataset 数据集，作为其输入输出，以便将一些数据集处理和样本构建的复杂细节封装起来，简化API的使用，降低学习成本。
PaddleTS 设计了 PaddleBaseModelImpl 类，该类包含一组覆盖整个建模生命周期的通用函数与组件（如 准备样本，初始化模型性能指标, 计算损失等）。这使得用户可以更关注深度网络架构本身，同时也为广大开发者基于PaddleTS构建新的时序模型提供了最大程度的便利。
开箱即用的模型。PaddleTS提供一组预定义的，开箱即用的时序深度学习模型：
paddlets.models.forecasting选取了三个模型
5.集成模型的构建
集成模型是用集成学习的思想去把多个PaddleTS的预测器集合成一个预测器。目前PaddleTS支持两种集成预测器StackingEnsembleForecaster 和 WeightingEnsembleForecaster
步骤包括：
1.准备数据
2.准备模型
3.组装和拟合模型
4.进行回测
5.模型保存与加载
接下来，我们用集成模型来预测10cm土壤湿度。首先是准备集成预测器需要的底层模型，这里我们选择RNN,LSTM和MLP
from paddlets.models.forecasting import MLPRegressor from paddlets.models.forecasting import LSTNetRegressor from paddlets.models.forecasting import RNNBlockRegressor lstm_params = { 'sampling_stride':1, 'eval_metrics':["mse", "mae"], 'batch_size': 32, 'max_epochs': 50, 'patience': 100 } rnn_params = { 'sampling_stride': 1, 'eval_metrics': ["mse", "mae"], 'batch_size': 32, 'max_epochs': 50, 'patience': 100, } mlp_params = { 'sampling_stride': 1, 'eval_metrics': ["mse", "mae"], 'batch_size': 32, 'max_epochs': 50, 'patience': 100, 'use_bn': True, }
1234567891011121314151617181920212223242526指定一个序列的12个连续数据为1个卷积窗，进行集成预测，得出的值需要与该序列的第13个数据进行比较，从而计算损失。
模型训练，这里使用默认参数，没有进行调参，要调参可以参考https://paddlets.readthedocs.io/zh_CN/latest/index.html
集成方式的选择(集成方式有多种）
组装和拟合模型，WeightingEnsembleForecaster 或者 StackingEnsembleForecaster.
这里使用默认集成
#开始模型训练 from paddlets.ensemble import WeightingEnsembleForecaster from sklearn.linear_model import Ridge #get mode list WeightingEnsembleForecaster.get_support_modes() #Supported ensemble modes:['mean', 'min', 'max', 'median'] '''为了保持模型预测的一致性， in_chunk_len, out_chunk_len, skip_chunk_len, 这三个参数已经被提取到集成模型中，在组装模型时统一设定。''' #select mode reg = WeightingEnsembleForecaster( in_chunk_len=12, out_chunk_len=1, skip_chunk_len=0, estimators=[(LSTNetRegressor, lstm_params),(RNNBlockRegressor, rnn_params), (MLPRegressor, mlp_params)], mode = "max") reg.fit(ts_train_scaled, ts_val_scaled)
123456789101112131415166.模型预测
模型回测
from paddlets.utils import backtest from paddlets.metrics import MAE mae, ts_pred = backtest(data=ts_val_test_scaled , model=reg, # start="2022-03-01 00:00:00", # the point after "start" as the first point metric=MAE(), # predict_window=24, # stride=24, return_predicts=True ) print(mae) print(ts_pred) 123456789101112
ts_pred 1
7.预测结果反归一化
因为我们之前将训练集数据进行了归一化处理
在我们使用训练好的模型进行预测时，输出的结果同样为归一化后的结果
要想得到原来的值，需要进行反归一化（逆归一化）处理
true=scaler.inverse_transform(ts_pred) 1
预测结果可视化
我们将原始数据与预测结果放在一张图中进行可视化显示
从而观察预测后的结果
test_dataset.plot(add_data=true) 12
<AxesSubplot:xlabel='datetime'> 1
8.总结
本项目使用PaddleTS中LSTNet模型进行了完整预测流程，训练后的模型达到了较为不错的效果。
由于本数据集样本量有限，今后可以选择在样本更充分的数据集进行实验。
今后可以尝试手搭网络实现LSTM神经网络预测
再一次感谢项目导师张宏理的指导本项目成员来自五邑大学此文章为搬运 [原项目链接](https://aistudio.baidu.com/aistudio/projectdetail/5332241) 123
相关知识
基于支持向量机方法建立土壤湿度预测模型的探讨
基于CPS的温室土壤湿度控制系统的研究与设计
基于控制土壤湿度的智能花卉浇水系统设计
基于R语言的害虫预测算法设计
基于FDR技术的土壤湿度检测装置研究
天地人申请一种基于土壤容重和土壤湿度的菠萝水心病预警方法专利，通过检测土壤容重与湿度预测菠萝水心病发病率，实现提前预警
棉花生长期的适宜土壤湿度
基于长短时记忆网络的棉花病虫害发生预测研究的开题报告
采用土壤湿度传感系统实现灌溉自动化
基于Arduino的土壤湿度检测
网址: 基于PaddleTS的土壤湿度预测 https://m.huajiangbk.com/newsview1183399.html
| 上一篇: 织梦 index.php,织梦后 |
下一篇: 想要养好龙须树？这些注意事项必须 |
