R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告

原文链接：http://tecdat.cn/?p=23485

用于R语言的多层感知器（MLP）和极限学习机（ELM）进行时间序列预测。请注意，由于神经网络无法利用GPU处理，因此大型网络的训练速度往往很慢（点击文末“阅读原文”获取完整代码数据）。

相关视频

与现有神经网络实现的不同之处在于，R可以自动设计具有合理预测性能的网络。这增加了神经网络的鲁棒性，但也有助于减少训练时间。

使用MLP进行预测

使用R软件包，您可以生成外推（单变量）预测，也可以包含解释变量。

单变量预测

最简单的形式，您只需输入要建模的时间序列。

代码语言：javascript复制

fit1 <- MLPfit(Air)
print(fit1)

输出表明结果网络具有5个隐藏节点，对其进行了20次训练，并使用中位数运算组合了不同的预测。自动生成网络集合，其训练从不同的随机初始权重开始。此外，它提供了网络中包含的输入。

可以使用plot() 获得直观的摘要。

代码语言：javascript复制

plot(fit1)

点击标题查阅往期内容

【视频】Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析|数据分享

左右滑动查看更多

灰色的输入节点是自回归，而洋红色的则是确定性输入（在这种情况下为季节性）。如果包括任何其他回归变量，它们将以浅蓝色显示。

该 MLP() 函数接受几个参数来微调生成的网络。该 hd 参数定义了固定数量的隐藏节点。如果是单个数字，则神经元排列在单个隐藏节点中。如果是矢量，则将它们排列成多层。

代码语言：javascript复制

fit( hd = c(10,5))

稍后我们将介绍如何自动选择节点数。根据我的经验（以及来自文献的证据），预测单个时间序列的常规神经网络无法从多个隐藏层中获得更好效果。预测问题通常并不那么复杂！

reps 定义了使用多少次训练重复。如果您想训练一个单一的网络，则可以使用 reps=1，有大量结果证据表明这样效果一般。默认值 reps=20 是训练速度和性能之间的折衷，但是您可以承受的重复次数越多越好。当重新训练网络时，它们不仅有助于模型的性能，而且还有助于结果的稳定性。

lags 允许您选择网络考虑的自回归滞后。如果未提供此参数，则网络使用lag 1到lag m，即序列的季节。

代码语言：javascript复制

 lags=1:24

代码语言：javascript复制

 keep=c(rep(TRUE,12), rep(FALSE,12)))

代码语言：javascript复制

 lags=1:24, sel.lag=FALSE

在第一种情况下，滞后（1,2,4,7,8,9,10,11,12,13,18,21,23,24）被保留。在第二种情况下，保留所有1-12，其余13-24被测试是否保留。

神经网络在建模趋势方面并不出色。因此，在对趋势进行建模之前将其消除是很有用的。这由参数处理 difforder。如果 difforder=0 不执行任何差分。对于 diff=1，执行一阶差分。同样，如果 difforder=12 执行12阶差分。如果时间序列是具有季节性周期12的季节性序列，则这是季节性差异。

您可以同时执行 difforder=c(1,12) 或执行任何其他差分。如果 difforder=NULL 然后代码自动决定。如果存在趋势，则使用一阶差分。该序列还经过季节性测试。如果存在，则使用Canova-Hansen检验来确定这是确定性的还是随机的。如果是后者，则还会添加季节性差分。

确定性季节性可以使用季节性虚拟变量更好地建模。

隐藏的节点数可以使用参数预设。默认情况下，这使用验证样本（时间序列的20％）进行测试，或 type="cv" 使用5倍交叉验证。

代码语言：javascript复制

auto.type="valid",hd.max=8

鉴于训练神经网络非常耗时，因此你可以重用已经指定/经过训练的网络。在以下示例中，我们将重用 fit1 到新的时间序列。

代码语言：javascript复制

fit(x, model=fit1)

保留了的模型参数 fit1。如果您只想使用参数，但要对网络进行训练，则可以使用参数 retrain=TRUE。

观察两个设置之间的样本内MSE的差异。

最后，您可以使用省略号将参数直接传递给用于训练网络的函数 ...。

要生成预测，我们使用函数forecast()，该函数需要训练的网络对象和预测范围 h。

代码语言：javascript复制

print(frc)

代码语言：javascript复制

plot(frc)

预测图以灰色提供了所有集合的预测。

使用回归预测

让我们假设我们要使用确定性趋势来预测时间序列。首先，我们构造输入，然后对序列建模。

代码语言：javascript复制

z <- 1:(length() 24) # 我为预测增加了24个额外的观测值
z <- cbind(z) # 把它转换成一个列数
            # 添加一个滞后0的回归因子，并强制它留在模型中
            difforder=0) # 不要让mlp()来删除随机趋势

输出反映了包含回归变量。这在带有浅蓝色输入的网络图中反映出来。

代码语言：javascript复制

plot(fit4)

为了包括更多的滞后，我们扩展了 xreg.lags：

代码语言：javascript复制

difforder=0,xreg=z,xreg.lags=list(1:12)

观察到网络中未包含任何变量。我们使用 xreg.keep 来强制包含这些变量。

代码语言：javascript复制

difforder=0,xreg=z,xreg.lags=list(1:12),xreg.keep=list(c(rep(TRUE,3),rep(FALSE,9)

显然，神经网络不喜欢确定性趋势！如果我们强制执行，它只会保留它。为此，我将尝试tsutils 包。

代码语言：javascript复制

 zz <- cbind(z, 0)
zz[loc,2] <- 1
fitxreg.lags=list(c(0:6),0),xreg.keep=list(rep(FALSE,7),TRUE)

显然，您可以包含任意数量的回归变量。

为了产生预测，我们使用 forecast() 函数，但现在使用 xreg 输入。方法是从网络训练期间使用的相同观察值开始输入回归变量，并根据需要扩展预测范围。您

代码语言：javascript复制

frc.reg <- forecast(fit5,xreg=zz)

ELM的预测

使用极限学习机（EML）。默认情况下，ELM从一个非常大的隐藏层（100个节点）开始，并根据需要对其进行修剪。

代码语言：javascript复制

print(fit6)

代码语言：javascript复制

plot(fit6)

网络图有一些黑线和一些灰线。后者被修剪。装有20个网络（由参数控制 reps）。每个网络可能具有不同的最终连接。

代码语言：javascript复制

par(mfrow=c(2,2))
for (i in 1:4){plot(fit6,i)}
par(mfrow=c(1,1))

修剪的方式由参数控制。默认选项是使用LASSO回归（类型=“套索LASSO”）。或者，可以使用“ ridge”进行岭回归，使用“ step”进行逐步OLS，使用“ lm”获得OLS解决方案而不进行修剪。

要进行预测，使用forecast() 。

代码语言：javascript复制

forecast(fit6,h=12)

时间层次结构

实现时间层次结构mlp和`elm。`

代码语言：javascript复制

par(mfrow=c(1,2))
plot(thiMLP)
plot(thiELM)
par(mfrow=c(1,1))

这应该使您可以进行神经网络的时间序列预测。

点击文末“阅读原文”

获取全文完整代码数据资料。

本文选自《R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告》。

点击标题查阅往期内容

深度学习实现自编码器Autoencoder神经网络异常检测心电图ECG时间序列

spss modeler用决策树神经网络预测ST的股票

Python中TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化

RNN循环神经网络、LSTM长短期记忆网络实现时间序列长期利率预测

结合新冠疫情COVID-19股票价格预测：ARIMA，KNN和神经网络时间序列分析

深度学习：Keras使用神经网络进行简单文本分类分析新闻组数据

用PyTorch机器学习神经网络分类预测银行客户流失模型

PYTHON用LSTM长短期记忆神经网络的参数优化方法预测时间序列洗发水销售数据

Python用Keras神经网络序列模型回归拟合预测、准确度检查和结果可视化

R语言深度学习卷积神经网络 (CNN)对 CIFAR 图像进行分类：训练与结果评估可视化

深度学习：Keras使用神经网络进行简单文本分类分析新闻组数据

Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析

R语言深度学习Keras循环神经网络(RNN)模型预测多输出变量时间序列

R语言KERAS用RNN、双向RNNS递归神经网络、LSTM分析预测温度时间序列、 IMDB电影评分情感

Python用Keras神经网络序列模型回归拟合预测、准确度检查和结果可视化

Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析

R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告

R语言深度学习：用keras神经网络回归模型预测时间序列数据

Matlab用深度学习长短期记忆（LSTM）神经网络对文本数据进行分类

R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据（MNIST）

MATLAB中用BP神经网络预测人体脂肪百分比数据

Python中用PyTorch机器学习神经网络分类预测银行客户流失模型

R语言实现CNN（卷积神经网络）模型进行回归数据分析

SAS使用鸢尾花(iris)数据集训练人工神经网络(ANN)模型

【视频】R语言实现CNN（卷积神经网络）模型进行回归数据分析

Python使用神经网络进行简单文本分类

R语言用神经网络改进Nelson-Siegel模型拟合收益率曲线分析

R语言基于递归神经网络RNN的温度时间序列预测

R语言神经网络模型预测车辆数量时间序列

R语言中的BP神经网络模型分析学生成绩

matlab使用长短期记忆（LSTM）神经网络对序列数据进行分类

R语言实现拟合神经网络预测和结果可视化

用R语言实现神经网络预测股票实例

使用PYTHON中KERAS的LSTM递归神经网络进行时间序列预测

python用于NLP的seq2seq模型实例:用Keras实现神经网络机器翻译

用于NLP的Python：使用Keras的多标签文本LSTM神经网络分类

神经网络数据分析 elm 模型网络

0 人点赞