控制与决策  2020, Vol. 35 Issue (9): 2175-2181  
0

引用本文 [复制中英文]

韩敏, 姜涛, 冯守渤. 基于VMD循环随机跳跃状态网络的时间序列长期预测[J]. 控制与决策, 2020, 35(9): 2175-2181.
[复制中文]
HAN Min, JIANG Tao, FENG Shou-bo. Long-term prediction of time series based on VMD cyclic reservoir with random jumps network[J]. Control and Decision, 2020, 35(9): 2175-2181. DOI: 10.13195/j.kzyjc.2019.0060.
[复制英文]

基金项目

国家自然科学基金项目(61773087);中央高校科研基金项目(DUT18RC(6)005, DUT2018TB06)

作者简介

韩敏(1959-), 女, 教授, 博士生导师, 从事复杂工业系统建模与控制、智能技术及优化算法等研究, E-mail: minhan@dlut.edu.cn;
姜涛(1993-), 男, 硕士生, 从事数据提取与时间序列预测的研究, E-mail: jingtaoedl1@mail.dlut.edu.cn;
冯守渤(1994-), 男, 博士生, 从事神经网络与时间序列预测的研究, E-mail: fsb@mail.dlut.edu.cn

通讯作者

韩敏, E-mail: minhan@dlut.edu.cn

文章历史

收稿日期:2019-01-11
修回日期:2019-05-17
基于VMD循环随机跳跃状态网络的时间序列长期预测
韩敏 , 姜涛 , 冯守渤     
大连理工大学 电子信息与电气工程学部,辽宁 大连 116023
摘要:由于混沌系统的演化规律复杂, 直接对混沌时间序列进行长期预测通常难以达到较好的效果.针对此问题, 利用变分模态分解方法将混沌时间序列转化为一系列特征子序列, 利用排列熵评估选取子序列个数的合理性, 保证特征子序列包含了原序列长期演化趋势.此外, 提出一种改进的确定性循环跳跃状态网络作为子序列的预测模型, 该网络模型中的储备池采用单向环状连接和双向随机跳跃的拓扑结构, 能够避免储备池确定连接结构造成的预测精度较低和随机连接造成网络的不稳定性问题.通过所提出模型对时间序列进行长期预测, 采用多种评估手段对预测结果进行分析, 表明所提出模型对于长期预测具有较大的优势.
关键词混沌    时间序列预测    回声状态网络    变分模态分解    多尺度不变距离    预测    
Long-term prediction of time series based on VMD cyclic reservoir with random jumps network
HAN Min , JIANG Tao , FENG Shou-bo     
Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology, Dalian 116023, China
Abstract: Due to the complex evolution of chaotic systems, direct long-term prediction of chaotic time series is often difficult to achieve well performance. Considering this problem, the chaotic time series is transformed into a series of feature subsequences using the variational mode decomposition method. The rationality of selecting the number of subsequences is evaluated by the permutation entropy to ensure that the feature subsequences contain the long-term evolution trend of the original sequences. The modified cycle reservoir with regular jumps network is used as a predictive model for subsequences. The reservoir nodes of the modified model are connected in a uni-directional cycle with bi-directional shortcuts. This improvement avoids the problems of low prediction accuracy caused by deterministic connection structure and network instability caused by random connections in reservoir. Finally, this paper uses the proposed model to predict the time series in a long-term, and uses a variety of evaluation methods to analyze the prediction results, which show that the proposed model has a great advantage in long-term prediction.
Keywords: chaotic    time series prediction    echo state network    variational mode decomposition    multiscale complexity invariant distance    prediction    
0 引言

混沌时间序列普遍存在于气象、水文、金融等众多领域, 对混沌时间序列的预测具有现实重要意义, 但往往因为其非平稳和非线性的特点难以满足预测精度需求.神经网络作为一种具有数据自适应学习和回归预测能力的计算模型, 在处理非线性、非平稳的时间序列中表现出强大的优势, 受到学者们的青睐.一些学者采用多层感知器[1]、回声状态网络[2-3]、宽度学习[4]等神经网络模型对时间序列进行了预测分析.

神经网络建模是预测分析混沌时间序列演化规律的常用手段, 但由于时间序列演化规律较为复杂, 仅仅通过神经网络模型不能达到较好的预测效果.因此, 一些学者先对数据进行处理再通过神经网络模型进行预测. Han等[5]提出一种非均匀状态空间重构方法对实际的多变量混沌时间序列进行特征分析处理.陈海燕等[6]总结了多维时间序列相似性度量方法, 表明相关性分析对时间序列挖掘精度有着显著性提高.此外, 一些学者将信号分解方法应用于神经网络数据处理过程中. Bai等[7]采用一种平稳小波变换方法将空气污染物浓度时间序列分解成不同尺度的子序列, 通过反向传播神经网络对其进行预测. Huang等[8]提出的经验模态分解方法(empirical mode decomposition, EMD), 可作为处理非线性、非平稳问题的一种手段, 能够降低原始信号的复杂性. Qiu等[9]利用EMD对电力负载序列进行分解得到一系列固有模态函数, 再通过深度信念网络对固有模态函数进行预测. Wu等[10]选用集合经验模态分解(ensemble empirical mode decomposition, EEMD)将风速时间序列分解成一系列不同频率的子序列, 通过最小二乘支持向量机对主要分量进行预测, 结果表明所提出方法优于单一模型和其他混合模型. Ren等[11]讨论了集合经验模态分解、互补集合经验模态分解、具有自适应噪声完整的集合经验模态分解方法, 证明了所提出具有自适应噪声完整的集合经验模态分解方法优于其他对比方法.针对EMD分解的弊端, Dragomiretskiy等[12]提出了一种变分模态分解方法(variational mode decomposition, VMD).该方法具有优异的去噪能力和较强的分离相似频率的能力, 被证实是EMD技术的更好的替代方案. Wang等[13]通过变分模态分解方法对原油价格序列进行分解, 并对子序列分别建立模型预测, 结果表明经过变分模态分解预处理后进行建模预测具有更高的预测精度.尹进田等[14]利用变分模态分解对电机转子初期断条故障信号进行分解, 利用重构的子序列进行建模分析, 结果表明该方法处理细微信号具有较强的优势.

回声状态网络(echo state network, ESN)是一种递归神经网络, 由Jaeger[15]于2001年提出. ESN的储备池神经元间的稀疏连接为输出提供了丰富的时间序列信息.通过储备池的神经元进行组合, 可以拟合任何所需输入信号.但网络储备池中随机生成的权值矩阵也存在着一定弊端, 文献[16]将ESN储备池改进成对角连接结构, 并将复合函数用作储备池节点的激活函数, 结果表明改进后的网络相比ESN具有更好的预测效果. Rodan等[17]提出了确定性跳跃循环状态网络(cycle reservoir with regular jumps, CRJ), CRJ网络储备池神经元通过确定的稀疏连接, 避免了储备池中随机生成权值矩阵对网络造成的不确定性. CRJ网络模型有较高的预测能力和故障识别能力[18-19].

本文利用变分模态分解方法对原始的混沌时间序列进行特征分解处理, 将原始的复杂时间序列转化成一系列低复杂度的特征分量; 利用排列熵值对原序列和子序列进行复杂度估计, 判别选取子序列个数的合理性; 提出循环随机跳跃状态网络模型(cyclic reservoir with random jumps, CRRJ), 该网络模型能够保证储备层具有相应的稀疏性和规则性, 有助于对特征子序列的信息进行提取.利用CRRJ网络模型对上述特征子序列进行预测, 并对Lorenz时间序列和北京PM2.5时间序列进行预测, 结果表明所提出模型对于中长期预测具有较高的预测精度.

1 相关工作 1.1 变分模态分解

变分模态分解构造方法与经验模态分解方法有着本质的区别.由于经验模态分解存在模态混叠和端点效应问题, 从而导致序列分解结果的不准确.变分模态分解采用一种非递归的形式将原序列分解成一系列本征模态函数, 具有更好的去噪效果, 避免了频谱混叠现象, 能够准确区分相似频率的序列[12].变分模态分解理论将本征模态函数重新定义为

(1)

其中: Ak(t)和φk(t)分别为瞬时幅值和瞬时相位, φk(t)为非减函数, ωk =dφk(t)/dt≥0为瞬时角频率.设原信号f(t)由有限个不同的中心频率和有限带宽的本征模态分量uk(t)组成.对每一个模态函数uk(t)通过希尔伯特方法进行求解得到单边频谱

(2)

其中δ(t)为单位脉冲函数.通过混合预估中心频率e-jωkt将每一个频谱调到对应基频带

(3)

其中: e-jωkt为中心频率在复平面上的描述, ωk为中心频率.计算上述信号梯度的L2范数, 此时受约束问题表示为

(4)

其中: U = { u1(t), …, uk(t), …, uK(t)}为模态函数集, W = { ω1, …, ωk, …, ωK}为各中心频率集; t为对函数求时间t的偏导数.为了求解上述约束问题, 应用二次惩罚项和拉格朗日乘子λ将问题转化为非约束问题进行求解, 有

(5)

采用交替方向乘子法求式(5)的最优解.为了不断更新ukωk, 将式(5)问题转化为如下求极小值问题:

(6)

模态uk和频域中心频率ωk的最优解为

(7)

其中分别为各变量的傅立叶变换.新的中心频率ωk表示为

(8)
1.2 确定性跳跃循环状态网络

确定性跳跃循环状态网络(CRJ)是一种递归神经网络, 由3层结构组成, 分别为输入层、输出层和隐藏层(储备池).输入层和隐藏层采用确定的权值矩阵, 输出层权值通过训练学习得到.隐藏层具有储备记忆功能, 能够对上一时刻状态的信息进行有效保留.储备池的组成结构与ESN不同, ESN神经网络结构的储备池采用随机稀疏连接结构, 这种随机连接结构容易造成网络预测的不确定性.此外, 随机稀疏连接结构容易造成储备池中神经元连接的冗余, 对模型的训练造成负担.

CRJ网络模型如图 1所示.网络储备池神经元采用一种确定的连接结构, 该连接结构由固定权重的单向循环结构和常规的双向快捷连接方式组成, 这些快捷方式源自于少数高聚类系数节点, 这种改变能够带来潜在的性能改进.传统的随机生成储备池无法获得此效果.另一方面, 与传统的储备池随机稀疏连接结构相比, 确定性构建的储藏层可能需要更少的不同任务神经元来获得相同的显著性效果[16].

图 1 CRJ网络模型
2 VMD-CRRJ模型

本文为解决中长期时间序列预测问题, 采用VMD-CRRJ模型对混沌时间序列预测分析, 流程图如图 2所示.变分模态分解在选取不同模态个数时会对预测结果产生较大影响.当选取模态个数较少时, 不能将原序列有效信息分解出来, 导致预测模型难以有效提取序列长期演化趋势, 从而降低预测精度.当选取子序列个数较多时, 会造成信息冗余, 使网络模型训练负担加重.对此本文利用排列熵作为选取模态个数的评估方法, 排列熵值越大代表时间序列特征信息越复杂.通过选取适当的模态个数保证子序列排列熵值小于原序列排列熵值, 将原序列有效特征信息分解出来.

图 2 VMD-CRRJ模型流程

本文提出CRRJ网络作为上述特征子序列的预测模型.由于CRJ网络模型储备池神经元采用确定的连接结构, 在长期预测过程中, 这种确定的连接结构存在着一定的弊端, 储藏层中确定的双向跳跃连接结构未能充分考虑时间序列中的随机因素. CRRJ改进这种拓扑结构, 其储备池采用规则的单向循环和随机的双向随机快捷连接方式, 储备池模型如图 3所示.这种拓扑结构避免了储藏层随机连接结构造成预测结果的不确定性和确定连接结构缺乏泛化能力的缺点.此外, 改进的随机双向的快捷连接方式有助于高聚类系数节点快速提取前一时刻特征, 增强了网络的快速学习能力.

图 3 CRRJ网络储备池模型

将分解后的特征子序列作为CRRJ网络模型的特征输入, CRRJ网络储备池更新方程为

(9)

其中: α为遗漏率; x(t)、u(t)、y(t)分别为t时刻模型的输入变量、状态变量和输出变量; WinRM × NWxRM × MWbackRM × N分别为输入连接权值矩阵、内部连接权值矩阵和反馈权值矩阵, 本文Wback设置为零矩阵.系统的输出方程为

(10)

其中WoutRM为输出连接矩阵, 是唯一需要训练的权值矩阵.令X=(u(t), x(t)), 对于式(10)的输出权值Wout求解, 当储备池输出矩阵X存在线性相关的向量时, 网络的输出权值存在较大值, 容易产生病态解, 影响系统的稳定性.为了解决此问题, 采用L2范数正则化方法, 将L2范数惩罚项引入式(10)中, 模型公式如下:

(11)

在求解式(11)最小值的过程中, 由于是严格的凸优化问题, 可直接对其进行求导, 得到输出权值为

(12)
3 实验与分析

为证明本文所提出VMD-CRRJ模型的有效性, 对Lorenz混沌时间序列和北京PM2.5气象数据进行仿真实验.将预测结果与回声状态网络、确定性循环跳跃状态网络(CRJ)和变分模态分解的CRJ网络(VMD-CRJ)进行对比, 通过均方根误差(root mean square error, RMSE)、归一化均方根误差(normalized root mean square error, NRMSE)、平均绝对值误差(mean absolute error, MAE)和对称平均绝对百分比误差(symmetric mean absolute percentage error, SMAPE)四种指标评价预测结果.

3.1 Lorenz混沌时间序列预测

Lorenz系统的动力学方程为

(13)

式(13)中, 选取初始值为[x(0), y(0), z(0)]=[12, 2, 9], 当参数为δ=10, γ=28, β=8/3时, 系统具有混沌性质.利用上述方程生成22 000组时间序列, 采用Lorenz-x的前20 000个数据作为训练数据, 后2 000个数据作为测试数据.为了验证所提出CRRJ网络模型具有更好的预测能力, 将CRJ网络与CRRJ网络参数设置相同, 对CRRJ模型预测结果进行100次重复实验, 并将预测结果取平均值.通过改变储备池神经元个数进行对比实验, 结果如表 1所示.由表 1可见, 改进模型具有更高的预测精度.

表 1 改进模型Lorenz-x时间序列预测结果比较

利用变分模态分解将Lorenz-x时间序列分解为5个特征子序列, 利用排列熵值对Lorenz-x时间序列和子序列进行复杂度分析, 结果表明特征子序列具有更低的排列熵值, 表明选取特征子序列个数合理.将特征子序列作为输入特征, 通过CRRJ网络进行预测, 预测曲线和误差曲线如图 4所示. 图 4中:实线为测试期望值, 虚线为测试实际值.为了展示预测效果, 截取前1 000组数据进行展示.由图 4可见, 预测曲线对实际曲线拟合程度较好.与其他方法进行对比, 结果如表 2所示.由表 2可见, 所提出模型在训练集和测试集均有较高的精度, 训练误差和测试误差相差较小, 没有出现过拟合现象.

图 4 Lorenz-x单步预测结果
表 2 Lorenz-x单步训练和测试误差比较
3.2 北京PM2.5时间序列预测

为了进一步表明所提出模型的有效性, 选取北京2010年~ 2014年的气象数据集, 对数据集中PM2.5时间序列进行预测.数据中存在缺失值, 通过插值法对数据进行修补, 此外数据集中存在噪声, 需要对其进行去噪处理, 减少噪声对预测结果的影响.选取该数据前20 000个数据作为训练数据, 后2 000个数据作为测试数据.通过变分模态对北京PM2.5数据进行特征分解, 选取模态个数为5.通过排列熵对分解后的特征子序列和原序列进行复杂度估计, 得到排列熵值如表 3所示, 其中IMF0为原始序列的排列熵值.由表 3可见, IMF1 ~ IMF4的排列熵值均小于原序列的排列熵值. IMF5的样本熵值比原序列的排列熵值大, 由于IMF5的幅值较低, 对整个预测结果影响较小.上述分析表明, 选取的模态个数合理, 变分模态分解能够将复杂特征的时间序列转变成复杂度较低的特征子序列.

表 3 北京PM2.5序列和子序列排列熵值

通过所提出方法对北京PM2.5时间序列进行单步预测, 预测曲线与误差曲线如图 5所示. 图 5中:实线为测试期望值, 虚线为测试实际值.由图 5可见, 预测曲线能够很好地跟踪实际曲线, 预测误差范围基本在[-5, 5]内.与其他方法进行对比得到预测指标如表 4所示.由表 4可见, 所提出混合模型具有更低的预测误差, 通过对比训练误差和测试误差, 两者差距较小, 没有出现过拟合现象.

图 5 北京PM2.5一步预测结果
表 4 北京PM2.5单步训练和测试误差比较

为了验证所提出模型在中长期的预测中具有较好的效果, 利用该模型对北京PM2.5的时间序列进行五步预测, 得到预测曲线和误差曲线如图 6所示. 图 6中:实线为测试期望值, 虚线为测试实际值.由图 6可见, 预测曲线可以较好地拟合实际曲线.误差曲线的范围除个别点外基本保持在[-10, 10]范围内.与其他模型预测结果对比得到预测指标如表 5所示.由表 5可见, 所提出模型在中长期预测过程中仍表现出较高预测精度.

图 6 北京PM2.5五步预测结果
表 5 北京PM2.5五步测试误差比较

对该数据进行十步预测, 得到预测曲线和误差曲线如图 7所示. 图 7中:实线为测试期望值, 虚线为测试实际值.由图 7可见, 所提出模型误差范围基本在[-20, 20]范围内. 表 6中预测指标表明所提出模型比其他算法模型具有更高的预测精度.可以得出所提出模型在长期预测过程中具有较大的优势.

图 7 北京PM2.5十步预测结果
表 6 北京PM2.5十步测试误差比较
3.3 多尺度复杂度不变距离

为了进一步评估所提出方法的有效性, 采用多尺度复杂度不变距离进行评估.复杂度不变距离由Batista等[20]提出, 用于评估两个时间序列之间的相互关联程度, 相关联程度越高对应的值越小.复杂不变性考虑使用两个时间序列之间复杂性差异的信息作为欧几里德距离的校正因子, 但是实际系统的复杂性并不局限于唯一的尺度, 因此本文使用多尺度复杂度不变距离对两个时间序列进行分析.

假设一维时间序列X={x(1), …, x(i), …, x(n)}, 将其构造成粗粒度时间序列为

(14)

其中τ为所对应的步长尺度.当τ=1时, y1等于原序列, 将预测序列和实际序列进行粗粒化处理, 转换成以τ为变量的两个时间序列, 将预测序列和实际序列分别用PQ表示, 长度nN/τ的商.根据复杂度不变性定理, 有

(15)

其中欧几里德距离为

(16)

复杂性修复因子CF为

(17)

其中CE(T)为时间序列T的复杂度估计, 有

(18)

通过采用多尺度复杂度不变距离对ESN、CRJ、VMD-CRJ、VMD-CRRJ的预测结果进行评估, 取值范围[1, 40].由图 8可见, 所提出方法在十步预测中具有更低的复杂度不变距离, 表明所提出混合模型在中长期预测中具有更好的效果.

图 8 十步预测多尺度复杂度不变距离
4 结论

本文通过一种混合模型对混沌时间序列进行中长期预测, 该混合模型利用变分模态分解对复杂的时间序列进行特征分解, 将原序列特征转变成低复杂度特征子序列.此外, 采用排列熵对选取子序列个数进行合理性分析, 将CRRJ网络作为特征子序列预测模型.通过对Lorenz时间序列和北京PM2.5气象数据进行单步预测, 表明所提出模型具有更好的预测效果, 进一步对北京PM2.5气象数据进行五步和十步预测, 结果表明在中长期预测中仍具有较好的预测效果.

参考文献
[1]
Morshedizadeh M, Kordestani M, Carriveau R, et al. Power production prediction of wind turbines using a fusion of MLP and ANFIS networks[J]. IET Renewable Power Generation, 2018, 12(9): 1025-1033. DOI:10.1049/iet-rpg.2017.0736
[2]
Wang H, Yan X. Improved simple deterministically constructed cycle reservoir network with sensitive iterative pruning algorithm[J]. Neurocomputing, 2014, 145: 353-362. DOI:10.1016/j.neucom.2014.05.024
[3]
Li D, Han M, Wang J. Chaotic time series prediction based on a novel robust echo state network[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(5): 787-799. DOI:10.1109/TNNLS.2012.2188414
[4]
Han M, Feng S, Chen C L P, et al. Structured manifold broad learning system: A manifold perspective for large-scale chaotic time series analysis and prediction[J]. IEEE Transactions on Knowledge and Data Engineering, 2018, 31(9): 1809-1821.
[5]
Han M, Ren W, Xu M, et al. Nonuniform state space reconstruction for multivariate chaotic time series[J]. IEEE Transactions on Cybernetics, 2018, 49(5): 1885-1895.
[6]
陈海燕, 刘晨晖, 孙博. 时间序列数据挖掘的相似性度量综述[J]. 控制与决策, 2017, 32(1): 1-11.
(Chen H Y, Liu C H, Sun B. A review of similarity measures in time series data mining[J]. Control and Decision, 2017, 32(1): 1-11.)
[7]
Bai Y, Li Y, Wang X, et al. Air pollutants concentrations forecasting using back propagation neural network based on wavelet decomposition with meteorological conditions[J]. Atmospheric Pollution Research, 2016, 7(3): 557-566.
[8]
Huang N E, Shen Z, Long S R, et al. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J]. Proceedings of the Royal Society of London, Series A: Mathematical, Physical and Engineering Sciences, 1998, 454(1971): 903-995. DOI:10.1098/rspa.1998.0193
[9]
Qiu X, Ren Y, Suganthan P N, et al. Empirical mode decomposition based ensemble deep learning for load demand time series forecasting[J]. Applied Soft Computing, 2017, 54(C): 246-255.
[10]
Wu Q, Peng C. Wind power generation forecasting using least squares support vector machine combined with ensemble empirical mode decomposition, principal component analysis and a bat algorithm[J]. Energies, 2016, 9(4): 261-279. DOI:10.3390/en9040261
[11]
Ren Y, Suganthan P N, Srikanth N. A comparative study of empirical mode decomposition-based short-term wind speed forecasting methods[J]. IEEE Transactions on Sustainable Energy, 2014, 6(1): 236-244.
[12]
Dragomiretskiy K, Zosso D. Variational mode decomposition[J]. IEEE Transactions on Signal Processing, 2014, 62(3): 531-544.
[13]
Wang J, Li X, Hong T, et al. A semi-heterogeneous approach to combining crude oil price forecasts[J]. Information Sciences, 2018(460/461): 279-292.
[14]
尹进田, 谢永芳, 阳春华. 基于RVMD的牵引电机转子初期断条故障监测[J]. 控制与决策, 2018, 33(3): 497-502.
(Yin J T, Xie Y F, Yang C H. Fault detection of initial broken bars of traction motor rotor based on RVMD[J]. Control and Decision, 2018, 33(3): 497-502.)
[15]
Jaeger H. The"echo state"approach to analysing and training recurrent neural networks-with an erratum note[R]. Bonn: German National Research Center for Information Technology GMD, 2001.
[16]
Xu M, Han M, Wang J, Multivariate chaotic time series prediction using a wavelet diagonal echo state network[C]. The 2nd International Conference on Mathematics and Computers in Sciences and in Industry (MCSI). Sliema: TEEE, 2015: 86-92.
[17]
Rodan A, Tiňo P. Simple deterministically constructed cycle reservoirs with regular jumps[J]. Neural Computation, 2012, 24(7): 1822-1852. DOI:10.1162/NECO_a_00297
[18]
Sheta A, Faris H, Rodan A, et al. Cycle reservoir with regular jumps for forecasting ozone concentrations: Two real cases from the east of croatia[J]. Air Quality Atmosphere & Health, 2018, 11(5): 559-569.
[19]
Chen H, Tino P, Rodan A, et al. Learning in the model space for cognitive fault diagnosis[J]. IEEE Transactions on Neural Networks & Learning Systems, 2013, 25(1): 124-136.
[20]
Batista G E, Keogh E J, Taw O M, et al. CID: An efficient complexity-invariant distance for time series[J]. Data Mining and Knowledge Discovery, 2014, 28(3): 634-669.