多媒体的进展

PDF
多媒体的进展/2020/文章

研究文章|开放获取

体积 2020 |文章的ID 8831893 | https://doi.org/10.1155/2020/8831893

魏小璐,雷彬彬,欧阳红兵,吴秋峰 基于时间模式注意和长短期记忆的股指价格预测”,多媒体的进展 卷。2020 文章的ID8831893 7 页面 2020 https://doi.org/10.1155/2020/8831893

基于时间模式注意和长短期记忆的股指价格预测

学术编辑器:康斯坦丁Kotropoulos
收到了 7 Sep 2020
修改后的 2020年11月18日
接受 2020年11月26日
发表 2020年12月11日

摘要

本研究尝试使用多元时间序列分析来预测股票指数价格。这项研究的动机是基于这样一个概念,即股票指数价格的数据集涉及弱周期模式、长期和短期信息,对于这些信息,传统的方法和当前的神经网络(如自回归模型和支持向量机)可能会失败。本研究应用时间模式注意和长短期记忆(TPA-LSTM)进行预测,以克服这一问题。结果表明,基于TPA-LSTM算法的股票指数价格预测比传统的深度神经网络(如循环神经网络(RNN)、卷积神经网络(CNN)和长短期时间序列网络(LSTNet)具有更好的预测性能。

1.简介

股票指数预测是金融时间序列预测的重要内容之一。然而,股票指数的特点、噪声和非平稳现象,使预测面临挑战[12].“嘈杂”表示投资者缺乏信息来检测过去的股票指数行为。“非平稳”指的是股指在不同时期可能发生剧烈变化的情况。这些特征导致传统计量经济模型(如线性模型、自回归综合移动平均(ARIMA)和向量自回归(VAR))预测的股指预测结果降低[3.- - - - - -5].所有这些方法通常都基于几个假设,比如与真实市场行为相矛盾的独立正态分布变量。

此外,最近的学术文献证明,基于神经网络的时间序列预测已经得到广泛应用。与传统模型不同,深度神经网络有几个明显的优势:非参数、自学习、非假设、抗噪声,以及捕捉传统模型中不常见的非线性相互依赖性的能力[6- - - - - -8].因此,深度神经网络在预测股票指数价格方面通常比传统模型更有效[9].

最近的研究认为,深度神经网络是金融时间序列预测中另一个有前途的工具[1011]因为它能够建模非线性模式,理解复杂的因果关系,并从庞大的历史数据集中学习。在金融时间序列领域,通过深度神经网络进行预测使用了各种方法,如长短期记忆(LSTM) [12]和支持向量机[13].相关研究主要分为三类。在第一类中,研究人员通过一些模板来识别重大事件,如股票市场公告[1415].在第二类中,研究人员在时间序列中寻找固有的结构,并预测未来的模式[1617].在第三类中,研究者通过技术分析准确预测金融时间序列的数值,技术分析调查过去的股票价格和成交量[18].

然而,神经网络技术在股票指数场景中的性能研究相对较少[19- - - - - -21].此外,整个文献强调了通过神经网络预测股指的五个问题。首先,现有研究主要集中在预测单个股票指数,没有考虑不同行业的差异[22].其次,以往的研究主要集中在单变量时间序列上,没有考虑多变量之间的动态依赖关系[23].第三,大多数研究认为单一的神经网络模型无法很好地结合大多数金融数据固有的非线性和线性结构[1920.].第四,这些模型主要是针对强周期模式的多元时间序列设计的,不适应非周期或弱周期模式的数据集[24].第五,大多数文献使用RSE, CORR,和t-statistic来评估模型的性能,它是基于严格的假设,如正态分布。

为了解决上述问题,本文扩展了时态模式注意与长短期记忆(TPA-LSTM)方法[25],全面验证TPA-LSTM在金融领域的有效性。本文的贡献主要包括以下三个方面。首先,本文考虑了不同行业之间的差异,同时预测了恒生综合指数中8个行业的股票指数价格,充分考虑了它们之间的相互依赖性。由于宏观经济环境等因素的影响,行业股票指数价格的变化是协同的。因此,本文尝试同时预测消费品制造业、消费服务业、能源、工业、信息技术、综合产业、原材料、房地产等8个行业股票指数。其次,本文通过TPA- lstm方法提出的时间模式注意(TPA)机制对股票指数价格的复杂结构进行建模。股票指数价格数据集表现为具有短期和长期记忆的弱周期性模式。TPA机制包括(Long - term - term Memory) LSTM模块、CNN模块、时态注意模块等,适用于各种数据集,甚至是非周期和弱周期模式的多元时间序列数据。LSTM组件可以单独捕获一个较长的模式,而CNN模块可以提取时间维度上的短期模式和变量之间的局部依赖关系。此外,时间注意力模块可以选择有助于预测和捕获时间信息的变量。 Therefore, we could discover short-term and long-term weak repeating patterns of multivariate industry stock index prices and predict prices more accurately. Third, this paper attempts to test TPA-LSTM’s robustness in the financial field through three evaluation metrics, including two single method’s performance measures and one performance difference test. These evaluation metrics are different from the performance evaluation metrics used in [25以及传统的基于严格假设的统计显著性检验。

本文的其余部分结构如下。部分2回顾了股票指数价格预测的数学模型,详细介绍了TPA-LSTM方法。部分3.讨论了实验初步,包括实验数据和评价标准的选择。部分4介绍了TPA-LSTM方法的应用步骤和实验结果。最后,部分5突出了结论。

2.框架

2.1.股票指数价格预测的数学模型

本研究试图同时预测不同行业的股票指数价格。在给定的数据集中 在哪里 同时代表八个行业指数的价格 而且 是变维,本文研究的是股票指数价格预测任务中的滚动预测步骤。而不是看单个股票指数的价格 本文预测 同时维度,其中h期望的视界是否在当前时间戳和之前 是可用的。同样,本文也进行了预测 在下一个时间步中,假设 是可用的。此外,本文仅使用 预测股票指数价格 在哪里 是窗口大小。这是基于窗口前没有有用信息的假设 本文设置为30 [24].因此,本文的输入矩阵为时间戳T 输出矩阵是

2.2.框架

神经网络被广泛应用于金融时间序列预测。预测过程需要解决三个困难。首先,许多研究倾向于单变量时间序列预测,而不是多元时间序列预测,本文采用的方法考虑了这一点。其次,对金融多元时间序列弱周期模式的忽视往往导致不理想的结果。最后,随着数据量的增加,预测时间序列所需的时间显著增加。因此,一种减少数据点总数和时间序列预测操作时间的算法是至关重要的。在金融时间序列预测过程中,这三个难点相互密切相关。

Shun-Yao Shih等提出TPA-LSTM [25].相对于其他预测方法,TPA-LSTM是第一个预测短期和长期弱重复模式混合的n维时间序列的方法,可以解决上述问题。在本节中,我们将详细描述本文应用的TPA-LSTM算法。

TPA-LSTM由非线性部分和线性部分组成。非线性部分是时间注意机制,包括递归层、卷积层和时间模式注意层,线性部分使用自回归模型(AR)预测结果。

2.2.1.复发性层

TPA-LSTM的第一层是长短期记忆网络(LSTM)。给定输入矩阵 这个循环层旨在捕获长期信息;循环层的输出是每个时间戳的隐藏状态。循环层单元在时间上的隐藏状态t可以表述如下: 由以下方程定义: 在哪里 n= 8), 元素乘积和 是sigmoid函数。

2.2.2.卷积的层

给定之前的LSTM隐藏状态 和初始输入矩阵 本节提取短期信号模式和八个变量之间的相互依赖关系。本节输出说明如下: 在哪里 的卷积值第Th行向量和jth过滤器, 表示k我们有过滤器,T是这篇论文注意的最大长度,设置为30。

2.2.3.时间模式注意层

传统的注意力机制选择相对于当前时间步长的相关信息,这可能导致在多变量时间序列预测中无法忽略噪声变量,无法发现有用的时间模式。针对这一问题,TPA-LSTM提出了一种新的时间模式注意机制,可以选择有用的变量,捕捉时间信息进行预测。已知之前的卷积值 复发性价值H,初始输入矩阵 该时态模式注意层的输出为非线性投影部分,计算公式如下: 在哪里 是卷积矩阵隐态的加权上下文, 为注意力权重,可表示为:

2.2.4.自回归层

由于所提出的注意机制的非线性性质,TPA-LSTM方法将预测分解为非线性部分和线性部分。非线性部分的预测由循环层、卷积层和时间模式注意层捕获。相比之下,线性部分的预测是通过本节的自回归(AR)模型求解的。给定初始输入X,我们可以通过AR Layer得到非线性部分的预测结果,其公式为:

那么,TPA-LSTM的预测结果可以表示为:

TPA-LSTM的伪代码在算法中有描述1

输入初始 n= 8)
输出混合输出 线性部分的 这是非线性部分
初始化best_val = 10000000
到时代为止
如果高速公路>0做
如果val_loss < best_val
best_val = val_loss
模型保存
其他的
继续
结束

3.实验评价

3.1.数据

在实验中检验了从Wind平台上整理的恒生综合指数中的行业股票指数。除金融和公用事业行业外,本文中的数据集包括消费品制造业、消费服务业、能源、工业、信息技术、综合产业以及原材料、房地产。数据集涵盖从2006年9月1日至2019年2月1日。

更具体地说,我们使用每日收盘价作为本研究的数据集,如图所示1.由于非平稳的时间序列或具有灵活周期的模式,短期和长期重复模式不可见。每个股票指数价格样本数据按时间顺序分为训练集(60%)、验证集(20%)、测试集(20%)。该研究使用验证集来调优超参数,同时使用测试集来评估和比较TPA-LSTM和其他模型的预测性能。此外,由于其规模小,Null值立即被删除。

3.2.评估标准

比较了TPA-LSTM方法与具有循环跳过层的长、短期时间序列网络(LSTNet)、具有注意层[24]、RNN、CNN和LAESN [26].这五种方法可以分析多元输入和输出。为了验证本文提出的TPA-LSTM方法的有效性,我们选择了三个评价指标:根相对平方误差(RSE)、经验相关系数(CORR)和多步条件预测能力检验[27].前两个评价指标是性能度量,而最后一个评价指标是性能差异测试。根相对平方误差是一个缩放版本,旨在使比较更有效和有效。在多步条件预测能力检验中,我们只是将8个输出变量在每个时间点的RSE和RAE相加,当检验统计量大于临界值时,拒绝两个模型具有相同的样本外性能的假设。这些标准的定义见表1


标准 计算

交易所
相关系数
多步条件预测能力测验

在这里, 分别为行业股票指数价格的真实值和预测值,n是样本外预测的数量, 是预测的地平线,T是总样本量,为窗口大小的最大估计, 是一个测试函数, 是两种方法的样本外预测损失的差异, 在哪里 是一个权重函数。

4.结果

本研究的目的是预测恒生综合指数中的行业股票指数价格,将TPA-LSTM方法应用于恒生综合指数中不同行业股票指数价格的多元时间序列预测。通常,TPA-LSTM考虑了时间序列的线性和非线性结构,使用卷积分量、循环分量、时间模式注意分量和自回归分量四个分量来提取时间序列的弱重复模式。我们重复该算法,直到找到最小的验证损失值。下面一节讨论实验和结果。

研究结果发现,在基于TPA-LSTM预测行业股票指数价格时,30的注意长度可能产生最好的结果。还有,学习率,辍学率,视野h,优化算法任意选取为0.2, 分别是24和Adam算法。使用python3语言构建程序。表格2显示了行业股票指数价格的预测结果。


方法 指标 地平线
3. 6 9 12 15 18 21 24

TPA-LSTM 测试的比例 0.0561 0.0931 0.1048 0.1106 0.1435 0.1309 0.1583 0.1710
测试相关系数 0.9792 0.9601 0.9449 0.9304 0.9166 0.9028 0.8858 0.8691

LSTNet-Skip 测试的比例 0.0849 0.1356 0.1663 0.2123 0.2030 0.2121 0.2091 0.2201
测试相关系数 0.9628 0.9338 0.9081 0.8820 0.8711 0.8536 0.8376 0.8351

LSTNet-Attn 测试的比例 0.0940 0.1054 0.1321 0.1516 0.1573 0.1472 0.1462 0.1786
测试相关系数 0.9646 0.9382 0.9234 0.9067 0.8905 0.8682 0.8578 0.8508

RNN 测试的比例 0.0934 0.1253 0.1379 0.1314 0.1293 0.1400 0.1545 0.1743
测试相关系数 0.9705 0.9522 0.9378 0.9234 0.9099 0.8877 0.8819 0.8572

美国有线电视新闻网 测试的比例 0.1068 0.1961 0.3141 0.1993 0.3233 0.4418 0.3572 0.5049
测试相关系数 0.9530 0.9225 0.7965 0.8736 0.8740 0.7878 0.8100 0.7777

LAESN 测试的比例 0.0908 0.1203 0.1375 0.1740 0.1745 0.1935 0.1965 0.2474
测试相关系数 0.9701 0.9473 0.9332 0.9133 0.8940 0.8809 0.8570 0.8025

表格2说明了所有方法在所有测试集(20%)上的所有指标的预测性能,包括TPA-LSTM、LSTNet-Skip、LSTNet-Attn、RNN、CNN和LAESN的RSE和CORR。我们设置horizon ={3, 6, 9, 12, 15, 18, 21, 24}。结果表明,大多数情况下,视界越大,预测结果越差。表中粗体字标出了5种方法和2个指标的最佳结果2.TPA-LSTM加粗的结果总数为14,LSTNet-Attn为1,RNN为1,LSTNet-Skip、CNN和LAESN为0。此外,还有一个星号 表明,在1%的水平上,测试拒绝了相等的条件预测能力,TPA-LSTM方法通过条件预测能力测试平均优于其他方法。

这些结果表明,即使行业股票指数价格的周期模式不清楚,TPA-LSTM提出的方法在大多数数据集上仍然比其他神经网络方法表现得更好。更具体地说,TPA-LSTM在大多数情况下优于神经基线方法。当视界为24时,TPA-LSTM在RSE指标上分别优于LSTNet-Skip、LSTNet-Attn、RNN、CNN和LAESN,分别为28.71%、4.44%、1.93%、195.26%和44.68%。此外,TPA-LSTM在CORR指标上分别优于LSTNet-Skip、LSTNet-Attn、RNN和CNN 4.07%、2.15%、1.39%、11.75%和7.66%。TPA-LSTM方法在不同指标下具有鲁棒性能,部分原因是它考虑了多个变量之间的相互依赖性和具有复杂结构的弱周期模式。

5.结论

神经网络多变量时间序列预测在降低金融市场风险和不确定性方面发挥着重要作用。更具体地说,它为理解行业股票指数价格的趋势和行为提供了必要的支持。现有的神经网络预测多变量时间序列的文献主要集中在预测单变量时间序列上,没有考虑变量之间的相互依赖关系,且大多未能捕捉到线性结构和弱周期模式。在本研究中,我们应用了一种不同的方法,即时间模式注意和长短期记忆(TPA-LSTM),来预测恒生综合指数中不同行业的股票指数价格。TPA-LSTM方法是一种能够同时预测多元时间序列的新预测模型,主要关注弱周期模式和线性与非线性结构的混合。

此外,TPA-LSTM方法包括四个组件,时间模式注意组件,RNN组件和自回归组件。实验结果表明,TPA-LSTM方法结合了卷积网络、循环网络、时间注意分量和自回归分量的优点,显著提高了行业股指价格数据集多元时间序列预测的最新结果。实证结果表明,应用TPA-LSTM方法对股指的多元时间序列预测是一种令人满意的选择。

多元时间序列预测在行业股票指数价格中有两种可能的扩展。在第一个扩展中,股指价格预测可以自动分析调整超参数,包括窗口大小 和地平线h,在TPA-LSTM中手动调优。第二个扩展是利用TPA-LSTM方法研究不同贸易策略下可能的利润。

数据可用性

用于支持本研究结果的数据已存放在Xiaolu Wei的资料库(https://github.com/xiaoluees/TPA-LSTM-data).

信息披露

本文是IEEE Access上发表的“通过TICC、TPA-LSTM和多元LSTM-FCNs的三阶段体系结构发现和预测股票指数模式”中提出的三阶段体系结构的第二阶段。

利益冲突

作者声明,本文的发表不存在任何利益冲突。

作者的贡献

本文数据收集工作由雷彬彬负责。本研究的整体架构是由魏晓璐、欧阳红兵和吴秋峰基于他们早期的研究提出的。

致谢

本工作由中国博士后科学基金第68批一般基金资助(批准号:027628731)。2020M682378)和2020年湖北省第二批博士后创新研究岗位(授予号:201020m682378)。090459)。

参考文献

  1. Y. S.阿布-穆斯塔法和A. F.阿提亚,《金融预测导论》应用智能,第6卷,no。3,页205-213,1996。视图:出版商的网站|谷歌学者
  2. C. Huang和J. Cao,“分数阶混沌金融系统同步与反同步的主动控制策略”,物理A:统计力学及其应用, vol. 473, pp. 262-275, 2017。视图:出版商的网站|谷歌学者
  3. 张俊杰,张玉芳。Teng和W. Chen,“支持向量回归与改进萤火虫算法的股票价格预测”,应用智能,第49卷,no。5,第1658-1674页,2019年。视图:出版商的网站|谷歌学者
  4. H. Takayasu,《经济物理学的实际成果》美国国家科学院院刊,第97卷,no。4,第1554-1559页,2006。视图:谷歌学者
  5. Y. Zuo和E. Kita,“利用贝叶斯网络预测股票价格”,专家系统与应用,第39卷,no。8, pp. 6729-6737, 2012。视图:出版商的网站|谷歌学者
  6. 微积分,神经网络:综合基础, Prentice Hall PTR,美国新泽西州上马鞍河,1994年。
  7. L. Di Persio和O. Honchar,“预测股票市场价格波动的人工神经网络方法”,国际经济与管理系统杂志, vol. 1, pp. 158-162, 2016。视图:谷歌学者
  8. Yan H.和H. Ouyang,“基于深度学习的金融时间序列预测”,无线个人通讯,第102卷,no。2, pp. 683-700, 2018。视图:出版商的网站|谷歌学者
  9. J. Henríquez和W. kristjanpolller,“预测汇率变化的联合独立成分分析-神经网络模型”,应用软计算, vol. 83, Article ID 105654, 2019。视图:出版商的网站|谷歌学者
  10. 欧阳华,魏晓明,吴强,“基于TICC、TPA-LSTM和多元LSTM-FCNs三阶段结构的股票指数模式发现和预测”,IEEE访问, vol. 8, pp. 123683-123700, 2020。视图:出版商的网站|谷歌学者
  11. M. Adya和F. Collopy,“神经网络在预测和预测方面有多有效?回顾和评估。”预测杂志,第17卷,no。5-6,页481-495,1998。视图:出版商的网站|谷歌学者
  12. 贾宏,“长短期记忆网络在股票价格预测中的有效性研究”,2016,https://arxiv.org/abs/1603.07893视图:谷歌学者
  13. A. Altan和S. Karasu,“支持向量机中核值对金融时间序列预测性能的影响”,认知系统杂志,第4卷,no。1, pp. 17-21, 2019。视图:谷歌学者
  14. Y. Gurin, T. Szymanski和M. T. Keane,“发现影响市场的新闻事件”,见2017智能系统会议论文集,第452-461页,英国伦敦,2017年9月。视图:出版商的网站|谷歌学者
  15. M. Munir, S. a . Siddiqui, a . Dengel和S. Ahmed,“DeepAnT:时间序列中无监督异常检测的深度学习方法”,IEEE访问《中国科学院学报》,2018年第7卷,页1991-2005。视图:出版商的网站|谷歌学者
  16. X.-D。Zhang, a . Li,和R. Pan,“基于新的状态盒方法和AdaBoost概率支持向量机的股票趋势预测,”应用软计算, vol. 49, pp. 385-398, 2016。视图:出版商的网站|谷歌学者
  17. 欧阳H.,魏X.,吴Q.,“基于toeplitz逆协方差聚类的股票指数模式发现,”罗马尼亚经济预测杂志,第23卷,no。2, 58-72页,2020年。视图:谷歌学者
  18. O. B. Sezer, M. Ozbayoglu和E. Dogdu,“基于进化优化技术分析参数的深度神经网络股票交易系统”,计算机科学, vol. 114, pp. 473-480, 2017。视图:出版商的网站|谷歌学者
  19. A. H. Moghaddam, M. H. Moghaddam和M. Esfandyari,“使用人工神经网络预测股票市场指数”,经济,金融和管理科学杂志,第21卷,no。41, pp. 89-93, 2016。视图:出版商的网站|谷歌学者
  20. 欧阳H.,魏X.,吴强,“基于长期和短期时间序列网络的农产品期货价格预测”,应用经济学杂志,第22卷,no。1, pp. 468-483, 2019。视图:出版商的网站|谷歌学者
  21. 曹杰、王杰,“基于主成分分析与人工神经网络相结合的股指变化预测模型探索”,软计算,第24卷,no。11,第7851-7860页,2020年。视图:出版商的网站|谷歌学者
  22. J. Patel, S. Shah, P. Thakkar和K. Kotecha,“使用趋势确定性数据准备和机器学习技术预测股票和股票价格指数运动”,专家系统与应用,第42卷,no。1,页259-268,2015。视图:出版商的网站|谷歌学者
  23. Chen Y.和Hao Y.,“特征加权支持向量机和K-股票市场指数预测的最近邻算法专家系统与应用《中国科学》,2017年第4期,页340-355。视图:出版商的网站|谷歌学者
  24. G. Lai, W. C. Chang, Y. Yang和H. Liu,“用深度神经网络建模长期和短期时间模式”,在第41届国际ACM SIGIR信息检索研究与发展会议论文集,第95-104页,ACM,圣地亚哥,智利,2015年8月。视图:谷歌学者
  25. s.y Shih, F. K. Sun, H. Y. Lee,“多元时间序列预测的时间模式注意”,机器学习,第108卷,no。第8-9页,2019年。视图:出版商的网站|谷歌学者
  26. 韩敏,徐敏,“多元时间序列预测的拉普拉斯回波状态网络”,IEEE神经网络与学习系统汇刊,第29卷,no。1, pp. 238-244, 2018。视图:出版商的网站|谷歌学者
  27. R. Giacomini和H. White,《条件预测能力的测试》费雪,第74卷,no。6,第1545-1578页,2006。视图:出版商的网站|谷歌学者

betway赞助版权所有©2020魏晓璐等。这是一篇开放获取的文章,在创作共用署名许可协议它允许在任何媒介上不受限制地使用、传播和复制,前提是正确地引用原始作品。


更多相关文章

PDF 下载引用 引用
下载其他格式更多的
订购印刷本订单
的观点577
下载592
引用

相关文章