在量化交易中应用卷积神经网络CNN做时间序列预测

灵圣 2019-11-23

深度学习 算法 神经网络 量化交易

量化交易中,最直接的判断策略是根据历史的价格走势或者交易量的变化,来预测未来的价格。这一点对于传统看K线的形态派,和现在使用机器学习的炼丹派应该都是一样的。对价格预测的有效性基于两个假设:

  1. 市场参与者的某种交易心理或者说情绪,会形成特定模式的下单流,从结果来看,就是造成特定的交易量演变以及价格走势。也就是说价格波动不是一个完全的随机游走过程,而是前后关联的。
  2. 市场参与者不会在某个时间点全部离场而进入全新的交易者,而是一个逐渐加入/退出的过程。这导致一个模式不会马上消失,而是逐渐演变。也就是说价格波动的形态是会重复发生的。

通过机器学习方法进行的量化预测,本质上就是先基于交易量和价格这两个市场行为的结果,找出潜在的交易心理/模式,当我们找到的模式在未来某个时间点再重现的时候,我们就可以从中获利。这个过程有点像自然语言处理,比如机器翻译要把中文翻译为英文,第一步是找出中文背后的语义,然后在把语义变为英文,这背后的语义就跟我们所说的交易模式一样,不可描述。

LSTM

时间序列预测,这个是一个典型的序列问题,直观的可以用循环神经网络(RNN, Recurrent Neural Networks)解决,RNN应用了序列的上下文关系。多数情况都会使用长短期记忆(LSTM,Long Short-Term Memory)网络,一种特殊的RNN。RNN在 语音识别、机器翻译这些场景应用很广泛。RNN的结构:

RNN_longtermdependencies

原始RNN的缺点是无法实现长期依赖(Long-Term Dependencies),也就是说随着时间序列的增长,序列的开头对于后面的作用几乎不存在了。LSTM是这针对这个问题进行优化的RNN变种,它可以保存几十个步骤以前的信息。LSTM的实现细节可以参考Understanding LSTM Networks -- colah's blog

但是在金融时间序列的问题上,时间序列的会很长,可能上千个神经元,LSTM无法解决这么久远的信息依赖。另外一个问题是RNN模型的训练过程的效率非常低,因为同一层的神经元计算是顺序进行的,这个顺序没法实现并行化。现在最新的研究也是正在放弃RNN/LSTM,比如 ResNet 和 Attention。

CNN

卷积神经网络(CNN,Convolutional Neural Networks)在计算机视觉中应用非常广泛,其最基本的理念就是对图像进行特征抽取。特征抽取是基于图像的两个性质:局部相关性和空间不变性。先说局部相关性,图像的本质是一个像素点组成的矩阵,单个像素与周围相邻的像素是有关联的,这种关联可能是他们共同组成图像中的一个结构,也叫特征。而空间不变性,就是指在对图像进行变换之后,一系列列相邻的像素点组成的特征依然存在。我们先看一下一个完整的CNN框架,这里是的目标是识别图片中的数字:

CNN_jpeg

CNN里面主要包含两个操作:卷积和池化。池化就是对图片数据进行采样,是一个相对简单的过程。卷积操作才是特征提取的核心。先要定义一个卷积核,不同的卷积核定义的是想要提取的目标特征特征,下面是卷积运算的计算过程:

Converlution

常用的卷积核定义以及特征提取的效果:

Conv

CNN的具体细节参考一下两篇博文,上文的图片也是来自于这两篇文章:

对于量化交易中假设时间序列数据中存在特定的模式,可以关联到上文的图片特征,理解为时间维度上的局部相关性,也就是说相邻的时间点组成了一个模式,我们可以通过CNN把潜在的模式提取出来。这个应用从直观上不是很好理解,因为从时间序列的角度来说,点与点之间是有先后的顺序关系的,也就一般所说的上下文,但是在CNN中,这个上下文信息被平面化了,认为所有的历史信息对于当前点的影响都是等价的。基于这一点,也有将CNN和LSTM结合在一起使用的工作:Twitter Sentiment Analysis using combined LSTM-CNN Models。当然从卷积运算的角度来看,卷积核探测到的模式其实是确定了其中的相对位置关系的,这也可以说是上下文信息的一种变形。

使用CNN相对于LSTM最大的优点是它可以运用并行化计算,计算效率远比LSTM高,从而我们可以把网络做的更深。

实现

我们先把问题进行转化,其实我们可以把我们的目标弱化,我们并不需要知道未来某一时刻价格精确的位置,而是只需要知道价格波动在未来是否达到了我们可以盈利的预期值,也就是价格是否涨/跌超过一个阈值,这样原始的问题我们形式化为一个分类问题。

下图是借用CNN处理文本处理的框架,并在图上做了修改,A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification

CNN_TimeSeries

在这个框架中,卷积运算的维度从上文介绍的图片分类的2维空间信息转变为1维时间信息。而横向(d=5)的数据是同一类别的量化因子,作为描述同一时间点的原始特征值。比如基于价格计算出来的不同周期的MACD,也可以直接是价格的OHLC,只要保证不同列的因子数据是可比较的就行。多个不同的大小的核,表示想要探测不同时间长度的模式。不同类型的因子可以通过上述的框架中,最后一步softmax之前,把所有因子中提取出来的特征值拼接在一起,最后做分类。这个模型是借用文本分类的框架,为了方便说明在在1维数据中使用CNN的过程。

PyTorch中的一维卷积nn.Conv1d就可以完成时间序列上的卷积运算,参考pytorch之nn.Conv1d详解

class Conv1d(_ConvNd):
    """
    in_channels (int): 输入通道数,也就是上图中的d=5
    out_channels (int): 卷积产生的通道。有多少个out_channels,就需要多少个1维卷积
    kernel_size (int or tuple): 卷积核的大小,上图3组核的的大小分别为4、5、6
    stride (int or tuple, optional): 卷积步长,每一次卷积计算之间的跨度,默认1
    padding (int or tuple, optional): 输入的每一条边补充0的层数,默认0
    dilation (int or tuple, optional): 卷积核元素之间的间距
    groups (int, optional): 输入通道到输出通道的阻塞连接数
    bias (bool, optional): 是否添加偏置项
    """

用PyTorch定义一个处理时间序列的CNN网络:

import torch
import torch.nn as nn

class TimeSeriesCNN(nn.Module):
    def __init__(self):
        super(TimeSeriesCNN, self).__init__()
        kernel_sizes = [4, 5, 6]
        ts_len = 7 # length of time series
        hid_size = 1
        self.convs = nn.ModuleList([
            nn.Sequential(
                nn.Conv1d(
                    in_channels=5,
                    out_channels=2,
                    kernel_size=kernel_size,
                ),
                nn.ReLU(),
                nn.MaxPool1d(kernel_size=ts_len - kernel_size + 1))
            for kernel_size in kernel_sizes
        ])
        self.fc = nn.Linear(
            in_features=hid_size * len(kernel_sizes),
            out_features=3,
        )

    def forward(self, x):
        output = [conv(x) for conv in self.convs]
        output = torch.cat(output, dim=1)
        output = output.view(output.size(1), -1)
        output = self.fc(output)
        return output
登录 后评论
下一篇
云栖号资讯小编
1845人浏览
2020-03-31
相关推荐
深度学习预测比特币价格
1466人浏览
2018-01-23 15:14:24
DL应用:query生成和query推荐
12544人浏览
2018-02-12 17:25:53
卷积神经网络导览
1031人浏览
2018-12-03 18:08:44
0
0
0
1308