点击蓝字
关注我们
#TSer#
时间序列知识整理系列，持续更新中 ⛳️
赶紧后台回复"讨论"加入讨论组交流吧 ?
时间序列是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列，其中隐藏着一些过去与未来的关系。时间序列分析试图通过研究过去来预测未来。
时间序列分析在工程、金融、科技等众多领域有着广泛的应用。在大数据时代，时间序列分析已经成为 AI 技术的一个分支，通过将时间序列分析与机器学习模型相结合，更好的对时间序列进行建模。
近年来，许多时间序列模型逐渐采用深度学习的方法，比如RNN/CNN等。这些深度学习方法的加入使得时序数据在特征抽取和表示上更加强大，在许多任务下的表现也越来越好。
本系列文章将开启一个全新的视角，从深度学习的角度出发，整理总结其在时间序列领域中的应用。我们将介绍各种普遍且新颖的神经网络模型，及其它们的训练和使用。
本期文章为大家带来的，就是深度学习领域中一类非常重要神经网络：循环神经网络(Recurrent Neural Network)。RNN种类很多，也比较绕脑子。不过读者不用担心，本文将一如既往的对复杂的东西剥茧抽丝，帮助您理解RNNs以及它的训练算法。
语言模型
RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？
我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如下面这句：
我昨天上学迟到了，老师批评了____。
我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接下来的这个词最有可能是『我』，而不太可能是『小明』，甚至是『吃饭』。
语言模型就是这样的东西：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。
类似的，在时间序列中，我们常常也能遇见时间序列预测的任务。简单的，通过一些统计预测（比如：N-Gram)可以得到结论，但面对大量的数据，长范围的序列，一些统计方法可能会力不从心。
所以，该轮到RNN出场了，RNN理论上可以往前看(往后看)任意多个数据点。
循环神经网络是啥
循环神经网络种类繁多，我们先从最简单的基本循环神经网络开始吧。
01
基本循环神经网络
下图是一个简单的循环神经网络如，它由输入层、一个隐藏层和一个输出层组成：
纳尼？！相信第一次看到这个玩意的读者内心和我一样是崩溃的。因为循环神经网络实在是太难画出来了，网上所有大神们都不得不用了这种抽象艺术手法。不过，静下心来仔细看看的话，其实也是很好理解的。如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）；U是输入层到隐藏层的权重矩阵（读者可以回到第三篇文章零基础入门深度学习(3) - 神经网络和反向传播算法，看看我们是怎样用矩阵来表示全连接神经网络的计算的）；o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。那么，现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。
如果我们把上面的图展开，循环神经网络也可以画成下面这个样子：
现在看上去就比较清楚了，这个网络在t时刻接收到输入Xt之后，隐藏层的值是St，输出值是Ot，关键一点是，St的值不仅仅取决于Xt，还取决于St-1。我们可以用下面的公式来表示循环神经网络的计算方法：
式1是输出层的计算公式，输出层是一个全连接层，也就是它的每个节点都和隐藏层的每个节点相连。V是输出层的权重矩阵，g是激活函数。式2是隐藏层的计算公式，它是循环层。U是输入x的权重矩阵，W是上一次的值St-1作为这一次的输入的权重矩阵，f是激活函数。
从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 W。
如果反复把式2带入到式1，我们将得到：
从上面可以看出，循环神经网络的输出值Ot，是受前面历次输入值Xt，Xt-1，Xt-2,Xt-3...影响的，这就是为什么循环神经网络可以往前看任意多个输入值的原因。
双向循环神经网络
对于语言模型来说，很多时候光看前面的词是不够的，比如下面这句话：
我的手机坏了，我打算____一部新手机。
可以想象，如果我们只看横线前面的词，手机坏了，那么我是打算修一修？换一部新的？还是大哭一场？这些都是无法确定的。但如果我们也看到了横线后面的词是『一部新手机』，那么，横线上的词填『买』的概率就大得多了。
在上一小节中的基本循环神经网络是无法对此进行建模的，因此，我们需要双向循环神经网络，如下图所示：
当遇到这种从未来穿越回来的场景时，难免处于懵逼的状态。不过我们还是可以用屡试不爽的老办法：先分析一个特殊场景，然后再总结一般规律。我们先考虑上图中，y2的计算。
从上图可以看出，双向卷积神经网络的隐藏层要保存两个值，一个A参与正向计算，另一个值A'参与反向计算。最终的输出值y2取决于A2和A2'。其计算方法为：
A2和A2'则分别计算：
现在，我们已经可以看出一般的规律：正向计算时，隐藏层的值St和St-1有关；反向计算时，隐藏层的值St'与S't-1有关；最终的输出取决于正向和反向计算的加和。现在，我们仿照式1和式2，写出双向循环神经网络的计算方法：
从上面三个公式我们可以看到，正向计算和反向计算不共享权重，也就是说U和U'、W和W'、V和V'都是不同的权重矩阵。
深度循环神经网络
前面我们介绍的循环神经网络只有一个隐藏层，我们当然也可以堆叠两个以上的隐藏层，这样就得到了深度循环神经网络。如下图所示：
我们把第i个隐藏层的值表示为
，则深度循环神经网络的计算方式可以表示为：
循环神经网络的训练
01
循环神经网络的训练方法：BPTT
BPTT算法是针对循环层的训练算法，它的基本原理和BP算法是一样的，也包含同样的三个步骤：
1、前向计算每个神经元的输出值；
2、反向计算每个神经元的误差项，它是误差函数E对神经元j的加权输入偏导数；
3、计算每个权重的梯度。
最后再用随机梯度下降算法更新权重。
循环层如下图所示：
前向计算
使用前面的式2对循环层进行前向计算：
注意，上面的St，Xt，St-1都是向量，用黑体字母表示；而U、V是矩阵，用大写字母表示。向量的下标表示时刻，例如，St表示在t时刻向量s的值。
我们假设输入向量x的维度是m，输出向量s的维度是n，则矩阵U的维度是nXm，矩阵W的维度是nXn。下面是上式展开成矩阵的样子，看起来更直观一些：
在这里我们用手写体字母表示向量的一个元素，它的下标表示它是这个向量的第几个元素，它的上标表示第几个时刻。例如，
表示向量s的第j个元素在t时刻的值。Uji表示输入层第i个神经元到循环层第j个神经元的权重。Wji表示循环层第t-1时刻的第i个神经元到循环层第t个时刻的第j个神经元的权重。
02
误差项的计算
BTPP算法将第l层t时刻的误差项
值沿两个方向传播，一个方向是其传递到上一层网络，得到
，这部分只和权重矩阵U有关；另一个是方向是将其沿时间线传递到初始t1时刻，得到
，这部分只和权重矩阵W有关。
我们用向量nett表示神经元在t时刻的加权输入，因为：
因此：
我们用a表示列向量，用
表示行向量。上式的第一项是向量函数对向量求导，其结果为Jacobian矩阵：
同理，上式第二项也是一个Jacobian矩阵：
其中，diag[a]表示根据向量a创建一个对角矩阵，即
最后，将两项合在一起，可得：
上式描述了将
沿时间往前传递一个时刻的规律，有了这个规律，我们就可以求得任意时刻k的误差项
：
式3就是将误差项沿时间反向传播的算法。
循环层将误差项反向传递到上一层网络，与普通的全连接层是完全一样的，在此仅简要描述一下。
循环层的加权输入netl与上一层的加权输入netl-1关系如下：
上式中
是第l层神经元的加权输入(假设第l层是循环层)；
是第l-1层神经元的加权输入；
是第l-1层神经元的输出；
是第l-1层的激活函数。
所以，
式4就是将误差项传递到上一层算法。
03
权重梯度的计算
现在，我们终于来到了BPTT算法的最后一步：计算每个权重的梯度。
首先，我们计算误差函数E对权重矩阵W的梯度
。
上图展示了我们到目前为止，在前两步中已经计算得到的量，包括每个时刻t 循环层的输出值St，以及误差项
t。
回忆一下全连接网络的权重梯度计算算法：只要知道了任意一个时刻的误差项
t，以及上一个时刻循环层的输出值St-1，就可以按照下面的公式求出权重矩阵在t时刻的梯度
。
在式5中，
表示t时刻误差项向量的第i个分量；
表示t-1时刻循环层第i个神经元的输出值。
我们下面可以简单推导一下式5。
我们知道：
因为对W求导与Uxt无关，我们不再考虑。现在，我们考虑对权重项Wji求导。通过观察上式我们可以看到Wji只与
有关，所以：
按照上面的规律就可以生成式5里面的矩阵。
我们已经求得了权重矩阵W在t时刻的梯度
，，最终的梯度
各个时刻的梯度之和：
式6就是计算循环层权重矩阵W的梯度的公式。
RNN的梯度爆炸和消失问题
不幸的是，实践中前面介绍的几种RNNs并不能很好的处理较长的序列。一个主要的原因是，RNN在训练中很容易发生梯度爆炸和梯度消失，这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。
为什么RNN会产生梯度爆炸和消失问题呢？我们接下来将详细分析一下原因。我们根据式3可得：
上式的
定义为矩阵的模的上界。因为上式是一个指数函数，如果t-k很大的话（也就是向前看很远的时候），会导致对应的误差项的值增长或缩小的非常快，这样就会导致相应的梯度爆炸和梯度消失问题（取决于
大于1还是小于1）。
通常来说，梯度爆炸更容易处理一些。因为梯度爆炸的时候，我们的程序会收到NaN错误。我们也可以设置一个梯度阈值，当梯度超过这个阈值的时候可以直接截取。
梯度消失更难检测，而且也更难处理一些。总的来说，我们有三种方法应对梯度消失问题：
1、合理的初始化权重值。初始化权重，使每个神经元尽可能不要取极大或极小值，以躲开梯度消失的区域。
2、使用relu代替sigmoid和tanh作为激活函数。原理请参考上一篇文章《零基础入门深度学习 | 第四章：卷积神经网络》的激活函数一节。
3、使用其他结构的RNNs，比如长短时记忆网络（LTSM）和Gated Recurrent Unit（GRU），这是最流行的做法。我们将在以后的文章中介绍这两种网络。
小结
至此，我们讲完了基本的循环神经网络、它的训练算法：BPTT，以及在处理时间序列上的应用。
我们在前面说到过，基本的循环神经网络存在梯度爆炸和梯度消失问题，并不能真正的处理好长距离的依赖（虽然有一些技巧可以减轻这些问题）。事实上，真正得到广泛的应用的是循环神经网络的一个变体：长短时记忆网络。它内部有一些特殊的结构，可以很好的处理长距离的依赖，我们将在下一篇文章中详细的介绍它。
现在，让我们稍事休息，准备挑战更为烧脑的长短时记忆网络吧。
推荐阅读
