点击上方“Deephub Imba”,关注公众号,好文章不错过 !
长短期记忆网络（通常称为“ LSTM”）是一种特殊的RNN，经过精心设计LSTM能够学习长期的依赖。正如他的名字，它可以学习长期和短期的依赖。
每个LSTM层都有四个门：
- Forget gate
- Input gate
- New cell state gate
- Output gate
下面计算一个LSTM单元的参数：
每一个lstm的操作都是线性操作，所以只要计算一个然后乘以4就可以了，下面以Forget gate为例：
h(t-1) — Hidden layer unit from previous timestamps
x(t) — n-dimesnional unit vector
b- bias term因为已经知道h(t-1)和X(t) W_f和b_f是未知项。这里我们使用LSTM来寻找最终的w_f是[h(t-1)， x(t)]的拼接。
代码语言：javascript复制W_f:num_units input_dim: concat [h(t-1), x(t)]
b_f:1所以来计算参数公式:
代码语言：javascript复制num_param = no_of_gate(num_units input_dim 1)在整个LSTM层中有四个门，所以最后的方程如下。
代码语言：javascript复制num_param = 4(num_units input_dim 1)在实际应用时，我们不只是处理单个LSTM cell。如何计算多个cell的参数?
代码语言：javascript复制num_params = 4 * [(num_units input_dim 1) * num_units]num_units =来自以前的时间戳隐藏的层单元= output_dim
我们实际计算一个lstm的参数数量
代码语言：javascript复制from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation
from keras.layers import Embedding
from keras.layers import LSTM
model = Sequential()
model.add(LSTM(200, input_dim=4096, input_length=16))
model.summary()keras的计算结果为：
代码语言：javascript复制Model: "sequential_2"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
lstm_2 (LSTM) (None, 200) 3437600
=================================================================
Total params: 3,437,600
Trainable params: 3,437,600
Non-trainable params: 0
_________________________________________________________________下面使用我们上面介绍的公式手动计算：
代码语言：javascript复制num_params = 4 * [(num_units input_dim 1) * num_units]
num_params = 4*[(200 4096 1) * 200]
num_params = 3437600结果是一样的
作者：Maheshmj
MORE
kaggle比赛交流和组队
加我的微信，邀你进群
喜欢就关注一下吧：
点个 在看 你最好看！
