前言
GRU网络是LSTM的简化版本,2014年被提出。
1.简介
RNN处理不了太长的序列,因为随着序列变长,时间步展开变长,很容易造成梯度消失以及梯度爆炸的问题。另一方面,在一个序列中,不是所有的信息都是同等重要的,加入能关注的机制(更新门:关注重要信息)以及能遗忘的机制(重置门:遗忘一些不重要的信息)是很重要的,可以提高网络的性能。
2.门是什么
GRU中的门,与隐藏状态ht的维度相同,甚至计算方法也是一样的,不过激活函数使用Sigmoid,将数值控制在0-1之间,用来与上一时刻的记忆体点乘,控制上一时刻记忆遗忘与保存的多少。
3.GRU网络计算过程
我的博客即将同步至腾讯云开发者社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=2gail93l8mf4s