LSTM系列神经网络学习笔记

RNN系列学习笔记

LSTM篇

---

1. LSTM（长短期记忆网络），是SimpleRNN的扩展，可以方便地替换掉SimpleRNN
2. LSTM中，由上一时间步的隐藏状态 + 单元的内部记忆共同生成当前时间步地隐藏状态
3. 为了解决梯度消失，引入了输入门i、遗忘门f、输出门o
   • sigmoid函数调节这些门的输入使通过这些门后输出在0-1之间
   • 不同门的作用：
     • 遗忘门：让前一时间步的部分隐藏状态通过
     • 输入门：让当前时间步的部分输入值通过
     • 输出门：让当前时间步的多少的隐藏状态传到下一时间步中
4. 当前时间步的单元状态Ct = (C(t-1) * f) + (i * g)
5. 当前时间步的隐藏状态ht = tanh(Ct) * o

FC-LSTM篇

---

1. GRU篇

---

1. GRU（门控循环单元），相比于LSTM，内部结构简单，训练速度快，和LSTM一样，都能够替换SimpleRNN单元
2. 相比于LSTM，引入更新门z、重置门r
   • 重置门：将当前时间步的输入与上一时间步的隐藏状态结合
   • 更新门：让上一时间步的多少的隐藏状态保留下来
3. 当前时间步的隐藏状态ht = (z * c) + ((1 - z) * h(t-1))