1RNN为什么会有梯度消失问题
（1）沿时间反向方向：t-n时刻梯度=t时刻梯度* π（W*激活函数的导数）
（2）沿隐层方向方向：l-n层的梯度=l层的梯度*π（U*激活函数的导数）
所以激活函数的导数和W连乘可以造成梯度消失和爆炸；由函数曲线看sigmoid的导数最大是1/4；
2LSTM可以避免梯度消失问题吗？
由三个门的状态公式，ht为输出，ct为状态单元
查看知乎和一些资料，LSTM梯度消失的解决是因为ct和ct-1的导数是ft，也就是遗忘门的值，遗忘门通常接近1。
我理解是解决了LSTM单元图中的最上面那条横向通路ct-1到ct的梯度消失问题；
但ht会通过权重矩阵和下一单元连接，梯度链中也存在梯度消失问题。
（1）沿时间反向方向：t-n时刻梯度=π（ Σ t时刻梯度* 四个状态的W）
其中，
（2）沿隐层方向方向：l-n层的梯度=π（（ Σ 四个状态的梯度* W） *l层激活函数的导数 ）
备注：
激活函数tanh和sigmoid的导函数都是原函数的函数：