【发布时间】：2016-05-16 08:00:59
【问题描述】：
我一直在阅读有关 LSTM 的论文并检查它的实现。有一点我不清楚。
在大多数论文中都提到从单元到门向量的权重矩阵应该是对角线（例如：Alex 第 5 页，2013 年），但我在任何实现中都没有看到这一点。
例如：
1
2
另一个例子来自 mila lab。
3
这些人是实施错误还是我遗漏了什么？
【问题讨论】：
标签： tensorflow neural-network deep-learning theano lstm
【发布时间】：2016-05-16 08:00:59
【问题描述】：
TensorFlow 实现确实使用了对角矩阵，请参阅here。请注意，这在实践中意味着窥视孔仅从单元格到其自身，因此您正在执行元素向量乘法。
【讨论】：
-
我也看到了，在 Mila 实验室是这样实现的。我认为前两个实现是错误的。