LSTM 单元中的单元数与内存的“距离”之间是否存在关系？答案

【问题标题】：Is there a relationship between number of units in LSTM cell and "distance" of memory?LSTM 单元中的单元数与内存的“距离”之间是否存在关系？
【发布时间】：2020-02-25 20:58:21
【问题描述】：

我了解管理 LSTM 的方程式，并且我看到 this post 谈到了 LSTM 的单位数意味着什么，但我想知道一些不同的东西 - 中的单元数之间是否存在关系LSTM 和内存的“距离”/模型能够进行的“回溯”量？ 例如，如果我的数据的采样率为 1000 Hz，而我的 LSTM 的采样率为 100细胞，这是否意味着我的模型只能学习/记住过去 100 毫秒内的事物之间的关系？还是我在脑海中过度简化了这种关系？

【问题讨论】：

标签： tensorflow machine-learning keras lstm recurrent-neural-network

【解决方案1】：

据我所知，没有。或者至少，不是直接的——但是具有更高潜在维度的 LSTM 层将具有更大的容量，并且可能有更多的“空间”来容纳更复杂的模式，包括那些使用“遥远”记忆的模式。

使用更多 LSTM 层也可能有助于学习更复杂的模式。

关于 100 个单元 - 100 个时间步是问题的一部分 - 是的，至少可以说这是过于简单化了。

【讨论】：