在张量流中使用 LSTM 进行分布式训练答案

【问题标题】：Distributed training with LSTM in tensorflow在张量流中使用 LSTM 进行分布式训练
【发布时间】：2017-12-26 16:27:03
【问题描述】：

LSTM 是算法还是节点？如果在模型中使用它，如果我使用分布式训练，会不会产生反向传播冲突？

【问题讨论】：

标签： tensorflow machine-learning distributed-computing lstm backpropagation

【解决方案1】：

LSTM 两者都不是。这是一个循环神经网络（参见this post）。就 tensorflow 而言，您可能会感到困惑，因为有一个 cell 的概念（例如，BasicLSTMCell），它基本上是一个用于创建形成一层或多层的单元的工厂。最后，这一切都转化为计算图中的节点。您可以在this notebook 中找到一个很好的使用示例。顺便说一句，训练的算法是一样的——backprop。

现在，关于分布式训练，有两种类型的并行：数据并行和模型并行，它们都不会破坏反向传播。唯一的例外可能是异步更新的数据并行性，这确实需要某些技巧才能工作，但在 tensorflow 中没有一流的支持。我认为您最好使用更简单的方法来分发您的模型（请参阅this post）。所以答案很可能是：不，反向传播可以正常工作。

【讨论】：

很抱歉，严格来说，LSTM 是一种神经元架构，而不是神经网络。