如何从 TensorFlow 中的 tf.nn.rnn() 或 tf.nn.dynamic_rnn() 获取所有隐藏状态？ API 只给了我最终的状态。
第一种选择是在构建直接在 RNNCell 上运行的模型时编写一个循环。但是，时间步数对我来说不是固定的，取决于传入的批次。
一些选项是使用 GRU 或编写我自己的 RNNCell 将状态连接到输出。前一种选择不够通用，而后者听起来太老套了。
另一种选择是执行the answers in this question 之类的操作，从 RNN 获取所有变量。但是，我不确定如何在这里以标准方式将隐藏状态与其他变量分开。
有没有一种很好的方法可以在仍然使用库提供的 RNN API 的同时从 RNN 中获取所有隐藏状态？
【问题讨论】：
标签： python machine-learning tensorflow deep-learning
tf.nn.dynamic_rnn(also tf.nn.static_rnn) 有两个返回值； “输出”、“状态” (https://www.tensorflow.org/api_docs/python/tf/nn/dynamic_rnn)
正如你所说，“状态”是RNN的最终状态，但“输出”都是RNN的隐藏状态（形状为[batch_size，max_time，cell.output_size]）
您可以使用“输出”作为 RNN 的隐藏状态，因为在大多数库提供的 RNNCell 中，“输出”和“状态”是相同的。 （LSTMCell 除外）
【讨论】：
我已经创建了一个 PR here，它可能会帮助您处理简单的案例
让我简要解释一下我的实现，以便您可以根据需要编写自己的版本。主要是_time_step函数的修改：
def _time_step(time, output_ta_t, state, *args):
参数保持不变，只是传入了一个额外的*args。但是为什么args？那是因为我想支持 tensorflow 的习惯行为。您只需忽略args 参数即可返回最终状态：
if states_ta is not None:
# If you want to return all states, set `args` to be `states_ta`
loop_vars = (time, output_ta, state, states_ta)
else:
# If you want the final state only, ignore `args`
loop_vars = (time, output_ta, state)
如何使用？
if args:
args = tuple(
ta.write(time, out) for ta, out in zip(args[0], [new_state])
)
其实这只是对以下（原始）代码的修改：
output_ta_t = tuple(
ta.write(time, out) for ta, out in zip(output_ta_t, output)
)
现在args 应该包含您想要的所有状态。
完成以上所有工作后，您可以使用以下代码获取状态（或最终状态）：
_, output_final_ta, *state_info = control_flow_ops.while_loop( ...
和
if states_ta is not None:
final_state, states_final_ta = state_info
else:
final_state, states_final_ta = state_info[0], None
虽然我没有在复杂的情况下测试过它，但它应该在“简单”条件下工作（here's我的测试用例）
【讨论】：