【发布时间】：2018-05-17 12:52:59
【问题描述】：
我正在实现一个两层 RNN。当我运行代码时，我有以下两层 RNN 的权重和偏差图。
（抱歉没有足够的声誉在 SO 上包含图片，请点击链接。）
通过查看这些图，我不明白网络是否正在接受训练。
你能帮我解释一下这些情节吗？了解 TF 直方图和分布图的一般链接也将受到赞赏。
非常感谢！
【问题讨论】：
标签： tensorflow histogram lstm recurrent-neural-network rnn
【发布时间】：2018-05-17 12:52:59
【问题描述】：
您可以看到图表中权重的分布发生了变化（总体上没有太大变化，尽管可能某些权重确实发生了很大变化），因此您可以确定正在进行一些训练。如果你训练正确，真正能告诉你的是损失函数的图，如果可能的话，还有一些其他评估指标（例如精度/准确度）随时间变化，你可以通过
tf.summary.scalar('loss', your_loss_tensor)
all_summaries = tf.summary.merge_all() # Op that needs to be run in the sess.run() call.
【讨论】：
-
感谢您的回答！损失从 1.8 左右开始下降，但随后在一个范围（例如 0.01 到 0.1）之间波动。你能评论一下权重的分布吗？我预计图中高斯分布的方差会大得多。相反，权重似乎集中在一起，使我相信很多权重具有相同的值。这是否表明训练过程存在问题？