梯度分布上的 TensorBoard 常数尖峰答案

【问题标题】：TensorBoard costant spikes on gradients distributions梯度分布上的 TensorBoard 常数尖峰
【发布时间】：2018-10-07 13:52:26
【问题描述】：

我正在使用 Keras (2.1.6) 和 Tensorflow (1.4.0) 作为后端训练一个自定义短网络。在训练时，我使用 tensorboard 回调作为：

tensorboard = keras.callbacks.TensorBoard(
    log_dir=OUTPUT_PATH,
    histogram_freq=EPOCH_STEPS,
    batch_size=BATCH_SIZE,
    write_grads=True)

这产生了预期的结果，但是当我查看 TensorBoard 上的梯度分布时，我在图表上看到了奇怪的东西，这些东西在 histogram_freq 变量的同一步骤中重复。

例如，对于histogram_freq=1 和具有 1 个内核 (1,1) 的卷积层，分布为：

在两张图片中，您都可以看到间隔为 1 的尖峰。作为附加信息，正在训练的网络处理分辨率为 320x200 的图像，输出是一个完整的 320x200 图像，与它的标签（分割）进行比较。也许问题出在这？

【问题讨论】：

【解决方案1】：

一个疯狂的猜测，但看起来梯度在每个纪元开始时会变得疯狂，所以也许你不小心在每个纪元开始时运行了tf.global_variables_initializer()？

权重分布是否显示相同的模式？

【讨论】：