Tensorboard：为什么梯度图上有锯齿形图案？

Question

这是一张 conv2d 层（内核）的梯度图。它有一个我想理解的锯齿形图案。我的理解是梯度从小批量变为小批量。但是为什么它在每个时期之后都会增加呢？

我正在使用默认设置的 Keras Adam 优化器。我不认为这是原因。辍学和批量标准化。也不应该是这个原因。我正在使用图像增强，但这不会改变它的行为从批次到批次。

有人有想法吗？

Answer 1

我以前在 keras 指标中看到过这一点。

在这种情况下，问题在于指标在每个时期都保持一个运行平均值，并且它们向 TensorBoard 报告的是“迄今为止的平均值”。

这些毕业生如何进入 TensorBoard？您是否将它们传递给tf.keras.metrics.Mean？如果是这样，您可能想在其上调用“reset_states”。也许在custom callback 的on_batch_end 中。