【发布时间】：2017-08-03 18:46:01
【问题描述】：
假设我有一个流数据，我使用 SGD 在 tensorflow 中逐块训练全连接神经网络。
我遇到的问题：
如何逐块归一化原始数据？
是否可以对原始数据使用 batch_normalization 并将其提供给全连接 NN？
【问题讨论】：
标签： tensorflow neural-network deep-learning normalization
【发布时间】：2017-08-03 18:46:01
【问题描述】：
关于 (1)，您可以使用 tf.metrics.mean_tensor 计算流式平均值和标准差。
Re (2) 是的，您可以使用 batch_norm 做到这一点。
【讨论】：
-
当我使用batch_norm输入原始数据，然后做全连接层，不管我的学习率有多小，交叉熵都在增加。没有那个 batch_norm 层，一切都会顺利。而且我不太清楚如何使用 tf.metrics.mean_tensor 对训练数据和测试数据进行归一化？
-
不能保证批量标准化在所有问题中都有效。也许你需要调整它的参数。要通过移除均值来归一化数据，您可以计算 mean_tensor 并将其从数据中减去；您还可以通过计算张量平方的 mean_tensor 来计算方差。