输入数据的正态分布

Question

在适合 RNN 之前，我应该将输入数据标准化为正态分布吗？如果是，为什么？目前几乎所有的列都右移，所以它根本不是正态分布。

Answer 1

您不一定需要将输入转换为正态分布，但您可能需要对它们进行预处理，以使它们的大部分值都介于 0 和 1 之间。否则，当对内部节点使用 sigmoid 函数时，您可能会导致saturation。例如，如果您的输入是每个 U(0, 1000)，则无需转换为正态分布，只需按 0.001 缩放即可。