【发布时间】:2019-03-21 07:14:53
【问题描述】:
我正在使用 Tensorboard 来查找我的 tensorflow 模型没有正确训练的原因。下图显示了三个权重(W、W_1 和 W_2)。 W_1 和 W_2 以相同方式初始化(作为 random_normal),但形状除外。 W_2 训练正常,但 W_1 根本没有训练。一个是橙色的,另一个是粉红色的。这是否表明了问题,如果有,谁能告诉我如何解决它?
【问题讨论】:
我正在使用 Tensorboard 来查找我的 tensorflow 模型没有正确训练的原因。下图显示了三个权重(W、W_1 和 W_2)。 W_1 和 W_2 以相同方式初始化(作为 random_normal),但形状除外。 W_2 训练正常,但 W_1 根本没有训练。一个是橙色的,另一个是粉红色的。这是否表明了问题,如果有,谁能告诉我如何解决它?
【问题讨论】:
能否分享初始化权重和偏差的代码?
tensorboard 中的颜色代码是一个有用的起点(因为没有提供代码 sn-ps)。
请注意,W 和 W_1 具有一种颜色,而 W_2、B、B_1 和 B_2 具有另一种颜色。这意味着它们的初始化方式不同。这可以解释为什么 W_2 和 W, W_1 得到不同的结果。
建议返回所有权重的初始化并找出初始化的差异。祝你好运!
【讨论】: