绘制权重与神经网络的迭代

Question

我想构建一个深度学习可视化工具。

但我被困在权重与迭代的关系图上。通常，我想这样做：mean magnitude weights vs iteration。

这张照片取自本网站visualization tool。 如果我理解得很好，文档说这是权重平均大小的对数。

那么，对于我的神经网络的每一层，我都会有一条曲线？ 但我不确定计算一条曲线的一点的公式是否为：mean magnitude formula。

其中 w1, w2, ... wn 是给定指定迭代的一层的权重。

感谢您的帮助！

Answer 1

是的，每一层都有自己的曲线。也许在构建深度学习可视化工具时要认识到的一个重要点是为什么有人想要可视化平均幅度权重与迭代。

答案是：看模型是否过拟合。模型的每一层都将收敛（希望不是保证）到某个固定点幅度。每层的大小会根据层的类型、模型的大小等而有所不同。因此，仅查看每层的平均大小是有意义的。如果一层（尤其是最后一层）的大小开始变大，则网络可能对其训练数据过度拟合。

要回答有关公式的问题，目标是找到该层中每个权重的平均（平均）权重。所以，是的，总结一个层的权重，除以该层的权重数量，并可能取其对数以使规模更易于阅读（尽管最后一个设计决策而不是数学决策，如果有的话，我们会假设权重是高斯分布，自然对数比以 10 为底的对数更有意义。