【发布时间】:2020-02-02 16:44:15
【问题描述】:
我正在使用 MNIST 数据集,并且正在使用 keras 来训练卷积神经网络。 权重矩阵有些东西我不明白。
输入层有 28x28=784 个神经元。然后我使用:
Conv2D(32,kernel_size=(7,7),stride=(3,3),use_bias=False)
Conv2D(64,kernel_size=(5,5),stride=(2,2),use_bias=False)
Flatten()
Dense(200,use_bias=False)
Dense(150,use_bias=False)
Dense(10,use_bias=False,softmax)
在我训练模型并输入 W = model.get_weights() 之后,我为每个 i 打印 W[i].shape 并获得:
(7,7,1,32)
(5,5,32,64)
(256,200)
(200,150)
(150,10)
据我了解,这意味着对于第一个隐藏层有 32 个 8x8=64 的图像(因为 (28-7)/3+1=8),因此第一个隐藏层有 64x32=2048 个神经元隐藏层。
下一部分是让我困惑的部分。由于下一个卷积具有内核大小 (5,5) 和步幅 (2,2) 并使用 64 个过滤器,这是否意味着我们对在第一个隐藏层中获得的每个 8x8 图像应用 64 个卷积?这将给出 64x32=2048 个大小为 2x2 的图像,并且在第二个隐藏层中将有 2048x4=8192 个神经元。但是下一层的权重矩阵的形状是(256,200)。它不应该是形状(8192,200)吗?这里发生了什么?
【问题讨论】:
标签: python tensorflow keras neural-network conv-neural-network