【问题标题】:How keras manages weights of convolutional layers?keras 如何管理卷积层的权重?
【发布时间】:2020-02-02 16:44:15
【问题描述】:

我正在使用 MNIST 数据集,并且正在使用 keras 来训练卷积神经网络。 权重矩阵有些东西我不明白。

输入层有 28x28=784 个神经元。然后我使用:

Conv2D(32,kernel_size=(7,7),stride=(3,3),use_bias=False)
Conv2D(64,kernel_size=(5,5),stride=(2,2),use_bias=False)
Flatten()
Dense(200,use_bias=False)
Dense(150,use_bias=False)
Dense(10,use_bias=False,softmax)

在我训练模型并输入 W = model.get_weights() 之后,我为每个 i 打印 W[i].shape 并获得:

(7,7,1,32)
(5,5,32,64)
(256,200)
(200,150)
(150,10)

据我了解,这意味着对于第一个隐藏层有 32 个 8x8=64 的图像(因为 (28-7)/3+1=8),因此第一个隐藏层有 64x32=2048 个神经元隐藏层。

下一部分是让我困惑的部分。由于下一个卷积具有内核大小 (5,5) 和步幅 (2,2) 并使用 64 个过滤器,这是否意味着我们对在第一个隐藏层中获得的每个 8x8 图像应用 64 个卷积?这将给出 64x32=2048 个大小为 2x2 的图像,并且在第二个隐藏层中将有 2048x4=8192 个神经元。但是下一层的权重矩阵的形状是(256,200)。它不应该是形状(8192,200)吗?这里发生了什么?

【问题讨论】:

    标签: python tensorflow keras neural-network conv-neural-network


    【解决方案1】:

    我认为这个解释会有所帮助。 计算输出特征的通用公式是这样的

    N_out = ([N_input + 2*padding - kernal_size]/stride) + 1
    

    对于第一个卷积层

    N_out = ([28 + 2(0) - 7])/3)+1
    N_out = 8
    

    你会得到 8x8 的图像和 32 个滤镜

    对于第二个卷积层

    N_out = ([8 + 2(0) - 5])/2)+1
    N_out = 2.5
    

    你可以看到输出大小是 2.5,因为你没有指定填充,tensorflow 使用默认填充作为“VALID”。check this link for source。

    现在让我们看看如果您在 8x8 图像上使用有效填充和 5X5 内核且步幅为 2 会发生什么。 这是ascii艺术

    1 2 3 4 5 6 7 8
    |_______|          <--- 1 st window
        |_______|      <--- 2 nd window
            |________  <--- 3rd window will drop(since valid padding)
    

    所以你最终得到了 2x2 图像,在第 2 层之后有 64 个通道,即 256。

    例如,

    from keras import layers
    
    m = Sequential()
    m.add(Conv2D(32,kernel_size=(7,7),strides=(3,3),use_bias=False,input_shape=(28,28,1)))
    m.add(Conv2D(64,kernel_size=(5,5),strides=(2,2),use_bias=False))
    m.add(Flatten())
    m.add(Dense(200,use_bias=False))
    m.add(Dense(150,use_bias=False))
    m.add(Dense(10,use_bias=False,activation='softmax'))
    
    for layer in m.layers: 
        print(layer.output_shape)
    

    输出

    (None, 8, 8, 32)
    (None, 2, 2, 64)
    (None, 256)
    (None, 200)
    (None, 150)
    (None, 10)
    

    【讨论】:

    • 那么(5,5,32,64)对于权重的形状是什么意思?
    • 我不完全确定 model.get_weights() 返回的输出是什么。但是如果你像这样遍历层并打印 output_shape,你就会明白from keras import layersfor layer in m.layers: print(layer.output_shape)跨度>
    • 我仍然觉得两个卷积层之间发生了一些我不完全理解的有趣事情。我的意思是,从第一个 conv2d 中,你得到 32 张 8x8 大小的图像。第二个 conv2d 说有 64 个过滤器,但是这 64 个过滤器到底应用了什么呢?对于 8x8 的 32 张图像中的每一张?它是否与应用了 64 个滤镜的 32 张 8x8 图像形成了独特的大图像?我想知道这种情况下的神经网络架构,我只能在第二个 conv2d 之前和之后构建,但是就在它上面我看不到发生了什么。
    • 所以输入层有 784 个神经元,第二个有 32x8x8 个神经元,我不知道如何确定第三层的神经元以及可视化该层与其周围的权重之间的权重.
    • 理解架构是一个不同的话题,你应该做一些研究。检查这些链接以供参考stats.stackexchange.com/questions/180850/…stats.stackexchange.com/questions/365307/…
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-02-13
    • 2017-06-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-11-10
    相关资源
    最近更新 更多