【问题标题】:Manually change weights of Keras convolutional layer手动更改 Keras 卷积层的权重
【发布时间】:2021-02-13 04:02:39
【问题描述】:

有一种方法可以手动更改 tf.layers.Conv2d (https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/layers/Conv2D) 的权重吗?因为这个类只接受输入、要使用的内核数量等......并且权重由 Tensorflow 自动存储和计算,但我会采用一种方法(如在 tf.nn.conv2d - https://www.tensorflow.org/api_docs/python/tf/nn/conv2d 中)直接将权重传递给类。

有人有什么建议吗?

也许可以手动加载和更改该层的变量 associate 的值?我发现这个解决方案非常糟糕,但它可以工作。

谢谢。

【问题讨论】:

    标签: python tensorflow keras convolution


    【解决方案1】:

    假设你有一个这样的基本卷积神经网络:

    import tensorflow as tf
    import numpy as np
    
    model = tf.keras.Sequential([
        tf.keras.layers.Conv2D(filters=16, kernel_size=(3, 3), 
                               strides=(1, 1), activation='relu'),
        tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
        tf.keras.layers.Conv2D(filters=32, kernel_size=(3, 3), 
                               strides=(1, 1), activation='relu'),
        tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
        tf.keras.layers.Flatten(),
        tf.keras.layers.Dense(64, activation='relu'),
        tf.keras.layers.Dropout(5e-1),
        tf.keras.layers.Dense(10, activation='softmax')
    ])
    

    默认情况下,所有卷积层的名称为'conv2d...'。

    list(map(lambda x: x.name, model.layers))
    
    ['conv2d_19',
     'max_pooling2d_19',
     'conv2d_20',
     'max_pooling2d_20',
     'flatten_8',
     'dense_16',
     'dropout_8',
     'dense_17']
    

    使用它,您可以遍历所有卷积层。

    for layer in filter(lambda x: 'conv2d' in x.name, model.layers):
        print(layer)
    
    <tensorflow.python.keras.layers.convolutional.Conv2D object at 0x00000295BE4EB048>
    <tensorflow.python.keras.layers.convolutional.Conv2D object at 0x00000295C1617448>
    

    对于所有这些层,您可以获得权重形状和偏差形状。

    for layer in filter(lambda x: 'conv' in x.name, model.layers):
        weights_shape, bias_shape = map(lambda x: x.shape, layer.get_weights())
    

    然后您可以将layer.set_weights() 与您想要的值一起使用,因为您知道正确的形状。假设0.12345。让我们用np.full 来做这件事,它用你想要的任何值填充指定形状的数组。

    for layer in filter(lambda x: 'conv2d' in x.name, model.layers):
        weights_shape, bias_shape = map(lambda x: x.shape, layer.get_weights())
        layer.set_weights([np.full(weights_shape, 0.12345),
                           np.full(bias_shape,    0.12345)])
    

    现在的权重:

    [array([[[[0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
              [0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
              [0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
              ...,
              [0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
              [0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345],
              [0.12345, 0.12345, 0.12345, ..., 0.12345, 0.12345, 0.12345]]]],
           dtype=float32),
     array([0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345,
            0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345,
            0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345,
            0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345, 0.12345,
            0.12345, 0.12345, 0.12345, 0.12345], dtype=float32)]
    

    完全复制/粘贴示例:

    import tensorflow as tf
    import numpy as np
    
    model = tf.keras.Sequential([
        tf.keras.layers.Conv2D(filters=16, kernel_size=(3, 3), 
                               strides=(1, 1), activation='relu'),
        tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
        tf.keras.layers.Conv2D(filters=32, kernel_size=(3, 3), 
                               strides=(1, 1), activation='relu'),
        tf.keras.layers.MaxPool2D(pool_size=(2, 2)),
        tf.keras.layers.Flatten(),
        tf.keras.layers.Dense(64, activation='relu'),
        tf.keras.layers.Dropout(5e-1),
        tf.keras.layers.Dense(10, activation='softmax')
    ])
    
    model.build(input_shape=(None, 28, 28, 1))
    
    for layer in filter(lambda x: 'conv2d' in x.name, model.layers):
        weights_shape, bias_shape = map(lambda x: x.shape, layer.get_weights())
        layer.set_weights([np.full(weights_shape, 0.12345),
                           np.full(bias_shape,    0.12345)])
    

    【讨论】:

      【解决方案2】:

      感谢 Nicholas 的建议。

      我没有使用 Keras 进行网络建模,实际上我需要直接使用 Tensorflow,尤其是使用 tf-slim 库。

      您提出的解决方案可以用于替换权重,但要克服的问题是我还需要更改这些权重用于计算卷积运算的方式。更具体地说,我想向 Conv 层传递一个权重向量,该向量以某种方式代表先前的权重矩阵,因此在进行卷积之前,我需要重建一个矩阵并将其传递给层。

      有什么建议可以做到这一点吗?

      谢谢。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2021-09-10
        • 2017-06-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多