我想使用 vgg-16 的前三个卷积层来生成特征图。 但我想将它与可变图像大小一起使用，即不是 224x224 或 256x256 的 imagenet 大小。例如 480x640 或任何其他随机图像尺寸。
由于卷积层与图像空间大小无关，我如何将权重用于不同的图像大小？ 那么我们如何使用 vgg-16 的预训练权重到前三个卷积层。 请让我知道这是否可能。
【问题讨论】：
标签： python tensorflow deep-learning
As convolution layer are independent of image size
实际上比这更复杂。内核本身与图像大小无关，因为我们将其应用于每个像素。事实上，这些内核的训练可以重复使用。
但这意味着输出大小取决于图像大小，因为这是每个输入像素从层中送出的节点数。因此，即使特征提取器是独立的，密集层也不适合您的图像。
因此，您需要对图像进行预处理以适应第一层的大小，或者从头开始重新训练密集层。
当人们谈论“迁移学习”时，这就是人们几十年来在细分领域所做的事情。您可以重复使用最好的特征提取器，然后使用这些特征训练一个专用模型。
【讨论】：
卷积层的变量很容易复用。首先，定义一个包含卷积层的图，然后恢复它们的值。以下是伪代码
def network(your_inputs):
filter1 = tf.get_variable(shape=[filter_size, filter_size, in_channel, out_channel], name="vgg16/layer1")
features = tf.nn.conv2d(your_inputs, filter1, strides=[1,1,1,1])
filter2 = tf.get_variable(shape=[filter_size, filter_size, in_channel, out_channel], name="vgg16/layer2")
features = tf.nn.conv2d(features, filter2, strides=[1,1,1,1])
restore_filters = [filter1, filter2]
...
return logits, restore_filters
outputs, restore_filters = network(inputs)
saver = tf.train.Saver(restore_filters)
saver.restore(sess, "vgg-checkpoint.ckpt")
当然，您的过滤器大小必须与 VGG 网络相匹配。当您的变量名称与检查点文件的名称不同时，您可以将 Saver 与字典参数一起使用。
【讨论】：