Keras VGG16 底层特征提取

Question

我正在从作为 Keras 应用程序包含的 VGG16 模型中提取较低级别的功能。这些特征作为附加分类器的预训练输入数据的单独输出导出。概念思路借鉴自Multi-scale recognition with DAG-CNNs

使用没有分类器顶部的模型，使用Flatten()：block_05 = Flatten(name='block_05')(block5_pool)从block_5拉层提取最高级别​​的特征。这给出了一个维度为 8192.Flatten() 的输出向量，但是由于维度变得太大（内存问题），因此不适用于较低的拉动层。相反，可以使用GlobalAveragePooling2D():block_04 = GlobalAveragePooling2D(name='block_04')(block4_pool) 提取较低的拉动层（或任何其他层）。然而，这种方法的问题在于，特征向量的维度越低越快：block_4 (512)、block_3 (256)、block_2 (128)、block_1 (64)。

什么是合适的层或设置来保留来自更深层的更多特征数据？

对于信息，模型的输出如下所示，附加分类器具有相应数量的输入。

 # Create model, output data in reverse order from top to bottom
model = Model(input=img_input, output=[block_05,    # ch_00, layer 17, dim 8192
                                       block_04,    # ch_01, layer 13, dim 512
                                       block_03,    # ch_02, layer 9, dim 256
                                       block_02,    # ch_03, layer 5, dim 128
                                       block_01])   # ch_04, layer 2, dim 64

Answer 1

你提到的内存错误来自于扁平化一个巨大的数组，这使得单元的数量非常大。你真正需要做的是以一种聪明的方式对你的输入进行下采样。我将向您介绍如何做到这一点的一些方法：

1. MaxPooling：通过简单的池化使用——您可以先对特征图进行下采样，然后再对它们进行Flatten。这种方法的主要优点是简单且不需要额外的参数。主要缺点：这可能是一种非常粗糙的方法。
2. 智能下采样：在这里您可以添加具有大量子采样的Convolutional2D 层（例如，使用过滤器大小(4, 4) 和子采样(4, 4)）。这可能被认为是智能池。这种方法的一个主要缺点是这种方法需要额外的参数。