为什么我在使用 InceptionV3 后不能再使用我的数据集了？

Question

我目前正在研究视频字幕（自然语言的帧序列）。 我最近开始在 tensorflow 中使用 tf.data.Dataset 类而不是 feed_dict 参数。

我的目标是将这些帧输入到预训练的 CNN (inceptionv3)，提取特征向量，然后将其输入到我的 RNN seq2seq 网络。

在将我的数据集与初始模型映射后，我遇到了 tensorflow 类型的问题：然后数据集完全无法使用，无论是通过 dataset.batch() 还是 dataset.take()。我什至无法制作一次性迭代器！

这是我如何继续构建我的数据集：

第 1 步：我首先为每个视频提取相同数量的帧。我将所有这些都存储到一个 numpy 数组中。它的形状是 (nb_videos, nb_frames, width, height, channels) 请注意，在这个数据集中，每个视频都具有相同的大小并具有 3 个颜色通道。

第 2 步：然后我使用这个大的 numpy 数组创建一个 tf.data.Dataset 对象 请注意，通过 python 打印此数据集给出： 使用 n_videos=2;宽度=240；高度=320；频道=3 我已经不明白“DataAdapter”代表什么 在此刻;我可以创建一次性迭代器，但使用 dataset.batch(1) 返回： 我不明白为什么“？”而不是“1”形状..

第 3 步：我使用数据集上的 map 函数将所有视频的所有帧调整为 299*299*3（需要使用 InceptionV3） 此时，我可以使用我的数据集中的数据并制作一次性迭代器。

第 4 步：我再次使用 map 函数，使用 InceptionV3 预训练模型提取每个特征。 此时出现问题： 打印数据集给出： 好的 看起来不错 但是，现在不可能为这个数据集创建一个一次性迭代器

第一步：

X_train_slice, Y_train = build_dataset(number_of_samples)

第 2 步：

X_train = tf.data.Dataset.from_tensor_slices(X_train_slice)

第三步：

def format_video(video):
    frames = tf.image.resize_images(video, (299,299))
    frames = tf.keras.applications.inception_v3.preprocess_input(frames)
    return frames


X_train = X_train.map(lambda video: format_video(video))

第四步：

初始模型：

image_model = tf.keras.applications.InceptionV3(include_top=False,
                                                weights='imagenet')
new_input = image_model.input

hidden_layer = image_model.layers[-1].output

image_features_extract_model = tf.keras.Model(new_input, hidden_layer)

对于 tf.reduce_mean;见how-to-get-pool3-features-of-inception-v3-model-using-keras (SO)

def extract_video_features(video):
    batch_features = image_features_extract_model(video)
    batch_features = tf.reduce_mean(batch_features, axis=(1, 2))
    return batch_features

X_train = X_train.map(lambda video: extract_video_features(video))

创建迭代器：

iterator = X_train.make_one_shot_iterator()

这是输出：

ValueError: Failed to create a one-shot iterator for a dataset. 
`Dataset.make_one_shot_iterator()` does not support datasets that capture 
stateful objects, such as a `Variable` or `LookupTable`. In these cases, use 
`Dataset.make_initializable_iterator()`. (Original error: Cannot capture a 
stateful node (name:conv2d/kernel, type:VarHandleOp) by value.)

我不太明白：它要求我使用 initializable_iterator 但这种迭代器专用于占位符。在这里，我有原始数据！

Answer 1

您使用错误的管道。 tf.data 的想法是为模型提供 输入 管道，而不是包含模型本身。您正在尝试将模型作为管道的一个步骤（您的第 4 步）进行拟合，但是，正如错误所示，这不起作用。

您应该做的是像您一样构建模型，然后在输入数据上调用model.predict，以获得您想要的特征（作为计算值）。如果您想添加更多计算，请将其添加到模型中，因为 predict 调用将运行模型并返回输出层的值。

旁注： image_features_extract_model = tf.keras.Model(new_input, hidden_layer) 完全不相关，考虑到您为输入和输出张量所做的选择：输入是image_model 的输入，输出是image_model 的输出，所以image_features_extract_model 等同于image_model。

最后的代码应该是：

X_train_slice, Y_train = build_dataset(number_of_samples)
X_train = tf.data.Dataset.from_tensor_slices(X_train_slice)

def format_video(video):
    frames = tf.image.resize_images(video, (299,299))
    frames = tf.keras.applications.inception_v3.preprocess_input(frames)
    return frames

X_train = X_train.map(lambda video: format_video(video))

image_model = tf.keras.applications.InceptionV3(include_top=False,
                                                weights='imagenet')
bottlenecks = image_model.predict(X_train)

# Do something with your bottlenecks