Tf-slim 中的 variables_to_train 标志

Question

我正在使用 TF-Slim 从预训练模型微调我的模型。当我使用create_train_op时，我发现它有一个参数是variables_to_train。在一些教程中，它使用如下标志：

   all_trainable = [v for v in tf.trainable_variables()]
   trainable     = [v for v in all_trainable]
   train_op      = slim.learning.create_train_op(
        opt,
        global_step=global_step,
        variables_to_train=trainable,
        summarize_gradients=True)

但在官方的TF-Slim中，并没有使用

   all_trainable = [v for v in tf.trainable_variables()]
   trainable     = [v for v in all_trainable]
   train_op      = slim.learning.create_train_op(
        opt,
        global_step=global_step,            
        summarize_gradients=True)

那么，使用variables_to_train和不使用variables_to_train有什么区别？

Answer 1

你的两个例子都做同样的事情。您训练图表中出现的所有可训练变量。使用参数variables_to_train，您可以定义在训练期间应该更新哪些变量。

这种情况的一个用例是当您有预训练的内容（例如不想在模型中训练的词嵌入）时。与

train_vars = [v for v in tf.trainable_variables() if "embeddings" not in v.name]
train_op      = slim.learning.create_train_op(
    opt,
    global_step=global_step,
    variables_to_train=train_vars,
    summarize_gradients=True)

您可以从训练中排除名称中包含"embeddings" 的所有变量。如果你只是想训练所有变量，你不必定义train_vars，你可以创建没有参数variables_to_train的训练操作。