【问题标题】:Tensorflow: Saving subset of variables from previously created modelTensorflow:从先前创建的模型中保存变量子集
【发布时间】:2017-03-29 19:11:38
【问题描述】:

我创建了一个包含一堆变量的模型(模型 A)。我计划使用模型 A 中的一些层在新模型(模型 B)上使用模型 A 进行迁移学习。但是,模型 B 具有与模型 A 相同的架构,因此我之前不能只加载模型 A 中的所有变量运行模型 B,否则命名等会出现错误。因此,我正在尝试创建一个新的 ckpt 文件,该文件仅存储我想要的模型 A 的权重。然后我将使用这个新的 ckpt 文件加载到模型 B . 我有以下内容:

sess = tf.Session()
saver = tf.train.import_meta_graph('ModelA.ckpt.meta')
saver.restore(sess, 'ModelA.ckpt')

# I did not explicity name my variables in model A so I am just placing them in the list and taking the ones I want

store_list = []
for v in tf.trainable_variables():
    store_list.append(v)

var_list={"W_1": store_list[0], "b_1": store_list[1]}
v2_saver=tf.train.Saver(var_list)
sess.run(tf.global_variables_initializer())
v2_saver.save(sess, 'model_A_subset.ckpt')

但是,当我恢复 model_A_subset.ckpt 时,我仍然拥有 ModelA.ckpt 中的所有变量。难道我做错了什么?有没有一种方法可以轻松地从 ModelA.ckpt 中删除我不想要的变量并使用它?

【问题讨论】:

    标签: python machine-learning tensorflow neural-network


    【解决方案1】:

    您确定检查点中有不必要的变量吗?我问是因为在恢复检查点之前,您需要创建图表,如果您正在创建一个包含 A 的所有变量的图表,您就会遇到这个问题。

    要检查检查点并查看实际存在的内容,请尝试inspect checkpoint tool

    【讨论】:

    • 也许我误解了inspect_checkpoint,但是当我在新脚本中重新加载子集模型时,我只是在做saver = tf.train.import_meta_graph('Model_A_subset.ckpt.meta'),这应该创建我的图表,然后saver.restore(sess, 'Model_A_subset.ckpt')那么图表怎么知道如果从未写入过不必要的变量?
    • 啊,当您重新加载元图时,它会附带另一个模型的整个图,而不仅仅是它的变量。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2012-03-08
    • 1970-01-01
    • 2019-06-21
    • 2018-10-09
    • 1970-01-01
    • 2020-03-21
    • 2020-07-24
    相关资源
    最近更新 更多