Tensorflow 中的多个会话和图表（在同一进程中）

Question

我正在训练一个模型，其中输入向量是另一个模型的输出。这涉及从检查点文件恢复第一个模型，同时在同一过程中从头开始（使用tf.initialize_variables()）初始化第二个模型。

有大量的代码和抽象，所以我只是在这里粘贴相关部分。

以下是恢复代码：

self.variables = [var for var in all_vars if var.name.startswith(self.name)]
saver = tf.train.Saver(self.variables, max_to_keep=3)
self.save_path = tf.train.latest_checkpoint(os.path.dirname(self.checkpoint_path))

if should_restore:
    self.saver.restore(self.sess, save_path)
else:
    self.sess.run(tf.initialize_variables(self.variables))

每个模型都在其自己的图表和会话范围内，如下所示：

 self.graph = tf.Graph()
 self.sess = tf.Session(graph=self.graph)

 with self.sess.graph.as_default():
    # Create variables and ops.

每个模型中的所有变量都是在variable_scope 上下文管理器中创建的。

喂料工作如下：

• 后台线程在input = scipy.misc.imread(X) 上调用sess.run(inference_op)，并将结果放入阻塞线程安全队列。
• 主训练循环从队列中读取数据并在第二个模型上调用 sess.run(train_op)。

问题：
我观察到损失值，即使在训练的第一次迭代（第二个模型）中，在运行过程中也会发生巨大变化（并在几次迭代中变为 nan）。我确认第一个模型的输出每次都完全相同。注释掉第一个模型的 sess.run 并将其替换为来自腌制文件的相同输入不会显示此行为。

这是train_op：

    loss_op = tf.nn.sparse_softmax_cross_entropy(network.feedforward())
    # Apply gradients.
    with tf.control_dependencies([loss_op]):
        opt = tf.train.GradientDescentOptimizer(lr)
        grads = opt.compute_gradients(loss_op)
        apply_gradient_op = opt.apply_gradients(grads)

    return apply_gradient_op

我知道这很模糊，但我很乐意提供更多详细信息。任何帮助表示赞赏！

Answer 1

这个问题肯定是由于不同会话对象的并发执行而发生的。我将第一个模型的会话从后台线程移到主线程，重复了几次受控实验（运行超过 24 小时并达到收敛），从未观察到NaN。另一方面，并​​发执行会在几分钟内使模型发散。

我已经重组了我的代码，以便为所有模型使用一个公共会话对象。