Tensorflow Estimators：分别训练图像网格的正确方法

Question

我正在尝试按照paper 中的描述训练对象检测模型

有 3 个全连接层，有 512、512、25 个神经元。来自最后一个卷积层的 16x55x55 特征图被馈送到全连接层以检索适当的类。在这个阶段，由 (16x1x1) 描述的每个网格都被馈送到全连接层，以将网格分类为属于 25 个类之一。结构见下图

fully connected layers

我正在尝试调整 TF MNIST 分类教程中的代码，我想知道是否可以像下面的代码 sn-p 那样将每个网格的损失求和并使用它来训练模型权重.

flat_fmap = tf.reshape(last_conv_layer, [-1, 16*55*55])

total_loss = 0

for grid of flat_fmap:
  dense1 = tf.layers.dense(inputs=grid, units=512, activation=tf.nn.relu)

  dense2 = tf.layers.dense(inputs=dense1, units=512, activation=tf.nn.relu)

  logits = tf.layers.dense(inputs=dense2, units=25)

  total_loss += tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits)
  

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.001)
train_op = optimizer.minimize(
  loss=total_loss,
  global_step=tf.train.get_global_step())


return tf.estimator.EstimatorSpec(mode=tf.estimator.ModeKeys.TRAIN, loss=total_loss, train_op=train_op)

在上面的代码中，我认为每次迭代都会创建 3 个新层。但是，我希望在对一个网格和另一个网格进行分类时保留权重。

Answer 1

添加到 total_loss 应该没问题。

tf.losses.sparse_softmax_cross_entropy 也将损失加在一起。

它使用 logits 计算 sparse_softmax，然后使用 math_ops.reduce_sum 通过求和来减少结果数组。 因此，您以一种或另一种方式将它们加在一起。

As you can see in its source

网络声明中的 for 循环似乎不寻常，在运行时执行它并通过 feed_dict 传递每个网格可能更有意义。

dense1 = tf.layers.dense(inputs=X, units=512, activation=tf.nn.relu)
dense2 = tf.layers.dense(inputs=dense1, units=512, activation=tf.nn.relu)
logits = tf.layers.dense(inputs=dense2, units=25)
loss = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits)
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.001).minimize(loss)
total_loss = 0


with tf.session as sess:
   sess.run(init) 
   for grid in flat_fmap:
       _, l = sess.run([optimizer,loss], feed_dict{X: grid, labels=labels})

       total_loss += l