【发布时间】:2017-03-22 18:22:01
【问题描述】:
我正在使用 tensorflow 重新实现论文 Learning Image Matching by Simply Watching Video,并且在从网络中获取梯度时遇到了一些严重的性能问题。为了快速回顾他们在论文中所做的事情,他们拥有训练有素的网络,他们使用 1 个前向道具来获得插值图像,然后使用 w*h/stride^2 后向道具来获得输出与每个输入的梯度像素。由于大量的反向传播,这必须相当有效地完成,以便在合理的时间内获得梯度(在论文中,8 分钟,每个反向传播 150 毫秒乘以 128*384/16 像素(步幅 4在行和列上))。由于在 tensorflow 中,由于梯度聚合(例如参见 this discussion),无法对多个反向传播进行批处理,因此我需要执行以下操作:
for i in range(0, h, stride):
for j in range(0, w, stride):
grad_output[0,i,j,:] = 1 #select current pixel
grad.append(tf.gradients(predictions, images, grad_output))
grad_output[grad_output != 0] = 0
获取每个像素的符号梯度,其中预测是网络的输出张量,图像是输入,在 gpu 中声明为常量:
with tf.device('/gpu:0'):
images = tf.constant(inp, dtype=tf.float32)
其中 inp 是包含数据的实际 numpy 数组。
单独调用tf.gradients 大约需要 0.35 毫秒,与作者在论文中报告的相比,这已经太多了。但是大部分时间都花在了评估符号梯度上,比如:
for i in range(0, len(grad)):
res = sess.run(grad[i])
这大约需要 1.5 秒,非常慢。现在,对sess.run(grad[i])(具有相同索引i)的后续调用非常快,大约100 毫秒,而在每次迭代运行for 循环更改i 时,每次迭代大约需要1.5 秒。看到这种行为后,我的猜测是将东西移动到 GPU 的开销很大,这可能吗?如果是这种情况,我该如何避免呢?我已经将images 张量移动到GPU 常量,而不是使用占位符并依赖sess.run 中的feed_dict,但这对性能没有任何明显影响。有什么想法可以加快符号梯度的评估吗?我觉得我在这里遗漏了一些简单的东西,因为需要 1.5 秒的 1 个反向传播与任何现实场景都相差甚远(例如,训练网络每秒能够处理大约 100 个样本,所以我猜这不是架构问题..)
谢谢!
【问题讨论】:
标签: python tensorflow deep-learning gradient