【问题标题】:Tensorflow efficient per-pixel gradient computationTensorFlow 高效的每像素梯度计算
【发布时间】:2017-03-22 18:22:01
【问题描述】:

我正在使用 tensorflow 重新实现论文 Learning Image Matching by Simply Watching Video,并且在从网络中获取梯度时遇到了一些严重的性能问题。为了快速回顾他们在论文中所做的事情,他们拥有训练有素的网络,他们使用 1 个前向道具来获得插值图像,然后使用 w*h/stride^2 后向道具来获得输出与每个输入的梯度像素。由于大量的反向传播,这必须相当有效地完成,以便在合理的时间内获得梯度(在论文中,8 分钟,每个反向传播 150 毫秒乘以 128*384/16 像素(步幅 4在行和列上))。由于在 tensorflow 中,由于梯度聚合(例如参见 this discussion),无法对多个反向传播进行批处理,因此我需要执行以下操作:

for i in range(0, h, stride): 
    for j in range(0, w, stride):
        grad_output[0,i,j,:] = 1 #select current pixel
        grad.append(tf.gradients(predictions, images, grad_output))
        grad_output[grad_output != 0] = 0

获取每个像素的符号梯度,其中预测是网络的输出张量,图像是输入,在 gpu 中声明为常量:

with tf.device('/gpu:0'):
    images = tf.constant(inp, dtype=tf.float32)

其中 inp 是包含数据的实际 numpy 数组。

单独调用tf.gradients 大约需要 0.35 毫秒,与作者在论文中报告的相比,这已经太多了。但是大部分时间都花在了评估符号梯度上,比如:

for i in range(0, len(grad)):
    res = sess.run(grad[i])

这大约需要 1.5 秒,非常慢。现在,对sess.run(grad[i])(具有相同索引i)的后续调用非常快,大约100 毫秒,而在每次迭代运行for 循环更改i 时,每次迭代大约需要1.5 秒。看到这种行为后,我的猜测是将东西移动到 GPU 的开销很大,这可能吗?如果是这种情况,我该如何避免呢?我已经将images 张量移动到GPU 常量,而不是使用占位符并依赖sess.run 中的feed_dict,但这对性能没有任何明显影响。有什么想法可以加快符号梯度的评估吗?我觉得我在这里遗漏了一些简单的东西,因为需要 1.5 秒的 1 个反向传播与任何现实场景都相差甚远(例如,训练网络每秒能够处理大约 100 个样本,所以我猜这不是架构问题..)

谢谢!

【问题讨论】:

    标签: python tensorflow deep-learning gradient


    【解决方案1】:

    这是我的想法:

    1. 尝试可视化学习图,例如通过tensorboard 和SummaryWriter。循环中的tf.gradients 看起来很可疑——确保创建给定张量的次数没有超出必要的次数。
    2. 如果它不改变你的语义,尝试一次计算所有的梯度:

      res = sess.run(grad)

    假设grad 是张量列表。在循环中执行sess.run 将多次重新计算grad[i] 和grad[j] 的任何公共父代。

    希望对你有帮助!

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-04-13
      • 1970-01-01
      • 2022-01-04
      • 2019-11-16
      • 1970-01-01
      • 2021-10-14
      • 2014-02-11
      • 1970-01-01
      相关资源
      最近更新 更多