如何在 TensorFlow 中可靠地测量 sess.run() 的时间？

Question

我的问题是，如果一个操作的参数是常量，TF会缓存结果：

a = tf.constant(np.random.randn(*(100, 101)))
b = tf.constant(np.random.randn(*(100, 102)))
c = tf.constant(np.random.randn(*(101, 102)))
# Some expensive operation.
res = tf.einsum('si,sj,ij->s', a, b, c)
%timeit sess.run(res)

最慢的运行时间是最快的运行时间的 577.76 倍。这可能意味着正在缓存中间结果。 10000 次循环，3 次中的最佳：每个循环 137 µs

如果我在每次运行时从头开始生成张量，那么我也会计算张量生成的开销：

a = tf.random_normal((100, 101))
b = tf.random_normal((100, 102))
c = tf.random_normal((101, 102))
res = tf.einsum('si,sj,ij->s', a, b, c)
%timeit sess.run(res)

最慢的运行时间是最快的运行时间的 4.07 倍。这可能意味着正在缓存中间结果。 10 个循环，3 个循环中的最佳值：每个循环 28 毫秒

也许在这个特定的例子中，开销并不大，但对于更便宜的操作来说，它可能很重要。

有什么方法可以冻结参数，这样它们就不会在每个 sess.run() 上重新计算，而是抑制所有其他缓存？

Answer 1

在每次运行（跨会话）时，将评估您传递给 sess.run() 的任何张量对象。来自文档：

Session 对象封装了 Operation 对象所在的环境 执行，并对张量对象进行评估。

不可能忽略跨会话评估（计算）张量的值，只要它是要评估的表达式的一部分。

在您的示例中，张量对象 a, b, c 始终在每个会话中进行评估，因为需要它们的值来计算 einsum。但是，在一个会话中，它们只计算一次并在运行中缓存。

但是，在一个会话中，您可以让它只被评估一次并在其他地方使用它。但同样，这仅在会话中有效。