np.mean 和 tf.reduce_mean 有什么区别？

Question

在MNIST beginner tutorial中，有这样的说法

accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

tf.cast基本上改变了对象的张量类型，但是tf.reduce_mean和np.mean有什么区别呢？

这是tf.reduce_mean上的文档：

reduce_mean(input_tensor, reduction_indices=None, keep_dims=False, name=None)

input_tensor: 要约简的张量。应该是数字类型。

reduction_indices：要减小的尺寸。如果None（默认值），则减少所有维度。

# 'x' is [[1., 1. ]]
#         [2., 2.]]
tf.reduce_mean(x) ==> 1.5
tf.reduce_mean(x, 0) ==> [1.5, 1.5]
tf.reduce_mean(x, 1) ==> [1.,  2.]

对于一维向量，它看起来像 np.mean == tf.reduce_mean，但我不明白 tf.reduce_mean(x, 1) ==> [1., 2.] 中发生了什么。 tf.reduce_mean(x, 0) ==> [1.5, 1.5] 有点道理，因为 [1, 2] 和 [1, 2] 的平均值是 [1.5, 1.5]，但是 tf.reduce_mean(x, 1) 是怎么回事？

Answer 1

这里的关键是reduce这个词，它是函数式编程的一个概念，它使TensorFlow中的reduce_mean可以保持一批输入的计算结果的运行平均值。

如果您不熟悉函数式编程，这可能看起来很神秘。所以首先让我们看看reduce 做了什么。如果给你一个类似 [1,2,5,4] 的列表并被告知计算平均值，那很容易 - 只需将整个数组传递给 np.mean 即可得到平均值。但是，如果您必须计算数字流的平均值怎么办？在这种情况下，您必须首先通过从流中读取来组装数组，然后在生成的数组上调用 np.mean - 您必须编写更多代码。

另一种方法是使用 reduce 范式。作为一个例子，看看我们如何在 python 中使用 reduce 来计算数字的总和： reduce(lambda x,y: x+y, [1,2,5,4]).

它是这样工作的：

1. 第 1 步：从列表中读取 2 位数字 - 1,2。评估 lambda 1,2。 reduce 存储结果 3。注意 - 这是从列表中读取 2 位数字的唯一步骤
2. 第 2 步：读取列表中的下一个数字 - 5。计算 lambda 5, 3（3 是第 1 步的结果，减少存储）。 reduce 存储结果 8。
3. 第 3 步：读取列表中的下一个数字 - 4。计算 lambda 8,4（8 是第 2 步的结果，减少存储）。 reduce 存储结果 12
4. 第 4 步：读取列表中的下一个数字 - 没有，因此返回存储的结果 12。

在此处阅读更多信息Functional Programming in Python

要了解这如何应用于 TensorFlow，请查看以下代码块，该代码块定义了一个简单的图形，该图形接受一个浮点数并计算平均值。然而，图形的输入不是一个浮点数，而是一个浮点数数组。 reduce_mean 计算所有浮点数的平均值。

import tensorflow as tf


inp = tf.placeholder(tf.float32)
mean = tf.reduce_mean(inp)

x = [1,2,3,4,5]

with tf.Session() as sess:
    print(mean.eval(feed_dict={inp : x}))

在计算批量图像的值时，这种模式会派上用场。看看The Deep MNIST Example，你看到的代码如下：

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

Answer 2

numpy.mean 和 tensorflow.reduce_mean 的功能是相同的。他们做同样的事情。从文档中，对于numpy 和tensorflow，您可以看到这一点。让我们看一个例子，

c = np.array([[3.,4], [5.,6], [6.,7]])
print(np.mean(c,1))

Mean = tf.reduce_mean(c,1)
with tf.Session() as sess:
    result = sess.run(Mean)
    print(result)

输出

[ 3.5  5.5  6.5]
[ 3.5  5.5  6.5]

在这里您可以看到当axis(numpy) 或reduction_indices(tensorflow) 为1 时，它计算(3,4) 和(5,6) 和(6,7) 的平均值，所以@987654331 @ 定义计算平均值的轴。当它为 0 时，计算 (3,5,6) 和 (4,6,7) 的平均值，以此类推。我希望你能明白。

现在它们之间有什么区别？

你可以在 python 的任何地方计算 numpy 操作。但是为了做一个 tensorflow 操作，它必须在一个 tensorflow Session 内完成。你可以阅读更多关于它的信息here。因此，当您需要为您的张量流图（或结构，如果您愿意）执行任何计算时，必须在张量流Session 内完成。

让我们看另一个例子。

npMean = np.mean(c)
print(npMean+1)

tfMean = tf.reduce_mean(c)
Add = tfMean + 1
with tf.Session() as sess:
    result = sess.run(Add)
    print(result)

我们可以自然地在numpy 中增加1 的平均值，但是为了在tensorflow 中执行此操作，您需要在Session 中执行该操作，而不使用Session 您不能这样做.换句话说，当你计算 tfMean = tf.reduce_mean(c) 时，tensorflow 不会计算它。它只在Session 中计算。但是当你写 np.mean() 时，numpy 会立即计算出来。

我希望这是有道理的。

Answer 3

新文档指出tf.reduce_mean() 产生与 np.mean 相同的结果：

等价于 np.mean

它还具有与np.mean 完全相同的参数。但这里有一个重要的区别：它们仅在浮点值上产生相同的结果：

import tensorflow as tf
import numpy as np
from random import randint

num_dims = 10
rand_dim = randint(0, num_dims - 1)
c = np.random.randint(50, size=tuple([5] * num_dims)).astype(float)

with tf.Session() as sess:
    r1 = sess.run(tf.reduce_mean(c, rand_dim))
    r2 = np.mean(c, rand_dim)
    is_equal = np.array_equal(r1, r2)
    print is_equal
    if not is_equal:
        print r1
        print r2

如果你去掉类型转换，你会看到不同的结果

---

除此之外，许多其他 tf.reduce_ 函数，例如 reduce_all、reduce_any、reduce_min、reduce_max、reduce_prod 产生与 numpy 类似物相同的值。显然因为它们是操作，它们只能从会话内部执行。

Answer 4

1 通常指行，2 通常指列。减少“over”索引1意味着按行减少。

[1., 2.] 只是[ <row 1 mean> , <row 2 mean> ]。

这种索引编号约定在统计软件中很常见，尤其是 R。