在 python 中计算生成器的平均值

Question

我正在做一些统计工作，我有一个（大）随机数集合来计算平均值，我想使用生成器，因为我只需要计算平均值，所以我不需要存储数字。

问题在于，如果您将生成器传递给 numpy.mean，它就会中断。我可以编写一个简单的函数来做我想做的事，但我想知道是否有适当的内置方法可以做到这一点？

如果我能说“sum(values)/len(values)”就好了，但是 len 不适用于生成器，并且对已经消耗的值求和。

这是一个例子：

import numpy 

def my_mean(values):
    n = 0
    Sum = 0.0
    try:
        while True:
            Sum += next(values)
            n += 1
    except StopIteration: pass
    return float(Sum)/n

X = [k for k in range(1,7)]
Y = (k for k in range(1,7))

print numpy.mean(X)
print my_mean(Y)

这些都给出了相同的正确答案，buy my_mean 不适用于列表，numpy.mean 不适用于生成器。

我真的很喜欢使用生成器的想法，但是这样的细节似乎会破坏事情。

Answer 1

一般来说，如果您要对浮点数进行流式均值计算，最好使用数值更稳定的算法，而不是简单地将生成器相加并除以长度。

其中最简单的（据我所知）通常是credited to Knuth，并且还计算方差。该链接包含一个 python 实现，但为了完整起见，这里只复制了平均部分。

def mean(data):
    n = 0
    mean = 0.0
 
    for x in data:
        n += 1
        mean += (x - mean)/n

    if n < 1:
        return float('nan')
    else:
        return mean

我知道这个问题已经很老了，但它仍然是谷歌上的第一个热门话题，所以发布似乎很合适。还是很遗憾python标准库没有包含这么简单的代码。

Answer 2

只需对您的代码进行一项简单的更改，您就可以同时使用这两种代码。生成器本来可以与 for 循环中的列表互换使用。

def my_mean(values):
    n = 0
    Sum = 0.0
    for v in values:
        Sum += v
        n += 1
    return Sum / n

Answer 3

def my_mean(values):
    total = 0
    for n, v in enumerate(values, 1):
        total += v
    return total / n

print my_mean(X)
print my_mean(Y)

有statistics.mean() in Python 3.4 但it calls list() on the input:

def mean(data):
    if iter(data) is data:
        data = list(data)
    n = len(data)
    if n < 1:
        raise StatisticsError('mean requires at least one data point')
    return _sum(data)/n

其中_sum() 返回一个准确的和（math.fsum() 类似函数，除了float 还支持Fraction、Decimal）。

Answer 4

老式的做法：

def my_mean(values):
   sum, n = 0, 0
   for x in values:
      sum += x
      n += 1
   return float(sum)/n

Answer 5

一种方法是

numpy.fromiter(Y, int).mean()

但这实际上是临时存储数字。

Answer 6

您的方法很好，但您应该改用for x in y 习惯用法，而不是反复调用next，直到得到StopIteration。这适用于列表和生成器：

def my_mean(values):
    n = 0
    Sum = 0.0

    for value in values:
        Sum += value
        n += 1
    return float(Sum)/n

Answer 7

你可以在不知道数组大小的情况下使用reduce：

from itertools import izip, count
reduce(lambda c,i: (c*(i[1]-1) + float(i[0]))/i[1], izip(values,count(1)),0)

Answer 8

def my_mean(values):
    n = 0
    sum = 0
    for v in values:
        sum += v
        n += 1
    return sum/n

上面的代码与您的代码非常相似，除了使用for 迭代values，无论您获得列表还是迭代器，您都很好。 然而，python sum 方法非常优化，因此除非列表真的非常长，否则您可能会更乐意暂时存储数据。

（还要注意，由于你使用的是python3，所以不需要float(sum)/n）

Answer 9

如果你事先知道生成器的长度，并且想避免将完整列表存储在内存中，可以使用：

reduce(np.add, generator)/length

Answer 10

试试：

import itertools

def mean(i):
    (i1, i2) = itertools.tee(i, 2)
    return sum(i1) / sum(1 for _ in i2)

print mean([1,2,3,4,5])

tee 将为任何可迭代的i（例如生成器、列表等）复制您的迭代器，允许您使用一个副本进行求和，另一个用于计数。

（请注意，“tee”仍将使用中间存储）。