加快python循环

Question

我正在尝试加速以下 python 代码：

for j in range(4,len(var_s),3):
    mag_list.append(float(var_s[j]))
mag_list = [value for value in mag_list if value != 99.]
med_mag = np.median(mag_list)

有没有一种将两个 for 循环合并为一个的好方法？这种方式，真的很慢。我需要的是从 var_s 列表中提取每三个条目，从五分之一开始，如果该条目的值不等于 99。在结果列表中，我需要中位数。 谢谢！

Answer 1

for j in range(4,len(var_s),3):
    value = float(var_s[j])
    if value != 99:
        mag_list.append(value)
med_mag = np.median(mag_list)

Answer 2

你可以试试：

mag_list = [value for value in var_s[4::3] if value != 99.]

根据var_s，您可能会使用itertools.islice(var_s,4,None,3) 做得更好，但这肯定需要定时知道。

如果你一直坚持使用 numpy，也许你会做得更好：

vs = np.array(var_s[4::3],dtype=np.float64)  #could slice after array conversion too ...
med_mag = np.median(vs[vs!=99.])

同样，这需要定时查看它相对于其他的表现如何。

Answer 3

mag_list = filter(lambda x: x != 99, var_s[4::3])

好的，这里有一些timeit 试验，全部在 Python 2.7.2 中：

设置：

>>> from random import seed, random
>>> from timeit import Timer
>>> from itertools import islice, ifilter, imap
>>> seed(1234); var_s = [random() for _ in range(100)]

使用 for 循环：

>>> def using_for_loop():
...     mag_list = []
...     for j in xrange(4, len(var_s), 3):
...             value = float(var_s[j])
...             if value != 99: mag_list.append(value)
... 
>>> Timer(using_for_loop).timeit()
11.596584796905518

使用地图和过滤器：

>>> def using_map_filter():
...     map(float, filter(lambda x: x != 99, var_s[4::3]))
... 
>>> Timer(using_map_filter).timeit()
8.643505096435547

使用 islice、imap、ifilter：

>>> def using_itertools():
...     list(imap(float, ifilter(lambda x: x != 99, islice(var_s, 4, None, 3)))) 
... 
>>> Timer(using_itertools).timeit()
11.311019897460938

使用列表推导和 islice：

>>> def using_list_comp():
...     [float(v) for v in islice(var_s, 4, None, 3) if v != 99]
... 
>>> Timer(using_list_comp).timeit()
8.52650499343872
>>> 

总之，使用带有 islice 的列表推导式是最快的，其次是使用 map 和 filter 的速度稍慢。