【问题标题】:fastest way to populate a 1D numpy array填充一维 numpy 数组的最快方法
【发布时间】:2011-12-02 11:10:24
【问题描述】:

我见过与此类似的问题,但没有直接解决该问题。 我已经对以下两种填充数组的方法进行了计时,使用 np.zeros() 的一半时间更快,而直接使用它的一半时间更快。 有没有更好的方法?我对使用 numpy 数组很陌生,并且已经参与了加快我的代码而不是太多考虑可读性的目标。

import numpy as np
import time

lis = range(100000)

timer = time.time()
list1 = np.array(lis)
print 'normal array creation', time.time() - timer, 'seconds'

timer = time.time()
list2 = np.zeros(len(lis))
list2.fill(lis)
print 'zero, fill - array creation', time.time() - timer, 'seconds'

谢谢

【问题讨论】:

  • pythonic 测试执行速度的方法是使用timeit 模块。
  • @mac 好的,我将从现在开始使用它。这几乎是第一次/profile(cProfiler) 我需要为我的函数计时

标签: python numpy


【解决方案1】:

如果你有一个浮点列表a=[x/10. for x in range(100000)],那么你可以创建一个数组:

np.array(a) # 9.92ms
np.fromiter(a, dtype=np.float) # 5.19ms

你的方法

list2 = np.zeros(len(lis))
list2.fill(lis)

不会按预期工作。 .fill 用一个值填充整个数组。

【讨论】:

  • sorry应该说的更清楚些,这段代码只是为了测试速度,我用的时候会填上真实数据。 (数据点将是浮点数)
  • 对于np.array 与np.fromiter,我很惊讶第二个更快。如果它是一个迭代器,numpy 一开始不知道要分配多少内存。 (它必须检查它是否可以获得长度。)更好的性能是因为您告诉 numpy 要使用的显式类型。如果您将 dtype 传递给 np.array,那会更快。
【解决方案2】:

np.fromiter 将在给定元素数量的情况下预先分配输出数组:

a = [x/10. for x in range(100000)] # 10.3ms
np.fromiter(a, dtype=np.float) # 3.33ms
np.fromiter(a, dtype=np.float, count=100000) # 3.03ms

【讨论】:

    【解决方案3】:

    您的list2 示例根本不起作用——如果您检查list2,您会发现它仍然包含全零。我发现追求可读性本身并不仅仅是一个好的目标。它还会增加正确代码的可能性。

    【讨论】:

    • 应该是评论... :)
    【解决方案4】:

    使用arange numpy 函数可以更快地创建第一个列表:

    list3 = np.arange(100000)

    您还可以找到有用的 linspace 函数。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2013-11-18
      • 2017-06-11
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-11-24
      相关资源
      最近更新 更多