【问题标题】:Is 2-dimensional numpy.take fast?二维 numpy.take 快吗?
【发布时间】:2017-12-30 14:25:28
【问题描述】:

numpy.take 可以在 2 维 中应用

np.take(np.take(T,ix,axis=0), iy,axis=1 )

我测试了离散二维拉普拉斯算子的模板

ΔT = T[ix-1,iy] + T[ix+1, iy] + T[ix,iy-1] + T[ix,iy+1] - 4 * T[ix,iy]

有 2 个 take-schemes 和通常的 numpy.array 方案。引入函数 p 和 q 是为了编写更精简的代码,并以不同的顺序处理轴 0 和 1。这是代码:

nx = 300; ny= 300
T  = np.arange(nx*ny).reshape(nx, ny)
ix = np.linspace(1,nx-2,nx-2,dtype=int) 
iy = np.linspace(1,ny-2,ny-2,dtype=int)
#------------------------------------------------------------
def p(Φ,kx,ky):
    return np.take(np.take(Φ,ky,axis=1), kx,axis=0 )
#------------------------------------------------------------
def q(Φ,kx,ky):
    return np.take(np.take(Φ,kx,axis=0), ky,axis=1 )
#------------------------------------------------------------
%timeit ΔT_n = T[0:nx-2,1:ny-1] + T[2:nx,1:ny-1] + T[1:nx-1,0:ny-2]  + T[1:nx-1,2:ny] - 4.0 * T[1:nx-1,1:ny-1] 
%timeit ΔT_t = p(T,ix-1,iy)  + p(T,ix+1,iy)  + p(T,ix,iy-1)  + p(T,ix,iy+1)  - 4.0 * p(T,ix,iy)
%timeit ΔT_t = q(T,ix-1,iy)  + q(T,ix+1,iy)  + q(T,ix,iy-1)  + q(T,ix,iy+1)  - 4.0 * q(T,ix,iy)
.
1000 loops, best of 3: 944 µs per loop
100 loops, best of 3: 3.11 ms per loop
100 loops, best of 3: 2.02 ms per loop

结果似乎很明显:

  1. 通常的 numpy 索引算法是最快的
  2. take-scheme q 花费 100% 的时间(= C-ordering ?)
  3. take-scheme p 耗时 200%(= Fortran 排序?)

甚至不是一维 example of the scipy manual 表示 numpy.take 很快:

a = np.array([4, 3, 5, 7, 6, 8])
indices = [0, 1, 4]
%timeit np.take(a, indices)
%timeit a[indices]
.
The slowest run took 6.58 times longer than the fastest. This could mean that an intermediate result is being cached.
100000 loops, best of 3: 4.32 µs per loop
The slowest run took 7.34 times longer than the fastest. This could mean that an intermediate result is being cached.
100000 loops, best of 3: 3.87 µs per loop

有没有人有经验如何使 numpy.take 快速?这将是一种灵活且有吸引力的精益代码编写方式,编码速度快,
is told to be fast in execution 也是如此。感谢您提供一些改进我的方法的提示!

【问题讨论】:

  • np.ix_ : T[np.ix_(ix,iy)] 怎么样?
  • 我过去测试的记忆是np.take 比索引符号快一点。但优点是足够小,以至于将它包装在函数调用中可能会破坏它。 stackoverflow.com/questions/44487889/…
  • @Divakar:是的,我也试过np.ix_(但在我的问题中因为简短而省略了它):在我的测试中,np.ix_ 比更好的 np.take 慢
  • ixiy 在其索引中是否总是遵循这种恒定步长的模式?
  • @hpailj:你是对的:我也应该尝试不使用函数包装。但我想编写一个相当复杂的 CFD(计算流体动力学)代码。所以精益写作是必不可少的。非精益代码很容易出错。

标签: python performance numpy take


【解决方案1】:

感谢@Divakar 和@hpaulj!是的,使用slice 也是可行的。比较所有 4 种方法得出:

  1. 同等条件下最快:t(usual np) 和 t(slice)
  2. t(take) = 2 * t(slice)
  3. t(ix_) = 3 * t(slice)

这里是代码和结果:

import numpy as np
from numpy import ix_ as r
nx = 500;    ny = 500
T = np.arange(nx*ny).reshape(nx, ny)

ix = np.arange(1,nx-1); 
iy = np.arange(1,ny-1);

jx = slice(1,nx-1); jxm = slice(0,nx-2); jxp = slice(2,nx)
jy = slice(1,ny-1); jym = slice(0,ny-2); jyp = slice(2,ny)

#------------------------------------------------------------
def p(U,kx,ky):
    return np.take(np.take(U,kx, axis=0), ky,axis=1)
#------------------------------------------------------------

%timeit ΔT_slice= -T[jxm,jy]     + T[jxp,jy]     - T[jx,jym]     + T[jx,jyp]     - 0.0 * T[jx,jy]
%timeit ΔT_npy  = -T[0:nx-2,1:ny-1] + T[2:nx,1:ny-1] - T[1:nx-1,0:ny-2]  + T[1:nx-1,2:ny] - 0.0 * T[1:nx-1,1:ny-1]
%timeit ΔT_take = -p(T,ix-1,iy)  + p(T,ix+1,iy)  - p(T,ix,iy-1)  + p(T,ix,iy+1)  - 0.0 * p(T,ix,iy)
%timeit ΔT_ix_  = -T[r(ix-1,iy)] + T[r(ix+1,iy)] - T[r(ix,iy-1)] + T[r(ix,iy+1)] - 0.0 * T[r(ix,iy)]
.
100 loops, best of 3: 3.14 ms per loop
100 loops, best of 3: 3.13 ms per loop
100 loops, best of 3: 7.03 ms per loop
100 loops, best of 3: 9.58 ms per loop

关于查看和复制的讨论,以下内容可能具有指导意义:

print("if False --> a view ;   if True --> a copy"  )
print("_slice_ :", T[jx,jy].base is None)
print("_npy_   :", T[1:nx-1,1:ny-1].base is None)
print("_take_  :", p(T,ix,iy).base is None)
print("_ix_    :", T[r(ix,iy)].base is None)
.
if False --> a view ;   if True --> a copy
_slice_ : False
_npy_   : False
_take_  : True
_ix_    : True

【讨论】:

    【解决方案2】:

    索引版本可能会使用这样的切片对象进行清理:

    T[0:nx-2,1:ny-1] + T[2:nx,1:ny-1] + T[1:nx-1,0:ny-2]  + T[1:nx-1,2:ny] - 4.0 * T[1:nx-1,1:ny-1]
    
    sy1 = slice(1,ny-1)
    sx1 = slice(1,nx-1)
    sy2 = slice(2,ny)
    sy_2 = slice(0,ny-2)
    T[0:nx-2,sy1] + T[2:nx,sy1] + T[sx1,xy_2]  + T[sx1,sy2] - 4.0 * T[sx1,sy1]
    

    【讨论】:

      猜你喜欢
      • 2017-08-01
      • 2013-01-07
      • 1970-01-01
      • 1970-01-01
      • 2013-06-20
      • 2011-09-07
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多