正如我们将看到的,行为取决于使用哪个 numpy-distribution。
此答案将侧重于使用英特尔 VML(矢量数学库)的 Anacoda 分发,根据其他硬件和 numpy 版本,milliage 可能会有所不同。
还将展示如何通过 Cython 或 numexpr 使用 VML,以防万一不使用 Anacoda-distribution,它在后台插入 VML 以进行一些 numpy 操作。
我可以重现您的结果,针对以下维度
N,M=2*10**4, 10**3
a=np.random.rand(N, M)
我明白了:
%timeit py_expsum(a) # 87ms
%timeit nb_expsum(a) # 672ms
%timeit nb_expsum2(a) # 412ms
大部分(约 90%)的计算时间用于评估 exp- 函数,正如我们将看到的,这是一项 CPU 密集型任务。
快速浏览top-statistics 显示,numpy 的版本是并行执行的,但 numba 不是这种情况。然而,在我只有两个处理器的虚拟机上,单独的并行化无法解释因子 7 的巨大差异(如 DavidW 的版本 nb_expsum2 所示)。
通过perf 分析两个版本的代码显示如下:
nb_expsum
Overhead Command Shared Object Symbol
62,56% python libm-2.23.so [.] __ieee754_exp_avx
16,16% python libm-2.23.so [.] __GI___exp
5,25% python perf-28936.map [.] 0x00007f1658d53213
2,21% python mtrand.cpython-37m-x86_64-linux-gnu.so [.] rk_random
py_expsum
31,84% python libmkl_vml_avx.so [.] mkl_vml_kernel_dExp_E9HAynn ▒
9,47% python libiomp5.so [.] _INTERNAL_25_______src_kmp_barrier_cpp_38a91946::__kmp_wait_te▒
6,21% python [unknown] [k] 0xffffffff8140290c ▒
5,27% python mtrand.cpython-37m-x86_64-linux-gnu.so [.] rk_random
正如人们所看到的:numpy 在后台使用 Intel 的并行矢量化 mkl/vml-version,它很容易胜过 numba(或并行版本的 numba 或由 cython 处理)。使用并行化可以使地面稍微平整一点,但 mkl 的矢量化版本仍然会胜过 numba 和 cython。
但是,仅查看一种尺寸的性能并不是很有启发性,对于 exp(至于其他超越函数),需要考虑两个维度:
- 数组中的元素数量 - 缓存效果和针对不同大小的不同算法(在 numpy 中并非闻所未闻)会导致不同的性能。
- 取决于
x-value,需要不同的时间来计算exp(x)。通常有三种不同类型的输入会导致不同的计算时间:非常小、正常和非常大(具有非有限结果)
我正在使用 perfplot 来可视化结果(参见附录中的代码)。对于“正常”范围,我们得到以下表现:
虽然 0.0 的性能相似,但我们可以看到,一旦结果变得无限,英特尔的 VML 就会受到相当大的负面影响:
但还有其他需要注意的事项:
- 对于向量大小
<= 8192 = 2^13 numpy 使用非并行化 glibc 版本的 exp(同样使用 numba 和 cython)。
- 我使用的 Anaconda-distribution,overrides numpy's functionality and plugs Intel's VML-library 用于大小 > 8192,它是矢量化和并行化的 - 这解释了大小约为 10^4 的运行时间下降的原因。
- 对于较小的尺寸,numba 轻松击败了通常的 glibc 版本(对于 numpy 来说开销太大),但对于较大的数组(如果 numpy 不会切换到 VML)则没有太大差异。
- 这似乎是一个 CPU 密集型任务 - 我们无法在任何地方看到缓存边界。
- 仅当元素超过 500 个时,并行化的 numba 版本才有意义。
那么后果是什么?
- 如果元素不超过 8192 个,则应使用 numba-version。
- 否则 numpy 版本(即使没有可用的 VML 插件也不会损失太多)。
注意:numba 无法自动使用英特尔 VML 中的 vdExp(如 cmets 中部分建议的那样),因为它单独计算 exp(x),而 VML 对整个阵列进行操作。
在写入和加载数据时可以减少缓存未命中,这是由 numpy-version 使用以下算法执行的:
- 对适合缓存的部分数据执行 VML 的
vdExp,但也不会太小(开销)。
- 总结得到的工作数组。
- 执行 1.+2。对于下一部分数据,直到处理完整个数据。
但是,与 numpy 的版本相比,我不希望获得超过 10% 的收益(但也许我错了),因为无论如何 90% 的计算时间都花在了 MVL 中。
尽管如此,这是 Cython 中可能的快速而肮脏的实现:
%%cython -L=<path_mkl_libs> --link-args=-Wl,-rpath=<path_mkl_libs> --link-args=-Wl,--no-as-needed -l=mkl_intel_ilp64 -l=mkl_core -l=mkl_gnu_thread -l=iomp5
# path to mkl can be found via np.show_config()
# which libraries needed: https://software.intel.com/en-us/articles/intel-mkl-link-line-advisor
# another option would be to wrap mkl.h:
cdef extern from *:
"""
// MKL_INT is 64bit integer for mkl-ilp64
// see https://software.intel.com/en-us/mkl-developer-reference-c-c-datatypes-specific-to-intel-mkl
#define MKL_INT long long int
void vdExp(MKL_INT n, const double *x, double *y);
"""
void vdExp(long long int n, const double *x, double *y)
def cy_expsum(const double[:,:] v):
cdef:
double[1024] w;
int n = v.size
int current = 0;
double res = 0.0
int size = 0
int i = 0
while current<n:
size = n-current
if size>1024:
size = 1024
vdExp(size, &v[0,0]+current, w)
for i in range(size):
res+=w[i]
current+=size
return res
然而,这正是numexpr 会做的事情,它也使用英特尔的 vml 作为后端:
import numexpr as ne
def ne_expsum(x):
return ne.evaluate("sum(exp(x))")
至于时间我们可以看到如下:
有以下值得注意的细节:
- numpy、numexpr 和 cython 版本对于更大的数组具有几乎相同的性能 - 这并不奇怪,因为它们使用相同的 vml 功能。
- 在这三个中,cython-version 开销最小,numexpr 最多
- numexpr-version 可能是最容易编写的(考虑到并非每个 numpy 分发插件都包含 mvl 功能)。
列表:
情节:
import numpy as np
def py_expsum(x):
return np.sum(np.exp(x))
import numba as nb
@nb.jit( nopython=True)
def nb_expsum(x):
nx, ny = x.shape
val = 0.0
for ix in range(nx):
for iy in range(ny):
val += np.exp( x[ix, iy] )
return val
@nb.jit( nopython=True, parallel=True)
def nb_expsum2(x):
nx, ny = x.shape
val = 0.0
for ix in range(nx):
for iy in nb.prange(ny):
val += np.exp( x[ix, iy] )
return val
import perfplot
factor = 1.0 # 0.0 or 1e4
perfplot.show(
setup=lambda n: factor*np.random.rand(1,n),
n_range=[2**k for k in range(0,27)],
kernels=[
py_expsum,
nb_expsum,
nb_expsum2,
],
logx=True,
logy=True,
xlabel='len(x)'
)