【发布时间】:2021-12-24 18:39:53
【问题描述】:
我是 Numba 的新手,我正在尝试使用 Numba(版本 0.54.1)在 Python 中实现旧的 Fortran 代码,但是当我添加 parallel = True 时,程序实际上变慢了。我的程序非常简单:我在 L x L 网格中更改位置 x 和 y,并对网格中的每个位置执行求和
import numpy as np
import numba as nb
@nb.njit(parallel=True)
def lyapunov_grid(x_grid, y_grid, k, N):
L = len(x_grid)
lypnv = np.zeros((L, L))
for ii in nb.prange(L):
for jj in range(L):
x = x_grid[ii]
y = y_grid[jj]
beta0 = 0
sumT11 = 0
for j in range(N):
y = (y - k*np.sin(x)) % (2*np.pi)
x = (x + y) % (2*np.pi)
J = np.array([[1.0, -k*np.cos(x)], [1.0, 1.0 - k*np.cos(x)]])
beta = np.arctan((-J[1,0]*np.cos(beta0) + J[1,1]*np.sin(beta0))/(J[0,0]*np.cos(beta0) - J[0,1]*np.sin(beta0)))
T11 = np.cos(beta0)*(J[0,0]*np.cos(beta) - J[1,0]*np.sin(beta)) - np.sin(beta0)*(J[0,1]*np.cos(beta) - J[1,1]*np.sin(beta))
sumT11 += np.log(abs(T11))/np.log(2)
beta0 = beta
lypnv[ii, jj] = sumT11/N
return lypnv
# Compile
_ = lyapunov_grid(np.linspace(0, 1, 10), np.linspace(0, 1, 10), 1, 10)
# Parameters
N = int(1e3)
L = 128
pi = np.pi
k = 1.5
# Limits of the phase space
x0 = -pi
xf = pi
y0 = -pi
yf = pi
# Grid positions
x = np.linspace(x0, xf, L, endpoint=True)
y = np.linspace(y0, yf, L, endpoint=True)
lypnv = lyapunov_grid(x, y, k, N)
parallel=False 运行大约需要 8 秒,而parallel=True 运行大约需要 14 秒。我还使用来自https://github.com/animator/mandelbrot-numba 的另一个代码进行了测试,在这种情况下并行化有效。
import math
import numpy as np
import numba as nb
WIDTH = 1000
MAX_ITER = 1000
@nb.njit(parallel=True)
def mandelbrot(width, max_iter):
pixels = np.zeros((width, width, 3), dtype=np.uint8)
for y in nb.prange(width):
for x in range(width):
c0 = complex(3.0*x/width - 2, 3.0*y/width - 1.5)
c = 0
for i in range(1, max_iter):
if abs(c) > 2:
log_iter = math.log(i)
pixels[y, x, :] = np.array([int(255*(1+math.cos(3.32*log_iter))/2),
int(255*(1+math.cos(0.774*log_iter))/2),
int(255*(1+math.cos(0.412*log_iter))/2)],
dtype=np.uint8)
break
c = c * c + c0
return pixels
# compile
_ = mandelbrot(WIDTH, 10)
calcpixels = mandelbrot(WIDTH, MAX_ITER)
【问题讨论】:
-
4个案例你都试过了吗? 1) 使用 prange 和 parallel=True 2) 使用 prange 和 parallel=False 3) 使用 OUT prange (使用通常的 range()) 并且 parallel=True 4) 使用 OUT prange 并且 parallel=False。与通常的范围和 parallel=False 相比,其中一些可能会加快速度。
-
你真的只测量了最后一行的时间吗?不是整个程序(在编译中花费大量时间)。我试图用
tb = time.time(); lypnv = lyapunov_grid(x, y, k, N); print(round(time.time() - tb, 1))测量最后一行。与我的 2 核笔记本电脑上的非并行相比,并行变体的速度提高了 1.5 倍。还将@nb.njit(parallel=True)替换为@nb.njit(parallel=True, cache=True),即添加缓存参数,这将有助于不编译每次调用,而只编译一次。在我看来,您测量了整个程序,而不仅仅是最后一行时间。 -
我刚刚做了这个测试,我得到了 1) 16.9 s, 2) 10.9 s, 3) 11.6 s, 4) 11.4 s。
-
你只测量最后一行的时间吗?就像我在之前的评论中展示的那样?您还添加了缓存参数吗?我的 2 核笔记本电脑在 prange 的并行变体上提供了 1.5 的加速。
-
@Arty 我正在 Jupyter 笔记本中使用 %time _ = lyapunov_grid(x, y, k, N) 进行此测试并比较 Wall time。
标签: python performance parallel-processing numba