np.array == num 比较很慢吗？可以使用多处理来加速吗？

Question

在 python 中，大型 np.array 与单个数字之间的 == 比较是否非常低？我使用 line_profiler 来定位我的代码中的瓶颈。瓶颈只是一维 np.array 与常数之间的简单比较。它占总运行时间的 80%。我做错了什么导致它这么慢吗？有什么方法可以加速吗？

我尝试使用多处理，但是，在测试代码（sn-p 2）中，使用多处理比按顺序运行并直接使用映射要慢。谁能解释这种现象？

衷心感谢任何 cmets 或建议。

片段 1：

Line # Hits Time Per Hit %Time Line Contents

38 12635 305767927.0 24200.1 80.0 res = map(logicalEqual,assembly)

def logicalEqual(x):
         return F[:,-1] == x

assembly = [1,2,3,4,5,7,8,9,...,25]

F 是一个 int 类型的 (281900, 6) np.array

片段 2：

import numpy as np
from multiprocessing import Pool
import time

y=np.random.randint(2, 20, size=10000000)

def logicalEqual(x):
    return y == x

p=Pool()
start = time.time()
res0=p.map(logicalEqual, [1,2,3,4,5,7,8,9,10,11,12,13,14,15])
# p.close()
# p.join()
runtime = time.time()-start
print(f'runtime using multiprocessing.Pool is {runtime}')

res1 = []
start = time.time()
for x in [1,2,3,4,5,7,8,9,10,11,12,13,14,15]:
    res1.append(logicalEqual(x))
runtime = time.time()-start
print(f'sequential runtime is {runtime}')


start = time.time()
res2=list(map(logicalEqual,[1,2,3,4,5,7,8,9,10,11,12,13,14,15]))
runtime = time.time()-start
print(f'runtime is {runtime}')

runtime using multiprocessing.Pool is 0.3612203598022461
sequential runtime is 0.17401981353759766
runtime is  0.19697237014770508

Answer 1

数组比较很快，因为它是在 C 代码中完成的，而不是 Python。

x = np.random.rand(1000000)
y = 4.5
test = 0.55
%timeit x == test
386 µs ± 4.68 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
%timeit y == test
33.2 ns ± 0.121 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

因此，比较一个 Python 浮点数和另一个需要 33*10^-9 秒，而比较 1E6 个 numpy 浮点数只需要 386 µs / 33 ns ~= 11700 倍，尽管比较了 1000000 个以上的值。整数也是如此（377 µs vs 34 ns）。但正如 Dunes 在评论中提到的那样，比较很多值需要很多周期。对此你无能为力。