【发布时间】:2021-04-19 18:32:09
【问题描述】:
#cython: boundscheck=False, wraparound=False, nonecheck=False, cdivision=True, language_level=3
cpdef int query(double[::1] q, double[:,::1] data) nogil:
cdef:
int n = data.shape[0]
int dim = data.shape[1]
int best_i = -1
double best_ip = -1
double ip
for i in range(n):
ip = 0
for j in range(dim):
ip += q[j] * data[i, j]
if ip > best_ip:
best_i = i
best_ip = ip
return best_i
编译后,我用 Python 计时代码:
import numpy as np
import ip
n, dim = 10**6, 10**2
X = np.random.randn(n, dim)
q = np.random.randn(dim)
%timeit ip.query(q, X)
这大约需要 100 毫秒。同时相当于numpy code:
%timeit np.argmax(q @ X.T)
只需大约 50 毫秒。
这很奇怪,因为 NumPy 代码似乎必须在获取 argmax 之前分配大数组 q @ X.T。因此我想知道我是否缺少一些优化?
我已将extra_compile_args=["-O3", '-march=native'], 添加到我的 setup.py 中,并且我还尝试将函数定义更改为
cpdef int query(np.ndarray[double] q, np.ndarray[double, ndim=2] data):
但它在性能上几乎没有差异。
【问题讨论】:
-
Numpy 可能会并行化其中的一些
-
@DavidW 我不认为 numpy 使用(线程)并行化。当我计时时,我当然只使用一个核心。它可能会使用一些矢量化/位并行性。但我觉得 C 编译器也应该在我的代码中自动执行此操作?
标签: python numpy optimization cython