【问题标题】:Optimizing Cython loop compared to Numpy与 Numpy 相比优化 Cython 循环
【发布时间】:2021-04-19 18:32:09
【问题描述】:
#cython: boundscheck=False, wraparound=False, nonecheck=False, cdivision=True, language_level=3
cpdef int query(double[::1] q, double[:,::1] data) nogil:
    cdef:
        int n = data.shape[0]
        int dim = data.shape[1]
        int best_i = -1
        double best_ip = -1
        double ip
    for i in range(n):
        ip = 0
        for j in range(dim):
            ip += q[j] * data[i, j]
        if ip > best_ip:
            best_i = i
            best_ip = ip
    return best_i

编译后,我用 Python 计时代码:

import numpy as np
import ip
n, dim = 10**6, 10**2
X = np.random.randn(n, dim)
q = np.random.randn(dim)
%timeit ip.query(q, X)

这大约需要 100 毫秒。同时相当于numpy code:

%timeit np.argmax(q @ X.T)

只需大约 50 毫秒。

这很奇怪,因为 NumPy 代码似乎必须在获取 argmax 之前分配大数组 q @ X.T。因此我想知道我是否缺少一些优化?

我已将extra_compile_args=["-O3", '-march=native'], 添加到我的 setup.py 中,并且我还尝试将函数定义更改为

cpdef int query(np.ndarray[double] q, np.ndarray[double, ndim=2] data):

但它在性能上几乎没有差异。

【问题讨论】:

  • Numpy 可能会并行化其中的一些
  • @DavidW 我不认为 numpy 使用(线程)并行化。当我计时时,我当然只使用一个核心。它可能会使用一些矢量化/位并行性。但我觉得 C 编译器也应该在我的代码中自动执行此操作?

标签: python numpy optimization cython


【解决方案1】:

操作q @ X.T 将在后台映射到来自 OpenBlas 或 MKL(取决于您的分布)的矩阵向量乘法 (dgemv) 的实现 - 这意味着您反对最佳优化之一算法。

生成的向量有 1M 个元素,这导致大约 8MB 内存。 8MB 并不总是适合 L3 缓存,但即使 RAM 也有大约 15GB/s 的带宽,因此写入/读取 8MB 最多需要 1-2 毫秒 - 与大约 50 毫秒的整体运行时间相比,收益并不多。

您的代码最明显的问题是它与q @X.T 的计算方式不同。它计算

((q[0]*data[i,0]+q[1]*data[i,1])+q[2]*data[i,2])+...

由于 IEEE 754 不允许编译器重新排序操作并以这种非最佳顺序执行它们:为了计算第二个和,该操作必须等到执行第一个求和。这种方法没有充分利用现代架构的潜力。

一个好的dgemv 实现将选择更好的操作顺序。可以在此SO-post 中找到类似的问题,但有总和。

可以使用-ffast-math 来平衡该字段,它允许编译器重新编码操作,从而更好地利用管道。

以下是我的机器上用于您的基准测试的结果:

%timeit query(q, X)            # 101 ms
%timeit query_ffastmath(q, X)  # 56.3 ms
%timeit np.argmax(q @ X.T)     # 50.2 ms

它仍然差 10% 左右,但如果编译器能够击败专家为我的处理器创建的手工制作版本,我会感到非常惊讶。

【讨论】:

  • 有趣!但添加 -ffast-math 对我来说并没有任何改变。另外,它不应该是-O3 的一部分吗?也许我没有正确添加参数......
  • @ThomasAhle -ffast-math 不是-O3 的一部分,因为即使-O3 也没有违反 IEEE 754 + -ffast-math 有一些不属于@987654334 的其他影响@.
  • 我觉得12%的差异已经很不错了!谢谢!
猜你喜欢
  • 2018-05-20
  • 2014-02-18
  • 2011-07-16
  • 2017-01-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-07-14
  • 1970-01-01
相关资源
最近更新 更多