为什么 numpy.power 比 in-lining 慢 60 倍？

Question

也许我在做一些奇怪的事情，但在使用 numpy 时可能会发现令人惊讶的性能损失，无论使用何种功率似乎都是一致的。例如当 x 是一个随机的 100x100 数组时

x = numpy.power(x,3) 

比

慢大约 60 倍

x = x*x*x

各种阵列大小的加速图显示了阵列大小约为 10k 的最佳点，而其他大小的阵列速度一致地提高了 5-10 倍。

在你自己的机器上测试下面的代码（有点乱）：

import numpy as np
from matplotlib import pyplot as plt
from time import time

ratios = []
sizes = []
for n in np.logspace(1,3,20).astype(int):
    a = np.random.randn(n,n)

    inline_times = []
    for i in range(100):
        t = time()
        b = a*a*a
        inline_times.append(time()-t)
    inline_time = np.mean(inline_times)

    pow_times = []
    for i in range(100):
        t = time()
        b = np.power(a,3)
        pow_times.append(time()-t)
    pow_time = np.mean(pow_times)

    sizes.append(a.size)
    ratios.append(pow_time/inline_time)

plt.plot(sizes,ratios)
plt.title('Performance of inline vs numpy.power')
plt.ylabel('Nx speed-up using inline')
plt.xlabel('Array size')
plt.xscale('log')
plt.show()

有人解释一下吗？

Answer 1

我怀疑问题在于 np.power 总是进行浮点求幂，并且它不知道如何在您的平台（或者可能是大多数/所有平台）上优化或矢量化它，而乘法很容易折腾SSE，即使你不这样做也很快。

即使np.power 足够聪明，可以单独进行整数幂运算，除非它将小值展开为重复乘法，否则它仍然不会那么快。

您可以通过比较整数到整数、整数到浮点数、浮点数到整数和浮点数到浮点幂的时间与小数组的乘法来轻松验证这一点； int-to-int 的速度大约是其他方法的 5 倍，但仍然比乘法慢 4 倍（尽管我使用 PyPy 和定制的 NumPy 进行了测试，所以对于在 CPython 上安装普通 NumPy 的人来说，给出真实结果可能会更好……）

Answer 2

众所周知，您的处理器可以以非常奇特的方式执行双精度数的乘法，速度非常非常快。 pow 明显变慢了。

Some performance guides 甚至建议人们为此做好计划，甚至有时可能有点过分热心。

numpy 特殊情况平方以确保它不会太慢，但它会立即将立方发送到您的 libc 的 pow，这几乎没有几个乘法那么快。

Answer 3

numpys 幂函数的性能随指数呈非线性变化。将此与天真的方法进行对比。无论矩阵大小如何，都应该存在相同类型的缩放。基本上，除非指数足够大，否则您不会看到任何切实的好处。

import matplotlib.pyplot as plt
import numpy as np
import functools
import time

def timeit(func):
    @functools.wraps(func)
    def newfunc(*args, **kwargs):
        startTime = time.time()
        res = func(*args, **kwargs)
        elapsedTime = time.time() - startTime
        return (res, elapsedTime)
    return newfunc

@timeit
def naive_power(m, n):
    m = np.asarray(m)
    res = m.copy()
    for i in xrange(1,n):
        res *= m
    return res

@timeit
def fast_power(m, n):
    # elementwise power
    return np.power(m, n)

m = np.random.random((100,100))
n = 400

rs1 = []
ts1 = []
ts2 = []
for i in xrange(1, n):
    r1, t1 = naive_power(m, i)
    ts1.append(t1)

for i in xrange(1, n):
    r2, t2 = fast_power(m, i)
    ts2.append(t2)

plt.plot(ts1, label='naive')
plt.plot(ts2, label='numpy')
plt.xlabel('exponent')
plt.ylabel('time')
plt.legend(loc='upper left')