带有 dict 的 Cython 与 python 相同

Question

我尝试了一些可用的解决方案，但无法使用以下 Cython 代码获得任何加速。

cython 代码所用的时间与其对应的 python 代码相同。

calculate_sum.pyx

# key_id: it is a string
# values_dict: it is a dictionary with key as str and values as numpy.ndarray consisting of floats
# e.g.: print(values_dict['abc']) will give out numpy.ndarray([0.01, 1.01, 2.05]). values_dict has many such entries.

cpdef dict calculate_sum(str key_id, dict values_dict):
     cdef dict result_dict = {}
     cdef str check_id

     for check_id, values in values_dict.items():
           if check_id != key_id:
                result_dict[check_id] = sum(values)

     return result_dict

setup.py

from distutils.core import setup
from Cython.Build import cythonize

setup(ext_modules = cythonize('calculate_sum.pyx'))

main.py

import calculate_sum

# ...
# piece of code which computes values_dict
# ...

key_id = 'abc'
sum_value = calculate_sum.calculate_sum(key_id, values_dict)

感谢任何建议/帮助。

Answer 1

一般来说，我认为 Cython 不会对这段代码有所帮助：它主要是在操作 Python 对象，因此加速往往很小。一些建议：

• 对于一个 numpy 数组，x.sum() 比 sum(x) 快得多（对于我的 PC 上的快速测试用例，速度大约快 60 倍）。如果您知道这些值将是 Numpy 数组，请直接执行此操作。
• 可以重写代码以使用字典理解。这可能会提高一点速度（主要是因为它可能能够预先分配正确的大小）。
• 可能值得在循环中省略if 语句，并计算每个键的总和（然后删除key_id）。计时。

综合：

def calculate_sum(key_id, values_dict):
    result_dict = { key: values.sum() for key, values in values_dict.items() }
    del result_dict[key_id]
    return result_dict

请注意，我已经放弃了所有 Cython 的东西，因为我认为它在这里毫无意义。我对基准测试没有太大兴趣，但我怀疑对sum 的更改将产生主要影响。

---

您可能想要查看的另一种方法是使用 Pandas（此处的代码未经测试...）。假设您已经使用values = pd.DataFrame.from_dict(values_dict) 创建了一个values DataFrame，那么：

def calculate_sum(key_id, values):
    return values.sum(axis=1).drop(key_id)

这在所有 Numpy 数组长度相同的情况下效果最好（尽管我认为这不是绝对要求）。您的目标是普遍使用 Pandas，而不是频繁地与dict 相互转换。再说一次，Cython 在这里帮不上忙。