将 Cython 包装的 C 函数与 NumPy 中的 BLAS 链接起来

Question

我想在 Cython 扩展中使用一些在 .c 文件中定义的使用 BLAS 子例程的 C 函数，例如

cfile.c

double ddot(int *N, double *DX, int *INCX, double *DY, int *INCY);

double call_ddot(double* a, double* b, int n){
    int one = 1;
    return ddot(&n, a, &one, b, &one);
}

（假设这些函数不仅仅是调用一个 BLAS 子例程）

pyfile.pyx

cimport numpy as np
import numpy as np

cdef extern from "cfile.c":
    double call_ddot(double* a, double* b, int n)

def pyfun(np.ndarray[double, ndim=1] a):
    return call_ddot(&a[0], &a[0], <int> a.shape[0])

setup.py：

from distutils.core import setup
from distutils.extension import Extension
from Cython.Build import cythonize
from Cython.Distutils import build_ext
import numpy

setup(
    name  = "wrapped_cfun",
    packages = ["wrapped_cfun"],
    cmdclass = {'build_ext': build_ext},
    ext_modules = [Extension("wrapped_cfun.cython_part", sources=["pyfile.pyx"], include_dirs=[numpy.get_include()])]
)

我希望这个包链接到已安装的 NumPy 或 SciPy 正在使用的同一个 BLAS 库，并希望它可以在使用 numpy 或 scipy 作为依赖项的不同操作系统下从 PIP 安装，而不需要任何额外的 BLAS 相关依赖项.

setup.py 是否有任何 hack 可以让我以可以与任何 BLAS 实现一起使用的方式完成此任务？

更新： 使用 MKL，我可以通过将 Extension 对象修改为指向 libmkl_rt 来使其工作，如果安装了 MKL，则可以从 numpy 中提取该对象，例如： Extension("wrapped_cfun.cython_part", sources=["pyfile.pyx"], include_dirs=[numpy.get_include()], extra_link_args=["-L{path to python's lib dir}", "-l:libmkl_rt.{so, dll, dylib}"]) 但是，同样的技巧不适用于 OpenBLAS（例如 -l:libopenblasp-r0.2.20.so）。如果该文件是指向 libopenblas 的链接，则指向 libblas.{so,dll,dylib} 将不起作用，但可以正常工作，因为它是指向 libmkl_rt 的链接。

更新 2： 似乎 OpenBLAS 在最后用下划线命名他们的 C 函数，例如不是ddot，而是ddot_。如果我在 .c 文件中将ddot 更改为ddot_，上面带有l:libopenblas 的代码将起作用。我仍然想知道是否有一些（理想情况下是运行时）机制来检测应该在 c 文件中使用哪个名称。

Answer 1

依赖链接器/加载器来提供正确的 blas 功能的替代方法是模拟必要 blas 符号的解析（例如 ddot）并在运行时使用包装的 blas-function provided by scipy。

不确定，这种方法优于“正常方式”的构建方式，但想引起您的注意，即使只是因为我觉得这种方法很有趣。

简单的想法：

1. 在下面的 sn-p 中定义一个指向 ddot-functionality 的显式函数指针，称为 my_ddot。
2. 在您将使用ddot-否则的地方使用my_ddot-指针。
3. 使用 scipy 提供的功能加载 cython 模块时初始化 my_ddot-pointer。

这是一个工作原型（我使用 C-code-verbatim 使 sn-p 独立并在 jupiter-notebook 中轻松测试，相信您可以将其转换为您需要/喜欢的格式）：

%%cython
# h-file:
cdef extern from *:
    """
    // blas-functionality,
    // will be initialized by cython when module is loaded:
    typedef double (*ddot_t)(int *N, double *DX, int *INCX, double *DY, int *INCY);
    extern ddot_t my_ddot;

    double call_ddot(double* a, double* b, int n);
    """
    ctypedef double (*ddot_t)(int *N, double *DX, int *INCX, double *DY, int *INCY)
    ddot_t my_ddot
    double call_ddot(double* a, double* b, int n)    

# init the functions of the c-library
# with blas-function provided by scipy
from scipy.linalg.cython_blas cimport ddot
my_ddot=ddot

# a simple function to demonstrate, that it works
def ddot_mult(double[:]a, double[:]b):
    cdef int n=len(a)
    return call_ddot(&a[0], &b[0], n)

#-------------------------------------------------
# c-file, added so the example is complete    
cdef extern from *:
    """  
    ddot_t my_ddot;
    double call_ddot(double* a, double* b, int n){
        int one = 1;
        return my_ddot(&n, a, &one, b, &one);
    }
    """
    pass

现在可以使用ddot_mult：

import numpy as np
a=np.arange(4, dtype=float)

ddot_mult(a,a)  # 14.0 as expected!

这种方法的一个优点是，distutils 没有喧嚣，并且您可以保证使用与 scipy 相同的 blas 功能。

另一个好处：可以在运行时切换使用的引擎（mkl、open_blas 甚至自己的实现），而无需重新编译/重新链接。

另一方面，还有一些额外的样板代码，还有一些符号的初始化会被遗忘的危险。

Answer 2

我终于想出了一个丑陋的破解方法。我不确定它是否总是有效，但至少它适用于 Windows（mingw 和 Visual Studio）、Linux、MKL 和 OpenBlas 的组合。我仍然想知道是否有更好的选择，但如果没有，这会做到：

编辑：现已针对 Visual Studio 进行更正

1. 修改 C 文件以说明带有下划线的名称（为每个调用的 BLAS 函数执行此操作）- 需要为每个函数声明两次并为每个函数添加一个 if

   double ddot_(int *N, double *DX, int *INCX, double *DY, int *INCY); #define ddot(N, DX, INCX, DY, INCY) ddot_(N, DX, INCX, DY, INCY)

   daxpy_(int *N, double *DA, double *DX, int *INCX, double *DY, int *INCY); #define daxpy(N, DA, DX, INCX, DY, INCY) daxpy_(N, DA, DX, INCX, DY, INCY)

   ...等

2. 从 NumPy 或 SciPy 中提取库路径并将其添加到链接参数中。

3. 检测要使用的编译器是否是visual studio，在这种情况下，链接参数完全不同。

setup.py

from distutils.core import setup
from distutils.extension import Extension
from Cython.Build import cythonize
from Cython.Distutils import build_ext
import numpy
from sys import platform
import os

try:
    blas_path = numpy.distutils.system_info.get_info('blas')['library_dirs'][0]
except:
    if "library_dirs" in numpy.__config__.blas_mkl_info:
        blas_path = numpy.__config__.blas_mkl_info["library_dirs"][0]
    elif "library_dirs" in numpy.__config__.blas_opt_info:
        blas_path = numpy.__config__.blas_opt_info["library_dirs"][0]
    else:
        raise ValueError("Could not locate BLAS library.")
        

if platform[:3] == "win":
    if os.path.exists(os.path.join(blas_path, "mkl_rt.lib")):
        blas_file = "mkl_rt.lib"
    elif os.path.exists(os.path.join(blas_path, "mkl_rt.dll")):
        blas_file = "mkl_rt.dll"
    else:
        import re
        blas_file = [f for f in os.listdir(blas_path) if bool(re.search("blas", f))]
        if len(blas_file) == 0:
            raise ValueError("Could not locate BLAS library.")
        blas_file = blas_file[0]
        
elif platform[:3] == "dar":
    blas_file = "libblas.dylib"
else:
    blas_file = "libblas.so"

## https://stackoverflow.com/questions/724664/python-distutils-how-to-get-a-compiler-that-is-going-to-be-used
class build_ext_subclass( build_ext ):
    def build_extensions(self):
        compiler = self.compiler.compiler_type
        if compiler == 'msvc': # visual studio
            for e in self.extensions:
                e.extra_link_args += [os.path.join(blas_path, blas_file)]
        else: # gcc
            for e in self.extensions:
                e.extra_link_args += ["-L"+blas_path, "-l:"+blas_file]
        build_ext.build_extensions(self)


setup(
    name  = "wrapped_cfun",
    packages = ["wrapped_cfun"],
    cmdclass = {'build_ext': build_ext_subclass},
    ext_modules = [Extension("wrapped_cfun.cython_part", sources=["pyfile.pyx"], include_dirs=[numpy.get_include()], extra_link_args=[])]
    )

Answer 3

作为较新 Cython 版本的另一种替代方案，可以创建一个“公共”Cython 函数（可用于 C 代码并自动生成公共标头），该函数将简单地调用相应的 BLAS 函数：

from scipy.linalg.cython_blas cimport ddot
cdef public double ddot_(int *n, double *x, int *ldx, double *y, int *ldy):
    return ddot(n, x, ldx, y, ldy)

然后只需在 C 代码中声明它或包含头文件，Cython 扩展构建器的其余部分将负责链接：

extern double ddot_(int *n, double *x, int *ldx, double *y, int *ldy);