如何使用 pip 处理 python 应用程序的 C 扩展？答案

【问题标题】：How to handle C extensions for python apps with pip?如何使用 pip 处理 python 应用程序的 C 扩展？
【发布时间】：2015-01-29 22:58:58
【问题描述】：

对于使用pip 安装的python 应用程序，如何自动处理它们的C 扩展要求？

例如，mysqlclient 模块需要在系统上安装 MySQL 的开发库。当您最初安装需要该模块的应用程序时，如果系统上没有 MySQL 开发库，它将失败。所以问题是我该如何解决这个问题？

有没有办法用我不知道的setup.py 解决这个问题？
如果不是，我应该使用纯 python 模块实现吗？

注意；我不是在寻找“just use py2exe”之类的答案。

【问题讨论】：

您是否仅限于pip？否则，请查看为处理二进制（和非 Python）依赖项而发明的 conda。

标签： python deployment

【解决方案1】：

否。除非您正在编写 extension，否则无法将完全独立的 C 库作为构建过程的一部分。即使在这种情况下，您也需要在 ext_modules 中指定所有 .c 文件，以便它们都可以作为构建过程的一部分进行编译，我知道不是你想要的。

如果mysql-devel（或libmysqlclient-dev）尚未完成，您唯一能做的就是简单地停止构建过程并给用户一个合理的错误安装。

了解 mysql-dev 是否安装的一种方法是编写一个简单的 C 函数，导入 mysql.h 并检查它是否编译成功。

注意： mysql.h 和 my_global.h 是 libmysqlclient-dev 包的一部分。

test/test_mysqlclient.c

// Taken from: http://zetcode.com/db/mysqlc

#include <my_global.h>
#include <mysql.h>

int main(int argc, char **argv)
{
  printf("MySQL client version: %s\n", mysql_get_client_info());
  exit(0);
}

其次，让我们更新我们的 setup.py 文件，以便将其作为构建过程的一部分。

setup.py

#!/usr/bin/env python

import os
import subprocess

from setuptools import setup, Extension

def mysql_test_extension():
    process = subprocess.Popen(['which', 'mysql_config'],
                               stdout=subprocess.PIPE,
                               stderr=subprocess.PIPE,
                               close_fds=True)

    result, error = process.communicate()
    if process.returncode > 0:
        raise RuntimeError(error)

    config_command = result.strip()

    cflags = subprocess.check_output([config_command, '--cflags'], close_fds=True).strip()

    include_dirs = []
    extra_compile_args = []
    for arg in cflags.split(' '):
        if not arg.strip():
            continue
        elif arg.startswith('-I'):
            include_dirs.append(arg[2:])
        elif arg.startswith('-'):
            extra_compile_args.append(arg)
        else:
            extra_compile_args[-1] = extra_compile_args[-1] + ' ' + arg

    libs = subprocess.check_output([config_command, '--libs'], close_fds=True).strip()

    libraries = []
    linkers = []
    for arg in libs.split(' '):
        if not arg.strip():
            continue
        elif arg.startswith('-L'):
            libraries.append(arg[2:])
        elif arg.startswith('-'):
            linkers.append(arg)
        else:
            linkers[-1] = extra_compile_args[-1] + ' ' + arg

    return Extension('test_mysqlclient', ['test/test_mysqlclient.c'],
                     include_dirs=include_dirs,
                     library_dirs=libraries,
                     extra_link_args=linkers,
                     extra_compile_args=extra_compile_args)



setup(name='python-project',
      version='1.0',
      description='Python Project',
      classifiers=[
          'Development Status :: 5 - Production/Stable',
          'Environment :: Console',
          'Intended Audience :: Developers',
          'License :: OSI Approved :: MIT License',
          'Operating System :: OS Independent',
          'Programming Language :: Python :: 2.7',
          'Natural Language :: English',
      ],
      keywords='mysql python project',
      author='Ozgur Vatansever',
      url='http://github.com/ozgur/python-project/',
      license='MIT',
      packages=['some_project'],
      ext_modules = [mysql_test_extension()]
)

您可以连同 test_mysqlclient 文件一起开始构建您的包：

$ python setup.py build

如果您的系统上没有安装 mysql-devel，您将收到类似以下的构建错误：

test/test_mysqlclient.c:3:10: fatal error: 'my_global.h' file not found
#include <my_global.h>
     ^
1 error generated.

【讨论】：

【解决方案2】：

所以问题是我该如何解决这个问题？

无论如何，你还没有解决这个问题。 setup.py 中没有任何方法可以描述 python 生态系统之外的外部依赖项。只需在自述文件中提供即可。

【讨论】：