Python/Pip 打包；如何将构建的文件移动到安装目录

Question

我一直在开发一个 Python 包，它包含一些需要从源代码构建的 C++ 库。我用 CMake 构建这些，我希望整个事情最终都可以“pip install”。我快到了，但是我无法将 CMake 构建的库放到最终的 Python 安装目录中。

奇怪的是，我设法让它们进入了最后的“轮子”，但它们不在我的 site_packages 目录中。

我的 setup.py 文件如下所示：

import os
import re
import sys
import sysconfig
import site
import platform
import subprocess
import pathlib

from distutils.version import LooseVersion
from setuptools import setup, Extension
from setuptools.command.build_ext import build_ext as build_ext_orig

class CMakeExtension(Extension):
    def __init__(self, name, sourcedir=''):
        Extension.__init__(self, name, sources=[])
        self.sourcedir = os.path.abspath(sourcedir)

class CMakeBuild(build_ext_orig):
    def run(self):
        try:
            out = subprocess.check_output(['cmake', '--version'])
        except OSError:
            raise RuntimeError("CMake must be installed to build the following extensions: " +
                               ", ".join(e.name for e in self.extensions))

        if platform.system() == "Windows":
            raise RuntimeError("Sorry, pyScannerBit doesn't work on Windows platforms. Please use Linux or OSX.")

        for ext in self.extensions:
            self.build_extension(ext)

    def build_extension(self, ext):
        extdir = os.path.abspath(os.path.dirname(self.get_ext_fullpath(ext.name)))
        cmake_args = ['-DCMAKE_LIBRARY_OUTPUT_DIRECTORY=' + extdir,
                      '-DPYTHON_EXECUTABLE=' + sys.executable,
                      '-DCMAKE_VERBOSE_MAKEFILE:BOOL=OFF',
                      '-Wno-dev',
                      '-DCMAKE_RUNTIME_OUTPUT_DIRECTORY=' + extdir,
                      '-DSCANNERBIT_STANDALONE=True',
                      '-DCMAKE_INSTALL_RPATH=$ORIGIN',
                      '-DCMAKE_BUILD_WITH_INSTALL_RPATH:BOOL=ON',
                      '-DCMAKE_INSTALL_RPATH_USE_LINK_PATH:BOOL=ON',
                      '-DCMAKE_INSTALL_PREFIX:PATH=' + extdir,
                     ]

        cfg = 'Debug' if self.debug else 'Release'
        build_args = ['--config', cfg]

        if platform.system() == "Windows":
            cmake_args += ['-DCMAKE_LIBRARY_OUTPUT_DIRECTORY_{}={}'.format(cfg.upper(), extdir)]
            if sys.maxsize > 2**32:
                cmake_args += ['-A', 'x64']
            build_args += ['--', '/m']
        else:
            cmake_args += ['-DCMAKE_BUILD_TYPE=' + cfg]
            build_args += ['--', '-j2']

        env = os.environ.copy()
        env['CXXFLAGS'] = '{} -DVERSION_INFO=\\"{}\\"'.format(env.get('CXXFLAGS', ''),
                                                              self.distribution.get_version())

        if not os.path.exists(self.build_temp):
            os.makedirs(self.build_temp)

        # untar ScannerBit tarball
        subprocess.check_call(['tar','-C','pyscannerbit/scannerbit/untar/ScannerBit','-xf','pyscannerbit/scannerbit/ScannerBit_stripped.tar','--strip-components=1'], cwd=ext.sourcedir, env=env)

        # First cmake
        subprocess.check_call(['cmake', ext.sourcedir] + cmake_args, cwd=self.build_temp, env=env)
        # Build all the scanners
        subprocess.check_call(['cmake', '--build', '.', '--target', 'multinest'] + build_args, cwd=self.build_temp)
        # Re-run cmake to detect built scanner plugins
        subprocess.check_call(['cmake', ext.sourcedir], cwd=self.build_temp)
        # Main build
        subprocess.check_call(['cmake', '--build', '.'] + build_args, cwd=self.build_temp)
        # Install
        #subprocess.check_call(['cmake', '--build', '.', '--target', 'install'], cwd=self.build_temp)

setup(
    name='pyscannerbit',
    version='0.0.8',
    author='Ben Farmer',
    # Add yourself if you contribute to this package
    author_email='ben.farmer@gmail.com',
    description='A python interface to the GAMBIT scanning module, ScannerBit',
    long_description='',
    ext_modules=[CMakeExtension('_interface')],
    cmdclass=dict(build_ext=CMakeBuild),
    zip_safe=False,
    packages=['pyscannerbit'],
)

如你所见，我告诉 CMake 在 'extdir' 中构建库，结果是

/tmp/pip-req-build-d7mfvn1a/build/lib.linux-x86_64-3.6

我曾假设这些文件只是从这里（或其他一些临时目录？）批量复制到最终安装路径中，但也许它不会那样工作（尽管正如我之前所说，这些构建的文件do 最终出现在生成的轮子中）。这些构建的文件是否需要添加到 MANIFEST.in 或一些“package_data”条目或类似的东西？目前它们没有在任何地方列出，因为据我了解，这些是用于在预构建而不是构建后移动文件。目前我只使用 MANIFEST.in 来确保我的 sdist tarball 被正确填充。

为了完整起见，我使用 pip 构建包如下：

python setup.py sdist
pip install -v dist/pyscannerbit-0.0.8.tar.gz

这只是为了让我知道来自 tarball 的构建可以工作，以便以后与 PyPI 一起使用。

如果你想试试的话，源码在github上：https://github.com/bjfar/pyscannerbit

Answer 1

好吧，看来我的路径有点错误。我之前将CMAKE_LIBRARY_OUTPUT_DIRECTORY 设置为

extdir = os.path.abspath(os.path.dirname(self.get_ext_fullpath(ext.name)))

但是我需要把它指向

extdir+'/pyscannerbit'

其中 pyscannerbit 是包的名称。否则，文件最终会出现在构建发生的父目录中，但不会出现在项目目录中。因此，它们随后不会被复制到安装路径。