如何将其他文件添加到轮子？

Question

如何控制轮子中包含哪些文件？ MANIFEST.in 似乎没有被 python setup.py bdist_wheel 使用。

更新：

我对从源 tarball 安装与从轮子安装之间的区别是错误的。源码分发包含MANIFEST.in中指定的文件，但安装的包只有python文件。需要采取步骤来识别应安装的其他文件，无论安装是通过源代码分发、egg 还是 wheel。也就是说，额外的包文件需要package_data，而包外的文件（如命令行脚本或系统配置文件）需要data_files。

原始问题

我有a project，我一直使用python setup.py sdist 构建我的包，MANIFEST.in 控制包含和排除的文件，pyroma 和check-manifest 确认我的设置。

我最近将其转换为双 Python 2 / 3 代码，并添加了一个 setup.cfg 与

[bdist_wheel]
universal = 1

我可以用python setup.py bdist_wheel 制作一个轮子，它似乎是一个万能轮子。但是，它不包括MANIFEST.in 中指定的所有文件。

安装了什么？

我挖得更深了，现在对包装和轮子有了更多的了解。这是我学到的：

我上传了两个包文件到multigtfs project on PyPi：

• multigtfs-0.4.2.tar.gz - 源 tar 包，包含 MANIFEST.in 中的所有文件。
• multigtfs-0.4.2-py2.py3-none-any.whl - 有问题的二进制分布。

我创建了两个新的虚拟环境，都使用 Python 2.7.5，并安装了每个包 (pip install multigtfs-0.4.2.tar.gz)。这两个环境几乎相同。它们有不同的 .pyc 文件，它们是“编译”的 Python 文件。有日志文件记录磁盘上的不同路径。从源 tar 球安装包括一个文件夹 multigtfs-0.4.2-py27.egg-info，详细说明了安装，而轮子安装有一个 multigtfs-0.4.2.dist-info 文件夹，其中包含该过程的详细信息。不过从使用multigtfs项目的代码来看，两种安装方式没有区别。

明确地说，我的测试也没有使用 .zip 文件，因此测试套件将失败：

$ django-admin startproject demo
$ cd demo
$ pip install psycopg2  # DB driver for PostGIS project
$ createdb demo         # Create PostgreSQL database
$ psql -d demo -c "CREATE EXTENSION postgis" # Make it a PostGIS database 
$ vi demo/settings.py   # Add multigtfs to INSTALLED_APPS,
                        # Update DATABASE to set ENGINE to django.contrib.gis.db.backends.postgis
                        # Update DATABASE to set NAME to test
$ ./manage.py test multigtfs.tests  # Run the tests
...
IOError: [Errno 2] No such file or directory: u'/Users/john/.virtualenvs/test/lib/python2.7/site-packages/multigtfs/tests/fixtures/test3.zip'

指定附加文件

使用答案中的建议，我向setup.py 添加了一些额外的指令：

from __future__ import unicode_literals
# setup.py now requires some funky binary strings
...
setup(
    name='multigtfs',
    packages=find_packages(),
    package_data={b'multigtfs': ['test/fixtures/*.zip']},
    include_package_data=True,
    ...
)

这会将 zip 文件（以及 README）安装到文件夹中，并且测试现在可以正常运行。感谢您的建议！

Answer 1

您是否尝试过在您的setup.py 中使用package_data？ MANIFEST.in 似乎针对 python 版本

在探索https://github.com/pypa/sampleproject 之后，他们的MANIFEST.in 说：

# If using Python 2.6 or less, then have to include package data, even though
# it's already declared in setup.py
include sample/*.dat

这似乎暗示这种方法已经过时了。同时，他们在setup.py 中声明：

setup(
    name='sample',
    ...
    # If there are data files included in your packages that need to be
    # installed, specify them here.  If using Python 2.6 or less, then these
    # have to be included in MANIFEST.in as well.
    include_package_data=True,
    package_data={
        'sample': ['package_data.dat'],
    },
    ...
)

（我不确定他们为什么在MANIFEST.in 中选择通配符，在setup.py 中选择文件名。它们指的是同一个文件）

除了更简单之外，这似乎再次暗示package_data 路由优于MANIFEST.in 方法。好吧，除非你必须支持 2.6，否则我会向你祈祷。

Answer 2

在您对MANIFEST.in 或setup.py 进行任何更改之前，您必须删除旧的输出目录。 Setuptools 正在缓存一些数据，这可能会导致意外结果。

rm -rf build *.egg-info

如果您不这样做，则预计不会正常工作。

现在不碍事了。

1. 如果您正在构建源分发版 (sdist)，那么您可以使用以下任何方法。

2. 如果您正在构建轮子 (bdist_wheel)，则include_package_data 和MANIFEST.in 将被忽略，您必须使用package_data 和data_files。

INCLUDE_PACKAGE_DATA

这是一个不错的选择，但bdist_wheel 不接受它。

setup(
    ...
    include_package_data=True
)

# MANIFEST.in
include package/data.json

DATA_FILES 用于非包数据

这是最灵活的选项，因为您可以将存储库中的任何文件添加到 sdist 或 bdist_wheel

setup(
    ....
    data_files=[
        ('output_dir',['conf/data.json']),
    ]
    # For sdist, output_dir is ignored!
    #
    # For bdist_wheel, data.json from conf dir in root of your repo 
    # and stored at `output_dir/` inside of the sdist package.
)

包内非python文件的PACKAGE_DATA

与上述类似，但对于bdist_wheel，让我们将数据文件放入包中。 sdist 与 sdist 相同，但比 data_files 有更多限制，因为文件只能从您的包子目录中获取。

setup(
    ...
    package_data={'package':'data.json'},
    # data.json must be inside of your actual package
)

Answer 3

您可以在setup.py 中使用package_data 和data_files 指定其他文件，但它们是ridiculously hard to get right (and buggy)。

另一种方法是使用MANIFEST.in 并在setup() 的setup() 中添加include_package_data=True 作为indicated here。

使用此指令，MANIFEST.in 将用于指定不仅要包含在源 tarball/zip 中的文件，还要包含在 wheel 和 win32 安装程序中。这也适用于任何 python 版本（我在从 py2.6 到 py3.6 的项目上进行了测试）。

2020 年更新：Python 3 中的轮子似乎不再支持 MANIFEST.in，尽管它仍然在 tar.gz 中，即使您设置了include_package_data=True。

解决方法如下：您需要同时指定 include_package_data 和 packages。

如果您的 Python 模块位于“pymod”文件夹中，则以下是适当的设置：

setup( ...
    include_package_data = True,
    packages = ['pymod'],
)

如果您的 python 脚本位于根目录，请使用：

setup( ...
    include_package_data = True,
    packages = ['.'],
)

然后您可以使用 7-zip 等 zip 存档软件打开您的 .whl 文件，以检查您想要的所有文件是否确实在其中。

Answer 4

您可以使用data_files 指令指定要安装的额外文件。那是你要找的吗？这是一个小例子：

from setuptools import setup
from glob import glob

setup(
    name='extra',
    version='0.0.1',
    py_modules=['extra'],
    data_files=[
        ('images', glob('assets/*.png')),
    ],
)

Answer 5

include_package_data 是要走的路，它适用于 sdist andwheels。

但是你必须做对，我花了几个月的时间才弄明白，所以这就是我学到的。

诀窍本质上是在选项名称include_PACKAGE_data 中给出的：数据文件需要在包子文件夹中

当且仅当

• include_package_data 是真的
• 数据文件在MANIFEST.in 中列出（*另见我在末尾关于setuptools_scm 的注释）
• 数据文件在包目录下

然后将包含数据文件。

工作示例：

鉴于项目具有以下结构和文件：

|- MANIFEST.in
|- setup.cfg
|- setup.py
|
\---foo
    |- __init__.py
    |
    \---data
         - example.png

还有如下配置：

Manifest.in:

recursive-include foo/data *

setup.py

import setuptools

setuptools.setup()

setup.cfg

[metadata]
name = wheel-data-files-example
url = www.example.com
maintainer = None
maintainer_email = none@example.com

[options]
packages =
    foo
include_package_data = True

sdist 包和您构建的轮子也将包含example.png 数据文件。

（当然，也可以直接在setup.py中指定config，而不是setup.cfg。但这与示例无关。）

更新：对于 src 布局项目

这也适用于使用 src 布局的项目，如下所示：

|- MANIFEST.in
|- setup.cfg
|- setup.py
|
\---src
    |
    \---foo
        |- __init__.py
        |
        \---data
             - example.png

要使其正常工作，请使用package_dir 告诉 setuptools src 目录：

setup.cfg

[metadata]
name = wheel-data-files-example
url = www.example.com
maintainer = None
maintainer_email = none@example.com

[options]
packages =
    foo
include_package_data = True
package_dir =
    =src

并在清单中调整路径：

Manifest.in:

recursive-include src/foo/data *

注意：如果您使用 setuptools_scm，则不需要 Manifest.in

如果您碰巧使用 setuptools 并添加了 setuptools_scm 插件 (on pypi)，则无需管理 Manifest.in 文件。相反，setuptools_scm 将负责将 git 跟踪的所有文件都添加到包中。

因此，对于这种情况，是否将文件添加到 sdist/wheel 的规则是： 当且仅当

• include_package_data 是真的
• 文件由 git（或其他 setuptools_scm 支持的工具）跟踪
• 数据文件在包目录下

然后将包含数据文件。

Answer 6

我有 config/ 目录，其中包含 JSON 文件，我需要将其添加到 wheel 包中。所以，我已将这些行添加到MANIFEST.in：

recursive-include config/ *.json

setup.py 的以下指令：

setup(
 ...
 include_package_data=True,
)

没有任何效果。 直到我在 config/ 目录中创建了一个名为 __init__.py 的空文件。

（Python 3.6.7，wheel 3.6.7，setuptools 39.0.1）