在没有路径黑客的情况下构建 python 项目

Question

我有一个在多个项目中使用的共享 python 库，所以结构如下所示：

Project1
    main.py <--- (One of the projects that uses the library)
...
sharedlib
    __init__.py
    ps_lib.py
    another.py

现在在每个项目的 main.py 中，我使用以下 hack 使其工作：

import os
import sys
sys.path.insert(0, os.path.abspath('..'))

import sharedlib.ps_lib
...

有没有办法在不使用这个 hack 的情况下做到这一点？或者有没有更好的方法来组织项目结构？

Answer 1

我认为最好的方法是让sharedlib 成为一个真正的包。这意味着稍微改变结构：

sharedlib/
    sharedlib/
        __init__.py
        ps_lib.py
        another.py
    setup.py

在setup.py 中使用类似的东西（部分取自Python-packaging "Minimal Structure"）：

from setuptools import setup

setup(name='sharedlib',
      version='0.1',
      description='...',
      license='...',
      packages=['sharedlib'],   # you might need to change this if you have subfolders.
      zip_safe=False)

然后在sharedlib 包的根文件夹中使用python setup.py develop 或pip install -e . 安装它。

这样（使用develop 或-e 选项）对sharedlib/sharedlib/* 文件内容的更改将可见，而无需重新安装sharedlib 包 - 尽管如果您可能需要重新启动解释器在交互式解释器中重新工作。那是因为解释器缓存了已经导入的包。

来自setuptools 文档：

Setuptools 允许您部署项目以在公共目录或暂存区域中使用，但无需复制任何文件。 因此，您可以在其签出目录中编辑每个项目的代码，并且只需要在更改项目的 C 扩展名或类似编译的文件时运行构建命令。 [...]

为此，请使用setup.py develop 命令。

（强调我的）

最重要的是您现在可以在任何地方使用import sharedlib - 不再需要在PATH 或PYTHONPATH 中插入sharedlib 包，因为现在是Python（或者至少是您安装它的Python）像对待任何其他已安装的软件包一样对待 sharedlib。

Answer 2

post 描述了一种组织项目的好方法 在我看来，如果是共享库，您必须考虑将其用作真正的库（包含在 virtualenv 中）或为每个项目添加一个文件夹“lib”。

Answer 3

我们这样做的方式是为 python 脚本使用 bash 入口脚本。我们的目录结构类似于以下内容：

/opt/stackoverflow/
                 -> bin
                 -> conf
                 -> lib
                 -> log

然后我们的 lib 文件夹包含我们所有的子项目

/opt/stackoverflow/lib/
                    -> python_algorithms
                    -> python_data_structures
                    -> python_shared_libraries

然后当我们要执行python脚本时，我们将通过bin目录中的bash脚本执行它

/opt/stackoverflow/bin/
                    -> quick_sort.sh
                    -> merge_sort.sh

如果我们 cat 我们的入口脚本之一

cat merge_sort.sh

#!/bin/bash
export STACKOVERFLOW_HOME=/opt/stackoverflow
export STACKOVERFLOW_BIN=${STACKOVERFLOW_HOME}/bin
export STACKOVERFLOW_LIB=${STACKOVERFLOW_HOME}/lib
export STACKOVERFLOW_LOG=${STACKOVERFLOW_HOME}/log
export STACKOVERFLOW_CONF=${STACKOVERFLOW_HOME}/conf

# Do any pre-script server work here

export PYTHONPATH=${PYTHONPATH}:${STACKOVERFLOW_LIB}

/usr/bin/python "${STACKOVERFLOW_LIB}/python_algorithms/merge_sort.py" $* 2>&1