将 py.test 与已编译的库代码一起使用

Question

我有一个具有以下存储库结构的 python 库：

repobase
 |- mylibrary
 |  |- __init__.py
 |- tests
    |- test_mylibrary.py

到目前为止，只需在 repobase 目录中调用 py.test 即可运行测试。 test_mylibrary.py 中的 import mylibrary 然后使用 repobase/mylibrary 中的本地代码。

现在，我已扩展库以使用已编译的代码。因此，repobase/mylibrary 中的源代码本身不能正常工作。我必须做一个setup.py build。这将创建 repobase/build/lib.linux-x86_64-2.7/mylibrary。

有没有合理的方法让 py.test 使用这个目录来导入 mylibrary？鉴于这些限制：

1. 我不想在 test_mylibrary.py 中包含任何 sys.path / import 魔法，因为这可能会破坏其他环境中的测试。

2. 我不想放弃从 repobase 运行 py.test 的可能性。因此修改 PYTHONPATH 没有帮助，因为 . 仍将是 sys.path 中的第一个。因此 repobase/mylibrary 会比 repobase/build/lib.linux-x86_64-2.7/mylibrary 更受青睐。

如果不是，测试需要构建的 python 库的标准方法是什么？

Answer 1

我认为您的问题只是 py.test 没有将构建的共享对象复制到存储库的根目录。

我刚刚尝试在使用 py.test 测试 C 扩展时直接从 Python wiki 运行 UT，如下所示：

python setup.py build
py.test test/examp_unittest.py

AssertionError: No module named examp 失败。

但是，当我按照 wiki 进行操作时（并改为运行 python setup.py test），我注意到它会将 .so 复制到根目录（注意它开始运行测试之前的最后一行）：

running test
running egg_info
writing examp.egg-info/PKG-INFO
writing top-level names to examp.egg-info/top_level.txt
writing dependency_links to examp.egg-info/dependency_links.txt
reading manifest file 'examp.egg-info/SOURCES.txt'
writing manifest file 'examp.egg-info/SOURCES.txt'
running build_ext
copying build/lib.linux-x86_64-2.6/examp.so ->
runTest (test.examp_unittest.DeviceTest) ... ok

----------------------------------------------------------------------
Ran 1 test in 0.001s

OK

在我的系统上运行之后，我现在可以在相同的代码库上非常愉快地运行 py.test - 如下所示。

============================= test session starts ==============================
platform linux2 -- Python 2.7.3, pytest-2.9.2, py-1.4.31, pluggy-0.3.1
rootdir: /tmp/sotest, inifile: 
collected 1 items 

test/examp_unittest.py .

=========================== 1 passed in 0.01 seconds ===========================

因此，解决方案是将共享对象复制到存储库的根目录。

为了确保我从头开始运行整个程序，只需构建扩展、复制共享对象然后运行 ​​py.test。这一切都按预期工作。

Answer 2

从聊天中的讨论来看，C 实现似乎只提供了 Python 实现功能的一个子集。

一种常见的解决方案是拆分模块，使得需要优化实现的部分存在于单独的模块中。

考虑一个需要在不同图像格式之间转换的库的更具体示例。

让我们假设你的布局看起来像这样......

repobase
 |- image
 |  |- __init__.py
 |  |- pyJPEG.py
 |- build
 |  |- lib.linux-x86_64-2.7
 |     |- cJPEG.so
 |- tests
    |- test_image.py

...您的PYTHONPATH 包括/path/to/repobase:/path/to/repobase/build/lib.linux-x86_64-2.7，您的cJPEG.so 导出符号jpeg_decompress 和jpeg_compress，您的文件看起来像这样...

图像/__init__.py

# Load the C implementation if we have it, otherwise fall back to
# a pure Python implementation
try:
    from cJPEG import jpeg_decompress, jpeg_compress
except ImportError:
    from pyJPEG import jpeg_decompress, jpeg_compress

def load_image(filename):
    data = open(filename, 'rb').read()
    if filename.endswidth('.jpg'):
        return jpeg_decompress(data)
    else:
        raise NotImplementedError

def save_image(data, filename, filetype='JPEG'):
    if filetype == 'JPEG':
        data = jpeg_compress(data)
    else:
        raise NotImplementedError
    open(filename, 'wb').write(data)

image/pyJPEG.py

def jpeg_decompress(data):
    # A pure Python implementation of a JPEG decoder

def jpeg_compress(data):
    # A pure Python implementation of a JPEG encoder

使用这种布局，测试套件无需关心库是否已构建 - 您可以在两种情况下使用相同的套件，cJPEG.so 的存在（或不存在）将决定测试哪个版本.