在 Google Cloud ML Engine 中使用自定义依赖项

Question

我正在尝试将 PyPI 中未列出的 python package 与 Google Cloud ML Engine 一起使用。这个包有自己的依赖项，即使在 PyPI 中列出，ML 引擎环境中也没有默认安装，即 Cython 包。

查看documentation 并不清楚在这种情况下如何进行，我尝试将这个包打包在.tar.gz 文件中并在--packages 参数下传递，但我收到以下错误：

File "<string>", line 1, in <module> IOError: [Errno 2] No such file or directory: '/tmp/pip-jnm3Ml-build/setup.py'

在我尝试使用setup.py 文件并打包我的代码后，google cloud ml 引擎无法在dependency_links 中找到该包

这是我目前的setup.py：

from setuptools import find_packages, setup

required_packages = ['cython', 'numpy', 'tensorflow', 'scipy', 'cython']
dependency_links = ['git+https://github.com/lucasb-eyer/pydensecrf.git']

setup(name='trainer',
      version='0.1',
      packages=['trainer'],
      install_requires=required_packages,
      dependency_links=dependency_links,
      include_package_data=True,
      description='description')

我想通过反复试验来避免这样做，因为将作业发送到云会花费金钱，即使它们立即失败。

提前致谢。

Answer 1

为此，您需要将 Cython 添加到您的 setup.py 中的所需软件包列表中。说明可以在here找到。

这是一个示例setup.py，它将驻留在您作为--package-path 传递到gcloud 的目录的父目录中。

from setuptools import find_packages
from setuptools import setup

REQUIRED_PACKAGES = ['Cython>=0.26']

setup(
    name='trainer',
    version='0.1',
    install_requires=REQUIRED_PACKAGES,
    packages=find_packages(),
    include_package_data=True,
    description='My trainer application package.'
)