在 google composer 中安装 hadoopy

【问题标题】：Install hadoopy in google composer在 google composer 中安装 hadoopy
【发布时间】：2018-09-24 12:11:44
【问题描述】：

我正在使用google composer。

我们如何在google composer environment 中安装 hadoopy。

这个页面有installinghadoopy在Linux机器上的步骤

Github 克隆

git clone https://github.com/bwhite/hadoopy.git
cd hadoopy
sudo python setup.py install

PIP 安装

sudo pip install -e git+https://github.com/bwhite/hadoopy#egg=hadoopy

我不知道如何在 Google Composer 环境中安装它

【问题讨论】：

【解决方案1】：

该软件包似乎在Python Package Index 上可用。因此，您可以通过 Web UI 安装它（您的 Composer 环境 > Pypi 包选项卡 > 编辑 > 添加 <your_dependency>==<version>）。您也可以通过命令行执行此操作：

gcloud composer environments update ENVIRONMENT-NAME \
    --update-pypi-packages-from-file requirements.txt \
    --location LOCATION

requirements.txt 应该包含类似的内容：

hadoopy==0.6.0

请注意，安装依赖项可能会很长（Composer 需要使用包含的包重新构建 Docker 映像）。

如果您想直接从 Github 上的源添加依赖项，则必须按照文档中描述的步骤操作：Installing a local Python library。

【讨论】：