创建自定义 dataproc 映像时无法安装 python3 包

Question

我按照以下链接创建 dataproc-version 1.5.21-debian10 的自定义映像 https://cloud.google.com/dataproc/docs/guides/dataproc-images

如果我尝试下面的自定义脚本，根据此链接

#! /usr/bin/bash

apt-get -y update

apt install python3-pip -y

python3.7 -m pip install numpy

如果我尝试 pip install numpy 它会在 python2.7 中安装包

请建议我该怎么做？

Answer 1

Dataproc 1.5 映像默认使用 Conda 和 Python 3。要在 Conda 环境中安装软件包，您应该使用 Conda 的 conda 二进制而不是系统一：

/opt/conda/miniconda3/bin/conda install numpy

请注意，不鼓励在 Conda 环境中使用 Pip 安装包，但如果需要，您仍然可以这样做：

/opt/conda/miniconda3/bin/pip install numpy

Answer 2

您应该使用 pip3 而不是 pip 来使用 Python 3.7 环境。

pip3 install numpy