AWS EMR：Zeppelin 从 python 2.7 获取 numpy 版本而不是更高版本

Question

我的 EMR (5.26.0) 集群上有 python 2.7（默认）和 python 3.6，下面是我的引导脚本。我正在安装 numpy 版本 1.18.5，我可以看到它正在安装在引导日志中。但是在 python3 包中，我看到它正在选择来自 Python 2.7 的 numpy 1.14.5。如果您看到下面的屏幕截图，我可以看到版本 1.18.5 dist。 python包目录中的文件，但二进制文件用于但实际的numpy版本有1.14.5的文件。

我正在使用 zeppelin notebook，并通过设置以下变量将我的解释器 python 和 pyspark 属性更改为使用 python 3，但是

PYSPARK_PYTHON = '/usr/bin/python3'
PYSPARK_DRIVER_PYTHON = '/usr/bin/python3'

# In zeppelin interpretor
zeppelin.pyspark.python='/usr/bin/python3'

#!/usr/bin/env bash
python3 -m pip uninstall botocore --user
python3 -m pip uninstall boto3 --user


sudo python3 -m pip install --upgrade pip

sudo python3 -m pip install botocore==1.13.38 --user

sudo python3 -m pip install h5py 
sudo python3 -m pip install keras==2.3.0 
sudo python3 -m pip install keras_applications==1.0.8 --no-deps
sudo python3 -m pip install keras_preprocessing==1.1.2 --no-deps

sudo python3 -m pip install tqdm 

sudo python3 -m pip install s3fs 
sudp python3 -m pip install ipaddress==1.0.23 
sudo python3 -m pip install netaddr==0.7.19 

sudo python3 -m pip install matplotlib

sudo python3 -m pip install pyarrow
sudo python3 -m pip install boto3
sudo python3 -m pip install torch==1.6.0
sudo python3 -m pip install --upgrade scipy==1.4.1
sudo python3 -m pip install torchvision
sudo python3 -m pip install pydot
sudo python3 -m pip install xlrd
sudo python3 -m pip install xlwt
sudo python3 -m pip install pandas
sudo python3 -m pip install scikit-learn
sudo python3 -m pip install scikit-multilearn 
sudo python3 -m pip install wrapt==1.12.0
sudo python3 -m pip install tensorflow==2.3.0
sudo python3 -m pip install tensorflow-gpu==2.0.0
sudo python3 -m pip install numpy==1.18.5

另外，当我列出包时，我看到它列出了1.18.5，但是 numpy version 命令显示1.14.5。

如何强制 Python 选择更高版本的 numpy？

Answer 1

终于让它与 emr-5.31.0 及以下引导配置一起使用，5.31+ 默认为 Python 3 和 numpy 1.16.5，即使 env 中存在 python 2。所以我得到了默认的更高版本的 numpy，它解决了我的交叉依赖问题。

sudo python3 -m pip install h5py==2.10.0
sudo python3 -m pip install keras==2.3.1
sudo python3 -m pip install keras_applications==1.0.8 --no-deps
sudo python3 -m pip install keras_preprocessing==1.1.0 --no-deps

sudo python3 -m pip install tqdm==4.40.0

sudo python3 -m pip install s3fs 
sudo python3 -m pip install ipaddress==1.0.23
sudo python3 -m pip install netaddr==0.7.19 

sudo python3 -m pip install matplotlib

sudo python3 -m pip install pyarrow==0.12.1
sudo python3 -m pip install boto3
sudo python3 -m pip install torch==1.6.0
sudo python3 -m pip install --upgrade scipy==1.4.1
sudo python3 -m pip install torchvision
sudo python3 -m pip install pydot==1.4.1
sudo python3 -m pip install xlrd
sudo python3 -m pip install xlwt
sudo python3 -m pip install pandas==1.2.0
sudo python3 -m pip install scikit-learn
sudo python3 -m pip install scikit-multilearn 
sudo python3 -m pip install wrapt==1.12.0
sudo python3 -m pip install tensorboard==2.1.0
sudo python3 -m pip install tensorflow==2.1.0
sudo python3 -m pip install tensorflow-estimator==2.1.0