如何在 HDP 中的 zeppelin-spark2 中将库安装到 python

Question

我正在使用 HDP 版本：2.6.4

能否提供一步一步的说明如何将库安装到 spark2 下的以下 python 目录？

sc.version（spark 版本）返回

res0: String = 2.2.0.2.6.4.0-91

spark2解释器名称和值如下

zeppelin.pyspark.python:    /usr/local/Python-3.4.8/bin/python3.4

python 版本和当前库是

%spark2.pyspark

import pip
import sys

sorted(["%s==%s" % (i.key, i.version) for i in pip.get_installed_distributions()])

print("--")     
print (sys.version)
print("--")
print(installed_packages_list)

--
3.4.8 (default, May 30 2018, 11:05:04) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-18)]
--
['pip==9.0.1', 'setuptools==28.8.0']

更新1：using pip install [package name]实际上会导致两个问题

1) HDP 指向 python2.6 而不是 python3.4.8

2) pip3 由于某种原因不存在

因此，我正在考虑安装 miniconda 并将 Zeppelin 指向那里并在 conda 中安装所有包以防止 python 2.6 和 3.4.8 之间发生冲突

Answer 1

这对我们来说很痛苦。有效的解决方法是：

1. 相应地使用pip 或pip3 从终端安装您需要的python 包。
2. 默认情况下，spark 解释器上的zeppelin.pyspark.python 设置为：python。该 python 无法识别我们使用终端安装的软件包。我们必须更新zeppelin.pyspark.python：/usr/bin/python（python命令的路径，你可以使用命令'which python'获取它）

现在解释器和 zeppelin 笔记本能够访问我们从终端安装的所有包。

Answer 2

您需要打开终端并输入pip，然后按TAB 键。应列出沙盒上可用的 pip 版本。使用 pip3 安装您需要的软件包。这样做的方法保持不变pip3 install "packageName"。这将使该软件包可用于您希望在 Zeppelin 中使用的 Python3 安装。