如何在 zeppelin 中使用 anaconda？答案

【问题标题】：How can I use anaconda in zeppelin?如何在 zeppelin 中使用 anaconda？
【发布时间】：2017-07-13 08:55:04
【问题描述】：

我想在 zeppelin 中使用 anaconda。

所以我修改了/zeppelin/conf/zeppelin-env.sh中的配置文件如下所示。

export SPARK_HOME=/home/jin/spark
export PYTHONPATH=/home/jin/anaconda3/bin/python
export PYSPARK_PYTHON=/home/jin/spark/python

因为我认为当我修改 PYTHONPATH 时，我可以使用 anaconda 版本。

https://zeppelin.apache.org/docs/0.6.2/interpreter/python.html

Path of the already installed Python binary (could be python2 or python3).
If python is not in your $PATH you can set the absolute directory 
(example :/usr/bin/python)

但是python版本没有改变。我尝试在 zeppelin notebook 中检查 python 版本。

%python

import sys

print(sys.version)
print(sys.version_info)


2.7.12 (default, Nov 19 2016, 06:48:10)

如何在 zeppelin 中使用 anaconda？

【问题讨论】：

我对 zeppelin 一无所知，但根据这些文档，您非常接近：zeppelin.apache.org/docs/latest/interpreter/python.html#conda
感谢您的回答。当我更改 .bashrc 以添加 anaconda 路径时，它可以工作。但我不想修改 .bashrc 所以我尝试使用 python.conda。

标签： python apache-spark anaconda apache-zeppelin

【解决方案1】：

python.conda 解释器是在 0.7.0 中添加的。

这里是相关的 PR

康达翻译：https://github.com/apache/zeppelin/pull/1645
改进 Conda 解释器：https://github.com/apache/zeppelin/pull/1868

所以，我建议使用 0.7.0+ 并参考Zeppelin Doc: Conda Interpreter。

【讨论】：

当我使用“%python.conda list”时出现“java.io.IOException: error=2, No such file or directory”错误。
我使用的是 0.7.0，但在解释器列表中没有看到任何对 Conda 的引用。 zeppelin.apache.org/docs/latest/interpreter/python.html#conda 的说明将不起作用。 conda 的解释器设置应该是什么样的？
@ChuckCarlson 你能创建新的python解释器吗？然后我想你会看到python.conda。因为您的 python 解释器设置是在实现 python.conda 之前创建的。

【解决方案2】：

为了在 Zeppelin 中使用 Anaconda，我做了以下操作：

在 Zeppelin UI 中单击“解释器”
查找“Python”解释器部分
（在 Python 解释器部分）将 'zeppelin.python' 设置为 '/home/YOUR USERNAME/anaconda2/bin/python'

打印（系统版本） 2.7.13 |Anaconda 4.3.0（64 位）| （默认，2016 年 12 月 20 日，23:09:15）

【讨论】：

【解决方案3】：

我发现你不能通过 pip 安装 conda。您至少需要 miniconda。这是我在 Ubuntu 16.04 系统上所做的：

从https://conda.io/miniconda.html 下载 miniconda 安装程序
安装 miniconda
我选择安装到/opt/miniconda3，你可以选择不同的
在启动 Zeppelin 之前更新您的 PATH
即PATH=/opt/miniconda3/bin:$PATH

此时它应该可以工作了。您可以通过创建新笔记本（或打开现有笔记本）、在段落中输入 %python.conda info 并运行该段落来进行尝试。

这样做的一个缺点是您最终会使用与 miniconda 捆绑在一起的 Python 解释器，而不是系统安装的 Python 解释器。

【讨论】：

【解决方案4】：

做：

在 zeppelin ui 中快速点击解释器。
查找python解释器
点击编辑
更改以下属性：

zeppelin.python -------> anaconda中python的路径

例如：

zeppelin.python : /home/abbas/anaconda/bin/python

【讨论】：