Apache Spark：如何在 Python 3 中使用 pyspark答案

【问题标题】：Apache Spark: How to use pyspark with Python 3Apache Spark：如何在 Python 3 中使用 pyspark
【发布时间】：2015-07-28 13:48:21
【问题描述】：

我从 GH 开发大师那里构建了 Spark 1.4，并且构建顺利。但是当我执行bin/pyspark 时，我得到了 Python 2.7.9 版本。我该如何更改？

【问题讨论】：

对于任何寻找如何做到这一点的人：PYSPARK_DRIVER_PYTHON=ipython3 PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark，在这种情况下它运行 IPython 3 笔记本。

【解决方案1】：

查看文件。 shebang 行可能指向“env”二进制文件，该二进制文件在路径中搜索第一个兼容的可执行文件。

您可以将python更改为python3。更改 env 以直接使用硬编码的 python3 二进制文件。或者直接用python3执行二进制，省略shebang行。

【讨论】：

【解决方案2】：

PYSPARK_PYTHON=python3 
./bin/pyspark

如果你想在 IPython Notebook 中运行，写：

PYSPARK_PYTHON=python3 
PYSPARK_DRIVER_PYTHON=ipython 
PYSPARK_DRIVER_PYTHON_OPTS="notebook" 
./bin/pyspark

如果python3 不可访问，则需要将路径传递给它。

【讨论】：

我认为您对 IPython Notebook 的命令不正确。应该是这样的： PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=ipython3 PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark
@ChrisNielsen 在终端中。
@ChrisNielsen 在 Linux 或 OS X 中是终端/控制台。我不知道它在 Windows 下是如何工作的（在 Windows 中，我只在 Docker 容器上使用 Spark）。
@SpiderRico 这些似乎不适用于我的 Mac。要让 Jupyter Notebook 为 Spark 工作，请使用以下内容。 PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark

【解决方案3】：

只需设置环境变量：

export PYSPARK_PYTHON=python3

如果您希望这是永久更改，请将此行添加到 pyspark 脚本中。

【讨论】：

【解决方案4】：

1，编辑个人资料：vim ~/.profile

2、在文件中添加代码：export PYSPARK_PYTHON=python3

3、执行命令：source ~/.profile

4，./bin/pyspark

【讨论】：

【解决方案5】：

对于 Jupyter Notebook，从命令行编辑 spark-env.sh 文件，如下所示

$ vi $SPARK_HOME/conf/spark-env.sh

转到文件底部并复制粘贴这些行

export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

然后，只需运行以下命令即可在 notebook 中启动 pyspark

$ pyspark

【讨论】：