启动 pyspark-shell 给 env jupyter no such file error in mac答案

【问题标题】：Starting pyspark-shell gives env jupyter no such file error in mac启动 pyspark-shell 给 env jupyter no such file error in mac
【发布时间】：2020-09-25 08:44:09
【问题描述】：

我已按照本指南设置我的 pyspark 而不是 pip3 使用 brew 在我的 mac 机器上安装 spark 和 https://medium.com/swlh/pyspark-on-macos-installation-and-use-31f84ca61400 并且一切顺利我能够打开 pyspark shell 并运行 spark 代码。

后来当我发现我的默认 shell 是 zsh 时，将所有内容从 bash 移动到 zsh 并尝试执行 pyspark 命令，但得到错误 env: jupyter: No such file or directory。 pyspark 如何需要 jupyter，为什么？

所以配置了

PYSPARK_DRIVER_PYTHON=path/to/jupyter
PYSPARK_DRIVER_PYTHON_OPTS=notebook.

然后它开始启动 Jupyter notebook 而不是 pyspark shell。

我们如何在没有任何 jupyter notebook 的情况下运行 pyspark shell？为什么spark需要jupyter在shell模式下运行？

下面是我当前的.zshrc

export PATH="/usr/local/bin:/usr/local/sbin:~/bin:$PATH"
export PATH=/usr/local/mysql/bin:$PATH
export JAVA_HOME="$(/usr/libexec/java_home)"
alias python='python3'
alias python=/usr/local/bin/python3.7
alias pip=/usr/local/bin/pip3
export SPARK_HOME=/usr/local/Cellar/apache-spark/2.4.5/libexec
export PATH=$SPARK_HOME/bin:$PATH
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

【问题讨论】：

标签： python-3.x macos apache-spark pyspark jupyter-notebook

【解决方案1】：

我可以通过对我的 ~/.zshrc 进行以下更改来解决此问题，并且它开始运行良好。

alias python='python3'
alias python=/usr/local/bin/python3.7
alias pip=/usr/local/bin/pip3

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.4.5/libexec
export PATH=$PATH:$SPARK_HOME/bin

export PYSPARK_PYTHON=/usr/local/bin/python3.7
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

【讨论】：