尝试使用 Jupyter 笔记本运行 pyspark 时出现问题

【问题标题】：Problem trying to run pyspark with Jupyter notebook尝试使用 Jupyter 笔记本运行 pyspark 时出现问题
【发布时间】：2020-09-04 20:12:26
【问题描述】：

我需要用 Jupyter notebook 运行 pyspark。（我使用的是 Windows 10）

我在 Anaconda Prompt 中试过这个：

pip install spark
pip install pyspark
SET PYSPARK_DRIVER_PYTHON=jupyter
SET PYSPARK_DRIVER_OPTS='notebook'
pyspark

并返回此错误：

Traceback (most recent call last):
  File "C:\Users\User\Anaconda3\Scripts\jupyter-script.py", line 10, in <module>
    sys.exit(main())
  File "C:\Users\User\Anaconda3\lib\site-packages\jupyter_core\command.py", line 247, in main
    command = _jupyter_abspath(subcommand)
  File "C:\Users\User\Anaconda3\lib\site-packages\jupyter_core\command.py", line 134, in _jupyter_abspath
    'Jupyter command `{}` not found.'.format(jupyter_subcommand)
Exception: Jupyter command `jupyter-C:\Users\User\Anaconda3\Scripts\find_spark_home.py` not found.
The system cannot find the path specified.
The system cannot find the path specified.

我该如何解决？

【问题讨论】：

标签： python pyspark jupyter-notebook anaconda command-prompt

【解决方案1】：

我想你不是在 Windows 中工作。有一个很好的指南here。假设你已经安装了所有东西，你需要从你的主目录编辑你的./bashrc，使用类似的东西：

nano .bashrc

并添加以下内容：

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
export PYSPARK_PYTHON=python3

那么您需要应用更改：

source .bashrc

然后当你运行命令时

pyspark

它应该可以工作

【讨论】：

尝试在您的system 中定义这些变量（PYSPARK_DRIVER_PYTHON、PYSPARK_DRIVER_PYTHON_OPTS 和PYSPARK_PYTHON）。或者使用 Linux 虚拟机或映像。