如何从命令行为 Jupyter spark/pyspark 笔记本指定内存和 CPU？

【问题标题】：How to specify memory and cpu's for a Jupyter spark/pyspark notebook from command line?如何从命令行为 Jupyter spark/pyspark 笔记本指定内存和 CPU？
【发布时间】：2017-01-17 03:46:32
【问题描述】：

目的是为了实现一些目标

 jupyter-notebook --kernel-options="--mem 1024m --cpus 4"

kernel-options 将被转发到pyspark 或spark 内核。

我们需要这个来运行单独的 jupyter 服务器——一台用于pyspark 内核，另一台用于同一台机器上的spark (in scala) 内核。这是一个要求，因为单个 jupyter 服务器不支持同时运行 pyspark 和 (scala) spark 内核。

【问题讨论】：

标签： apache-spark pyspark jupyter-notebook

【解决方案1】：

对于 Jupyter 4.0 及更高版本，您应该能够像这样启动支持 Spark 的笔记本：

pyspark [options]

其中 [options] 是您传递给 pyspark 的所有标志的列表。

为此，您需要在 .profile 中设置以下环境变量：

export PYSPARK_DRIVER_PYTHON="/path/to/my/bin/jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_PYTHON="/path/to/my/bin/python"

或者，如果您使用的是 Apache Toree，您可以通过 SPARK_OPTS 传递它们：

SPARK_OPTS='--master=local[4]' jupyter notebook

有关 Apache Toree setup 的更多详细信息。

【讨论】：