jupyterhub中的pyspark内核，远程访问master

Question

我有两个 Spark 内核，一个在本地运行，一个在集群中运行。有没有办法为我的 spark master 设置一个环境变量，这样用户就不必在内核的 SparkContext 中定义 master 来与 spark 集群对话？我试过“export SPARK_MASTER_HOST='spark:/my-server.domain.com:7077'”，但是没有用。

代码

from pyspark import SparkContext
import random

def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1


sc = SparkContext(master="spark:/my-server.domain.com:7077", appName="test")

num_samples = 2

count = sc.parallelize(range(0, num_samples)).filter(inside).count()

pi = 4 * count / num_samples
print(pi)

sc.stop()

Answer 1

尝试在本地 spark 安装的 spark-defaults.conf 文件中设置主 URL。除此之外，像您一样在 SparkContext 中传递主 URL，您可以在启动 Pyspark Jupyter 笔记本时在命令行上使用 --master 传递主 URL