Spark 在本地机器而不是独立集群中运行答案

【问题标题】：Spark running in local machine instead of standalone clusterSpark 在本地机器而不是独立集群中运行
【发布时间】：2020-02-07 17:21:11
【问题描述】：

我在 ec2 上创建了一个 spark 集群，之后，我在主节点上安装了 Jupyter 并启动了 jupyter，之后我使用

创建了 sparkcontext

findspark.init(spark_home='/home/ubuntu/spark')
import pyspark
from functools import partial
sc = pyspark.SparkContext(appName="Pi")

当我尝试运行任何作业时，spark 仅使用主机的核心，所有从机都在运行并连接到主机，但我仍然无法使用任何从机的核心，任何人请帮忙。

【问题讨论】：

【解决方案1】：

创建SparkContext时需要将主网址设置为spark://...

【讨论】：