在 windows7 上找不到 SparkContext

Question

我已经使用此链接中提到的方法为 pyspark 安装了 sparks..

http://nishutayaltech.blogspot.in/2015/04/how-to-run-apache-spark-on-windows7-in.html

现在我正在创建 pyspark 并尝试使用“sc”变量。但我遇到了错误。

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'sc' is not defined

我尝试了以下变量

from pyspark import SparkContext
SparkContext.setSystemProperty('spark.executor.memory', '2g')
sc = SparkContext("local", "App Name") 

我得到的错误是：

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\python\pyspark\context.py", line 115, in __init__
    SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
  File "D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\python\pyspark\context.py", line 272, in _ensure_initialized
    callsite.function, callsite.file, callsite.linenum))
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by getOrCreate at D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\bin\..\python\pyspark\shell.py:43

Answer 1

关于以下错误：

ValueError：无法同时运行多个 SparkContext； 存在 SparkContext(app=PySparkShell, master=local[*]) 由 getOrCreate 创建 在 D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\bin..\python\pyspark\shell.py:43

这个错误的来源似乎是以前的SparkContext 没有停止。

在尝试创建另一个 SparkContext 之前执行 sc.stop() 应该可以解决 multiple SparkContexts 错误。

在 Windows 上安装 spark 的一些附加链接（根据我的经验，一些说明缺少一些细节）：

• 我在 Windows7 上安装 spark 时使用了这个答案： https://stackoverflow.com/a/38735202/5088142

• https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-tips-and-tricks-running-spark-windows.html

• https://www.linkedin.com/pulse/how-build-apache-spark-windows-step-anuj-bhatnagar