【问题标题】:Spark Python error "FileNotFoundError: [WinError 2] The system cannot find the file specified"Spark Python错误“FileNotFoundError:[WinError 2]系统找不到指定的文件”
【发布时间】:2016-05-28 16:30:12
【问题描述】:

我是 Spark 和 Python 的新手。我已经在 windows 上安装了 python 3.5.1 和 Spark-1.6.0-bin-hadoop2.4。

当我从 python shell 执行 sc = SparkContext("local", "Simple App") 时出现以下错误..

你能帮忙吗?

从 pyspark 导入 SparkConf,SparkContext

sc = SparkContext("local", "Simple App")

Traceback(最近一次通话最后一次):

文件“”,第 1 行,在

sc = SparkContext("local", "Simple App")

文件“C:\spark-1.6.0-bin-hadoop2.4\python\pyspark\context.py”,第 112 行,在 init

SparkContext._ensure_initialized(self, gateway=gateway)

文件“C:\spark-1.6.0-bin-hadoop2.4\python\pyspark\context.py”,第 245 行,_ensure_initialized

SparkContext._gateway = gateway or launch_gateway()

文件“C:\spark-1.6.0-bin-hadoop2.4\python\pyspark\java_gateway.py”,第 79 行,在 launch_gateway 中

proc = Popen(command, stdin=PIPE, env=env)

文件“C:\Python35-32\lib\subprocess.py”,第 950 行,在 init 中 restore_signals, start_new_session)

文件“C:\Python35-32\lib\subprocess.py”,第 1220 行,在 _execute_child 中 启动信息)

FileNotFoundError: [WinError 2] 系统找不到指定的文件

【问题讨论】:

  • 嗨,你试过sc = SparkContext("local", "Simple\ App")吗?
  • 你解决了吗?

标签: python python-3.x apache-spark pyspark


【解决方案1】:

您必须正确设置 SPARK_HOME。我已经调试了python脚本并进行了验证。这会奏效。

【讨论】:

  • :请详细说明一下
【解决方案2】:

检查您的地址以确保其书写正确。就我而言,我的地址为:

“C:/Users/nekooeimehr/AppData/Local/Programs/Python/Python35-32/spark-1.6.2-bin-hadoop2.4”

而正确的地址是:

“C:/Users/nekooeimehr/AppData/Local/Programs/Python/Python35-32/spark-1.6.2-bin-hadoop2.4/spark-1.6.2-bin-hadoop2.4”

【讨论】:

    【解决方案3】:

    如果验证了系统环境变量还是不行,请检查你的jvm(64或32)位版本是否与你的机器兼容。

    【讨论】:

      猜你喜欢
      • 2017-08-01
      • 2019-07-29
      • 1970-01-01
      • 2020-01-02
      • 1970-01-01
      • 1970-01-01
      • 2018-05-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多