【问题标题】:PySpark - The system cannot find the path specifiedPySpark - 系统找不到指定的路径
【发布时间】:2016-04-22 08:09:55
【问题描述】:

喂,

我已经多次运行 Spark(Spyder IDE)。 今天报了这个错误(代码是一样的)

from py4j.java_gateway import JavaGateway
gateway = JavaGateway()

os.environ['SPARK_HOME']="C:/Apache/spark-1.6.0"
os.environ['JAVA_HOME']="C:/Program Files/Java/jre1.8.0_71"
sys.path.append("C:/Apache/spark-1.6.0/python/")
os.environ['HADOOP_HOME']="C:/Apache/spark-1.6.0/winutils/"

from pyspark import SparkContext
from pyspark import SparkConf

conf = SparkConf()
    The system cannot find the path specified.
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
      File "C:\Apache\spark-1.6.0\python\pyspark\conf.py", line 104, in __init__
        SparkContext._ensure_initialized()
      File "C:\Apache\spark-1.6.0\python\pyspark\context.py", line 245, in _ensure_initialized
        SparkContext._gateway = gateway or launch_gateway()
      File "C:\Apache\spark-1.6.0\python\pyspark\java_gateway.py", line 94, in launch_gateway
        raise Exception("Java gateway process exited before sending the driver its port number")
    Exception: Java gateway process exited before sending the driver its port number

怎么了? 感谢您的宝贵时间。

【问题讨论】:

  • 我认为您应该遵循此链接中提到的答案stackoverflow.com/questions/30763951/…
  • 好的...有人在 VirtualMachine 中安装了一个新的 java 版本。我只是更改了这个 os.environ['JAVA_HOME']="C:/Program Files/Java/jre1.8.0_91" 并再次工作。

标签: apache-spark pyspark


【解决方案1】:

好的...有人在 VirtualMachine 中安装了一个新的 java 版本。我只是改变这个

os.environ['JAVA_HOME']="C:/Program Files/Java/jre1.8.0_91" 

然后再次工作。 谢谢你的时间。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-03-14
    • 1970-01-01
    • 2018-08-26
    • 1970-01-01
    • 1970-01-01
    • 2011-02-23
    • 2018-12-12
    相关资源
    最近更新 更多