【问题标题】:Failed to find Spark jars directory. You need to build Spark before running this program找不到 Spark jars 目录。你需要在运行这个程序之前构建 Spark
【发布时间】:2019-02-26 01:57:30
【问题描述】:

我正在尝试在 Windows 10 上安装 spark,但在尝试运行 pyspark 时出现错误。

找不到 Spark jars 目录。您需要在运行此程序之前构建 Spark。

我已按照Here 指示的步骤进行操作,直到第 4 步。

我去了 Anaconda 的脚本和站点包。在 Scripts 中有 pyspark spark-shell 等,但是 site-packages 中的 pyspark 文件夹既没有 jars 文件夹,也没有自己的 bin 文件夹。

罐子在哪里?

【问题讨论】:

  • 您是否正确设置了环境变量? SPARK_HOME, HADOOP_HOME 作为您的 spark 安装目录,并将 $SPARK_HOME\bin 添加到 PATH
  • 嗨 MaFF,我设置了我的环境变量,它们表示包含每个程序的 bin 文件夹。

标签: python windows apache-spark pyspark anaconda


【解决方案1】:

此错误的原因之一是在设置路径时 Spark_home 路径可能包含诸如“C:/Users//apache spark/bin”之类的空格

只需删除空格或切换到另一个目录。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2016-02-09
    • 1970-01-01
    • 2016-04-16
    • 1970-01-01
    • 2015-12-23
    • 1970-01-01
    • 1970-01-01
    • 2021-12-25
    相关资源
    最近更新 更多