【问题标题】:Install Spark and Hadoop in the same machine在同一台机器上安装 Spark 和 Hadoop
【发布时间】:2017-08-23 20:17:41
【问题描述】:

我正在尝试在同一台机器上安装 Spark Apache 和 Hadoop。 Spark 将用于处理数据,来自 Hadoop 的 HDFS 将用于存储数据。我首先从安装 spark 开始,它运行良好。但是,当我开始安装 Hadoop 并设置 JAVA_HOME 环境变量 HDFS 工作时,但 spark 崩溃并显示:Files was unexpected at this time. 当我启动它时。当我删除 JAVA_HOME 时,Spark 再次工作,但 HDFS 并非如此。这种情况我该怎么办?

【问题讨论】:

    标签: hadoop apache-spark pyspark hdfs


    【解决方案1】:

    您使用的是什么操作系统?你能显示你的 JAVA_HOME 路径吗?您的 JAVA_HOME 路径不应包含空格。

    【讨论】:

    • 我在 Windows 10 上工作,我的 JAVA_HOME 是:"C:\Program Files (x86)\Java\jdk1.8.0_121"
    • 我在您的路径中看到至少 2 个空格 - “Program Files (x86)”。尝试为 JAVA_HOME 使用不同的路径 - 没有空格。
    • 重新安装java还是把文件移到另一个目录?
    • 我修复了它,我只是将程序文件中的 java 文件夹移动到一个没有空格的目录并且它可以工作。现在,我的电脑上都安装了 spark 和 hadoop。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-08-04
    • 2019-06-29
    • 1970-01-01
    • 1970-01-01
    • 2018-06-10
    • 1970-01-01
    相关资源
    最近更新 更多