【问题标题】:Unable to run spark-shell from bin无法从 bin 运行 spark-shell
【发布时间】:2016-02-25 07:13:36
【问题描述】:

我是 spark 新手,我下载了预编译的 spark。

当我尝试在命令行上从 bin 文件夹运行 spark-shell 时,它会返回

:cd /users/denver/spark-1.6/bin
:spark-shell

找不到命令

但如果我像这样运行它

:cd /users/denver/spark-1.6
:./bin/spark-shell

它发射火花..

你能告诉我为什么它在第一种情况下抛出错误

【问题讨论】:

  • 你是在 Windows 中运行它还是在 Linux 中运行它?
  • 我在 mac 上运行它。
  • 第一种情况下你是如何运行spark-shell的?
  • 能否请您检查对问题所做的编辑

标签: linux apache-spark environment-variables


【解决方案1】:

第一种情况下不能运行spark-shell命令是因为environment variable

终端在$PATH 中搜索可执行文件。这是一个 Unix 环境变量,列出了包含系统二进制文件的目录(例如 lsechogcc)。如果调用不在$PATH目录中的可执行文件(如spark-shell),则需要指明其在文件系统中的绝对路径。

在终端中.是当前工作目录的同义词,因此./bin/spark-shell可以正常工作。你也可以打电话给./some/path/bin/spark-shell

希望对你有帮助。

【讨论】:

  • 作为问题第一种情况的直接解决方案,请尝试运行./spark-shell 而不是spark-shell
  • 如果我希望bash-profile 工作而不是./bin/spark-shell,那么OP 需要对环境变量进行哪些更改?
【解决方案2】:

在 Linux 中:

添加到你的 ~/.bashrc

导出 SPARK_HOME=/home/das/spark-1.6.2-bin-hadoop2.6 导出 PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

来源 ~/.bashrc。 重新启动终端 然后 spark-shell 可以在任何地方工作 如果它不起作用添加到 ~/.profile

【讨论】:

    【解决方案3】:

    这也发生在我身上。切换到 spark 目录后使用./bin/spark-shell 应该可以解决问题。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-09-13
      • 2013-01-29
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-05-27
      • 2021-04-26
      相关资源
      最近更新 更多