【问题标题】:spark shell not responding from Terminal in cloudera VM Boxspark shell 没有从 cloudera VM Box 中的终端响应
【发布时间】:2017-07-18 22:59:14
【问题描述】:

当我第一次尝试使用 spark-shell 时。火花壳没有响应。这就是我得到的,

[root@quickstart cloudera]# spark-shell WARNING: User-defined SPARK_HOME (/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/spark) 覆盖 检测到 (/usr/lib/spark)。警告:从运行 spark-class 用户定义的位置。将默认日志级别设置为“WARN”。调整 日志级别使用 sc.setLogLevel(newLevel) 欢迎来到

  ____              __
 / __/__  ___ _____/ /__
_\ \/ _ \/ _ `/ __/  '_/    /___/ .__/\_,_/_/ /_/\_\   version 1.6.0
  /_/

使用 Scala 版本 2.10.5(Java HotSpot(TM) 64 位服务器 VM、Java 1.7.0_67) 输入表达式以评估它们。输入 :help 了解更多信息。

【问题讨论】:

  • 这之后会出现什么错误?
  • 嘿 Shankar,之后没有响应...我等了一段时间,但没有全部响应。
  • 使用 cloudera-quickstart-vm-5.8.0.0

标签: apache-spark cloudera cloudera-cdh cloudera-manager cloudera-quickstart-vm


【解决方案1】:

抱歉,回复晚了。我碰巧第一次使用 Spark-shell。在使用 spark-shell 时,请确保从终端使用以下命令运行“cloudera-manager”:sudo/home/cloudera/cloudera-manager [--Express 或--Enterprise]。并从 Firefox 登录 Cloudera Manager。如果不重新启动 YARN 并重新启动 Spark,请确保 YARN 正在运行,然后打开一个新终端并输入: 火花壳。 这次它应该可以工作并且创建了 sc 对象。 对不起,如果我在任何地方出错了,但这就是我所做的。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-12-05
    • 1970-01-01
    • 2013-12-15
    • 2015-09-29
    • 1970-01-01
    • 2020-03-22
    相关资源
    最近更新 更多