【问题标题】:Spark runs endlessly for Pi example对于 Pi 示例,Spark 无休止地运行
【发布时间】:2016-04-26 01:54:15
【问题描述】:

我刚刚设置了 Spark 并运行了命令

spark-shell --master yarn-client --driver-memory 512m --executor-memory 512m

但是,它只是不断地打印出诸如

之类的消息
16/04/25 17:34:46 INFO Client: Application report for application_1460481694166_0125 (state: ACCEPTED)

我在某处读到我可以尝试kill 应用程序。但我不确定是什么

当我尝试时

yarn application -list

我明白了

            Application-Id      Application-Name        Application-Type          User           Queue                   State             Final-State             Progress                        Tracking-URL
application_1460481694166_0118  org.apache.spark.examples.SparkPi                     SPARK           root         default                ACCEPTED               UNDEFINED                   0%                                 N/A
application_1460481694166_0124           Spark shell                   SPARK          root         default                ACCEPTED               UNDEFINED                   0%                                 N/A
application_1460481694166_0120           Spark shell                   ...
          Zeppelin                   SPARK      zeppelin         default                 RUNNING               UNDEFINED                  10%               http://10.0.2.15:4040
application_1460481694166_0117  org.apache.spark.examples.SparkPi                     SPARK           root         default                ACCEPTED               UNDEFINED                   0%                                 N/A
application_1460481694166_0123           Spark shell                   

...

我不确定为什么 Zeppelin 会出现,因为我在网络浏览器中关闭了它

我现在需要做什么?

【问题讨论】:

    标签: apache-spark apache-zeppelin


    【解决方案1】:

    我猜 Zeppelin 仍在运行,即使您关闭了浏览器。关闭浏览器与停止托管进程不同。停止托管进程在启动进程的 CLI 选项卡中完成。最后,您可以使用 yarn application -kill 任何选项卡中的任何正在运行的进程。

    yarn application -kill application_1460481694166_0118
    

    这将杀死(第一个)火花应用程序。

    【讨论】:

      猜你喜欢
      • 2015-03-20
      • 2011-11-08
      • 2017-01-08
      • 2014-07-26
      • 1970-01-01
      • 2022-10-25
      • 2019-08-16
      • 1970-01-01
      • 2020-08-15
      相关资源
      最近更新 更多