SparkDeploySchedulerBackend 错误：应用程序已被终止。所有的主人都没有反应答案

【问题标题】：SparkDeploySchedulerBackend Error: Application has been killed. All masters are unresponsiveSparkDeploySchedulerBackend 错误：应用程序已被终止。所有的主人都没有反应
【发布时间】：2018-03-28 02:12:03
【问题描述】：

当我启动 Spark shell 时：

bin>./spark-shell

我收到以下错误：

Spark assembly has been built with Hive, including Data nucleus jars on classpath
Welcome to SPARK VERSION 1.3.0
Using Scala version 2.10.4 (Java HotSpot(TM) Server VM, Java 1.7.0_75)
Type in expressions to have them evaluated.
Type :help for more information.
15/05/10 12:12:21 ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
15/05/10 12:12:21 ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.

我已经通过以下链接安装了 spark :- http://www.philchen.com/2015/02/16/how-to-install-apache-spark-and-cassandra-stack-on-ubuntu

【问题讨论】：

我使用的是 32 位系统和 3GB 内存

标签： apache-spark

【解决方案1】：

您应该在启动 spark-shell 时提供 Spark 集群的主 URL

至少：

bin/spark-shell --master spark://master-ip:7077

所有选项组成一个长长的列表，您可以自己找到合适的选项：

bin/spark-shell --help

【讨论】：

请根据您的实际使用情况更新您的问题，很难猜到
使用 'hostname' 命令查找主机，然后使用命令 "bin/spark-shell --master spark://your-host-name:7077"

【解决方案2】：

我假设您在独立/本地模式下运行它。使用以下行运行您的 spark shell。这表明您正在使用本地机器的 master 的所有可用内核。

bin/spark-shell --master local[*]

http://spark.apache.org/docs/1.2.1/submitting-applications.html#master-urls

【讨论】：

【解决方案3】：

在发出spark-submit命令之前，你还需要启动spark master和slave

start-master.sh
start-slave.sh spark://spark:7077

然后使用

spark-submit --master spark://spark:7077

【讨论】：

【解决方案4】：

查看您的日志文件中是否存在“权限被拒绝”错误...您的客户端服务可能没有适当的权限访问您的主文件夹。

【讨论】：