大师必须从yarn,spark开始

Question

当我想运行 SparkPi 示例时出现此错误。

   beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class org.apache.spark.examples.SparkPi /home/beyhan/spark-1.2.0-bin-hadoop2.4/lib/spark-examples-1.jar
        Spark assembly has been built with Hive, including Datanucleus jars on classpath
        Error: Master must start with yarn, spark, mesos, or local
        Run with --help for usage help or --verbose for debug output
        Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

另外我已经通过另一个终端启动了我的主人

>./sbin/start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /home/beyhan/spark-1.2.0-bin-hadoop2.4/sbin/../logs/spark-beyhan-org.apache.spark.deploy.master.Master-1-beyhan.out

有什么建议吗？ 谢谢。

Answer 1

下载并解压 Spark：

$ cd ~/Downloads
$ wget -c http://archive.apache.org/dist/spark/spark-1.2.0/spark-1.2.0-bin-hadoop2.4.tgz
$ cd /tmp
$ tar zxf ~/Downloads/spark-1.2.0-bin-hadoop2.4.tgz
$ cd spark-1.2.0-bin-hadoop2.4/

启动大师：

$ sbin/start-master.sh

从上述命令打印的文件中的日志中查找主服务器的 URL。让我们假设主人是：spark://ego-server:7077

在这种情况下，您还可以通过访问以下 URL 找到您的主 URL：http://localhost:8080/

启动一个slave，并连接到master：

$ sbin/start-slave.sh --master spark://ego-server:7077

另一种确保 master 启动并运行的方式启动一个绑定到该 master 的 shell：

$ bin/spark-submit --master "spark://ego-server:7077"

如果你得到一个火花壳，那么一切似乎都很好。

现在执行你的工作：

$ find . -name "spark-example*jar"
./lib/spark-examples-1.2.0-hadoop2.4.0.jar

$ bin/spark-submit --master "spark://ego-server:7077" --class org.apache.spark.examples.SparkPi ./lib/spark-examples-1.2.0-hadoop2.4.0.jar

Answer 2

您遇到的错误

错误：Master 必须以 yarn、spark、mesos 或 local 开头

表示--master ego-client不被spark识别。

使用

--master local

用于本地执行 spark 或

--master spark://your-spark-master-ip:7077