提交申请到火花集群答案

【问题标题】：Submit Application to spark cluster提交申请到火花集群
【发布时间】：2017-08-21 20:33:57
【问题描述】：

我在尝试将应用程序（作业）提交到 spark (1.0.0) 集群时遇到问题，我已经按照本指南设置了 master 并在其上附加了一个 worker（或者至少 WebUI 是这么说的） http://spark.apache.org/docs/latest/spark-standalone.html 带有我从网站下载的预构建版本...问题是当我尝试向集群提交应用程序时出现以下错误：

Exception in thread "main" java.lang.ClassNotFoundException: org.apache.spark.examples.JavaWordCount.java
   at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
   at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
   at java.security.AccessController.doPrivileged(Native Method)
   at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
   at java.lang.Class.forName0(Native Method)
   at java.lang.Class.forName(Class.java:270)
   at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:289)
   at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
   at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

现在这是我正在使用的脚本，正如这里所说的 http://spark.apache.org/docs/latest/submitting-applications.html：

./bin/spark-submit --verbose --master spark://roman-XPS-L501X:7077 --class org.apache.spark.examples.JavaWordCount.java JavaWordCount.jar

我自己导出了 jar 并且它就位，该应用程序也是给出的示例之一，因此我认为它没有任何问题。感谢您的帮助，并提前感谢您。另外，如果有人可以向我解释出现的“驱动程序”是什么以及它在集群中的功能是什么，您可以想象我在理解这一点时遇到了一些麻烦。

【问题讨论】：

使用jar tf YourJar.jar | grep JavaWordCount 并确保你使用的包名是正确的

标签： java apache-spark

【解决方案1】：

首先，驱动程序是调用应用程序（即创建 Spark 上下文并定义要执行的操作的应用程序）。

其次，您使用“.java”指定类参数，这不是引用完全限定类名的方式。你的命令应该是：

./bin/spark-submit --verbose --master spark://roman-XPS-L501X:7077 --class org.apache.spark.examples.JavaWordCount JavaWordCount.jar

【讨论】：