如何在cmd上提交spark应用程序答案

【问题标题】：how to submit spark application on cmd如何在cmd上提交spark应用程序
【发布时间】：2016-10-18 02:31:40
【问题描述】：

我有一个 Spark 应用程序，它最初是使用 maven（在 Windows 上）创建的。我将我的 maven 项目转换为 Eclipse 项目，现在我正在通过 Eclipse 处理它。
我可以通过 Eclipse 运行应用程序来利用和验证这一点。

现在，我正在尝试通过命令行提交我的申请。我使用 spark-submit 命令如下：

bin\spark-submit \  
  --class C:\Users\pc\Desktop\eclipse\myapp\src\main\java\myapp\Main.java \  
  --master local[8] \
  C:\Users\pc\Desktop\eclipse\myjar.jar

当我提交我的 jar 时，我收到一条错误消息，提示无法从 Jar 文件加载主类？

我做错了什么？
是我主班的路径吗(--class C:\Users\pc\Desktop\eclipse\myapp\src\main\java\myapp\Main.java)

【问题讨论】：

标签： java eclipse maven apache-spark cmd

【解决方案1】：

--class：应用程序的入口点（例如 org.apache.spark.examples.SparkPi）

这不是本地硬盘驱动器上文件的路径。考虑一个分布式计算机集群。他们并非都可以访问您提供的文件路径。

看来你应该使用myapp.Main

JAR 文件也是如此。

application-jar：包含您的应用程序和所有依赖项的捆绑 jar 的路径。 URL 必须在集群内全局可见，例如所有节点上都存在的 hdfs:// 路径或 file:// 路径。

【讨论】：

我的 jar 的路径应该如何？请给我一个例子好吗？
如果你有一个独立的集群，那么你拥有的应该没问题。如果你有一个 Linux 机器的分布式集群，然后说你的 JAR 在每个机器上 /tmp/myapp.jar，那么你会说 file:///tmp/myapp.jar，如果你有一些分布式服务器，比如 HDFS 或 S3，替换file:// 与 hdfs:// 或 s3:// 并指向文件的路径。
现在我使用本地模式仅用于测试，但稍后我将使用它与 hdfs，我会尝试这个并随时通知您。谢谢
你使用的jar文件的路径是什么？
这是路径 C:\Users\pc\Desktop\eclipse\myjar.jar

【解决方案2】：

我使用了不需要的 sleshes，这就是为什么我无法在 Windows 上正确部署它，这是提交它的正确方法

bin\spark-submit --class myapp.Main -- master local[*]       file:///C:\Users\pc\Desktop\eclipse\myjar.jar

【讨论】：

【解决方案3】：

--class 你把你的类放在哪里，比如 packagename.ClassName
所以我猜是 myapp.Main

  ./bin/spark-submit --class myapp.Main --master local[8] C:\Users\pc\Desktop\eclipse\myjar.jar

【讨论】：

如何构建 jar？显示完整的日志和项目文件夹的结构以及 maven 或 sbt 文件。
这是我项目的结构：myapp->src->main->java->myapp->Main包myapp包含主类Main
我使用的是 maven，但我遇到了一个异常（这里是更多详细信息的链接stackoverflow.com/questions/37848264/…），所以我手动创建了 jar（export->java->Runnable jar 文件）