如何创建适用于 AWS EMR 的 Spark Streaming jar？

Question

我一直在用 Eclipse 开发一个Spark Streaming 应用程序，并且我正在使用 sbt 在本地运行它。

现在我想使用 jar 在 AWS 上部署应用程序，但是当我尝试使用 sbt 的命令 package 时，它会创建一个没有所有依赖项的 jar，所以当我将它上传到 AWS 时它不会工作，因为斯卡拉失踪了。

有没有办法用 SBT 创建一个 uber-jar？我在 AWS 上部署 Spark 有什么问题吗？

Answer 1

要使用 sbt 创建 uber-jar，请使用 sbt 插件 sbt-assembly。有关使用 sbt-assembly 创建 uber-jar 的更多详细信息，请参阅 the blog post

创建后，您可以使用 java -jar 命令运行程序集 jar。

但是从 Spark-1.0.0 开始，Spark 的 bin 目录中的 spark-submit 脚本用于在集群上启动应用程序 for more details refer here

Answer 2

你真的应该关注Running Spark on EC2，上面写着：

位于 Spark 的 ec2 目录中的 spark-ec2 脚本允许您 在 Amazon EC2 上启动、管理和关闭 Spark 集群。它 自动为您在集群上设置 Spark、Shark 和 HDFS。 本指南介绍如何使用 spark-ec2 启动集群，如何 在它们上运行作业，以及如何关闭它们。它假设你已经 在 Amazon Web Services 网站上注册了一个 EC2 帐户。

我只是部分关注了该文档，因此我无法评论它的编写情况。

另外，根据Shipping Code to the Cluster另一篇文档中的章节：

将代码发送到集群的推荐方法是传递它 通过 SparkContext 的构造函数，它接受一个 JAR 文件列表 (Java/Scala) 或 .egg 和 .zip 库 (Python) 传播到 工作节点。您还可以动态添加要发送到的新文件 带有 SparkContext.addJar 和 addFile 的执行器。