【发布时间】：2017-05-17 04:59:32
【问题描述】：
我是 AWS EC2 的新手，需要知道如何将我的 Spark 作业提交到 AWS EC2 spark 集群。就像在 azure 中一样，我们可以直接通过 IntelliJ idea 和 azure 插件提交作业。
【问题讨论】：
【发布时间】：2017-05-17 04:59:32
【问题描述】：
您可以通过 spark-submit 命令轻松提交 Spark 作业。参考http://spark.apache.org/docs/latest/submitting-applications.html
【讨论】：
选项： 1) 登录master或其他驱动网关节点，使用spark-submit通过YARN/media/etc提交作业
2) 从任何具有足够端口和防火墙访问权限的机器上使用 spark 提交集群部署模式（可能需要配置，例如来自 Cloudera 管理器的 CDH 集群的客户端配置文件）
3) 使用像 Livy 这样的服务器设置（通过 Cloudera 开源，MS Azure HDinsights 使用并为其做出贡献）或者可能是节俭的服务器。 Livy (Livy.io) 是一个不错的简单 REST 服务，它还具有用于 Scala/Java 的语言 API，可以更轻松地提交作业（并运行交互式持久会话！）
【讨论】：