用 Java 编写 Spark 独立程序的环境/工具是什么？答案

【问题标题】：Which environment/tool to write Spark standalone programs in Java?用 Java 编写 Spark 独立程序的环境/工具是什么？
【发布时间】：2014-11-18 12:16:00
【问题描述】：

我想用 Java 实现一个独立的 Spark 程序。我正在使用 Amazon 集群来运行应用程序。由于我是初学者，我想知道哪个是编写 Spark 程序的最佳环境。它还提供调试功能吗？目前，我正在本地机器上用 Eclipse 编写程序，并通过 Maven-Wagon 将 jar 导出到 AWS。问题是我无法使用调试。任何帮助表示赞赏！

【问题讨论】：

标签： java eclipse bigdata apache-spark

【解决方案1】：

如果你在本地模式下运行，你可以在eclipse中调试它。创建像 new JavaSparkContext("local[*]", "my app") 这样的 JavaSparkContext 将以本地模式运行您的应用程序。

【讨论】：

感谢您的回复。我只需要简单说明一下：我是否必须在本地计算机上安装 Spark？
我记得我可以在 Mac 或 Ubuntu 的 IDE 中直接运行本地应用程序。不确定 Windows。
我有一台 Windows 机器。我会尝试运行它并让你知道。再次感谢！

【解决方案2】：

你不需要在本地机器上安装 spark。只需在您的项目 POM 中添加 Spark、scala 依赖项并在 eclipse 中对其进行调试。像下面一样在 Confing 中传递本地，您可以调试您的代码。

SparkConf sparkConf = new SparkConf().setMaster("local").setAppName(应用程序名称)

【讨论】：