Scala Spark IntelliJ Idea 开发流程

Question

我目前正在使用 spark 编写我的维度数据模型，并且我们目前正在将 jar 上传到 AWS EMR 集群进行测试。但是，这对于测试和构建表来说既繁琐又耗时。

我想知道其他人正在做什么来加快他们的发展。我在研究中遇到的可能性是直接从带有 Intellij Idea 的 IDE 运行 spark 作业，我想知道正在使用的其他开发过程，它可以更快地开发。

Answer 1

到目前为止我尝试过的方法是：

1. 在两三台商用 PC 上安装 spark 和 hdfs，并在将代码提交到集群之前对其进行测试。
2. 在单个节点上运行代码以避免虚拟错误。
3. 提交集群上的 jar 文件。

第一种和第三种方法类似的部分是制作jar文件，这可能需要很多时间。第二种不适合在分布式运行环境中查找和修复错误和问题并提出。