Apache Spark with Java：同时启动多个应用程序请求

Question

我们在 java 中使用 spark 并创建了 Java REST api 来调用我们的 spark 代码。在调用 REST url 时，我的 java 方法将创建 SparkSession 和 Context 以继续计算。这对于单个请求工作正常，但对于同时多个请求，我们收到与 SparkContexts 相关的问题：多个 SparkContexts in same Driver JVM

还尝试使用：conf.set("spark.driver.allowMultipleContexts", "true");

请建议如何管理同时 Spark 请求的 Spark 上下文。或者任何其他处理这种情况的方法？

Answer 1

有几个开源选项可用。
1. Spark jobserver - 提供 RESTful 接口，用于将请求提交到相同的 spark 上下文。
2.Zeppelin,Livy-提交Spark请求的Notebook接口。
它们还公开 REST 端点以提交 Spark。