在 Apache Spark 中跨执行程序共享数据

Question

我的 SPARK 项目（用 Java 编写）需要跨执行器访问（SELECT 查询结果）不同的表。

解决此问题的一种方法是：

1. 我创建了一个 tempView
2. 选择所需的列
3. 使用 forEach 将 DataFrame 转换为 Map。
4. 将该映射作为广播变量传递给执行程序。

但是我发现

1. 有很多复杂查询的结果不能直接存储在Map
2. 表非常大，因此创建大尺寸 Map 并将其作为广播变量传递给执行程序听起来效率不高。

我们可以使用load 加载内存中的表吗？可以在执行程序之间共享？

是void org.apache.spark.sql.Dataset.createOrReplaceTempView(String viewName)

或void org.apache.spark.sql.Dataset.createGlobalTempView(String viewName) throws AnalysisException

方法对这个目的有用吗？

SPARK 版本：2.3.0

Answer 1

您可以广播 DataFrame。见documentation