SparkSQL 中的表连接顺序以获得更好的性能

Question

我是 Spark-SQL 的新手，无法阅读 Hive 表格。我想知道 Spark 如何执行 多表 Join。我在某处读到，建议始终将 largest 表保留在 Join order 的顶部等等，这有利于Join 的效率。我在 Join 中读到，Spark 按顺序将第一个表（最大）加载到 Memory 并流式传输另一个表，这有助于提高 Join 性能。但是，我对这种策略如何提高性能感到困惑，因为最大的表（在大多数情况下）不适合内存并溢出到磁盘上。

任何人都可以在加入时澄清和解释 Spark 在幕后使用的加入机制 [large vs medium]、[large vs small] 和 [large vs large] 表在连接类型（inner & outer）和连接性能方面。我想知道在连接表排序方面应该遵循的最佳实践，以实现 Spark 采用的所有连接策略（SMJ、ShuffleHash 和广播）的最佳性能。让我们假设以下查询：

select 
a.id, 
b.cust_nm, 
c.prod_nm
from large_tab a
join medium_tab b
on a.id = b.id
join small_tab c
on a.pid = c.pid;

注意：我们使用 Spark 2.4

非常感谢任何帮助。谢谢。

Answer 1

关于join的顺序，Spark提供了查找join中表的最优配置（顺序）的功能，但它与一些配置设置有关（下面的代码在PySpark API中提供）：

1. CBO - 必须开启基于成本的优化器（在 2.4 中默认关闭）

spark.conf.set("spark.sql.cbo.enabled", True)

1. joinReorder 必须开启（在 2.4 中默认关闭）

spark.conf.set("spark.sql.cbo.joinReorder.enabled", True)

1. 为了让它尽可能地工作，最好先计算表的统计信息。这可以按如下方式完成：

spark.sql("ANALYZE TABLE table_name COMPUTE STATISTICS FRO COLUMNS col1, col2, ...")

在这里计算统计信息非常重要，因为 Spark 将基于此估计连接中表的大小并相应地重新排序它们。为了获得更好的估计，您还可以启用列的直方图计算（这在 2.4 中默认也是关闭的）：

spark.conf.set("spark.sql.statistics.histogram.enabled", True)

这个joinReorder可以使用的表的最大数量可以通过这个设置来控制

spark.sql.cbo.joinReorder.dp.threshold

默认值为 12。