Spark SQL 中的 where 子句与 join 子句答案

【问题标题】：Where clause versus join clause in Spark SQLSpark SQL 中的 where 子句与 join 子句
【发布时间】：2016-08-11 15:51:58
【问题描述】：

我正在编写一个查询以从表 A 中获取满足表 B 中记录条件的记录。例如：

表 A 是：

Name           Profession        City 
John           Engineer          Palo Alto
Jack           Doctor            SF

表 B 是：

Profession     City      NewJobOffer
Engineer       SF           Yes

我有兴趣获得表 c：

Name   Profession  City NewJobOffer
Jack   Engineer    SF      Yes

我可以通过两种方式使用 where 子句或连接查询，哪一种更快，为什么在 spark sql 中？比较列的where子句添加选择那些记录或加入列本身，哪个更好？

【问题讨论】：

【解决方案1】：

最好在 WHERE 子句中提供过滤器。这两个表达式不等价。

当您在 JOIN 子句中提供过滤时，您将检索两个数据源，然后按指定条件连接。由于 join 是首先通过 shuffle（在 executor 之间重新分配）数据完成的，因此您将 shuffle 很多数据。

当您在 WHERE 子句中提供过滤器时，Spark 可以识别它，您将有两个数据源过滤然后加入。这样，您将洗牌更少的数据。可能更重要的是，这样 Spark 还可以进行过滤下推，在数据源级别过滤数据，这意味着网络压力更小。

【讨论】：