Spark SQL如何通过join操作执行SQL查询？答案

【问题标题】：How does Spark SQL execute SQL query with joining operation?Spark SQL如何通过join操作执行SQL查询？
【发布时间】：2021-04-14 15:46:04
【问题描述】：

以下操作在spark sql中运行sql语句来连接PostgreSQL中的两个表：

val df = spark.read.jdbc(url, 'select * from table_1 join table_2 on a where x', connproperties);

数据库引擎会执行连接操作并返回连接结果吗？还是数据库会将 table_1 和 table_2 的所有记录发送到 spark job 和 spark job 进行加入？是否有一些文档来解释此操作？谢谢！

【问题讨论】：

【解决方案1】：

PostgreSQL 数据库只会从单个查询返回单个结果集。如果您使用有效的 SQL，那可能是连接的结果。或者什么都没有，以防没有记录符合您的条件。

【讨论】：