如何使用 SQL 查询在 dbtable 中定义表？答案

【问题标题】：How to use SQL query to define table in dbtable?如何使用 SQL 查询在 dbtable 中定义表？
【发布时间】：2015-12-14 05:27:45
【问题描述】：

在JDBC To Other Databases找到dbtable参数的如下解释：

应该读取的 JDBC 表。请注意，可以使用在 SQL 查询的 FROM 子句中有效的任何内容。例如，您也可以在括号中使用子查询，而不是完整的表。

当我使用代码时：

CREATE TEMPORARY TABLE jdbcTable
USING org.apache.spark.sql.jdbc
OPTIONS (
  url "jdbc:postgresql:dbserver",
  dbtable "mytable"
)

一切都很好，但以下几点：

 dbtable "SELECT * FROM mytable"

导致错误：

怎么了？

【问题讨论】：

标签： jdbc apache-spark apache-spark-sql

【解决方案1】：

由于dbtable 被用作SELECT 语句的源，它的格式对普通SQL 查询有效。如果你想使用子查询，你应该在括号中传递一个查询并提供一个别名：

CREATE TEMPORARY TABLE jdbcTable
USING org.apache.spark.sql.jdbc
OPTIONS (
    url "jdbc:postgresql:dbserver",
    dbtable "(SELECT * FROM mytable) tmp"
);

它将被传递给数据库：

SELECT * FROM (SELECT * FROM mytable) tmp WHERE 1=0

【讨论】：

【解决方案2】：

Scala 中的代码

val checkQuery = "(SELECT * FROM " + inputTableName + " ORDER BY " + columnName + " DESC LIMIT 1) AS timetable"

val timeStampDf = spark.read.format("jdbc").option("url", url).option("dbtable", checkQuery).load()

在括号中的查询后面也需要添加别名。

【讨论】：