为什么即使指定了模式，Spark JDBC 也会推断表模式？答案

【问题标题】：Why Spark JDBC infers table schema even when schema is specified?为什么即使指定了模式，Spark JDBC 也会推断表模式？
【发布时间】：2022-01-13 22:05:07
【问题描述】：

我正在使用spark.read.format("jdbc").option("query", tmpSql) 从 Mysql 加载一个表，我可以从数据库监视器中看到一个查询 select * from (xxx) where 1=0，后来我知道这个查询用于推断 Spark 中的表模式。但是，当我使用spark.read.format("jdbc").option("query", tmpSql).schema(xxx) 时，表模式推断查询仍然存在。为什么在已经指定 customSchema 的情况下，Spark 还需要推断表模式？

【问题讨论】：

请澄清您的具体问题或提供其他详细信息以准确突出您的需求。正如目前所写的那样，很难准确地说出你在问什么。

标签： mysql apache-spark spark-jdbc

【解决方案1】：

尝试使用spark jdbc的customSchema参数。

.option("customSchema", schema_str)

【讨论】：

同.schema(xxx)