使用 spark JDBC 创建新的 MySQL 表答案

【问题标题】：create new MySQL table using spark JDBC使用 spark JDBC 创建新的 MySQL 表
【发布时间】：2018-08-20 23:08:02
【问题描述】：

我知道我们可以使用 spark jdbc 从现有的 mysql 表中读取和写入数据。但是我们甚至可以创建 mysql 表并使用数据框将数据插入其中吗？当我尝试将文件加载到数据框并尝试写入不存在的表时，我遇到了空指针异常。以下是错误：

java.lang.NullPointerException 在 org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:99) 在 org.apache.spark.sql.execution.datasources.DataSource.write(DataSource.scala:469) 在 org.apache.spark.sql.execution.datasources.SaveIntoDataSourceCommand.run(SaveIntoDataSourceCommand.scala:50)

如果不存在则创建思想表。请让我知道我们是否可以创建一个 mysql 表并将数据框内容加载到其中？我正在使用 Spark 2.1.0 版本。提前致谢

【问题讨论】：

你好@Mohana 你能发布你的代码吗？

标签： mysql apache-spark jdbc apache-spark-sql spark-dataframe

【解决方案1】：

NullPointerException 在 Spark 尝试关闭连接时发生。有一个 NullPointerException，因为连接为空。原因可能是某些连接参数为空。

【讨论】：

是的，我得到这个是因为我输入了错误的 jdbc url（它是 jdbc://mysql://localhost ... 而不是 jdbc:mysql://localhost ...）。这个异常非常不具体。