如何在不加载数据的情况下使用 Spark Scala 创建与 Oracle 的连接？答案

【问题标题】：How to create a connection with Oracle using Spark Scala without loading data?如何在不加载数据的情况下使用 Spark Scala 创建与 Oracle 的连接？
【发布时间】：2021-04-17 15:52:48
【问题描述】：

是否有任何标准的 Scala 类/对象来创建与 oracle 数据库的简单连接（使用 JDBC）但不加载特定的表？我只想创建一个简单的连接，然后传递一些查询（创建/更新等），最后关闭连接。

我见过这样的代码：

val jdbcDF = spark.read
  .format("jdbc")
  .option("url", "jdbc:postgresql:dbserver")
  .option("dbtable", "schema.tablename")
  .option("user", "username")
  .option("password", "password")
  .load()

但它会加载 .option("dbtable", "schema.tablename") 中提到的特定表。

【问题讨论】：

标签： sql oracle scala apache-spark

【解决方案1】：

Here 都是 JDBC 示例。 'write' 自动创建表，不需要显式创建表，如果表的行为依赖于“模式”，如覆盖、追加、错误、无操作。

如果您想更新表格，例如通过 spark 删除选定的行，您可以创建一个仅包含所需行的新 DF 并以覆盖模式写入，如建议 here

【讨论】：