Pyspark 尝试写入 DB2 表 - 截断覆盖

Question

我正在尝试使用 Pyspark (2.4) 将数据写入 IBM DB2 (10.5 fix pack 11)。 当我尝试执行下面的代码时

df.write.format("jdbc")
.mode('overwrite').option("url",'jdbc:db2://<host>:<port>/<DB>').
option("driver", 'com.ibm.db2.jcc.DB2Driver').
option('sslConnection', 'true')
.option('sslCertLocation','</location/***_ssl.crt?').
option("numPartitions", 1).
option("batchsize", 1000)
.option('truncate','true').
option("dbtable", '<TABLE>').
option("user",'<user>').
option("password", '<PW>')
.save()

作业抛出以下异常：

文件 “/usr/local/Cellar/apache-spark/3.0.1/libexec/python/lib/py4j-0.10.9-src.zip/py4j/protocol.py”，第 326 行，在 get_return_value py4j.protocol.Py4JJavaError 中：一个错误 调用 o97.save 时发生。 ： com.ibm.db2.jcc.am.SqlSyntaxErrorException：DB2 SQL 错误： SQLCODE=-104，SQLSTATE=42601， SQLERRMC=END-OF-STATEMENT;ABLE;立即，驱动程序=4.19.80 在 com.ibm.db2.jcc.am.b5.a(b5.java:747)

Job 正在尝试执行截断，但似乎 DB2 期待 ** IMMEDIATE** 关键字

在我上面的代码中，我传递的只是 dbtable 的名称，有没有办法传递 IMMEDIATE 关键字？

同样在 DB2 方面，有没有办法在打开会话时设置它？

仅供参考，我的代码没有截断可以工作，但是删除表并重新创建和加载，我不想在 prod 环境中这样做。

非常感谢您对如何解决此问题的任何想法。

Answer 1

Spark 2.4 中的DB2Dialect 不会覆盖默认的JDBCDialect 的截断表实现。 the code 中的评论建议重写此方法以返回适合您的数据库引擎的语句。

  /**
   * The SQL query that should be used to truncate a table. Dialects can override this method to
   * return a query that is suitable for a particular database. For PostgreSQL, for instance,
   * a different query is used to prevent "TRUNCATE" affecting other tables.
   * @param table The table to truncate
   * @param cascade Whether or not to cascade the truncation
   * @return The SQL query to use for truncating a table
   */
  @Since("2.4.0")
  def getTruncateQuery(
    table: String,
    cascade: Option[Boolean] = isCascadingTruncateTable): String = {
      s"TRUNCATE TABLE $table"
  } 

也许在 DB2 案例中，您实际上可以扩展 DB2Dialect 本身，添加您的 getTruncateQuery() 实现并定义您的“自定义”JDBC 协议，例如 "jdbc:mydb2"。然后，您可以在 JDBC 连接 URL .option("url",'jdbc:mydb2://<host>:<port>/<DB>') 中使用此协议。