Spark写数据到PipelineDB遇到问题:

由于PipelineDB特殊的建表语句,而Spark JDBC在写数据之前会自动建一张普通的表结构,会出现问题

解决:

自己在写入数据之前建好PipelineDB的表,同时不让Spark自动建表

不让Spark自动建表,这里注掉了一行spark代码,重新编译打包了jar包,替换了环境jar包,修改代码位置如下:

Spark:写数据到PipelineDB建表问题

Spark:写数据到PipelineDB建表问题

注掉了:statement.executeUpdate(sql)

最后数据写入PipelineDB成功

相关文章:

  • 2021-07-16
  • 2021-09-18
  • 2021-07-17
  • 2021-10-29
  • 2021-12-07
  • 2022-02-18
  • 2021-06-04
猜你喜欢
  • 2021-09-08
  • 2021-12-10
  • 2022-12-23
  • 2021-11-27
  • 2022-12-23
  • 2021-10-03
  • 2021-04-01
相关资源
相似解决方案