Spark写数据到PipelineDB遇到问题:
由于PipelineDB特殊的建表语句,而Spark JDBC在写数据之前会自动建一张普通的表结构,会出现问题
解决:
自己在写入数据之前建好PipelineDB的表,同时不让Spark自动建表
不让Spark自动建表,这里注掉了一行spark代码,重新编译打包了jar包,替换了环境jar包,修改代码位置如下:
注掉了:statement.executeUpdate(sql)
最后数据写入PipelineDB成功
Spark写数据到PipelineDB遇到问题:
由于PipelineDB特殊的建表语句,而Spark JDBC在写数据之前会自动建一张普通的表结构,会出现问题
解决:
自己在写入数据之前建好PipelineDB的表,同时不让Spark自动建表
不让Spark自动建表,这里注掉了一行spark代码,重新编译打包了jar包,替换了环境jar包,修改代码位置如下:
注掉了:statement.executeUpdate(sql)
最后数据写入PipelineDB成功
相关文章: