spark数据集覆盖特定分区在spark 2.4中不起作用

Question

在我的工作中，最后一步是将执行的数据存储在 Hive 表中，并在“日期”列上进行分区。 有时，由于作业失败，我需要单独为特定分区重新运行作业。 正如观察到的，当我使用下面的代码时，spark 在使用覆盖模式时会覆盖所有分区。

ds.write.partitionBy("date").mode("overwrite").saveAsTable("test.someTable")

在浏览了多个博客和 stackoverflow 之后，我按照以下步骤仅覆盖特定分区。

Step 1: Enbable dynamic partition for overwrite mode
spark.conf.set("spark.sql.sources.partitionOverWriteMode", "dynamic")

Step 2: write dataframe to hive table using saveToTable

Seq(("Company1", "A"), 
("Company2","B"))
.toDF("company", "id")
.write
.mode(SaveMode.Overwrite)
.partitionBy("id")
.saveAsTable(targetTable)

spark.sql(s"SELECT * FROM ${targetTable}").show(false)
spark.sql(s"show partitions ${targetTable}").show(false)

Seq(("CompanyA3", "A"))
.toDF("company", "id")
.write
.mode(SaveMode.Overwrite)
.insertInto(targetTable)

spark.sql(s"SELECT * FROM ${targetTable}").show(false)
spark.sql(s"show partitions ${targetTable}").show(false)

仍然会覆盖所有分区。

根据这篇博客https://www.waitingforcode.com/apache-spark-sql/apache-spark-sql-hive-insertinto-command/read，“insertinto”应该只覆盖特定的分区

如果我先创建表然后使用“insertinto”方法，它工作正常

设置所需的配置， 第一步：创建表

第 2 步：使用 insertinto 方法添加数据

第 3 步：覆盖分区

我想知道，通过 SaveToTable 创建 hive 表和手动创建表有什么区别？为什么它在第一种情况下不起作用？ 有人可以帮我吗？

Answer 1

试试小写的 w!

spark.conf.set("spark.sql.sources.partitionOverwriteMode", "dynamic")

不是

spark.conf.set("spark.sql.sources.partitionOverWriteMode", "dynamic")

它骗了我。如果你看的话，你的脚本中有 2 个变体。

我的原始答案已弃用。