Delta Lake 事务日志 - 删除属性

Question

我正在尝试将 csv 文件转换为 delta 格式。转换成功但我可以在第二个 json 事务文件中看到 remove 属性，其中 parquet 中第一个 csv 文件的详细信息如下：对于第一个 json 事务文件，没有删除属性。

{"remove":{"path":"part-00000-8780-121c6b34a252-c000.snappy.parquet","deletionTimestamp":1597827161514,"dataChange":true}}

我没有尝试删除任何文件或从增量表中删除。为什么我在尝试将新的 csv 转换为 delta 文件时看到此删除属性？请问有什么建议吗？

Answer 1

尝试添加 .config("spark.databricks.delta.retentionDurationCheck.enabled", "false")

Answer 2

我明白，就像我使用 spark“覆盖”保存模式一样，它导致了删除。