【发布时间】:2022-12-09 15:26:33
【问题描述】:
我正在将数据写入模式为overwrite的表中
由于我的列名中有特殊字符,因此我需要为列映射设置以下三个属性。
'delta.minReaderVersion' = '2','delta.minWriterVersion' = '5',-
'delta.columnMapping.mode' = 'name'
所以想知道有没有办法使用 Scala API 设置 TBLProperties?
我试过了但没有用
myDf.write.mode("Overwrite")
.option("delta.minReaderVersion", "2")
.option("delta.minWriterVersion", "5")
.option("delta.columnMapping.mode", "name")
.saveAsTable("testDB.employees")
【问题讨论】:
-
这有帮助吗? docs.databricks.com/delta/versioning.html#0-language-scala 但字里行间,似乎不建议手动更改...
标签: scala apache-spark databricks