【发布时间】:2021-07-31 22:15:21
【问题描述】:
我有一个数据库,其中一些表采用 parquet 格式,另一些表采用 delta 格式。如果我想将数据附加到表中,如果表是增量格式(默认为镶木地板),我需要指定它。 如何确定表格的格式?
我尝试了show tblproperties <tbl_name>,但结果为空。
【问题讨论】:
标签: apache-spark parquet delta-lake
我有一个数据库,其中一些表采用 parquet 格式,另一些表采用 delta 格式。如果我想将数据附加到表中,如果表是增量格式(默认为镶木地板),我需要指定它。 如何确定表格的格式?
我尝试了show tblproperties <tbl_name>,但结果为空。
【问题讨论】:
标签: apache-spark parquet delta-lake
根据三角洲湖Api Doc可以查
DeltaTable.isDeltaTable(Spark, "path")
请参阅文档中的说明
这使用当前线程中的活动 SparkSession 来读取表数据。因此,如果未设置活动 SparkSession,即 SparkSession.getActiveSession() 为空,则会引发错误。
【讨论】: