【问题标题】:How to find out whether Spark table is parquet or delta?如何确定 Spark 表是 parquet 还是 delta?
【发布时间】:2021-07-31 22:15:21
【问题描述】:

我有一个数据库,其中一些表采用 parquet 格式,另一些表采用 delta 格式。如果我想将数据附加到表中,如果表是增量格式(默认为镶木地板),我需要指定它。 如何确定表格的格式?

我尝试了show tblproperties <tbl_name>,但结果为空。

【问题讨论】:

    标签: apache-spark parquet delta-lake


    【解决方案1】:

    根据三角洲湖Api Doc可以查

    DeltaTable.isDeltaTable(Spark, "path")

    请参阅文档中的说明

    这使用当前线程中的活动 SparkSession 来读取表数据。因此,如果未设置活动 SparkSession,即 SparkSession.getActiveSession() 为空,则会引发错误。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-05-05
      • 2016-02-16
      • 2011-03-01
      • 1970-01-01
      • 2020-11-04
      • 2013-03-05
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多