【问题标题】:Read delta Table versions using Table name使用表名读取增量表版本
【发布时间】:2021-04-09 16:34:37
【问题描述】:

有没有一种方法可以使用表名而不是路径来读取增量表版本。我正在寻找这个用例的原因是,分析师团队只想知道 2021-02-07 表的完整快照,但他/她只知道表名,他们不知道 ADLS PATH 的实际位置数据驻留。

我们可以从 Databricks 文档中阅读如下版本:

# Time travel read
df = spark.read.format("delta").option("timestampAsOf", "2021-02-07").load("PATH OF THE TABLE")

我在寻找什么:

df = spark.read.format("delta").option("timestampAsOf", "2021-02-07").load("TABLE_NAME")

任何帮助将不胜感激。

【问题讨论】:

    标签: pyspark delta-lake


    【解决方案1】:

    你需要使用table函数,而不是load函数:

    df = spark.read.option("timestampAsOf", "2021-02-07").table("TABLE_NAME")
    

    但如果之前使用 .saveAsTable("TABLE_NAME) 保存过它会起作用

    文档有 examples 用于读写表。

    【讨论】:

      猜你喜欢
      • 2022-08-24
      • 2023-01-19
      • 2020-11-28
      • 1970-01-01
      • 1970-01-01
      • 2022-08-17
      • 1970-01-01
      • 1970-01-01
      • 2021-12-22
      相关资源
      最近更新 更多