【问题标题】:Databricks: global unmanaged table, partition metadata sync guaranteesDatabricks:全局非托管表,分区元数据同步保证
【发布时间】:2020-08-29 02:34:32
【问题描述】:

目标

我想从 ADLS 数据创建 Databricks global unmanaged tables 并从多个集群(自动和交互式)中使用它们。所以我先做CREATE TABLE my_table ...,然后是MSCK REPAIR TABLE my_table。我正在使用 Databricks 内部 Hive 元存储。

问题

有时MSCK REPAIR 没有跨集群同步(根本就几个小时)。表示集群 #1 立即看到分区,而集群 #2 有一段时间没有看到任何数据。

有时它会同步,但我仍然无法理解为什么它在其他情况下不起作用。

问题

Databricks 是否为每个集群使用单独的内部配置单元元存储?如果是,集群之间的同步是否有任何保证?

【问题讨论】:

    标签: apache-spark hive databricks azure-databricks


    【解决方案1】:

    我相信每个 Databricks 部署都有一个 Hive 元存储:https://docs.databricks.com/data/metastores/index.html。

    因此,如果元存储立即更新,那么下一个最可能的问题是旧表元数据正在被缓存,因此您看不到更新。你试过跑步吗

    REFRESH <database>.<table>;
    

    在出现同步问题的集群上?

    【讨论】:

      猜你喜欢
      • 2021-06-03
      • 1970-01-01
      • 1970-01-01
      • 2022-07-29
      • 2011-07-03
      • 2021-07-13
      • 2011-04-03
      • 2019-11-28
      • 1970-01-01
      相关资源
      最近更新 更多