【发布时间】:2020-08-29 02:34:32
【问题描述】:
目标
我想从 ADLS 数据创建 Databricks global unmanaged tables 并从多个集群(自动和交互式)中使用它们。所以我先做CREATE TABLE my_table ...,然后是MSCK REPAIR TABLE my_table。我正在使用 Databricks 内部 Hive 元存储。
问题
有时MSCK REPAIR 没有跨集群同步(根本就几个小时)。表示集群 #1 立即看到分区,而集群 #2 有一段时间没有看到任何数据。
有时它会同步,但我仍然无法理解为什么它在其他情况下不起作用。
问题
Databricks 是否为每个集群使用单独的内部配置单元元存储?如果是,集群之间的同步是否有任何保证?
【问题讨论】:
标签: apache-spark hive databricks azure-databricks