【问题标题】:Databricks Delta Tables - Where are they normally stored?Databricks Delta 表 - 它们通常存储在哪里?
【发布时间】:2021-05-24 06:40:46
【问题描述】:

我正在开始我的增量表之旅,而我仍然感到困惑的一件事是,如果您以后需要查询它们,保存增量表的最佳位置是哪里。

例如,我将几个表从本地迁移到 azure databricks 到单独的增量表中。我的问题是,我应该将大小可能很大的单个增量表保存到 DBFS 数据块内部存储中,还是应该挂载一个 blob 存储位置并将增量湖表保存在那里?人们在这些情况下通常会做什么?

【问题讨论】:

    标签: databricks azure-databricks delta-lake


    【解决方案1】:

    我通常建议人们将数据存储在单独的存储帐户中(挂载或直接使用),并且不要将工作区的内部存储用于该任务。主要原因 - 如果有必要,更容易与其他工作区或其他系统共享这些数据。内部存储应主要用于临时文件、库、初始化脚本等。

    有许多有用的指南可以提供帮助:

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2010-12-27
      • 1970-01-01
      • 2023-01-21
      • 2010-11-19
      • 1970-01-01
      • 1970-01-01
      • 2021-04-15
      • 1970-01-01
      相关资源
      最近更新 更多