【问题标题】:DBT on Databricks Unity CatalogDatabricks Unity 目录上的 DBT
【发布时间】:2022-10-24 16:38:44
【问题描述】:

我一直在考虑在我们的主要(唯一)工作区中打开 Databricks Unity Catalog,但我担心这可能会如何影响我们现有的 dbt 负载以及新的三部分对象引用。

我从 dbt-databricks release notes 看到,您需要 >= 1.1.1 才能获得统一支持。
带有它的 sn-p 仅显示设置目录配置文件中的属性。我计划将一些源放在单独的目录中,用于 dbt 生成的对象。

如果可用,我什至可以选择将 dbt 生成的对象放在单独的目录中。
由于打开 Unity Catalog 是工作空间中的一条单向路,我不希望看到会发生什么。

有没有人使用 dbt 和 Unity Catalog 并在项目中使用过许多目录?

如果是这样,是否有任何问题以及如何指定源和特定模型的目录?

问候,

阿什利

【问题讨论】:

    标签: databricks dbt databricks-unity-catalog


    【解决方案1】:

    在模式中指定两部分对象确实会导致问题,至少在增量模型中,而是指定目录

    sql-serverless:
      outputs:
        dev:
          host: ***.cloud.databricks.com
          http_path: /sql/1.0/endpoints/***
          catalog: hive_metastore
          schema: tube_silver_prod
          threads: 4
          token: ***
          type: databricks
      target: dev
    

    【讨论】:

      猜你喜欢
      • 2022-10-22
      • 1970-01-01
      • 2022-10-31
      • 2023-01-27
      • 1970-01-01
      • 2021-01-05
      • 2021-10-07
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多