在 DBT 管道中使用外部 parquet 表

Question

我正在尝试设置一个简单的 DBT 管道，该管道使用存储在 Azure Data Lake Storage 上的 parquet 表并创建另一个也将存储在同一位置的表。

在我的models/（定义为我的源路径）下，我有两个文件datalake.yml 和orders.sql。 datalake.yml 看起来像这样：

version:2
sources:
   - name: datalake
     tables:
        - name: customers
          external:
             location: path/to/storage1 # I got this by from file properties in Azure
             file_format: parquet
          columns:
             - name: id
               data_type: int
               description: "ID"
             - name: ...

我的orders.sql 表如下所示：

{{config(materialized='table', file_format='parquet', location_root='path/to/storage2')}}
select name, age from {{ source('datalake', 'customers') }}

我也在使用dbt-external-tables 包。另请注意，当我运行 dbt debug 时，一切都很好，我可以连接到我的数据库（恰好是 Databricks）。

我尝试运行dbt run-operation stage_external_sources，它返回Error: staging external sources is not implemented for the default adapter。当我运行dbt run 时，我得到Error: UnresolvedRelation datalake.customers。

或者也许我可以以某种方式使用 hive 元存储？任何有关如何解决此问题的提示将不胜感激！

Answer 1

我帮助维护dbt-spark 插件和dbt-external-tables 包。我可以确认它们的互操作性仍处于初步阶段，我强烈欢迎为改进它做出贡献。我不认为这是一个很大的提升，尽管其中一个挑战是 Spark/Databricks 支持两种不同的create external table 语法（如that issue 中所述）。

FWIW 我看到您将path/to/storage 指定为源的外部位置和您的orders 模型的location_root 配置。前者是从读取数据的地方，后者是将模型具体化为表格的地方。我不确定你的意思是代表相同的占位符还是不同的占位符。

编辑： TIL，您可以直接在 SparkSQL 中从某些文件类型中选择 select * from filetype.filepath。我相信您可以注册如下来源：

version:2
sources:
 - name: datalake
   schema: parquet
   tables:
     - name: customers
       identifier: "path/to/storage1"
       quoting:
         identifier: true

这意味着您可以使用以下模板代码：

select * from {{ source('datalake', 'customers') }}

这将解决：

select * from parquet.`path/to/storage1`

Answer 2

这可能还不可用。看起来这仍然是一个悬而未决的问题，到目前为止还没有开发工作。

dbt-external-tables 软件包回购的相关问题：Support Spark external tables

您是否安装了来自 dbt-spark 的依赖项？

这里有一些相关的问题：

Spark_connection_url do not contain workspace_id while connecting to databricks

Support Delta Lake format

我意识到这些对于简单的 dbt-external-tables 用例并没有完全的帮助，但看起来支持 azure databricks / datalake 堆栈的开发仍在进行中。

稍后会尝试深入研究，因为这也是一个与我相关的用例。