【问题标题】:Does Purview support lineage information for Inline Datasets of ADF Dataflow?Purview 是否支持 ADF 数据流的内联数据集的沿袭信息?
【发布时间】:2020-12-10 09:09:04
【问题描述】:

我最近在探索 Azure 权限,并试图将沿袭信息从 ADF 推送到 Azure 权限。但是,似乎当我们使用 ADF 中的数据流(这是数据流的内联格式)以 Delta 格式接收数据时,它不会捕获沿袭信息。然而,它在使用“Parquet”格式的“数据集”下沉时捕获沿袭信息。是我在这里遗漏了什么还是它的错误或需要解决的功能?

我想我们需要在这里进行一些优化。

【问题讨论】:

    标签: azure azure-data-factory azure-purview


    【解决方案1】:

    Azure Purview 目前不支持来自 ADF 数据流的 Delta Lake 沿袭。这是一个已知限制,我们正在努力将其发布。目前没有预计到达时间。

    针对其中一个 cmets,内联数据集是映射数据流中的源和汇,不需要数据集资源。

    【讨论】:

      【解决方案2】:

      documentation 表示目前仅支持源和接收器:

      它还说“尚不支持数据流转换的谱系”。所以我不确定你所说的“内联格式”是什么意思——这算作一种转换吗?如果是这样,这将表明为什么与 Azure 数据工厂 (ADF) 和 Purview 的沿袭尚未起作用,但表明它可能在未来的某个时候起作用。

      密切关注文档以获取更新:

      https://docs.microsoft.com/en-us/azure/data-factory/turorial-push-lineage-to-purview

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多