我们可以一起使用 Microsoft Purview 和 Unity Catalog 吗

Question

Unity Catalog 是 Lakehouse 的 Azure Databricks 数据治理解决方案。而 Microsoft Purview 提供统一的数据治理解决方案，以帮助管理和治理您的本地、多云和软件即服务 (SaaS) 数据。

问题: 在我们的same Azure Cloud 项目中，我们可以将Unity Catalog 用于 Azure Databricks Lakehouse，而将 Microsoft Purview 用于我们 Azure 项目的其余部分吗？

更新：在我们当前的 Azure 订阅中，我们将工作负载划分如下：

1. SQL 相关工作负载：我们正在使用 Databricks only 完成所有 SQL 数据库工作（不涉及 Azure SQL 数据库）。也就是说，我们正在使用 Databricks Lakehouse、Delta Lake、Deatricks SQL 等来执行ETL和所有Data Analytics work。
2. 所有非 SQL 工作负载：所有其他资产（Excel 文件、csv 文件、pdf、媒体文件等）都存储在各种 Azure 存储帐户中。

   MS Purview 在上述场景 2 中扫描资产方面做得很好，它通过自动数据发现、敏感数据分类和端到端数据沿袭轻松创建了我们数据格局的整体、最新地图。它还使我们的数据消费者能够访问有价值的、值得信赖的数据管理。

   然而，我们近 50% 的工作（SQL、ETL、数据分析等）是在 Azure Databricks 中完成的，我们在 Purview 方面面临重大挑战。我们想知道是否有可能将 Purview 和 Unity Catalog 分开，如下所示：Purview 仅针对场景 1 进行数据治理，而 Unity Catalog 仅针对场景 2 进行数据治理。

   这个最近发布的更新可能会解决我们让 Purview 更好地与 Azure Databricks 一起工作的问题，但我们还没有尝试过：Connect to and manage Azure Databricks in Microsoft Purview (Preview)

Answer 1

截至目前，Unity Catalog 和 Purview 之间还没有正式集成，但将来可能会集成。您可以加入明天的Azure Databricks roadmap webinar以获取更多信息。

关于实际问题——恕我直言，没有什么能阻止您在同一个 Azure 项目中使用 UC & Purview。

附言您可以通过从 information schema tables 加载数据并使用 Purview API 将其存储在 Purview 中，将元数据和沿袭信息获取到 Purview 中。

Answer 2

Purview 和 UC 之间的集成处于私人预览阶段。