Azure 数据湖文件中的逻辑视图

Question

我需要对 Azure Data Lake Gen 1 文件中的 PII 和非 PII 数据进行分类。由于我不希望在数据湖中复制物理文件创建，我们是否可以在数据湖中创建逻辑视图，最好与物化视图相比。

首选技术 - Azure Synapse 分析/Databricks / VM with spark process,...

也是一种易于与用于 RBAC 的 Active Directory 集成的技术。

让我知道可能性。

Answer 1

您现在可以通过按需使用 Azure Synapse SQL 来实现这一目标。方法如下：

1. 创建数据库
2. 创建数据库范围的凭据
3. 使用该凭据创建外部数据源
4. 在文件上创建两个视图

这里有一些文档可以帮助您完成这些步骤： https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/create-use-external-tables https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/create-use-views

完成后，您应该创建登录名并在数据库内部创建与这些登录名相关联的用户。该文档可以提供帮助：https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/access-control#database-level-permission

现在您应该授予适当的权限，根据您的描述，我认为您需要这些权限：

1. 在视图上授予选择 - 文档：https://docs.microsoft.com/en-us/sql/t-sql/statements/grant-object-permissions-transact-sql?view=sql-server-ver15
2. 在凭证上授予参考 - 文档：https://docs.microsoft.com/en-us/sql/t-sql/statements/grant-database-scoped-credential-transact-sql?view=sql-server-ver15
3. 拒绝管理数据库批量操作 – 文档：https://docs.microsoft.com/en-us/sql/t-sql/statements/deny-database-permissions-transact-sql?view=sql-server-ver15

这将为您提供一个数据库，其中包含可以访问他们被允许访问的 VIEW 的视图和用户，他们将无法在数据库中创建新对象，也无法使用凭据对湖进行随机查询。