【问题标题】:Access Azure Data Lake Analytics Tables from SQL Server Polybase从 SQL Server Polybase 访问 Azure Data Lake Analytics 表
【发布时间】:2018-03-19 21:56:02
【问题描述】:

我需要将通过 Azure Data Lake Analytics (ADLA) 处理的数 TB 数据集导出到 SQL Server 数据库中。

根据我目前的研究,我知道我可以使用内置输出器将 (ADLA) 输出结果写入 Data Lake 存储或 WASB,然后使用 Polybase 从 SQL 服务器读取输出数据。

但是,将 ADLA 处理的结果创建为 ADLA 表对我们来说似乎很诱人。它是一个干净的解决方案(无需管理文件)、多个读取器、内置分区、分布键以及允许其他进程访问表的潜力。

如果我们使用 ADLA 表,我可以通过 SQL Polybase 访问 ADLA 表吗?如果没有,有什么方法可以直接从 Polybase 访问 ADLA 表下的文件?

我知道我可能可以使用 ADF 来做到这一点,但在这一点上,我想尽可能避免使用 ADF - 以最大限度地降低成本并保持流程简单。

【问题讨论】:

    标签: sql azure azure-data-lake u-sql sql-data-warehouse


    【解决方案1】:

    不幸的是,Polybase 对 ADLA 表的支持仍在规划中,但尚不可用。请通过SQL Data Warehouse User voice page 提交功能请求。

    建议的解决方法是在 ADLA 中将信息生成为 Csv,然后在 SQL DW 中创建分区和分布式表,并使用 Polybase 读取数据并填充 SQL DW 托管表。

    【讨论】:

    • 感谢您的快速回答。我将提交功能请求。有没有办法查看有关 U-SQL 表的 Data Lake 文件系统元数据?很高兴看到大小、位置、文件数量、文件夹分区等。
    • 包含表格数据的文件在/catalog文件夹中。您可以使用usql.* 目录视图来查找 guid 以查找位置和分区信息。
    猜你喜欢
    • 1970-01-01
    • 2020-11-22
    • 2019-10-28
    • 2023-03-04
    • 1970-01-01
    • 2019-09-10
    • 2016-05-16
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多