【问题标题】:Connecting Azure Data Warehouse to Data Lake [closed]将 Azure 数据仓库连接到数据湖 [关闭]
【发布时间】:2018-11-21 00:07:46
【问题描述】:

我们可以从 Azure 数据仓库连接到 Azure 目录表或 L​​ake Store 文件作为外部表吗?

我希望能够针对 Azure 数据仓库运行 SQL 查询,但希望改为从数据湖获取数据。

【问题讨论】:

  • Azure 目录是什么意思?如果您指的是 Azure 数据目录,那么它目前没有在 Azure Data Lake 中公开。
  • 知道了。谢谢。

标签: azure-data-lake polybase sql-data-warehouse


【解决方案1】:

是的,您可以使用 Polybase 作为外部表连接到 Azure Data Lake Store (ADLS) 中的文件。这是在 2017 年 2 月 here 宣布的。

按照tutorial,完成以下步骤:

  1. 创建范围数据库凭据
  2. 创建一个外部数据源,使用上面创建的凭据指向您的数据湖
  3. 为您的表格创建外部文件格式(例如逗号、竖线分隔等)
  4. 使用外部数据源创建一个外部表,例如

    CREATE EXTERNAL TABLE dbo.yourTable (
        col1    INT NOT NULL,
        col2    VARCHAR(20) NOT NULL,
        col3    DATETIME NOT NULL
    )
    WITH (
        LOCATION = '/someADLSFolder/',
        DATA_SOURCE = yourDataSource,
        FILE_FORMAT = yourFileformat,
        REJECT_TYPE = VALUE,
        REJECT_VALUE = 0
        );
    

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2018-03-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-01-13
    • 2016-01-27
    • 1970-01-01
    • 2022-08-16
    相关资源
    最近更新 更多