【问题标题】:Is there python support for Azure Synapse Analytics?Azure Synapse Analytics 是否有 python 支持?
【发布时间】:2021-08-25 00:42:28
【问题描述】:

我想做什么?

类似胶水雅典娜的过程。

  1. S3 中的数据
  2. AWS Glue(创建元数据表)
  3. 可以使用 Athena 通过 boto3(python 库)查询表

我在 Azure Cloud 中面临的问题

~尝试使用 Azure Synapse Analytics 复制上述过程~

  1. 链接的 Azure 存储容器中的数据
  2. Azure 数据工厂(创建外部表)
  3. 如何使用 python 对外部表进行 T-SQL 查询?

是否有任何 python 库可以对 Azure Synapse 工作区中创建的外部表进行 T-SQL 调用?

【问题讨论】:

    标签: azure analytics azure-synapse


    【解决方案1】:

    是的。 PyODBC 与 Synapse 一起工作。它并不完美,但我使用它。

    https://docs.microsoft.com/en-us/azure/azure-sql/database/connect-query-python

    请注意,安装它可能有点棘手。您需要 Python 包,还需要 ODBC 驱动程序和 apt 包 unixodbc-dev。

    这是我在 Ubuntu 18.04 上执行的 dockerfile 的一部分

    RUN apt update && apt install -y libpq-dev unixodbc-dev apt-transport-https ca-certificates
    
    RUN curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add - \
    && curl https://packages.microsoft.com/config/ubuntu/18.04/prod.list >> /etc/apt/sources.list.d/mssql-release.list \
    && apt update && ACCEPT_EULA=Y apt install -y msodbcsql17
    

    【讨论】:

    • 你说得对,以上有助于初始设置。在MSFT forum 上询问了这个问题。能够使其工作相当顺利。注意:需要确保在 Azure Synapse 中创建数据源/外部表之前创建范围凭据,否则会出现访问问题。
    猜你喜欢
    • 2021-04-13
    • 2022-06-19
    • 2021-02-17
    • 2020-09-05
    • 2021-01-14
    • 2022-06-23
    • 2016-09-22
    • 2014-11-06
    • 2020-08-16
    相关资源
    最近更新 更多