【问题标题】:Is there python support for Azure Synapse Analytics?Azure Synapse Analytics 是否有 python 支持?
【发布时间】:2021-08-25 00:42:28
【问题描述】:
我想做什么?
类似胶水雅典娜的过程。
- S3 中的数据
- AWS Glue(创建元数据表)
- 可以使用 Athena 通过 boto3(python 库)查询表
我在 Azure Cloud 中面临的问题
~尝试使用 Azure Synapse Analytics 复制上述过程~
- 链接的 Azure 存储容器中的数据
- Azure 数据工厂(创建外部表)
- 如何使用 python 对外部表进行 T-SQL 查询?
是否有任何 python 库可以对 Azure Synapse 工作区中创建的外部表进行 T-SQL 调用?
【问题讨论】:
标签:
azure
analytics
azure-synapse
【解决方案1】:
是的。 PyODBC 与 Synapse 一起工作。它并不完美,但我使用它。
https://docs.microsoft.com/en-us/azure/azure-sql/database/connect-query-python
请注意,安装它可能有点棘手。您需要 Python 包,还需要 ODBC 驱动程序和 apt 包 unixodbc-dev。
这是我在 Ubuntu 18.04 上执行的 dockerfile 的一部分
RUN apt update && apt install -y libpq-dev unixodbc-dev apt-transport-https ca-certificates
RUN curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add - \
&& curl https://packages.microsoft.com/config/ubuntu/18.04/prod.list >> /etc/apt/sources.list.d/mssql-release.list \
&& apt update && ACCEPT_EULA=Y apt install -y msodbcsql17
【讨论】:
-
你说得对,以上有助于初始设置。在MSFT forum 上询问了这个问题。能够使其工作相当顺利。注意:需要确保在 Azure Synapse 中创建数据源/外部表之前创建范围凭据,否则会出现访问问题。