【问题标题】:Install sql-spark-connector library to Azure Synapse Apache Spark将 sql-spark-connector 库安装到 Azure Synapse Apache Spark
【发布时间】:2021-12-02 18:00:42
【问题描述】:

我正在尝试安装适用于 SQL Server 和 Azure SQL 的 Apache Spark 连接器,以便在大数据分析中使用事务数据,并为临时查询或报告保留结果。该连接器允许您使用本地或云端的任何 SQL 数据库作为 Spark 作业的输入数据源或输出数据接收器。

spark sql 连接器位于此处https://github.com/microsoft/sql-spark-connector

谁能告诉我如何在 Azure Synapse Apache Spark 中导入它?

【问题讨论】:

    标签: apache-spark azure-synapse


    【解决方案1】:

    根据与 Synapse 产品组的对话:

    您无需将连接器 Apache Spark connector jar 文件或任何包 com.microsoft.sqlserver.jdbc.spark 添加到 Synapse Spark 池。 Spark 2.4 的连接器是开箱即用的,对于 Spark 3.1,它很可能会在未来几周投入生产。

    有关更多详细信息,请参阅解决类似问题的Microsoft Q&A 线程。

    【讨论】:

      猜你喜欢
      • 2022-12-02
      • 2021-08-26
      • 2021-06-10
      • 2020-10-14
      • 2022-01-22
      • 2021-05-12
      • 2021-08-20
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多