使用 pyspark 对 SQL Server JDBC 使用 Windows 身份验证

Question

我想问如何使用 Windows 身份验证和 pyspark 库连接 SQL Server？我可以连接 Microsoft SQL Server Management Studio，但当我尝试使用 Spark 用 Python 编写代码时却无法连接。这是我目前尝试的。

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.driver.extraClassPath","mssql-jdbc-6.4.0.jre8.jar") \
    .getOrCreate()

mssql_df = spark.read.format("jdbc") \
    .option("url", "jdbc:sqlserver://localhost:1433;databaseName=DATABASE-NAME") \
    .option("dbtable", "database-table-name") \
    .option("user", "Windows-Username") \
    .option("password", "Windows-Pass")\
    .option("driver", 'com.mysql.jdbc.Driver').load()

mssql_df.printSchema()
mssql_df.show()

Answer 1

如图here你可以设置integratedSecurity=true通过jdbc和Windows身份验证连接SQL Server。

然后 Spark 配置应该如下所示：

mssql_df = spark.read.format("jdbc") \
    .option("url", "jdbc:sqlserver://localhost:1433;databaseName=DATABASE-NAME;integratedSecurity=true") \
    .option("dbtable", "database-table-name") \
    .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") \
    .load()

更新：

如 cmets 中所述，用户应将 sqljdbc_auth.dll 放在 mssql-jdbc-7.4.1.jre12.jar 所在的同一文件夹中，或者只为两个 jar 设置 spark.driver.extraClassPath，由 : 分隔，如下所示：

.config("spark.driver.extraClassPath","/path.to/mssql-jdbc-6.4.0.jre8.jar:/path/to/sqljdbc_auth.dll")

sqljdbc_auth.dll 是 Microsoft JDBC Driver 6.0 for SQL Server 的一部分，您可以从here 下载它。或者，您可以在系统上安装 JDBC 驱动程序并指定 dll 的存储路径。