使用 OAuth 的 Spark Snowflake 连接器的身份验证问题答案

【问题标题】：Authentication Issue with Spark Snowflake Connector using OAuth使用 OAuth 的 Spark Snowflake 连接器的身份验证问题
【发布时间】：2020-11-13 18:49:10
【问题描述】：

我正在尝试设置 Spark Snowflake 连接器并遇到此错误： "IllegalArgumentException: A snowflake passsword or private key path must be provided with 'sfpassword or pem_private_key' parameter, e.g. 'password'"

我没有尝试使用密码进行身份验证，而是使用 OAuth 令牌进行身份验证。使用 PySpark 并设置以下选项：

SNOWFLAKE_SOURCE_NAME = "net.snowflake.spark.snowflake"
SNOWFLAKE_OPTIONS = {
    'sfURL': os.environ.get("SNOWFLAKE_URL", sf_url),
    'sfUser': os.environ.get("SNOWFLAKE_USER", user_id),
    'sfAuthenticator': os.environ.get("SNOWFLAKE_AUTH_METHOD", "oauth"),
    'sfToken': os.environ.get("SNOWFLAKE_TOKEN", oauth_token),
    'sfDatabase': os.environ.get("SNOWFLAKE_DATABASE", sf_db),
    'sfSchema': os.environ.get("SNOWFLAKE_SCHEMA", sf_schema),
    'sfWarehouse': os.environ.get("SNOWFLAKE_WAREHOUSE", sf_warehouse),
    'sfRole':  os.environ.get("SNOWFLAKE_ROLE", sf_role)
    }

版本：

Spark：spark-3.0.1-bin-hadoop3.2
雪花连接器：spark-snowflake_2.12-2.8.2-spark_3.0.jar
雪花 JDBC：雪花-jdbc-3.12.14.jar

【问题讨论】：

标签： jdbc pyspark snowflake-cloud-data-platform

【解决方案1】：

在将 OAuth 与 Spark Snowflake 连接器一起使用时，我遇到了与您相同的错误。但是，我是在 Databricks 中进行的。

为我修复它的解决方案是更新 Spark 版本。我使用的是过时且不受支持的 Spark (2.4.5) 版本，我已将其更新到版本 3.1.1。

【讨论】：