Pyspark：没有合适的驱动程序

Question

我收到以下错误SQLException: No suitable driver

我在代码中设置了 spark 类，如下所示： os.environ['PYSPARK_SUBMIT_ARGS'] = '--driver-class-path /path/to/driver/jars --jars /file/path/to/jars'

当我调用 spark-submit 时，我会指定罐子以确保找到它们。 spark-submit --driver-class-path /Users/my_user/tools/spark-3.12-bin-hadoop3.2/jars/postgresql-42.2.23.jar --jars /Users/my_user/tools/spark-3.12-bin-hadoop3.2/jars/postgresql-42.2.23.jar postgres_elt.py

然后我将我的驱动程序和执行程序放在我的 spark-default template 中，但我仍然遇到同样的错误。

我正在尝试从本地计算机连接到 AWS。不知道我在这一点上做错了什么。

Answer 1

为了纠正这个问题，我将.option("driver", "org.postgresql.Driver") 添加到我的变量中。这似乎解决了我的问题，并且我能够毫无问题地连接。