用于 pyspark 作业的 GCP Dataproc JDBC 驱动程序答案

【问题标题】：GCP Dataproc JDBC driver for pyspark job用于 pyspark 作业的 GCP Dataproc JDBC 驱动程序
【发布时间】：2018-01-10 06:52:09
【问题描述】：

我正在尝试通过 pyspark 作业在 dataproc 中加载 postgres db。我的代码在本地 spark 中工作，但由于驱动程序问题，我在 dataproc 中工作时遇到了麻烦。我尝试通过 jarFileUris 在 jarFileUris 中指定它们来加载它们（尝试了谷歌存储 uri 和本地 uri。如果可能，更喜欢存储 uri）并指定驱动程序。这是我的代码的一部分：

'properties':{
    ...
    'driver':'org.postgresql.Driver'
    ....
}
'jarFileUris':'file:///home/infra/postgresql-42.1.4.jar'

有人知道正确的方法吗？我总是面临没有合适的驱动程序问题。如果有人需要，这里是错误代码。

py4j.protocol.Py4JJavaError: An error occurred while calling o58.load.
: java.sql.SQLException: No suitable driver
    at java.sql.DriverManager.getDriver(DriverManager.java:315)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$7.apply(JDBCOptions.scala:84)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$7.apply(JDBCOptions.scala:84)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:83)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:34)
    at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:32)
    at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:306)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:146)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:280)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:748)

谢谢！

【问题讨论】：

标签： pyspark google-cloud-dataproc

【解决方案1】：

好的，似乎我不必在提交作业时添加有关驱动程序的其他信息，而是在创建数据框时将它们添加到选项/属性中。

【讨论】：