无法通过带有 AWS EMR 实例的 spark 访问 JDBC 驱动程序

Question

在我通过 ssh 进入 EMR spark-shell --packages org.postgresql:postgresql:9.4-1206-jdbc42 后运行 spark-shell 时，我已经安装了 postgresql 驱动程序包。然后我导入 org.postgresql。我想创建一个 spark Dataframe 对象，所以我尝试从 s3 实例访问一个表。

sqlContext.load("jdbc", Map("url" -> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password","dbtable" -> "table"))

这给了我一个java.sql.SQLException: No suitable driver 错误。

我已经调查了this 的问题，有类似的问题。但我希望能够通过 spark-shell 运行驱动程序。

Answer 1

如果我没记错的话（抱歉，我现在没有计算机来测试它）您需要在选项映射中明确设置驱动程序类。

sqlContext.load("jdbc", 
         Map("driver" -> "org.postgresql.Driver", 
             "url" -> "jdbc:postgresql://pathto.table.region.rds.amazonaws.com:5432/table?user=username&password=password",
             "dbtable" -> "table"))

PS：我正在手机上写这个答案，请原谅最终的拼写错误。但我认为你明白了。