为现有 Spark 代码向 AWS Glue 添加 JDBC 驱动程序答案

【问题标题】：Adding JDBC driver to AWS Glue for existing Spark code为现有 Spark 代码向 AWS Glue 添加 JDBC 驱动程序
【发布时间】：2020-12-13 01:32:42
【问题描述】：

我正在尝试在 AWS Glue 上运行现有的 Spark (Scala) 代码。

此代码使用spark.read.option("jdbc")，我一直在使用spark.driver.extraClassPath 选项将JDBC 驱动程序添加到Spark 类路径中。

这在本地和 EMR 上都可以正常工作，假设我可以先通过引导操作将驱动程序从 S3 复制到实例。

但是 Glue 的等价物是什么？如果我将驱动程序添加到“依赖 JAR”选项，它不起作用并且我得到“没有合适的驱动程序”错误，大概是因为 JAR 必须对 Spark 自己的类加载器可见。

【问题讨论】：

【解决方案1】：

编辑您的工作，在屏幕的最后，您可以看到库选项。

还有一些选项是需要的，见documentation的最后一部分。

【讨论】：

我将我的 JAR 添加到“依赖 jars 路径”中，这适用于我的其他 Scala 类，但不适用于 JDBC 驱动程序。
看来 yiu 得加点额外的选项了。
好的，这对我来说可能是一个非常愚蠢的问题 - 我认为我在 JDBC URL 中有拼写错误，jdbc:vendor:hostname 而不是 jdbc:vendor://hostname，并且出现了作为“没有合适的驱动程序”错误。
永远，每个人。 :)