执行程序无法在 Spark 独立集群中选择 postgres 驱动程序答案

【问题标题】：Executor unable to pick postgres driver in Spark standalone cluster执行程序无法在 Spark 独立集群中选择 postgres 驱动程序
【发布时间】：2017-08-29 05:00:37
【问题描述】：

我正在将播放应用程序提交给 spark 2.1 独立集群。在游戏中还添加了应用程序 postgres 依赖项，并且应用程序在本地 spark 库上工作。但是在独立集群上运行时它给了我错误：

o.a.s.s.TaskSetManager - Lost task 0.0 in stage 0.0 (TID 1, 172.31.21.3, executor 1): java.lang.ClassNotFoundException: org.postgresql.Driver

我已在 spark-defaults.conf 目录中放置了以下内容

spark.executor.extraClassPath   /home/ubuntu/downloads/postgres/postgresql-9.4-1200-jdbc41.jar 
spark.driver.extraClassPath     /home/ubuntu/downloads/postgres/postgresql-9.4-1200-jdbc41.jar

仍然执行者无法选择驱动程序。我错过了什么吗？需要帮忙。谢谢。

【问题讨论】：

标签： postgresql apache-spark jdbc playframework apache-spark-standalone

【解决方案1】：

将 postgresql-9.4-1200-jdbc41.jar 放入您的 SPARK_DIRECTORY/jars 文件夹并重新启动 spark 集群

【讨论】：