执行包含 SparkSession 构建器的 Maven jar 文件时出错

Question

我目前正在开发一个项目，其中包括适用于 Scala、MongoDB 和 Maven 的 Spark API。

我们使用的版本如下：

火花：2.2.0

斯卡拉：2.11.8

Maven：3.5.3

MongoDB：3.6.3

用于 Spark 的 MongoDB 连接器：2.2.0

jar 的主类包含以下代码行：

val spark = SparkSession.builder().master("local[*]").getOrCreate()

这是我尝试运行 main 时的错误：

使用 Spark 的默认 log4j 配置文件：org/apache/spark/log4j-defaults.properties 18/05/30 10:04:26 信息 SparkContext：运行 Spark 版本 2.2.0 线程“主”java.lang.NoSuchMethodError 中的异常：com.google.common.cache。 CacheBuilder.refreshAfterWrite(JLjava/util/concurrent/TimeUnit;)Lcom/google/comm 在/缓存/CacheBuilder； 在 org.apache.hadoop.security.Groups.(Groups.java:96) 在 org.apache.hadoop.security.Groups.(Groups.java:73) 在 org.apache.hadoop.security.Groups.getUserToGroupsMappingService（组 s.java:293) 在 org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupI 信息.java:283) 在 org.apache.hadoop.security.UserGroupInformation.ensureInitialized（使用 rGroupInformation.java:260) 在 org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject( 用户组信息.java:789) 在 org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGrou pInformation.java:774) 在 org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGr oupInformation.java:647) 在 org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils .scala:2430) 在 org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils .scala:2430) 在 scala.Option.getOrElse(Option.scala:121) 在 org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2430) 在 org.apache.spark.SparkContext.(SparkContext.scala:295) 在 org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2509) 在 org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSessi on.scala:909) 在 org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSessi on.scala:901) 在 scala.Option.getOrElse(Option.scala:121) 在 org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.sc 阿拉:901) 在 fr.atos.gsec.Main$.main(Main.scala:12) 在 fr.atos.gsec.Main.main(Main.scala)`

错误是由getOrCreate()方法触发的。

当我直接在 IntelliJ 上运行这个 main 时，它可以正常工作并启动 Spark，没有任何问题。

非常感谢您的帮助

Answer 1

您需要将库包含到导出的 jar 中。默认情况下，它们不包含在导出的 Jar 中，因为 IDE 假定它们在运行时存在，但实际上它们并不存在。否则，可能是your classpath contains two or more versions of guava. 确保您的应用程序只有一个guava binary available。