java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig

spark任务提交出错。

原因:

spark-2.0后jersey升级到了ver2.x版本,但实际使用时还需要1.x。导致报错。

解决办法:利用maven或sbt进行打包,包含jersey依赖。得到jersey-bundle-1.17.1.jar

将jersey-bundle-1.17.1.jar加入$SPARK_HOME/jars目录,重启spark即可。

若完成拷贝后第一次启动错误依旧,则可以在spark-submit增加--jars参数,加入jersey-bundle-1.17.1.jar路径。以后就不需要了。

或者重新载入Spark的环境变量,进行依赖缓存刷新,亦可解决问题。

 

结论:

1、当前spark开发趋于稳定,但依然有众多遗留问题,多留意版本变更和更新日志,可及时得到信息更新。

2、spark目录下的jars依赖并不是实时更新,发生变动后,需要重新载入。

3、spark-env中SPARK_CLASSPATH变量,在spark1.0版本中使用,但在2.x版本已被弃用。虽然有效但可以通过其他多种方式进行配置。extra-classpath或者jars或者conf配置。

 

相关文章:

  • 2021-05-13
  • 2022-12-23
  • 2021-05-24
  • 2021-06-11
  • 2022-12-23
  • 2021-07-10
  • 2022-12-23
  • 2021-11-27
猜你喜欢
  • 2021-11-02
  • 2021-10-28
  • 2021-11-26
  • 2021-08-11
  • 2022-12-23
相关资源
相似解决方案