各软件版本如下

spark:2.3.0

IdealIC:2019.1

    利用IdealIC软件对spark程序打包好后,然后放到集群运行,可是运行命令,一直报java.lang.ClassNotFoundException: com.dt.spark.wordcount错误,对打包好的jar进行打开,com.dt.spark包里面有wordcount这个类,然后在IdealIC查找原因,在file----Project Structure----Artifcats中对jars进行设置,在对输出的jar包中除了“kuaishou” compile output,其他的jar包都删除,然后进行打包运行没有出现这个错误。

 

做记录,供以后参考!!

 

 

关于spark集群运行出现java.lang.ClassNotFoundException错误关于spark集群运行出现java.lang.ClassNotFoundException错误

相关文章:

  • 2022-12-23
  • 2021-09-16
  • 2021-12-19
  • 2021-09-15
  • 2021-11-29
  • 2022-01-08
  • 2022-02-09
  • 2021-08-05
猜你喜欢
  • 2022-12-23
  • 2021-09-25
  • 2021-07-13
  • 2021-07-24
  • 2021-08-09
  • 2021-10-06
  • 2021-12-03
相关资源
相似解决方案