前面介绍了Spark开发环境的搭建,下面将在实际开发过程中遇到的一些问题汇总一下:

1、Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version'
  这种情况,我出现的是原因提交job到spark集群中,采用的是java -jar的方式。
  正确的做法是:用spark-submit 命令的方式提交job。例如:

  spark-submit  --class   "com.yiban.datacenter.Spark_RDD.demo"   --master   local    Spark-RDD-0.0.1-SNAPSHOT-jar-with-dependencies.jar  /user/liujiyu/data/TestData(参数)

 

2、ERROR LiveListenerBus: Listener EventLoggingListener threw an exception
  这种情况出现的原因是由于代码当中对于SparkContext并没有关闭资源所导致的。
  正确的做法:在代码的末尾加上:sc.stop()即可。

 

 

(未完待续)

  

 

相关文章:

  • 2022-12-23
  • 2021-11-11
  • 2021-11-20
  • 2021-09-30
  • 2021-08-26
  • 2021-12-29
  • 2021-09-25
猜你喜欢
  • 2021-10-12
  • 2021-11-17
  • 2021-07-27
  • 2021-08-28
  • 2021-12-23
  • 2021-08-07
相关资源
相似解决方案