当集群开启了Kerberos后,Spark向hive中写入数据时,代码中会去读取yarn的配置文件,如果读不到yarn的配置文件,就会报这样的错误。如果用IDEA开发的ETL程序直接在CDH上面运行是没有这个问题的;但是当程序在第三方机器上运行时就会包这个错误。因为Spark客户端需要将yarn-site.xml加载。如果只是拷贝了hdfs-site.xml、core-site.xml、hive-site.xml没有拷贝yarn-site.xml就会报这个错误。

二、解决方法

 去CDH平台中下载客户端配置文件信息,然后将hdfs-site.xml、core-site.xml、hive-site.xml、yarn-site.xml拷贝到Spark客户端的conf目录下面。然后再使用spark-submit提交就没有问题了。

相关文章:

  • 2022-01-09
  • 2021-09-15
  • 2022-12-23
  • 2022-01-21
  • 2022-12-23
  • 2022-12-23
  • 2021-09-01
  • 2021-08-08
猜你喜欢
  • 2021-05-25
  • 2021-10-06
  • 2021-09-11
  • 2021-08-30
  • 2021-10-28
  • 2021-07-31
  • 2021-08-06
相关资源
相似解决方案