通过spark提交的spark开头的配置在程序启动后会添加到SparkConf中,但是hadoop相关的配置非spark开头会被过滤掉,但是只要在这些配置的key前面添加spark.hadoop.前缀,则该key就不会被过滤,会被放置到SparkConf中;最终会存储在Configuration  对象中,存入之前会将  spark.hadoop.前缀截掉(如:hbase的hbase.zookeeper.quorum,则这样传递:spark-submit --conf  spark.hadoop.hbase.zookeeper.quorum),见下方截图代码逻辑

在spark应用中如果要是用这些key,只需要添加如下代码即可:

Configuration  conf = ss.sparkContext().hadoopConfiguration();

String quorum = conf.get("hbase.zookeeper.quorum");

通过spark-submit提交hadoop配置的方法

 

相关文章:

  • 2021-05-25
  • 2022-12-23
  • 2021-06-28
  • 2021-10-03
  • 2021-08-07
  • 2021-07-02
  • 2022-01-24
  • 2021-11-27
猜你喜欢
  • 2022-01-28
  • 2021-11-20
  • 2021-08-05
  • 2021-12-18
  • 2021-12-07
  • 2022-02-18
相关资源
相似解决方案