参考文献:

http://blog.csdn.net/lxhandlbb/article/details/54410644

 

 

每次提交Spark任务到yarn的时候,总会出现uploading resource(打包spark jars并上传)到hdfs上。

恶劣情况下,会在这里卡住很久。

spark  与   Hadoop   融合后     Neither spark.yarn.jars nor spark.yarn.archive is set

 

 

 

 

解决:
在hdfs上创建目录:
hdfs dfs -mkdir   /spark_jars

上传spark的jars(spark1.6 只需要上传spark-assembly-1.6.0-SNAPSHOT-hadoop2.6.0.jar)


hdfs dfs -put /opt/spark/jars/*    /spark_jars


在spark的conf的spark-default.conf


添加配置 :

spark.yarn.jars=hdfs://master:9000/spark_jars/*
#spark.yarn.jars=/opt/spark-2.1.1-bin-hadoop2.7/jars/*

 

spark  与   Hadoop   融合后     Neither spark.yarn.jars nor spark.yarn.archive is set

 


即可解决。不会出现这个问题。

 

相关文章:

  • 2021-10-19
  • 2022-12-23
  • 2022-02-03
  • 2021-05-18
猜你喜欢
  • 2021-08-06
  • 2021-06-11
  • 2022-12-23
  • 2021-08-07
  • 2022-02-17
  • 2022-12-23
  • 2021-06-30
相关资源
相似解决方案