提交Spark任务到Yarn上运行,得到如下报错信息????

【Spark】记一个Spark错误
研究了一会儿发现是自己粗心大意导致的,自己在本地IDEA跑多了,打包的时候忘记删除setMaster了,如下????
【Spark】记一个Spark错误
虽然我们在提交任务到Yarn的时候,指定了Master,奈何在代码的优先级高于命令行指定参数,所以就算我们指定了Master也没有效果

所以删除了setMaster这个属性就可以了

所以在这里记录一下这个错误,下次一定不能犯了!

相关文章: