Spark-submit on Yarn 错误 YarnConfiguration.useHttps NoSuchMethodError答案

【问题标题】：Spark-submit on Yarn errors YarnConfiguration.useHttps NoSuchMethodErrorSpark-submit on Yarn 错误 YarnConfiguration.useHttps NoSuchMethodError
【发布时间】：2016-07-05 18:25:43
【问题描述】：

我正在对 yarn 进行 spark-submit，但出现以下错误。任何线索我做错了什么？

16/07/05 14:21:49 INFO spark.SparkContext: 成功停止 SparkContext 16/07/05 14:21:49 INFO yarn.ApplicationMaster：取消注册 ApplicationMaster 失败（诊断消息：用户类抛出异常：java.lang.NoSuchMethodError：org.apache.hadoop.yarn.conf.YarnConfiguration.useHttps（Lorg/ apache/hadoop/conf/配置；）Z） 16/07/05 14:21:49 信息 remote.RemoteActorRefProvider$RemotingTerminator：关闭远程守护程序。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider$RemotingTerminator：远程守护进程关闭；继续冲洗远程传输。 16/07/05 14:21:49 INFO impl.AMRMClientImpl：等待应用程序成功注销。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider$RemotingTerminator：远程关闭。

【问题讨论】：

标签： apache-spark apache-spark-sql

【解决方案1】：

经过一番努力，我发现问题是我正在构建包含所有依赖项的 uber jar，其中也包括 spark。当我构建没有依赖项的包并且在 spark 提交期间将依赖 jars 添加为 --jars 时，问题已解决。似乎大多数时候 NoSuchMethodError 或 ClassNotFoundException 等问题都可以通过这种方法解决。

【讨论】：