我们可以在 yarn-cluster 上运行 apache spark 1.1.0 吗？

Question

我在 ubuntu 上使用 spark 1.1.0。使用以下命令使用纱线提交火花时

./bin/spark-submit --class path.to.your.Class --master yarn-cluster [options] [app options]

我收到了错误

无法加载 YARN 类。 Spark 的这个副本可能没有使用 YARN 支持进行编译。 使用 --help 运行以获取使用帮助或使用 --verbose 运行以获取调试输出

我找到的解决方案是运行另一个版本的 spark，它是用 yarn 预编译的。将项目迁移到最新版本需要付出很多努力。 我可以在具有相同 spark-1.1.0 版本的纱线集群上运行我的 jar 吗？如果是，如何？

Answer 1

您需要在 yarn 集群和 ubuntu 中拥有相同版本的 spark 才能成功运行 spark 应用程序。

在开发和部署过程中使用不同的版本会产生问题。