我知道随着 spark 主要版本的更改（即从 1.* 到 2.*），由于现有 API 的更改，将会出现编译时失败。
据我所知，spark 保证通过小版本更新（即 2.0.* 到 2.2.*），更改将向后兼容。
虽然这将消除升级时编译时失败的可能性，但如果在 spark 2.2 上提交作业，是否也不会出现任何运行时失败。* 使用工件的独立集群（ jar) 使用 2.0.* 依赖创建？
【问题讨论】：
标签： apache-spark
如果使用使用 2.0.* 依赖项创建的工件（jar）在 2.2.* 集群上提交作业，是否也不会出现任何运行时故障？
是的。
我什至会说没有 Spark 集群的概念，除非我们谈论内置的 Spark Standalone 集群。
换句话说，您将 Spark 应用程序部署到集群，例如Hadoop YARN 或 Apache Mesos，作为可能包含也可能不包含 Spark jar 的应用程序 jar，因此忽略环境中已有的内容。
如果您确实想到了 Spark Standalone，那么即使在 2.0 和 2.2 之间，版本之间的问题也可能会出现问题，因为您的 Spark 应用程序中的 jar 必须与 Spark worker 的 JVM 上的那些兼容（它们已经预加载)。
我不会声称 Spark Standalone 版本之间完全兼容。
【讨论】：