当我的 spark 应用程序的 uber jar 和我的 spark-submit shell 命令的 --jars 选项的内容包含类似的依赖项时，类加载的优先级是什么？
我从第三方库集成的角度提出这个问题。如果我将 --jars 设置为使用 2.0 版的第三方库，并且进入此 spark-submit 脚本的 uber jar 是使用 2.1 版组装的，那么在运行时会加载哪个类？
目前，我想保留我对hdfs的依赖，并将它们添加到spark-submit的--jars选项中，同时希望通过一些最终用户文档要求用户设置这个第三方库的范围在他们的 spark 应用程序的 maven pom 文件中“提供”。
【问题讨论】：
标签： apache-spark
这在某种程度上是用参数控制的：
spark.driver.userClassPathFirst&spark.executor.userClassPathFirst如果设置为真（default 为假），来自docs：
（实验性）在驱动程序中加载类时，是否让用户添加的 jar 优先于 Spark 自己的 jar。此功能可用于缓解 Spark 的依赖项和用户依赖项之间的冲突。它目前是一个实验性功能。这仅用于集群模式。
我编写了一些控制这一点的代码，早期版本中存在一些错误，但如果您使用的是最近的 Spark 版本，它应该可以工作（尽管它仍然是一个实验性功能）。
【讨论】：
The configuration key 'spark.yarn.user.classpath.first' has been deprecated as of Spark 1.3 and may be removed in the future. Please use spark.{driver,executor}.userClassPathFirst instead.
userClassPathFirst 选项标记为“实验性”？可以撤回选择权吗？使用此选项有缺点吗？我似乎很容易遇到需要比 Spark 附带的更新版本的 gson 或 snakeyaml 的情况。这对我来说似乎是一个重要的选择。