为什么向 Mesos 提交 Spark 应用程序失败并显示“无法解析主 URL：'mesos://localhost:5050'”？

Question

我在尝试将 Spark 应用程序提交到 Mesos 集群时遇到以下异常：

17/01/31 17:04:21 WARN NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 17/01/31 17:04:22 错误 SparkContext：初始化 SparkContext 时出错。 org.apache.spark.SparkException：无法在 org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler 解析主 URL：'mesos://localhost:5050'（SparkContext.scala:2550）在 org.apache.spark.SparkContext.(SparkContext.scala:501)

Answer 1

您可能使用了错误的命令来构建 Spark，例如，缺少 -Pmesos。从 Spark 2.1.0 开始，您应该使用 ./build/mvn -Pmesos -DskipTests clean package 构建它。