Spark 示例 NoClassDefFoundError scopt/OptionParser

Question

我已经成功构建了 Spark 2.1 源代码。 但是，当我运行一些示例（例如，org.apache.spark.examples.mllib.BinaryClassification）时，我收到以下错误。

Exception in thread "main" java.lang.NoClassDefFoundError: scopt/OptionParser

我尝试使用 Spark 2.1 预构建版本 (examples/jars/spark-examples_2.11-2.1.0.jar) 运行这些示例，但遇到了同样的错误。 Spark 1.6 预构建版本有效 (lib/spark-examples-1.6.2-hadoop2.6.0.jar)。有 posts 与此错误相关，但它们似乎不适用，因为 Spark examples 文件夹没有任何 .sbt 文件。

Answer 1

我找到了答案。为避免该错误，还应使用--jars 提交scopt_x.xx-x.x.x.jar。当您构建 Spark 示例时，除了 spark-examples_x.xx-x.x.x.jar 之外，还将构建 scopt_x.xx-x.x.x.jar（在我的情况下，在同一目标文件夹 examples/target/scala-2.11/jars 中）。

获得 jar 文件后，您可以将其与您的应用程序一起提交：

./bin/spark-submit \
   --jars examples/target/scala-2.11/jars/scopt_x.xx-x.x.x.jar \
   --class org.apache.spark.examples.mllib.BinaryClassification \
   --master ...