火花提交错误：ClassNotFoundException

Question

build.sbt

lazy val commonSettings = Seq(
    organization := "com.me",
    version := "0.1.0",
    scalaVersion := "2.11.0"
)

lazy val counter = (project in file("counter")).
    settings(commonSettings:_*)

计数器/build.sbt

name := "counter"
mainClass := Some("Counter")
scalaVersion := "2.11.0"

val sparkVersion = "2.1.1";

libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion % "provided";
libraryDependencies += "org.apache.spark" %% "spark-sql" % sparkVersion % "provided";
libraryDependencies += "org.apache.spark" %% "spark-streaming" % sparkVersion % "provided";

libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "2.0.2";
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-8" % sparkVersion;

libraryDependencies += "com.github.scopt" %% "scopt" % "3.5.0";

libraryDependencies += "org.scalactic" %% "scalactic" % "3.0.1";
libraryDependencies += "org.scalatest" %% "scalatest" % "3.0.1" % "test";

mergeStrategy in assembly := {
  case PathList("org", "apache", "spark", "unused", "UnusedStubClass.class") => MergeStrategy.first
  case x => (mergeStrategy in assembly).value(x)
}

counter.scala：

object Counter extends SignalHandler
{
    var ssc : Option[StreamingContext] = None;
    def main( args: Array[String])

运行

./spark-submit --class "Counter" --master spark://10.1.204.67:6066 --deploy-mode cluster file://counter-assembly-0.1.0.jar

错误：

17/06/21 19:00:25 INFO Utils: Successfully started service 'Driver' on port 50140.
17/06/21 19:00:25 INFO WorkerWatcher: Connecting to worker spark://Worker@10.1.204.57:52476
Exception in thread "main" java.lang.ClassNotFoundException: Counter
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:229)
    at org.apache.spark.deploy.worker.DriverWrapper$.main(DriverWrapper.scala:56)
    at org.apache.spark.deploy.worker.DriverWrapper.main(DriverWrapper.scala)

有什么想法吗？谢谢

更新

我在Failed to submit local jar to spark cluster: java.nio.file.NoSuchFileException 遇到了问题。现在，我将jar复制到spark-2.1.0-bin-hadoop2.7/bin，然后运行./spark-submit --class "Counter" --master spark://10.1.204.67:6066 --deploy-mode cluster file://Counter-assembly-0.1.0.jar

火花簇是2.1.0的

但是 jar 是在 2.1.1 和 Scala 2.11.0 中组装的。

Answer 1

看来您刚刚开始使用 Scala 开发 Spark 应用程序，因此，我只是为了帮助您和其他未来的 Spark 开发人员，希望为您提供足够的步骤来开始使用环境。

项目构建配置 - build.sbt

看来您使用了多项目 sbt 构建，这就是为什么您有两个 build.sbts。为了解决您的问题，我假设您没有使用此高级 sbt 设置。

您似乎显示您使用 Spark Streaming，因此将其定义为依赖项（如 libraryDependencies）。您不必定义其他 Spark 依赖项（例如 spark-core 或 spark-sql）。

你应该有build.sbt如下：

organization := "com.me"
version := "0.1.0"
scalaVersion := "2.11.0"
val sparkVersion = "2.1.1"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % sparkVersion % "provided"

构建可部署包

使用上面的build.sbt，您执行sbt package 来构建一个可部署的Spark 应用程序包，您最终将spark-submit 到一个Spark 集群。

您不必为此使用sbt assembly...。我可以看到您使用 Spark Cassandra 连接器和其他也可以使用 --packages 或 --jars 定义的依赖项（它们本身各有优缺点）。

sbt package

最终target/scala-2.11/counter_2.11-0.1.0.jar 的大小将比您使用sbt assembly 构建的counter-assembly-0.1.0.jar 小得多，因为sbt package 不包含单个jar 文件中的依赖项。这是意料中的事。

提交 Spark 应用程序 - spark-submit

在sbt package 之后，您应该将target/scala-2.11 中的可部署包设置为counter-assembly-0.1.0.jar。

您应该只使用spark-submit 所需的选项，在您的情况下是：

spark-submit \
  --master spark://10.1.204.67:6066
 target/scala-2.11/counter-assembly-0.1.0.jar

就是这样。

---

请注意：

1. --deploy-mode cluster 对于练习来说太高级了（让我们保持简单，并在需要时将其恢复）

2. file:// 让事情变得糟糕（或者至少是多余的）

3. --class "Counter" 由sbt package 处理，当您在项目中执行单个 Scala 应用程序时。您可以放心地跳过它。