scala 代码适用于 spark-shell 但不适用于 spark-submit

Question

以下是主要的scala代码

1.val conf=new SparkConf()
2.conf.setMaster("spark://master:7077")
3.conf.setAppName("Commnity Detective")
4.val sc=new SparkContext(conf)
5.val rdd=sc.textFile("hdfs://master:9000/lvcy/test/ungraph/test.txt")
6.val maprdd=rdd.map(line =>{val p=line.split("\\s+");(p(0),p(1))}) union rdd.map( line =>{val p=line.split("\\s+");(p(1),p(0))})
7.val reducerdd=maprdd.reduceByKey((a,b)=>a+"\t"+b)
8.val reduceArray=reducerdd.collect()
9.val reducemap=reduceArray.toMap

问题陈述：

1. 复制spark-shell运行的代码(line:5-9)，结果是对的

2. 如果把代码放到Eclipse中生成jar包，然后使用"spark-submit"提交作业，有下一个错误("Main:scala:21" is the top line:9, 也就是说映射错误的方法，WHY？）：

   Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;
   at net.lvcy.main.Main$.main(Main.scala:21)
   at net.lvcy.main.Main.main(Main.scala)
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
   at java.lang.reflect.Method.invoke(Method.java:497)
   at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:665)
   at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:170)
   at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:193)
   at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:112)
   at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
   

Answer 1

看起来像是 Scala 版本不匹配。您应该确保用于生成 jar 的 Scala 版本与 Spark 集群二进制文件的 Scala 版本相同，例如2.10.

Answer 2

Prebuild Spark 发行版是使用 Scala 2.10 编译的，因此请确保您在 Scala 2.10 下运行 Spark 集群。