无法使用 spark-1.6.1-bin-hadoop1 运行 spark-terasort

Question

我正在尝试使用 spark-1.6.1-bin-hadoop1（hadoop 1.X 的预构建包）运行 spark-terasort。

当我尝试运行 spark 时：

./bin/spark-submit --class com.github.ehiggs.spark.terasort.TeraGen  ~/spark-terasort/target/spark-terasort-1.0-jar-with-dependencies.jar 100G hdfs:///input_terasort

我得到错误：

线程“main”java.lang.IncompatibleClassChangeError 中的异常：找到了类 org.apache.hadoop.mapreduce.JobContext，但需要接口

这可能与不同的 Hadoop 版本有关（在 spark 和 spark-terasort 之间）。我尝试过使用 pom.xml（用于编译 spark-terasort），但没有取得多大成功。

如何将 spark-terasort 与 spark-1.6.1-bin-hadoop1 一起使用？

Answer 1

spark-terasort 是旧的：

  <scala.binary.version>2.10</scala.binary.version>
  <spark.version>1.2.1</spark.version>

我正在研究修补它。会回来的。。

更新我尝试使用1.6.0-SNAPSHOT，TeraGen 运行良好。

Input size: 1000KB
Total number of records: 10000
Number of output partitions: 2
Number of records/output partition: 5000
===========================================================================
===========================================================================
Number of records written: 10000

这是针对 local 文件系统运行时。我将在大约 12 小时后查看 real hdfs。