Scala 代码适用于 Spark 终端，但不适用于 Eclipse

Question

当我在 Spark 终端上运行下面的代码时，它可以正常工作，但在 eclipse 中它会引发错误。可能是什么原因。如果您需要更多信息，请告诉我。

val IABLabels= IAB.zip(标签)
val temp1 = IABLabels.groupBy(x=>x._2).mapValues( _.map( _._1 ))

Eclipse 中的错误：
值 mapValues 不是 org.apache.spark.rdd.RDD[(Int, Iterable[(String, Int)])]的成员

代码在 Spark shell 上运行良好。

Answer 1

您应该使用此导入通过隐式转换访问 (key,value) 对的 RDD 上的额外函数：

import org.apache.spark.SparkContext._

您可以查看API 文档以获取更多详细信息。