在scala中将两个RDD组合在一起

Question

我试图在我的函数中将两个 RDD 组合在一起进行一些计算。我的代码如下：

def myCogroupFunction(teachers: org.apache.spark.rdd.RDD[Teacher], students: org.apache.spark.rdd.RDD[Student]) {

    val teacherPairs = teachers.map { t =>
      val nameKey: String = t.getName()
      (nameKey.toUpperCase(), t)
    }

    val studentPairs = students.map { s =>
      val nameKey: String = s.getName()
      (nameKey.toUpperCase(), s)
    }

    teacherPairs.cogroup(studentPairs)
  }

---

但是，我收到错误消息：

value cogroup 不是 org.apache.spark.rdd.RDD[(String, com.abc.Teacher)] 的成员

我在这里做错了什么？非常感谢！

Answer 1

这应该可以工作，除非您使用的是旧版本的 Spark，在这种情况下，您需要通过以下方式导入使这成为可能的隐式：

import SparkContext._