如何使用 SPARK-shell 连接两个元组答案

【问题标题】：How to join Two tupples using SPARK-shell如何使用 SPARK-shell 连接两个元组
【发布时间】：2014-04-25 08:27:44
【问题描述】：

我正在尝试使用 Spark-shell 命令加入两个文本文件。我写了以下代码。

val a = sc.parallelize(List(("symbol", "CNN"), ("symbol", "CND")))
val b = sc.parallelize(List(("symbol", "CNN"), ("symbol1", "CNN")))
val joned = a.join(b)

但它显示错误加入不是 org.apache.Spark 的成员。任何人都可以建议我如何实现加入。

【问题讨论】：

我可以在 spark-shell 中运行你的代码。能贴一下错误信息吗？

标签： apache-spark

【解决方案1】：

您在范围内缺少到 Pair RDD 的隐式转换（具有键和值的概念），因此您需要做的就是首先运行：

import org.apache.spark.SparkContext._

【讨论】：