如何在 Spark 中加入两个不同长度的 RDD？

Question

我有 2 个 RDD。第一个RDD是原始RDD，第二个是我从原始RDD中过滤出来的RDD，并对其进行了一些处理。执行流程后，我想加入他们。原始 RDD 如下所示：

(1,5)
(2,60)
(3,7)
(4,1)
(5,1)
...
(10,8)

过滤和操作的RDD是：

(4,3)
(5,10)
(6,6)
(7,9)

我应该如何加入他们？当我使用 fullouterjoin 或其他连接方法时，它会出错

已编辑

我按照你说的写了这样的代码：

        original_RDD=original_RDD.fullOuterJoin(new_RDD).foreach { case (joinKey, (oldOption, newOption)) =>
        newOption match {
          case None => (joinKey,oldOption)
          case Some(newOption) => (joinKey,newOption)
        }
      }

但我收到此错误：

Error:(232, 55) type mismatch;
 found   : Unit
 required: org.apache.spark.rdd.RDD[(Long, Int)]
        nodes=nodes.fullOuterJoin(joined_new).foreach { case (joinKey, (oldOption, newOption)) =>

Answer 1

See 连接语法

在 (K, V) 和 (K, W) 类型的数据集上调用时，返回一个数据集 (K, (V, W)) 对与每个键的所有元素对。外 通过 leftOuterJoin、rightOuterJoin 和 全外连接。

originalRdd
  .fullOuterJoin(joinRdd)
  .foreach { case (joinKey, (oldOption, newOption)) =>
    newOption match {
      case None => println("new value is None")
      case Some(joinValue) => println(s"new value = $joinValue")
    }
  }