如何在 RDD 中合并数组答案

【问题标题】：How to merge Arrays in RDD如何在 RDD 中合并数组
【发布时间】：2016-12-25 10:13:43
【问题描述】：

我是 Spark 的新手。我有以下 RDD[Array[(String, String, String)]]

val r1 = sc.parallelize(Array(Array(("123","456","789"),("AAA","BBB","CCC")),Array(("DDD","EEE","FFF"),("E1","E2","E3"))))

我想在里面合并数组

Array((123,456,789), (AAA,BBB,CCC), (DDD,EEE,FFF), (E1,E2,E3))

我可以用r1.reduce(_ ++ _) 做到这一点。但是，我想使用 map 之类的转换函数，而不是 Actions 函数。有可能这样做吗？我正在使用 Spark 1.3.1。

谢谢

【问题讨论】：

【解决方案1】：

你可以这样做：

val res: RDD[(String, String, String)] = r1.flatMap(identity)

【讨论】：