在没有迭代scala的情况下获取List的所有元素

Question

我在 spark 中工作，我必须从 List 的元素创建一个 RDD[(Double, Double)]

我有

val list1: List[Double] = List(16.0,5.0)

当我这样做时

val rdd = sc.parallelize (Seq(list1))

我得到一个 RDD[List[Double]] 类型的 RDD 但我想要一个RDD[(Double, Double)] 类型的RDD，我可以通过这样做来实现：

val rdd = sc.parallelize (Seq((16.0,5.0)))

所以基本上，我如何在Seq() 中列出我列表中的所有元素而不进行迭代并执行类似的操作：

val rdd = sc.parallelize (Seq((list1(*))))

Answer 1

您要做的就是将List[Double] 转换成RDD[(Double, Double)] 成对使用：

sc.paralelize(
    list.sliding(2, 2)
        .filter(_.size == 2)
        .map(tup => (tup.head, tup.last))
)

您也可以使用 .grouped(2) 代替 cmets 中提到的 .sliding(2, 2)。