没有输入数据集的 Spark 作业答案

【问题标题】：Spark job with no input dataset没有输入数据集的 Spark 作业
【发布时间】：2016-03-16 16:36:43
【问题描述】：

我想编写一个生成数百万随机数作为输出的 Spark 作业。这不需要输入数据集，但最好有集群的并行性。

我知道 Spark 在 RDD 上运行，根据定义，这些数据集是数据集，我只是想知道是否有一种方法可以强制许多执行程序在没有 RDD 的情况下运行特定函数，或者通过创建模拟 RDD。

【问题讨论】：

【解决方案1】：

sc.parallelize(Seq(1000, 1000, 1000))
.repartition(3)
.flatMap({count => 0.to(count).map(_ => Random.nextInt)})

【讨论】：