并行化数据集 spark 列表答案

【问题标题】：parallelize list of dataset spark并行化数据集 spark 列表
【发布时间】：2017-06-19 17:28:24
【问题描述】：

我过滤一个数据集以获取一个数据集列表，然后我想并行保留这些数据集。

代码：

val yearWiseDsList = years.map(year => ds.filter($"year".rlike(year.toString)))

yearWiseDsList.zipWithIndex.foreach {
        case (xDf, idx) =>
xDf.write.format("csv").option("header", "false").save("mydata" + "_" + (startYear + idx))
}

目前foreach 按顺序运行。我可以将 yearWiseDsList 转换为 par List 但它不会使用 spark 进行并行化

我怎样才能用火花做到这一点？

【问题讨论】：

Apache spark 有一个完全不同的并行化方案。您可以先在 Google 上搜索 apache spark rdd tutorial。
Spark rdd 对我没有帮助。要么你建议我做一个 sc.parallelize 我已经尝试过的 yearWiseDsList 但它不起作用。
`它不起作用。`...什么不起作用？什么是你无法实现的？ RDD 是 Spark 中的并行化方式。你还想做什么？

标签： scala apache-spark dataset

【解决方案1】：

问题是关于 Spark 中的嵌套并行化。以下链接回答了它。

Nesting parallelizations in Spark? What's the right approach?

【讨论】：