Spark-SQL DataFrame 分区

【问题标题】：Spark-SQl DataFrame partitionsSpark-SQL DataFrame 分区
【发布时间】：2016-03-06 14:22:41
【问题描述】：

我需要使用 spark-sql 加载 Hive 表，然后在其上运行一些机器学习算法。我是这样写的：

val dataSet = sqlContext.sql(" select * from table")

效果很好，但是如果我想增加 dataSet Dataframe 的部分数量，我该怎么做？使用普通的 RDD 我可以写：

val dataSet = sc.textFile(" .... ", N )

我想拥有 N 个分区。

谢谢

【问题讨论】：

【解决方案1】：

您可以coalesce 或repartition 生成DataFrame，即：

val dataSet = sqlContext.sql(" select * from table").coalesce(N)

【讨论】：

这是相当昂贵的操作，对吧？无论如何，应该通过加快训练步骤来减少合并开销。谢谢
是的。它涉及在集群的节点之间传输所有数据。另一种选择可能是尝试设置spark.default.parallelism配置属性，但你必须尝试，我不知道它是否有效...
也可以查看这个链接deepsense.io/optimize-spark-with-distribute-by-and-cluster-by