无法在 pyspark 中设置随机分区的数量

Question

我知道默认情况下，spark中任务的分区数设置为200。我似乎无法改变这一点。我正在使用 spark 1.6 运行 jupyter。

我正在使用笔记本中的以下内容从蜂巢中加载一个包含大约 37K 行的相当小的表格

from pyspark.sql.functions import *
sqlContext.sql("set spark.sql.shuffle.partitions=10")
test= sqlContext.table('some_table')
print test.rdd.getNumPartitions()
print test.count()

输出确认了 200 个任务。从活动日志来看，它正在运行 200 个任务，这有​​点过头了。似乎上面的第 2 行被忽略了。所以，我尝试了以下方法：

test = sqlContext.table('gfcctdmn_work.icgdeskrev_emma_cusip_activity_bw').repartition(5)

并创建一个新单元格：

print test.rdd.getNumPartitions()
print test.count()

输出显示 5 个分区，但日志显示 200 个任务正在启动以进行计数，然后重新分区到 5 个。但是，如果我先将其转换为 RDD，然后返回 DataFrame，如下所示：

 test = sqlContext.table('gfcctdmn_work.icgdeskrev_emma_cusip_activity_bw').repartition(5).rdd

并创建一个新单元格：

print test.getNumPartitions()
print test.toDF().count()

我第一次运行新单元时，它仍在运行 200 个任务。但是，我第二次运行新单元时，它运行了 5 个任务。

如何让代码在第一次运行时运行 5 个任务？

您介意解释一下为什么会这样吗（指定分区数，但它仍在默认设置下运行）？是不是因为默认的 Hive 表是使用 200 个分区创建的？

Answer 1

在笔记本的开头，执行以下操作：

from pyspark.conf import SparkConf
sc.stop()
conf = SparkConf().setAppName("test")
conf.set("spark.default.parallelism", 10)
sc = SparkContext(conf=conf)

当笔记本启动时，您已经为您创建了一个SparkContext，但您仍然可以更改配置并重新创建它。

至于spark.default.parallelism，我知道是你需要的，看看here：

RDD 中由转换返回的默认分区数，例如 用户未设置时加入、reduceByKey 和并行化。