如何更改pyspark中的并行任务数答案

【问题标题】：How to change number of parallel tasks in pyspark如何更改pyspark中的并行任务数
【发布时间】：2023-04-07 07:32:01
【问题描述】：

如何在 pyspark 中更改并行任务的数量？

我的意思是如何更改在我的 PC 上运行的虚拟地图的数量。实际上我想通过地图功能的数量来绘制加速图表。

示例代码：

words = sc.parallelize(["scala","java","hadoop"])\
           .map(lambda word: (word, 1)) \
           .reduceByKey(lambda a, b: a + b)

如果你理解我的目的，但我问错了，如果你纠正它，我将不胜感激

谢谢

【问题讨论】：

【解决方案1】：

对于这个玩具示例，并行任务的数量取决于：

但是，Spark 不是轻量级并行化 - 为此我们有低开销的替代方案，如 threading 和 multiprocessing，构建在这些之上的更高级别的组件（如 joblib 或 RxPy）和本机扩展（到用线程转义 GIL）。

Spark 本身是重量级的，具有巨大的协调和通信开销，而 as stated by by desernaut 在仅限于单个节点时，除了测试之外几乎没有任何理由。其实it can make things much worse with higher parallelism

【讨论】：

好点（+1）；来自最后一个链接：“Spark 不专注于并行计算。并行处理更多的是特定解决方案的副作用而不是主要目标。Spark 首先是分布式，其次是并行。要点是通过横向扩展而不是加速现有计算，使处理时间随着数据量的增加而保持不变。”
我建议您编辑您的答案以包含上述引用...