SPARK 独立集群模式下的工作线程数

【问题标题】：Number of workers in SPARK standalone cluster modeSPARK 独立集群模式下的工作线程数
【发布时间】：2014-12-01 06:21:11
【问题描述】：

如何确定 spark 独立集群模式下的 worker 数量？当我在独立集群模式下添加工作人员时，持续时间会减少。

例如，对于我的输入数据 3.5 G，WordCount 需要 3.8 分钟。但是，在我添加了一名内存为 4 G 的工作人员后需要 2.6 分钟。

是否可以添加工人来调整火花？我正在考虑这样做的风险。

我的环境设置如下，

输入数据信息

【问题讨论】：

【解决方案1】：

您可以调整执行程序（JVM 数量及其内存）以及任务数量。如果您正在做的事情可以从并行性中受益，您可以通过配置旋转更多执行器并增加任务数量（通过在代码中调用分区/合并等）。

当您设置并行度时，请考虑您是否主要进行 IO 或计算等。一般而言，Spark recommendation 用于每个 CPU 核心 2-3 个任务

【讨论】：

感谢您的回复！如果我想调整执行器或任务数量，我可以获得的信息是来自 SPARK Web UI 的日志标准错误？听说可以修改分区数进行调优。但是，我不知道如何启动它？
查看 RDD 操作的文档spark.apache.org/docs/1.1.0/… 你会看到很多他们接受的分区数