【问题标题】:Is there a way to specify the number of mappers in Scalding?有没有办法在 Scalding 中指定映射器的数量?
【发布时间】:2018-08-28 01:27:14
【问题描述】:

我是烫伤世界的新手。我的烫伤工作会有多个阶段,我需要单独调整每个阶段。

我发现我们可以通过使用withReducers 来更改reducer 的数量。另外,我可以通过作业配置为输入数据设置拆分大小。但是,我没有看到有任何方法可以即时更改我的子任务的映射器数量。

我错过了什么吗?有谁知道如何为我的子任务指定映射器的数量?谢谢。

【问题讨论】:

    标签: mapreduce scalding


    【解决方案1】:

    得到一些答案/想法可能对有相同问题的其他人有所帮助。

    与映射器相比,reducer 更容易控制。

    映射器由 hadoop 控制,没有类似的简单旋钮。您可以设置一些配置参数,让 hadoop 了解要启动多少地图任务。

    此堆栈溢出可能会有所帮助: Setting the number of map tasks and reduce tasks

    我能想到的一种解决方法是将您的主要任务更改为小任务,您可以单独调整输入数据的大小(映射器的数量)。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-10-10
      • 1970-01-01
      • 1970-01-01
      • 2014-12-13
      • 1970-01-01
      • 2020-12-16
      • 1970-01-01
      • 2022-01-20
      相关资源
      最近更新 更多