为 Pig 作业设置最小减速器数量

【问题标题】：Setting minuimum number of reducer for Pig job为 Pig 作业设置最小减速器数量
【发布时间】：2015-05-01 15:02:51
【问题描述】：

我想为我的 Pig Job 设置最少的 reducer 数量。我尝试使用： SET default_parallel 57;

但是，这会强制所有作业都有 57 个减速器。

我是否可以设置任何设置来强制 Pig Job 具有至少 57 个或更多数量的减速器。

【问题讨论】：

【解决方案1】：

我认为这是不可能的。

您可以做的是将default_parallel 设置为57，对于那些您希望拥有更多reducer 的操作，您可以使用PARALLEL 指定更大的数量。我知道这不是您想要的。

【讨论】：

谢谢。我最终只这样做了。我发现 Pig 默认每个 reducer 发送 1 GB 的数据。 pig.exec.reducers.bytes.per.reducer 设置控制每个 reducer 的数据大小。我使用此设置设置为 125MB，因此我能够动态调整减速器的数量。