如何在 Hadoop v 0.21 中调用 Partitioner

Question

在我的应用程序中，我想根据键创建尽可能多的 reducer 作业。现在我当前的实现将所有键和值写入单个（reducer）输出文件中。所以为了解决这个问题，我使用了一个分区器，但我不能调用类。分区器应该在选择映射任务之后和选择减少任务之前调用，但它没有。分区器的代码如下

public class MultiWayJoinPartitioner extends Partitioner<Text, Text> {
@Override
public int getPartition(Text key, Text value, int nbPartitions) {
return (key.getFirst().hashCode() & Integer.MAX_VALUE) % nbPartitions;
return 0;
}
}

这段代码是否正确地根据键和值对文件进行分区并且输出会自动传输到reducer？？

Answer 1

您没有显示所有代码，但通常有一个类（称为“Job”或“MR”类）配置映射器、reducer、分区器等，然后实际将作业提交给 hadoop .在此类中，您将拥有一个具有许多属性的作业配置对象，其中之一是减速器的数量。将此属性设置为您的 hadoop 配置可以处理的任何数字。

一旦为作业配置了给定数量的 reducer，该数量将被传递到您的分区中（顺便说一下，这看起来是正确的）。您的分区器将开始为键/值对返回适当的减速器/分区。这样才能获得尽可能多的 reducer。