我使用 Hadoop 全序分区器和随机采样器作为输入采样器。
但是当我增加我的从节点并将任务减少到 8 个时，我收到以下错误：
Caused by: java.io.IOException: Split points are out of order
我不知道这个错误的原因。
inputsampler.randomsampler函数上如何设置三个参数的个数？
【问题讨论】：
标签： hadoop split mapreduce partitioner
两个可能的问题
您可以通过下载分区文件并检查其内容来诊断此问题。如果设置了分区文件，则为total.order.partitioner.path 的值，否则为_partition.lst。如果您的密钥是文本，您可以运行hdfs dfs -text path_to_partition_file | less 来查看。这可能也适用于其他密钥类型，但我还没有尝试过。
如果分区文件中有重复的行，则说明您有重复的键，否则您可能使用了错误的比较器。
我的最佳猜测是您的键非常不平衡，以至于分区之间的记录均匀划分会生成具有相同分割点的分区。
要解决这个问题，您有多种选择：
a、a、b、c、c、c、d、e 作为拆分点，那么您有 9 个减速器（8 个分割点）和最大重复 3 个。所以，使用 3 个减速器（3=floor(9/3)），如果你的采样很好，你最终可能会得到适当的分割点。为了完全稳定，你会如果它有重复的条目，则需要能够重新运行分区步骤，这样您就可以防止偶尔对不平衡键进行过度采样，但是在这种复杂程度下，您不妨考虑下一个解决方案。李>
num_non_duplicates）并使用num_non_duplicates+1减速器。具有重复键的减速器将比其他减速器做更多的工作并且运行时间更长。如果 reduce 操作是可交换和关联的，您可以通过使用组合器来缓解这种情况。确保在对writePartitionFile 的调用和使用TotalOrderPartitioner 的作业中设置相同的mapred.output.key.comparator.class
Split points are out of order 错误信息来自代码：
RawComparator<K> comparator =
(RawComparator<K>) job.getOutputKeyComparator();
for (int i = 0; i < splitPoints.length - 1; ++i) {
if (comparator.compare(splitPoints[i], splitPoints[i+1]) >= 0) {
throw new IOException("Split points are out of order");
}
}
comparator.compare(splitPoints[i], splitPoints[i+1]) >= 0 行表示如果一对分割点相同或无序，则拒绝它们。
1 或 2 个 reducer 永远不会产生此错误，因为分割点不能超过 1 个，并且循环永远不会执行。
【讨论】：
您确定生成了足够的密钥吗？ 来自 javadoc：TotalOrderPartitioner
输入文件必须用相同的比较器排序并包含
JobContextImpl.getNumReduceTasks() - 1 keys.
【讨论】：