【发布时间】：2013-04-20 03:18:16
【问题描述】：
我正在制作一项 Hadoop 作业，用于对一个或多个可能非常大的 PGM 文件进行卷积。每个映射器将处理其中一个文件中的一些行，而减速器将再次将文件重新组合在一起。但是，每个映射器都需要在它进行卷积的上面和下面几行。通常这不是问题，因为我已经制作了一个 RecordReader 来获得这种冗余，但它对 InputSplit 的第一行和最后一行提出了问题，因为我无法访问上次拆分的行。
有什么办法可以让 InputSplits 重叠，这样第一行的最后几行就是第二行的前几行？
【问题讨论】：
-
我想这将涉及制作你自己的
InputFormat，不能提供更多，但我很感兴趣。
标签： image image-processing hadoop