【发布时间】：2014-06-27 12:21:38
【问题描述】：
我想用 hadoop 控制 Map 和 Reduce 之间的中间结果。 我想指定在 Map 之后将这些结果复制到哪里。 我会选择会减少的数据。 总之，我想要地图的结果，然后再进行洗牌和排序，然后做什么 我想要。 如果您有解决方案，请告诉我。
谢谢
【问题讨论】：
标签： hadoop mapreduce hadoop-streaming hadoop-partitioning hadoop2
【发布时间】：2014-06-27 12:21:38
【问题描述】：
您可以在特定映射器获得 InputSplit 后处理数据。将逻辑指定到map 函数中。
-
我想指定在地图之后将这些结果复制到哪里
使用
ContextJava Class 和FileSystem在 FS 上刷新结果 （本地、hdfs、ftp、...） -
我会选择会减少的数据
我想要地图的结果，然后再进行洗牌和排序，然后做我想做的事 想要
在
Mapper类中指定map函数的逻辑
【讨论】：