【问题标题】:why map output records and reduce input records in hadoop counter is different?为什么hadoop计数器中的map输出记录和reduce输入记录不同?
【发布时间】:2016-06-20 20:53:53
【问题描述】:

我在 hadoop 中运行字数统计工作 我的问题是 为什么在hadoop计数器中映射输出记录和减少输入记录不同? 请看下图

【问题讨论】:

    标签: hadoop mapreduce counter


    【解决方案1】:

    根据“合并输出记录”计数器,您的工作似乎使用了合并器。这就解释了为什么“减少输入记录”不等于“映射记录”。

    通过将 1 亿条记录缩减到数百条,组合器相当高效。

    您很可能会问为什么“合并输入记录”不等于“映射输出记录”以及为什么“合并输出记录”不等于“记录输入记录”。解释是组合器可以运行多次,这意味着您“实际上”多次计算相同的数据(在这里您可以观察到 541 个额外的输入记录等于 677 - 136,但不能保证这两个数字总是匹配)

    【讨论】:

      【解决方案2】:

      我找到了这个原因 我在代码中使用了组合器类

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2016-02-14
        • 1970-01-01
        • 1970-01-01
        • 2014-04-14
        • 1970-01-01
        • 1970-01-01
        • 2017-01-28
        相关资源
        最近更新 更多