【问题标题】:What is Keyword Context in Hadoop programming world?Hadoop编程世界中的关键字上下文是什么?
【发布时间】:2015-01-13 06:30:34
【问题描述】:

在新的 API 术语中,Hadoop MapReduce 世界中的这个关键字 Context 究竟是什么?

它广泛用于从 Maps 和 Reduce 中编写输出对,但是我不确定它是否可以在其他地方使用,以及当我使用上下文时到底发生了什么。它是不同名称的迭代器吗?

Class Mapper.Context、Class Reducer.Context和Job.Context是什么关系?

有人可以从 Layman 的术语开始解释一下,然后再详细解释一下。无法从 Hadoop API 文档中了解很多。

感谢您的时间和帮助。

【问题讨论】:

    标签: hadoop mapreduce


    【解决方案1】:

    上下文对象:允许 Mapper/Reducer 与 Hadoop 系统的其余部分进行交互。它包括作业的配置数据以及允许其发出输出的接口。

    应用程序可以使用上下文:

    • 报告进度
    • 设置应用程序级状态消息
    • 更新计数器
    • 表明他们还活着
    • 获取跨 map/reduce 阶段存储在作业配置中的值。

    【讨论】:

    • 一个qq - 是不是也用来把数据从mapper传到reducer?
    【解决方案2】:

    新 API 广泛使用 Context 对象,允许用户代码与 MapRduce 系统进行通信。

    它统一了旧 API 中的 JobConfOutputCollectorReporter 的角色。

    【讨论】:

      猜你喜欢
      • 2012-08-14
      • 2018-06-17
      • 1970-01-01
      • 2015-02-28
      • 2013-09-16
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多