【问题标题】:what is the basic difference between jobconf and job?jobconf 和 job 之间的基本区别是什么?
【发布时间】:2013-08-26 11:27:24
【问题描述】:

嗨,我想知道jobconf和job对象之间的基本区别,目前我正在提交我的工作

JobClient.runJob(jobconf);

我看到了像这样提交工作的其他方式

Configuration conf = getConf();
Job job = new Job(conf, "secondary sort");
job.waitForCompletion(true);     
return 0;

我如何使用 jobconf 为作业指定 sortcomarator 类?

谁能解释一下这个概念?

【问题讨论】:

    标签: hadoop mapreduce bigdata


    【解决方案1】:

    简而言之:JobConf 和 org.apache.hadoop.mapred 包中的所有其他内容是用于编写 hadoop 作业的旧 API 的一部分,Job 和 org.apache.hadoop.mapreduce 包中的所有内容都是新的和首选 API 的一部分编写 hadoop 作业。两种 API 通常都提供等效的核心功能。

    如果您不熟悉 hadoop,只需开始使用新的 API(即 Job 和 Configuration 而不是 JobConf)。确保不要从 mapred 包中导入任何内容。当您在 Internet 上找到使用旧 API 的示例时,您可以使用 this presentation 或 this guide 将其转换为新 API。

    【讨论】:

      【解决方案2】:

      在旧 API 中,作业配置由 JobConf 对象完成。在新的 API 中,作业配置是通过 Configuration 对象完成的。

      作业控制是通过新 API 中的 Job 类来执行的,而不是旧的 JobClient,新 API 中不再存在。

      【讨论】:

        猜你喜欢
        • 2014-05-22
        • 2016-03-03
        • 2012-06-14
        • 1970-01-01
        • 2017-05-11
        • 1970-01-01
        • 2014-09-04
        • 2011-11-04
        • 1970-01-01
        相关资源
        最近更新 更多