【问题标题】:I don't know about setJarByClass(job) in Hadoop我不知道 Hadoop 中的 setJarByClass(job)
【发布时间】:2023-02-21 22:04:33
【问题描述】:

我有两个问题。

我正在做 mapreduce 教程 enter link description here

我理解setJarByClass的作用是指定mapper类和reducer类的位置。 当我运行 Wordcount2 类时没有 job.setJarByClass(WordCount2.class),它运行正常。所以,我认为如果我不指定它,Hadoop 会自动执行。

这是我的问题 1。这是对的吗?猜测是 Hadoop 自动完成的。

当我运行 Wordcount2 类时与 job.setJarByClass(WordCount.class),它与上述情况一样正确运行。我期望的是将执行 wordcount 类的 map 和 reduce 函数。

这是我的问题 2。在这种情况下,为什么要运行像 Wordcount2 类这样的代码?

【问题讨论】:

  • 我不明白你的第二个问题

标签: hadoop


【解决方案1】:

那是设置驱动程序入口点,而不是映射器和缩减器......

该代码包括 setMapperClass 和 setReducerClass。 (和组合器)

如果你真的想测试通过 jar 方法自动设置的内容,请删除那些

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多