昨天写了一个mapreduce函数一直有错误,找不到错误,今天找了一天终于解决了,原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问题。

 

job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出,也就是说只有map和reduce输出是一样的时候才不会出问题。

当map和reduce输出是不一样的时候就需要通过job.setMapOutputKeyClass和job.setMapOutputValueClas来设置map阶段的输出。

相关文章:

  • 2022-01-25
  • 2022-01-14
  • 2022-01-23
  • 2021-12-24
  • 2022-02-07
  • 2021-08-17
  • 2021-12-21
  • 2022-12-23
猜你喜欢
  • 2021-09-21
  • 2021-05-29
  • 2022-01-17
  • 2021-10-14
  • 2021-08-07
  • 2021-11-25
  • 2021-09-28
相关资源
相似解决方案