hadoop编程程序员需要完成三个类。

map类,reduce类和主类。

map和reduce类自然是分别完成map和reduce。而主类则负责对这两个类设置job。完成这三个类之后,我们生成一个jar文件。利用这个jar文件完成剩下的工作。

首先,执行   bin/hdfs dfs -put /home/hadoop/test input
这里对意思是将文件/home/hadoop/test文件放入input中。这个input是提前建立好的,指令如下:

bin/hadoop fs –mkdir input

放入input之后,我们执行指令:

bin/hadoop jar /home/hadoop/workspace/test.jar InvertedIndexer input output
/home/hadoop/workspace/test.jar是先前生成的jar文件的地址,input中包含了待处理文件。至于output还有待考察。

需要注意的是,这里的InvertedIndexer就是程序员编写的三个类中的主类的名称。

相关文章:

  • 2022-01-05
  • 2022-01-15
  • 2022-01-17
  • 2021-07-05
  • 2021-06-28
  • 2021-10-08
  • 2021-05-21
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2021-06-02
  • 2022-02-08
  • 2021-11-14
  • 2021-10-15
  • 2021-12-29
  • 2022-12-23
相关资源
相似解决方案