要求:
1,选取wordcount和sort两个程序,每个程序五个输入数据集
2,wordcount数据集(20M,100M,500M,1G,2G)
3,sort数据集(20M,100M,500M,1G,2G)
4,对每个程序分别对比程序执行时间
5,选几个重要的性能计数器(6个以上),观察性能计数器的变化
6,画图表,总结分析

一、操作过程:
Wordcount操作

(1)使用dd命令产生5个文件,分别为1M、5M、10M、20M、40M
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
(2)将文件上传至hdfs
mapreduce下的wordcount和terasort对比
(3)执行Wordcount程序
1M

mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比其它的更这个差不多····我写不动了
让我们开始terasort吧

taresort
执行teragen生成数据1M、5M、10M、20M、40M
注意,teragen后的数值单位是行数;因为每行100个字节,所以如果要产生1T的数据量,则这个数值应为1T/100=10000000000(10个0)。
time hadoop jar /usr/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar teragen 10000 /terasort/input-1M

1M的
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
其它也差不多一样,就不写出来了

执行taresort排序

这次举5M的例
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比

mapreduce下的wordcount和terasort对比

mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比
当然,你也可以执行
time hadoop jar /usr/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar terasort /wordcountInput/wordcountinput-40M /terasort/output-40M
用之前wordcount1时创建的文件来用terasort运行

二:对比
(1)时间对比
mapreduce下的wordcount和terasort对比
(2)6个性能计数器对比

mapreduce下的wordcount和terasort对比
mapreduce下的wordcount和terasort对比

相关文章:

  • 2021-08-25
  • 2021-07-11
  • 2021-07-15
  • 2021-07-04
  • 2021-07-28
  • 2021-10-29
  • 2021-06-23
猜你喜欢
  • 2022-12-23
  • 2021-05-17
  • 2021-09-22
  • 2021-11-19
  • 2021-11-14
  • 2022-12-23
相关资源
相似解决方案