首先,hadoop01运行起来hdfs,进入hadoop目录,sbin目录下,./start-all.sh
hadoop03运行yarn资源管理        hadoop目录  sbin/start-yarn.sh
hadoop456运行zookeeper节点    /root/soft/zookeeper-3.4.6/bin        ./zkServer.sh

现在集群已经全部启动起来了,其实只需要启动hdfs即可

在根目录创建文本testwords,上传到hdfs的根目录
hadoop dfs -put testwords /        报错连接不到hadoop02

当hdfs都启动起来时候。上传成功
hadoop例子程序:求圆周率和wordcount
查看
hadoop例子程序:求圆周率和wordcount

进入到例子的目录中:

hadoop例子程序:求圆周率和wordcount
执行命令:
 hadoop jar hadoop-mapreduce-examples-2.7.1.jar  wordcount /testwords /testwordsresult
wordcount :表示使用Wordcount这个程序                                  处理哪个文件        输出到哪个目录
查看结果文件:
hadoop例子程序:求圆周率和wordcount
查看统计的结果:
hadoop例子程序:求圆周率和wordcount
先查看生成result文件夹没有
查看result文件夹下面的内容
查看success文件内容,可以看出,统计结果已经出来了


2,使用自带的example程序计算圆周率
 hadoop jar hadoop-mapreduce-examples-2.7.1.jar pi 5 5
使用这个命令

后面2个数字参数的含义: 
     第1个5指的是要运行5次map任务 
     第2个数字指的是每个map任务,要投掷多少次 
hadoop例子程序:求圆周率和wordcount
结果是:4





下面简单写一点hdfs shell操作的命令:
可用 hadoop fs -help查看都有哪些命令
hadoop  fs -get/put/cat/rm/ls/chown/chomod/df/h/ 
fs指的是filesystem,操作的意思
-chown改变所属的组
-chomod   改变权限       777表示可读可写可执行
-df 查看空间
-df -h 易于阅读的查看空间大小
-df -s -h 查看文件大小
-mkdir 创建目录
-rm -r 删除目录
-mv 移动




















相关文章:

  • 2022-12-23
  • 2021-09-29
  • 2021-10-19
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-01-26
猜你喜欢
  • 2022-12-23
  • 2021-06-05
  • 2021-12-10
  • 2022-03-10
  • 2022-12-23
  • 2021-07-07
  • 2021-06-12
相关资源
相似解决方案