1. 创建目录

hadoop dfs -mkdir /usr

-p先创建父目录

 

2. 查看文件列表

hadoop fs -ls /

-ls -R sj 查看子目录

-lsr 查看子目录

 

3. 将系统文件复制到hdfs

copyFromLocal

hadoop dfs -copyFromLocal /opt/hadoop/temp/testFile.txt /usr/local/testFile.txt

 hadoop_命令

put

hadoop dfs -put /opt/hadoop/temp/testFile.txt /usr/local/testFile.txt

 hadoop_命令

 

4. hdfs中的文件复制到系统中

copyToLocal

hadoop -copyToLocal /usr/local/testFile.txt /opt/hadoop/temp/testFileFromHDFS.txt

get

hadoop dfs -get /usr/local/testFile.txt /opt/hadoop/temp/testFileFromHDFS.txt

 hadoop_命令

 

5. 复制文件

HDFS中的文件复制到HDFS相应目录

cp

hadoop dfs -cp /usr/local/testFile.txt /usr/local/testFileCopy.txt

 

6. 删除文件

rm 删除文件

rmr 递归删除

hadoop dfs -rmr /usr/local/testFile.txt

或者:

hadoop dfs -rmr /usr/local/*

 

7. 移动文件

mv

hadoop dfs -mv /usr/local/testFile.txt /usr

 

8. 统计

-count

统计某一目录下有多少个文件,共占用多大磁盘。

Hadoop dfs -count /usr/local

 

9. 查看文件内容

cat

hadoop dfs -cat /usr/local/testfile.txt

 hadoop_命令

text

tail

 

10. 显示目录中各文件的大小

du

hadoop dfs -du /usr/local

 hadoop_命令

 

11. 显示目录中所有文件的总大小

dus

hadoop dfs -dus /usr/local

 hadoop_命令

 

12. 集群间复制数据

distcp

hadoop distcp hdfs://centos5:9000/usr/local/testFile.txt hdfs://centos2:9001/data/local

假设两个集群的nameNode分别为centos5centos2,端口分别为90009001

 

13. 平衡操作

balancer

如果管理员发现某些DataNode保存数据过多,某些DataNode保存数据相对较少,可以使用上述命令手动启动内部的均衡过程。

如:hadoop balancer

 

14. 检查文件

fsck

hadoop fsck /usr -delete (删除受损文件)

其中-delete为可选参数,还可以是-move-files-blocks-openforwrite-locations

 

15. 管理命令

安全模式:-safemode

hdfs dfsadmin -safemode enter/leave/get/wait

 

报告:-report

hdfs dfsadmin -report

 hadoop_命令

 hadoop_命令

相关文章:

  • 2021-10-27
  • 2021-06-27
  • 2022-01-08
  • 2021-04-11
  • 2022-12-23
  • 2021-09-15
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-11-20
  • 2021-12-07
  • 2021-12-05
  • 2021-12-25
  • 2021-07-27
  • 2021-12-09
相关资源
相似解决方案