目前实现Linux环境下通过shell命令来实现hdfs文件的上传与下载

1.启动Hadoop

start-all.sh

2.上传文件

假设将/root目录中的jdk安装包上传到hdfs的根目录下:

hadoop fs -put jdk-7u76-linux-x64.tar.gz hdfs://master:9000/

Linux下HDFS简单的shell操作

执行完以后从网页打开http://192.168.1.111:50070/ 的文件系统刷新一下,可以看到新加进去的文件的信息

Linux下HDFS简单的shell操作

3.下载文件

点击上传的文件,则直接可以下载到Windows系统中

Linux下HDFS简单的shell操作

hdfs的存储路径与本地文件系统无关,测试如下:

 删除本地的文件:rm -rf jdk-7u76-linux-x64.tar.gz

Linux下HDFS简单的shell操作

再从hdfs中下载下来

 hadoop fs -get hdfs://master:9000/jdk-7u76-linux-x64.tar.gz

Linux下HDFS简单的shell操作

3.查看文件

hadoop fs -ls /

Linux下HDFS简单的shell操作

4.hdfs中复制文件到另一个文件夹下

hadoop fs -cp /jdk-7u76-linux-x64.tar.gz /tmp/

Linux下HDFS简单的shell操作

5.查看空间大小

hadoop fs -df -h /

Linux下HDFS简单的shell操作

6.查看文件大小

hadoop fs -du -h /

Linux下HDFS简单的shell操作

7.创建删除文件夹或目录

 创建:hadoop fs -mkdir /aa

 删除:hadoop fs -rm -r /aa





相关文章: