实现Linux中实现HDFS中的基本操作

 

首先我们需要输入命令启动Hadoop

start-dfs.sh

 

1. 创建文件夹或目录

我们创建一个aa文件夹,并查看所有文件

创建:hdfs dfs -mkdir /aa

删除:hdfs dfs -rm -r /aa   备注:还有一种方法是 hdfs dfs -rmr /aa  这种方法也能删除但是会出来一个提示不推荐使用,

建议使用 -rm -r

 

查看:hdfs dfs -ls /

Linux中HDFS简单的shell操作

 

这时候我们去http://master:50070/ 中去看一下我们创建的文件夹

Linux中HDFS简单的shell操作

2. 上传文件

例如我们在我们linux中的一个jdk安装包上传到HDFS总的根目录  命令如下:

通过 -put我们来上传文件

hdfs dfs -put jdk-8u171-linux-x64.rpm hdfs://master:9000/

命令查看是否上传成功:hdfs dfs -ls /

Linux中HDFS简单的shell操作

 

Linux中HDFS简单的shell操作

然后我们可以去网页看到新加进去的文件的信息

Linux中HDFS简单的shell操作

如上图我们已经成功的从Linux本地中将JDK文件上传到了HDFS根目录下

3.点击上传的文件可以下载到本地中

Linux中HDFS简单的shell操作

4.HDFS中的储存路径和本地文件系统无关,测试如下:

我们先删除本地中的JDK安装包

Linux中HDFS简单的shell操作

 

然后我们再从HDFS中下载下来,使用 -get获取到我们想要的文件

Linux中HDFS简单的shell操作

现在我们来查看一下HDFS中文件

hdfs dfs -ls /

 

Linux中HDFS简单的shell操作

5.我们现在将HDFS根目录上的JDK文件复制到另一个aa文件夹下,通过 -cp来复制文件到指定路径

Linux中HDFS简单的shell操作

现在我们来看aa文件夹内已经有JDK安装包了

Linux中HDFS简单的shell操作

Linux中HDFS简单的shell操作

 

6.查看文件大小,

通过 hdfs dfs -du -h /  查看所有文件占用的空间大小(注意每个词中都有空格)

Linux中HDFS简单的shell操作

通过 hdfs dfs -df -h /查看空间大小(注意每个词中都有空格)

Linux中HDFS简单的shell操作

 

相关文章: