配置HDFS

Linux的shell命令

常用的linux的shell命令：

cd /aa          转到/aa目录

pws            显示当前目录

ll /aa           显示/aa目录

mkdir /aa       新建/aa目录

rm /aa/out.txt   删除/aa目录下的out.txt文件

cat /aa/out.txt   查看/aa目录下的out.txt文件的内容

vi /aa/out.txt    编辑/aa目录下的out.txt文件的内容

ifconfig         查看IP地址

ip addr         查看IP地址

hdfs的shell命令

hdfs的shell命令，有三种形式，用前面两个。

hdfs dfs    √

hadoop fs  √

hadoop dfs  ×

常用的hdfs的shell命令：

hdfs dfs -ls /  查看hdfs根目录下文件和目录

hdfs dfs -ls -R /      查看hdfs根目录下包括子目录在内的所有文件和目录

hdfs dfs -mkdir /aa/bb  在hdfs的/aa目录下新建/bb目录

hdfs dfs -rm -r /aa/bb   删除hdfs的/aa目录下的/bb目录

hdfs dfs -rm /aa/out.txt  删除hdfs的/aa目录下的out.txt文件

 

hdfs dfs -put anaconda-ks.cfg /aa        把本地文件上传到hdfs

hdfs dfs -copyFromLocal a.txt /          把本地文件上传到hdfs

hdfs dfs -get /bb.txt bbcopy.txt          从hdfs下载文件到本地

hdfs dfs -copyToLocal /bb.txt bbcopy.txt   从hdfs下载文件到本地

 

HDFS的Java程序

一、HDFSMKdir.java新建HDFS目录/aadir。

二、HDFSUpload.java写入/上传 本地文件c:\\hdfs\\aa.txt 到HDFS的/aadir目录下。

加载包：

三、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\\hdfs目录下。

加载包：

四、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在。

实验步骤

1. 搭建Hadoop伪分布式模式、或者完全分布式模式
2. Windows里安装配置JDK+Eclipse+Maven
3. 在Eclipse里新建Maven Project，新建包，新建class
4. 编程上述4个Java程序
5. 虚拟机的namenode主机上，启动Hadoop
6. 在eclipse里运行上述4个Java程序
7. 使用hdfs的shell命令查看运行结果
8. 使用web console查看运行结果