Hadoop初次上手

hadoop简介与学习内容

Hadoop初次上手
这段期间我学习了hadoop的基础安装与配置，这很难但是很重要，这是我受益匪浅

从基础配置到命令

配置准备

电脑端下载
VMwareWorkstation
Centos7光盘映像
新版本jdk
hadoop压缩包

建立虚拟机并安装centos

进入VMware导入光盘映像，新建虚拟机
进入系统根据向导进行安装，设置Vmware虚拟机的网络方式为bridge（桥接），最小安装

进入centos系统准备安装

1)关闭防火墙：
查看防火墙状态
Systemctl status firewalld.service
关闭防火墙
Systemctl strop firewalld.service
查看服务开启启动项列表
Systemctl list-unit-files
设置防火墙开机不自动启动
Systemctl disable firewalld.service

2)修改IP:
2-1设置Linux系统静态IP地址
因为虚拟机网络采用bridge桥接，客户机和宿主机在同一个局域网中，
设置客户操作系统的IP地址方法如下：
使客户操作系统的IP地址和主操作系统在同一网段
使客户操作系统的网关和主操作系统一致
使客户操作系统的DNS和主操作系统一致
执行service network restart重启。
验证：使用ifconfig命令查看设置是否成功

2-2网络联通配置
1）打开网络配置文件 sudo vim /etc/sysconfig/network-scripts/ifcfg-eno176……
输入密码
在此文件中更改以下内容
BOOTPROTO=static
ONBOOT=yes
在此文件中添加以下内容
IPADDR=192.168.237.10
NETMASK=255.255.255.0
GATEWAY=192.168.237.2
DNS1=8.8.8.8
2）重启网络
service network restart
3）测试
ping 8.8.8.8
让此文件立即生效

3)修改HOSTNAME:
3-1（前置）普通用户获取部分管理员权限
操作步骤：
登陆虚拟控制台ctrl+alt+f2
登录管理员用户和密码
打开sudoers文件 $vim /etc/sudoers
找到第98行 root ALL=(ALL) ALL
将其复制，并更改为ryan（你的用户名） ALL=(ALL) ALL
保存退出：按esc，输入：wq
到这一步，ryan用户就获取了所有的管理员权限，执行管理员命令时，需要在前面加上sudo命令。
3-2修改当前会话中的主机名(暂时性)：
hostname hadoop
修改配置文件中的主机名（永久性）：
vi /etc/sysconfig/network
HOSTNAME=hadoop

4)设置ssh自动登录:
执行以下命令产生**，位于~/.ssh目录
ssh-****** –t rsa
执行以下拷贝命令，创建**文件authorized_keys
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证：
执行命令：ssh localhost 登录主机
执行命令：exit 退出连接

5)安装jdk:
使用winscp将jdk安装文件从windows移动至Linux的/usr/local目录下
5-1给jdk文件赋予用户的可执行权限：
chmod u+x jdk文件
5-2解压缩jdk文件
./jdk文件
5-3为以后使用方便，将解压后的文件夹重命名为jdk
mv 旧文件名 jdk
5-4设置环境变量：
vi /etc/profile #编辑此文件，增加2行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.: $JAVA_HOME/bin:$ PATH
执行以下命令，使设置立即生效
source /etc/profile
验证：
java -version

6)安装hadoop
6-1.使用winscp将hadoop安装包拷贝/usr/local目录下，然后进入此目录解压缩hadoop安装文件
tar zxvf hadoop-2.6.2.tar.gz
6-2.设置环境变量：
vi /etc/profile #编辑此文件，增加2行内容
export HADOOP_HOME=/usr/local/hadoop-2.6.2
export PATH=.: $HADOOP_HOME/bin:$ HADOOP_HOME/sbin:$PATH
执行以下命令，使设置立即生效
source /etc/profile
6-3.修改hadoop的配置文件：路径：/usr/local/hadoop-2.6.2/etc/hadoop/ 目录下
6-4修改hadoop-env.sh 文件，配置jdk的路径
export JAVA_HOME=/usr/lib/jvm/jdk…(jdk实际安装路径)
6-5修改yarn-env.sh 文件，配置jdk的路径
export JAVA_HOME=/usr/lib/jvm/jdk…(jdk实际安装路径)
6-6修改 core-site.xml，添加以下内容，配置HDFS的地址和端口号

fs.defaultFS
hdfs://hadoop0:9000

hadoop.tmp.dir
/usr/local/hadoop-2.6.2/tmp

6-7修改hadoop的配置文件：
修改 hdfs-site.xml文件，修改block副本数：replication

dfs.replication
1

6-8修改mapred-site.xml，配置使用yarn框架
先创建mapred-site.xml：
执行命令：cp mapred-site.xml.template mapred-site.xml
在进行下面的配置：

mapreduce.framework.name
yarn

6-9修改yarn-site.xml，配置yarn属性及端口

yarn.nodemanager.aux-services
mapreduce_shuffle

yarn.resourcemanager.address
hadoop0:9001

7）Hadoop的配置及启动
7-1格式化hdfs：
hadoop namenode –format
启动/关闭所有进程：
start-all.sh stop-all.sh
启动/关闭hdfs：
start-dfs.sh stop-dfs.sh
启动/关闭yarn
start-yarn.sh stop-yarn.sh
7-2验证hadoop安装是否成功：
a.执行命令jps查看java进程，是否启动了以下5个进程：
NameNode，SecondaryNamenode，DataNode、ResourceManager、NodeManager
以上5个进程运行在主节点的有：
NameNode，SecondaryNamenode ，ResourceManager
运行在从节点的有：
DataNode、NodeManager
b.通过浏览器访问hadoop
在浏览器分别输入以下地址进行访问：
hadoop(主机名):50070
Hadoop(主机名):50030
至此安装配置完成！

8)分布式文件系统HDFS命令
8-1HDFS操作命令帮助：
所有的hdfs命令都是以hadoop fs开头
HDFS的shell命令在线帮助
1.hadoop fs
使用此命令可以查看HDFS的所有常用命令语法
2.hadoop fs help
使用此命令可以查看HDFS的所有常用命令语法
3. hadoop fs –help 命令
8-2查看某个命令的具体功能
HDFS的fs命令
-help [cmd] //显示命令的帮助信息
-ls( r) //显示当前目录下所有文件
-du(s) //显示目录中所有文件大小
-count[-q] //显示目录中文件数量
-mv //移动多个文件到目标目录
-cp //复制多个文件到目标目录
-rm(r ) //删除文件(夹)
-put //本地文件复制到hdfs
-copyFromLocal //同put
-moveFromLocal //从本地文件移动到hdfs
-get [-ignoreCrc] //复制文件到本地，可以忽略crc校验
-getmerge //将源目录中的所有文件排序合并到一个文件中
-cat //在终端显示文件内容
-text //在终端显示文件内容
-copyToLocal [-ignoreCrc] //复制到本地
-moveToLocal
-mkdir //创建文件夹
-touchz //创建一个空文件