配置Hadopp的伪分布集群操作和完全分布式操作

首先配置Hadopp集群操作之前得先配置jdk，因为Hadoop依赖于java

使用命令rz把压缩包导到linux系统中，rz命令得下载 -----yum install lrzsz -y 或者使用工具xftp6也行
解压 tar -zxvf jdk
vi /etc/profile 配置环境变量
export JAVA_HOME=/opt/software/jdk1.8.0_121 注意：这是我的安装地址实际操作按你的地址来
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile 让环境变量生效
检查是否配置成功输入 Java -version

使用命令rz把压缩包导到linux系统中，rz命令得下载 -----yum install lrsz -y 或者使用工具xftp6也行
解压 tar -zxvf Hadopp
bin目录下 --------系统的操作命令（文件的增删改查）
sbin目录下 --------系统的管理命令（集群的启动、关闭）
切换到Hadopp下etc目录的hadopp的目录下 cd etc/hadopp
vi slaves 改成自己的主机名这就是配置从节点Datanode
我的主机名是node
vi hdfs-site.xml 配置副本的个数和二次节点secondaryNamenode
记住配置的时候把你们的主机名换一下比如node：50090改成****：50090
vi core-site.xml 配置主节点Namenode 和运行时产生的镜像文件fsimage和edits文件还是别忘改主机名，镜像文件可以改成自己的文件夹
在etc/hadoop目录下把所有的*-env.sh的文件内部所有的Java路径改成绝对路径 /opt/software/jdk1.8.0_121
格式化Hadoop集群 /opt/software/hadoop-2.6.5/bin目录下启动**./hdfs namenode -format**
启动命令 /opt/software/hadoop/sbin----start-dfs.sh
在主页面切换到 vi /etc/profile 加上Hadopp集群的环境变量
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH= $PATH:$ HADOOP_HOME/bin:$HADOOP_HOME/sbin

最后配置一下虚拟机免密登录
是为了每次访问虚拟机不需要输入密码
1.ssh-****** -t rsa 一路敲回车意思表示生成私**匙
2.sh-copy-id -i ~/.ssh/id_rsa.pub [email protected] 设置公钥为了让外界访问

vi /etc/hosts 配置多个节点的网络映射
例如：
192.168.79.123 node01
192.168.79.124 node02
192.168.79.125 node03
192.168.79.126 node04
多节点之间免密配置
(1)配置免密登录 node01->node01
在每一个节点上运行ssh-****** -t rsa 产生他们自己的**
在主节点运行
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
注意：将某一个节点的文件发送到其他的节点上
scp /etc/hosts [email protected]:/etc
配置slaves到多个节点上-----设置的是DN(Datanode)节点的启动位置
修改core-site.xml和hdfs-site.xml
这是core-site.xml

这是hdfs-site.xml
将修改完成后的文件发送到其他的节点上
scp -r hadoop-cluster [email protected](主机名):/opt/software
格式化Hadoop集群 /opt/software/hadoop-2.6.5/bin目录下启动**./hdfs namenode -format**
启动集群 /opt/software/hadoop/sbin----start-dfs.sh