centos7大数据集群搭建
转载地址https://www.jianshu.com/p/ddb868bd97cd
centos7大数据集群搭建
前置条件
有起码三台虚拟机，我有四台，且各本机名和ip地址明确vi /etc/hosts，每台机都配，localhost对应即可
192.168.43.53 localhost
192.168.43.53 mynode
192.168.43.122 node1
192.168.43.211 node2
192.168.43.98 node3
更改本机配置文件(可以先查，但没设置过得肯定没有)
查：cat /etc/sysconfig/network
改：vi /etc/sysconfig/network
增：
NETWORKING=true
HOSTNAME=admin
JDK8已安装java -version显示jdk1.8版本
ssh服务已开启
yum install ssh
并设置ssh免密登录，不设置后面开启的时候会提示五六次输入密码
ssh-****** -t rsa
根据提示来，看不到yes/no就回车，直至出现一个框框
cd ->返回根目录
cd .ssh
cp id_rsa.pub authorized_keys ->报存命令
hadoop集群搭建
将压缩包放置想设的集群老大中，等下配置完成通过scp指令配置其余三台
下载hadoop-2.6.0-cdh5.7.0.tar.gz压缩包,放至/usr/local/app目录下
将压缩包进行解压缩
tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz
将hadoop重命名
mv hadoop-2.6.0-cdh5.7.0.tar.gz hadoop
修改hadoop配置文件
进入hadoop配置文件目录
cd /usr/local/app/hadoop/etc/hadoop
修改core-site.xml，命令：vi core-site.xml 添加如下代码
修改hdfs-site.xml，命令：vi hdfs-site.xml，需要新建文件夹存放节点信息
修改mapred-site.xml，添加如下代码没有这份文件从mapred-site.xml.template复制一份
修改yarn-site.xml，命令为：vi yarn-site.xml
修改hbase-site.xml，命令vi hbase-site.xml
修改slaves，命令为：vi slaves,内容为集群内的主机名
mynode
node1
node2
node3
修改hadoop-env.sh文件，添加字段说明jdk路径
export JAVA_HOME=/usr/software/jdk1.8.0_11
更改本机配置文件，添加hadoop环境变量，每台机都需要配
vi /etc/profile
添加
HADOOP_HOME=/usr/local/app/hadoop
PATH=PATH
更新配置文件
source /etc/profile
至此，集群老大配置完成，将hadoop文件分发至各小弟,-r迭代传输@后面跟小弟主机名
scp -r /usr/software/hadoop [email protected]:/usr/software
scp -r /usr/software/hadoop [email protected]:/usr/software
scp -r /usr/software/hadoop [email protected]:/usr/software
更新节点信息,上一步执行不完整会造成不识别hdfs命令
特别注意，在节点操作上，如果在老大上启动过hadoop，它的节点配置文件会复制到小弟们上，需要删除，删除hdfs-site.xml下面目录的子文件，另外小弟们的/etc/hosts/也需要配置老大的ip,不然无法识别那个老大的主机名是啥，都删除个遍后再启动老大的hadoop。
hdfs namenode -format
hdfs datanode -format
至此，hadoop集群搭建完成，下面开始测试启动hadoop集群
启动老大的hadoop,进入sbin目录
./start-all.sh
1，查看jps进程
NameNode
Jps
SecondaryNameNode
DataNode
老大有NameNode和DataNode
小弟的DataNode应存在(且小弟不用开启hadoop)
2，进入浏览器，进入http://mynode:50070,Summary的LiveNode存活数为你的主机个数即成功
hive集群搭建
zookeeper集群搭建
kafka集群搭建
spark集群搭建