文章内容输出来源:拉勾教育大数据训练营;
搭建虚拟机集群
安装包版本:
VMware-workstation-full-15.5.5-16285975.exe
CentOS-7-x86_64-DVD-1810.iso
jdk-8u141-linux-x64.tar.gz
安装vmware
新建虚拟机
设置root用户的密码,done之后耐心等待
输入账号和密码
配置网络信息 vi /etc/sysconfig/network-scripts/ifcfg-ens33
ipaddr的网段保持与电脑本机的ipv4网段一致,我的是228网段
重启网络后,就可以用xshell或者secureCRT登录了
service network restart
vi /etc/sysconfig/network
vi /etc/hosts
要将所有的用到的集群节点都配置进来
关闭防⽕墙:
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 禁⽌防火墙开机自启动
systemctl status firewalld.service 查看防火墙状态
重启网络并验证主机名
如法炮制准备共3个虚拟机(也可以使用克隆虚拟机的方法),我的节点分别是
192.168.228.131
192.168.228.132
192.168.228.134
大数据开发环境准备
关闭防⽕墙:
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 禁⽌防火墙开机自启动
systemctl status firewalld.service 查看防火墙状态
关闭安全机制:
vi /etc/selinux/config
免密登录:
在linux131、linux132、linux134节点做如下操作:
mkdir /root/.ssh chmod 700 /root/.ssh
cd ~
ssh-****** -t rsa -P “”
cd ~/.ssh
cat id_rsa.pub
touch authorized_keys
将linux131、linux132、linux134的id_rsa.pub内容都粘贴到authorized_keys文件中
ssh linux131
ssh linux132
ssh linux134
第一次连接其他机器需要输入密码,之后就不需要了
时钟服务:
查看是否安装了ntpd服务:rpm -qa | grep ntpd
安装ntpd服务:yum -y install ntp
启动ntpd服务:service ntpd start
开机自动启动:chkconfig ntpd on
在linux134节点:
vi /etc/ntp.conf
vim /etc/sysconfig/ntpd
重新启动ntpd:
service ntpd stop
service ntpd start
service ntpd status
在linux131和linux132节点:
crontab -e
安装jdk8
查看当前已安装jdk:rpm -qa | grep java
删除系统自带的openjdk:rpm -e xxx --nodeps (xxx是上一步查看到的包名)
上传jdk-8u141-linux-x64.tar.gz到/opt/lagou/software目录下,需要安装上传工具:yum install -y lrzsz
cd /opt/lagou/software
rz 选择jdk-8u141-linux-x64.tar.gz
解压到/opt/lagou/servers目录:tar -zxvf jdk-8u141-linux-x64.tar.gz -C /opt/lagou/servers
用mv命令将解压后的jdk目录名改为 jdk1.8.0_141
配置环境变量:vi /etc/profile
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_141
export PATH=JAVA_HOME/bin
刷新环境变量:source /etc/profile