大数据系列视频及源码下载地址:
https://edu.csdn.net/course/detail/28631
hadoop单节点部署环境搭建
一、前提条件
系统win10+vm15
vm15下已正确安装centos8
二、安装步骤
1、安装的内容介绍
ssh:ssh(远程连接工具)连接原理:ssh服务是一个守护进程(demon),系统后台监听客户端的连接,ssh服务端的进程名为sshd,负责实时监听客户端的请求(ip 22端口),包括公共秘钥等交换等信息。ssh服务端由2部分组成: openssh(提供ssh服务)与 openssl(提供加密的程序)。ssh的客户端可以用 xshell,securecrt, mobaxterm等工具进行连接。
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具remote sync可以远程同步,支持本地复制,或者与其他ssh、rsync主机同步。
openjdk
Hadoop
2、具体安装
安装ssh
切换成root,其中密码输入:123456(安装时设置的密码),继续安装。提示错误。
我们查看一下是否已安装ssh,输入命令:rpm -qa|grep ssh
看到如上所示信息,说明ssh在我们的安装环境中已经有了。
安装rsync
$sudo yum install rsync
输入两次y,我们升级一下。
安装openjdk
验证一下java openjdk是否已经安装。
下载hadoop的安装包
http://hadoop.apache.org/releases.html
我们复制链接的地址后,回到centos8环境中。
在当前登录linux的用户的Home目录中下载hadoop安装包。
$su leiyuguang
$cd
$wget 下载地址
解压hadoop的安装包
$tar zxvf hadoop-2.10.0.tar.gz.1
说明,因为下载中断,新下载的文件名变成hadoop-2.10.0.tar.gz.1。如果下载正常,请输入:tar zxvf hadoop-2.10.0.tar.gz
解压后如下图所示。
解压命令详解:
x : 从 tar 包中把文件提取出来
z : 表示 tar 包是被 gzip 压缩过的,所以解压时需要用 gunzip 解压
v : 显示详细信息
f xxx.tar.gz : 指定被处理的文件是 xxx.tar.gz
输入命令,查看解压后情况:
$ls
$cd hadoop-2.10.0
$ls
在hadoop的配置文件(etc/hadoop/hadoop-env.sh)中增加环境变量JAVA_HOME。
centos8下默认的JAVA_HOME:/etc/alternatives/jre_1.8.0_openjdk
$vim etc/hadoop/hadoop-env.sh
将export JAVA_HOME这一行重新配置。
最后,验证配置是否正确。出现如下界面,说明配置正确。