本笔记是个人参照林子雨老师教学文档进行撰写,详细请看厦门大学数据库实验室观看
个人搭建hadoop平台实用的环境:Ubuntu 14.04 64位 *3、JDK1.8、Hadoop 2.6.5 (apache)
一、Hadoop安装前准备
1、设置root用户
第一次需要设置root用户密码
root用户开机启动
在文件中添加下图红框内容:
user-session=ubuntu
greeter-show-manual-login=true
all-guest=false
保存后重启机器。使用root用户和密码登录即可
2、配置网络
在vmware下创建三台Ubuntu 14.04 64位 的虚拟机,一个Master,2个Slave。三台虚拟机在同一网段,相互ping通。
虚拟机名进行修改:# vim /etc/hostname (vim自行下载)
ip映射:# vim /etc/hosts (主机名对应主机ip)
3、更换阿里源
第一步:进入/etc/apt/目录
cd /etc/apt
第二步:在修改前先对 sources.list文件进行备份
sudo cp sources.list sources.list.bak
第三步:修改sources.list文件,更换成阿里云源
sudo vim sources.list
各版本源请看
第五步:更新源
apt-get update
4、安装SSH
1、第一步下载ssh :
apt-get install openssh-server
安装后,可以使用如下命令登陆本机:
ssh localhost
2、第二步配置SSH无密码登陆:
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-****** 生成**,并将**加入到授权中:
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
ssh-****** -t rsa # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
3、第三步设置Root远程登录:
gedit /etc/ssh/sshd_config
修改其28行的内容为
#PermitRootLogin prohibit-password
PermitRootLogin yes
5、安装Java环境
1、安装JDK
sudo apt-get install default-jre default-jdk
2、配置环境变量
vim ~/.bashrc
在文件最前面添加如下单独一行(注意,等号“=”前后不能有空格),然后保存退出:
export JAVA_HOME=/usr/lib/jvm/default-java
接下来,要让环境变量立即生效,请执行如下代码:
source ~/.bashrc
3、验证环境是否成功
echo $JAVA_HOME # 检验变量值
java -version
二、安装Hadoop
1、下载hadoop
hadoop下载地址:https://mirrors.cnnic.cn/apache/hadoop/common/
这里我使用的是2.6.5,下载完成后,传到master中
2、解压hadoop
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限
3、检查
Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
cd /usr/local/hadoop
./bin/hadoop version