本笔记是个人参照林子雨老师教学文档进行撰写,详细请看厦门大学数据库实验室观看

个人搭建hadoop平台实用的环境:Ubuntu 14.04 64位 *3、JDK1.8、Hadoop 2.6.5 (apache)

一、Hadoop安装前准备

1、设置root用户

第一次需要设置root用户密码

Hadoop分布式学习笔记

root用户开机启动

Hadoop分布式学习笔记

在文件中添加下图红框内容:

Hadoop分布式学习笔记

user-session=ubuntu

greeter-show-manual-login=true

all-guest=false

保存后重启机器。使用root用户和密码登录即可

Hadoop分布式学习笔记

2、配置网络

在vmware下创建三台Ubuntu 14.04 64位 的虚拟机,一个Master,2个Slave。三台虚拟机在同一网段,相互ping通。

虚拟机名进行修改# vim /etc/hostname   (vim自行下载)

ip映射:# vim /etc/hosts  (主机名对应主机ip)

Hadoop分布式学习笔记

3、更换阿里源

第一步:进入/etc/apt/目录

cd /etc/apt

第二步:在修改前先对 sources.list文件进行备份

sudo cp sources.list sources.list.bak

第三步:修改sources.list文件,更换成阿里云源

sudo vim sources.list

各版本源请看

https://www.cnblogs.com/dtiove/p/5917263.html

第五步:更新源

apt-get update

4、安装SSH

1、第一步下载ssh :

apt-get install openssh-server

安装后,可以使用如下命令登陆本机:

ssh localhost

2、第二步配置SSH无密码登陆:

首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-****** 生成**,并将**加入到授权中:

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
ssh-****** -t rsa              # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

3、第三步设置Root远程登录:

gedit /etc/ssh/sshd_config

修改其28行的内容为

#PermitRootLogin prohibit-password

PermitRootLogin yes

5、安装Java环境

1、安装JDK

sudo apt-get install default-jre default-jdk

2、配置环境变量

vim ~/.bashrc

   在文件最前面添加如下单独一行(注意,等号“=”前后不能有空格),然后保存退出:

export JAVA_HOME=/usr/lib/jvm/default-java

  接下来,要让环境变量立即生效,请执行如下代码:

source ~/.bashrc

3、验证环境是否成功

echo $JAVA_HOME     # 检验变量值
java -version

二、安装Hadoop

1、下载hadoop

hadoop下载地址:https://mirrors.cnnic.cn/apache/hadoop/common/

这里我使用的是2.6.5,下载完成后,传到master中

2、解压hadoop

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop               # 修改文件权限

3、检查

  Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:

cd /usr/local/hadoop
./bin/hadoop version

 

 

相关文章:

  • 2021-05-07
  • 2021-07-28
  • 2021-12-12
  • 2021-12-03
  • 2021-11-29
  • 2021-10-02
  • 2021-11-01
  • 2021-12-24
猜你喜欢
  • 2021-12-28
  • 2021-04-25
  • 2021-11-02
  • 2022-01-01
  • 2021-11-13
  • 2021-04-06
相关资源
相似解决方案