Hadoop分布式安装

前期准备

1安装虚拟机
安装Ubuntu

~~不同的启动模式~~

ctrl alt + f6 //文本模式
ctrl alt + f7 //桌面模式

开机进入文本模式

1 修改/etc/default/grub

#开进进入图形 模式
#GRUB_CMDLINE_LINUX_DEFAULT="quiet"
#开进进入文本模式
GRUB_CMDLINE_LINUX_DEFAULT="text"

跟新使生效

sudo update-grub

重启

sudo reboot

更换Ubuntu的更新源

先对原有的源进行备份

Hadoop分布式安装

修改sources.list

sudo nano source.list

deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

更新软件源

sudo apt update

sudo apt upgrade

安装net-tools

sudo apt-get install net-tools

ifconfig查看ip

ipconfig

Hadoop分布式安装

修改虚拟机为静态ip

查询虚拟机的MAC地址
Hadoop分布式安装

sudo vim /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf

一定要在最后一行添加如下信息


host 01 {

hardware ethernet 00:0C:29:1C:DD:B1;

fixed-address 192.168.26.139;

}

host 02 {

        hardware ethernet 00:50:56:24:39:FA;

        fixed-address 192.168.26.140;

}

host 03 {

        hardware ethernet 00:50:56:2A:9E:E6;

        fixed-address 192.168.26.141;

}

重启VM

重新命名机器

sudo hostnamectl set-hostname master1

修改地址映射

sudo nano /etc/hosts

192.168.26.139 master1
192.168.26.140 salave1
192.168.26.141 salave2

关闭防火墙

sudo service stop firewalled
sudo systemctl disable firewalld.service

JDK安装

在/下建立/soft文件夹

jdk上传到服务器

Hadoop分布式安装

安装

sudo tar -xzvf jak...

sudo rpm -ivh jdk...

Hadoop分布式安装

创建/soft/并修改权限

sudo chown ubuntu:ubuntu /soft

把tar开的文件夹移动到/soft

sudo mv ~/Downloads/jdk1.8.0_65 /soft/

安装成功
Hadoop分布式安装

修改环境变量

Hadoop分布式安装 1 简单配置直接添加即可


PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/soft/jdk1.8.0_65/bin"

2 添加一个软链接
Hadoop分布式安装

JAVA_HOME=soft/jdk
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/soft/jdk/bin"

即刻生效

source environment

Hadoop分布式安装

Hadoop安装

同理tar开
Hadoop分布式安装

移动到/soft
Hadoop分布式安装
修改环境变量

sudo nano /etc/envrionment

bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share
  GNU nano 2.2.6                                         File: /etc/environment                                                                               Modified  

JAVA_HOME=/soft/jdk
HADOOP_HOME=/soft/hadoop
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/soft/jdk/bin:/soft/hadoop/bin:/soft/hadoop/sbin"

sourve envrionment

需要reboot一下

Hadoop分布式安装

安装成功
Hadoop分布式安装

Hadoop基础知识

Hadoop Common：

//支持其他模块的工具模块

HDFS
1. NamoNode
2. DateNode
3. SecondarNameNode

分布式文件系统 ，提供了对应用程序数据的高吞吐量访问

Hadoop YARN
1. ResourceManager
2. NodeManager

作业调度与集群资源管理的框架

Hadoop MapReduce

基于YARN系统的对大数据集进行并行处理

Hadoop分布式安装
可以看到基本都是jar

Hadoop模式

Standalone 本地模式默认
Psedodistributed mode 伪分布式
Fully distributed mode 完全分布式

默认为本地模式 hdfs文件系统也就是本地Linux文件
Hadoop分布式安装

没有启动任何进程没有守护进程
Hadoop分布式安装
用于测试和开发

Hadoop伪分布式配置

守护进程运行在本机器上

配置文件都在/hadoop/etcxia
Hadoop分布式安装

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
		<!-- 指定namenode地址-->
			<property>
				<name>fs.defaultFS</name>
				<value>hdfs://localhost</value>
			</property>
			<!-- 
				指定临时目录，需要提前创建 
				$> mkdir -p ~/hadoop/tmp
			-->
			<property>
   　　　<name>hadoop.tmp.dir</name>
   　　　<value>/root/hadoop/tmp</value>

</configuration>

hdfs-size.xml

     	<property>
   　　　	<name>dfs.replication</name>
   　　　	<value>1</value>
		</property>

mapred-site.xml

需要先拷贝一份

		 	$> cp mapred-site.xml.template mapred-site.xml
		 	$> vi mapred-site.xml

		 		<!-- 指定MR程序运行在yarn上 -->
		 		<property>
  　　　　　			<name>mapreduce.framework.name</name>
  　　　　　			<value>yarn</value>
				</property>

yarn-site.xml

		 	<!-- 指定resource-manager地址 -->
	<property>
   　　　　<name>yarn.resourcemanager.hostname</name>
   　　　　<value>localhost</value>
     </property>		 	
		 	<!-- reducer 获取数据方式 -->
	<property>
   　　　　<name>yarn.nodemanager.aux-services</name>
   　　　　<value>mapreduce_shuffle</value>
    </property>

配置ssh远程无密码登陆

1 安装ssh

sudo apt-get install ssh

2 生成**对

ssh-****** -t rsa -P '' -f ~/.ssh/id_rsa

Hadoop分布式安装

查看生成的**
Hadoop分布式安装
导入到**库中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

登陆到本机

ssh localhost

Hadoop分布式安装

启动hadoop

格式化Hdfs

hdfs namenode -format

启动

start-all.sh

查看进程
Hadoop分布式安装
~~路上遇到很多很多坑：配置文件的时候千万不要随便加空格，第一行第二行开始写效果都是不一样的~~

HIve的安装

可以参考下一篇博客
Hive安装