Hadoop是什么?简单理解hadoop是什么

Hadoop历史版本介绍:

0.x系列版本:hadoop当中最早的一个开源版本,在此基础上演变而来的1.x以及2.x的版本
1.x版本系列:hadoop版本当中的第二代开源版本,主要修复0.x版本的一些bug等
2.x版本系列:架构产生重大变化,引入了yarn平台等许多新特性

Hadoop1.x版本和2.x版本的区别:

简单理解hadoop是什么
简单理解hadoop是什么
简单理解hadoop是什么

Hadoop的框架最核心的设计就是:HDFS和MapReduce

HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算
HDFS(Hadoop Distributed File System)的架构概述,如图所示。
简单理解hadoop是什么
HDFS的关键元素:

1)Block:将一个文件进行分块,通常是128M。

2)NameNode:保存整个文件系统的目录信息、文件信息及分块信息,这是由唯一 一台主机专门保存,当然这台主机如果出错,NameNode就失效了。在 Hadoop2.* 开始支持 activity-standy 模式----如果主 NameNode 失效,启动备用主机运行 NameNode。

3)DataNode:分布在廉价的计算机上,用于存储Block块文件。

MapReduce将计算过程分为两个阶段:Map和Reduce,如图所示
1)Map阶段并行处理输入数据
2)Reduce阶段对Map结果进行汇总
简单理解hadoop是什么

相关文章: