Hadoop的初步理解

一、整体思维导图

二、HDFS（Hadoop分布式文件系统）

说明

1. NameNode：保存整个文件系统的目录信息、文件信息及分块信息，这是由唯一一台主机专门保存，当然这台主机如果出错，NameNode就失效了。在Hadoop2.*开始支持activity-standy模式----如果主NameNode失效，启动备用主机运行NameNode。
2. DataNode：分布在廉价的计算机上，用于存储Block块文件。
3. Block：将一个文件进行分块，通常是64M。

三、MapReduce

说明

首先数字是分布存储在不同块中的，以某几个块为一个Map，计算出Map中最大的值，然后将每个Map中的最大值做Reduce操作，Reduce再取最大值给用户。