Hadoop的核心是分布式文件系统hdfs（Hadoop Distribution File System）和MapReduce
1.高可用性 2.高效性 3.高扩展性 4.高容错性 5.成本低 6.运行在Linux上 7.支持多种编程语言
Hadoop的整体架构图：
|
组件 |
功能 |
|
HDFS |
分布式文件系统 |
|
MapReduce |
分布式并行编程模型 |
|
YARN |
资源管理和调度器 |
|
Tez |
运行在YARN之上的下一代Hadoop查询处理框架 |
|
Hive |
Hadoop上的数据仓库 |
|
HBase |
Hadoop上的非关系型的分布式数据库 |
|
Pig |
一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig Latin |
|
Sqoop |
用于在Hadoop与传统数据库之间进行数据传递 |
|
Oozie |
Hadoop上的工作流管理系统 |
|
Zookeeper |
提供分布式协调一致性服务 |
|
Storm |
流计算框架 |
|
Flume |
一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统 |
|
Ambari |
Hadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控 |
|
Kafka |
一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据 |
|
Spark |
类似于Hadoop MapReduce的通用并行框架 |