1.hadoop架构?
①底层(存储)
②中间层(资源及数据管理)
③上层(MapReduce、Impala、Spark等计算引擎)
④顶层(服务)
2.Hadoop组件?
①Pig和Hive
Pig是一种编程语言,它简化了Hadoop常见的工作任务。Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS上,并允许使用类似于SQL语法进行数据查询。
②HBase、Sqoop及Flume
HBase作为面向列的数据库运行在HDFS之上。Sqoop从关系数据库导入数据到Hadoop,并可直接导入到HFDS或Hive。Flume直接将流数据或日志数据导入HDFS。
③Zookeeper和Oozie
随着计算节点的增多,集群成员需要彼此同步并了解去哪里访问服务和如何配置,ZooKeeper来完成这项工作。Oozie组件提供管理工作流程和依赖的功能。
④Ambari
帮助系统管理员部署和配置Hadoop,升级集群以及监控服务。
⑤Whirr
一套运行于云服务的类库(包括Hadoop),可提供高度的互补性。支持Amazon EC2和Rackspace服务。
⑥Mahout
Mahout提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现,包括集群、分类、推荐过滤、频繁子项挖掘。
⑦Apark
Apache Spark是一个通用计算引擎,能对大规模数据进行快速分析。实时查询、事件流处理、迭代计算、复杂操作与机器学习。