Hadoop是一个对大量数据分布式并行处理的框架;属于数据密集型框架;
特性:
高可靠:由于多副本备份机制,一般3份,可以在hdfs.site.xml中修改备份数;
高效性:由于分布式计算,多节点并行处理;
高可扩展性:由框架决定;另外NN federation有更好的扩展性;
成本低、高容错:不解释,大家都懂;
Hadoop应用架构(企业中):
Hadoop组件说明:
安装配置主要步骤有:
修改主机名;
设置SSH无密码登录;
Java环境安装;
Hadoop集群安装;
图源:厦门大学林子雨博士课件;