hdfs基础使用

HDFS简介

前言：

优缺点:

HDFS优点：

HDFS缺点：

HDFS简介

前言：

设计思想》分为治之》将大文件，大批量文件，分布式的存放在大量服务器上。》对海量数据运算分析。

在大数据系统架构中的应用：为各类分布式运算框架提供数据存储服务。

优缺点:

HDFS优点：

高容错性： 1数据自动保存多个副本.2副本丢失后，自动回复。

适合处理超大文件：GB、TB、甚至 PB级数据百万规模以上的文件数量

流式文件访问：一次性写入，多次读取，保证数据一致性

可构建在廉价服务器上：1 通过多副本提高可靠性。2 提供了容错和恢复机制

HDFS缺点：

低延迟数据访问：比如毫秒级低延迟与高吞吐率

小文件存取：占用NameNode大量内存

并发写入、文件随机修改： 1仅支持追加.2一个文件只能有一个写者

设计目标

检测和快速恢复硬件故障：故障的检测和快速自动恢复是HDFS的一个核心目标。

流式数据访问： 1 设计成适合进行批量处理。2 重视数据吞吐量，而不是数据访问的反应速度。备注：流式：不间断的意思。

大规模数据集：支持大文件存储

移动计算代价比移动数据代价低：一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。

可移植性： HDFS在设计时就考虑到平台的可移植性，这种特性方便了HDFS作为大规模数据应用平台的推广。

HDFS架构主/从

hdfs基础使用

2 HDFS的Shell操作

HDFS文件系统操作

hadoop fs -ls /

HDFS命令行参数：

hdfs基础使用

常见举例

查看：

hadoop fs -ls /

hadoop fs -lsr /tmp

创建目录

hadoop fs -mkdir /test

上传文件

hadoop fs -put/hadoop fs -copyFromLocal

下载文件

hadoop fs -get/ hadoop fs -copyToLocal

查看文件

hadoop fs -cat

删除文件

hadoop fs -rm(r)

HDFS简介

前言：

优缺点:

HDFS优点：

HDFS缺点：

相关特性和设计目标

相关特性

设计目标

HDFS架构主/从

2 HDFS的Shell操作

HDFS简介

前言：

优缺点:

HDFS优点：

HDFS缺点：

相关特性和设计目标

相关特性

设计目标

HDFS架构 主/从

2 HDFS的Shell操作

HDFS架构主/从