2020年10月1日
09:14
HDFS架构
基本架构
- NameNode
- 管理命名空间
- 配置副本策略
- 管理数据块，读写请求
- DataNode
- 只负责数据块存取
- Client
- 文件切分
- 发送请求
优缺点：
- 不适合低延迟数据访问，不适合小文件，只能追加不适合修改
- 可以构建在大量廉价机器上，多副本机制，自动恢复
基本命令
使用hadoop fs -put ./readme.txt，类似的形式，基本就是普通命令加上hadoop fs
本地->HDFS：
- put, copyFromLocal
- moveFrmLocal
- appendToFile
HDFS->HDFS:
- cp，mv，du，df，cat，rm，chown，mkdir
HDFS->本地：
- get，copyToLocal，复制
- getmerge，获得多个文件，合并