hdfs--解决大数据存储

 

1、hdfs 之前解决大数据存储 可以使用 NFS

 

     
大数据学习笔记18:hdfs--解决大数据存储

 

 

 

            1.1   Network File System  网络文件系统

   

             1.2  NFS问题1  :大文件集中存储,并发访问单节点 压力大

 

             1.3 NFS问题2   : 有单点故障问题 ,需要别的方式提供高可用处理

 

 

 

 2、HDFS 的方案

 

大数据学习笔记18:hdfs--解决大数据存储

 

   2.1   文件划分为block  分散存储到多个节点上--  读大文件时可以从分散的多个节点上读取 减轻单节点压力

 

  2.2   一个block存储多个备份---提高文件高可用性  即使某个节点挂掉只要还有一个节点上有可用的 备份

          整个文件扔可用。

 

  2.3   namenode: 就像一个总目录 记录各个文件的详细的分布情况。

 

  2.4   datanode :  数据节点 实际存放文件数据的地方 。

相关文章:

  • 2021-09-13
  • 2022-12-23
  • 2021-09-26
  • 2021-11-04
  • 2021-12-12
  • 2021-09-08
  • 2021-10-31
猜你喜欢
  • 2021-11-09
  • 2021-12-27
  • 2021-11-08
  • 2021-12-16
  • 2021-07-20
  • 2022-12-23
相关资源
相似解决方案