简述联邦HDFS

是namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。联邦HDFS允许每个namenode管理文件系统命名空间的一部分。每个namenode维护一个命名空间,不同namenode之间的命名空间相互独立。数据块池不再切分,所以每个DataNode需要注册到每个namenode。

HDFS的底层存储是可以水平拓展的(底层存储指的是datanode,当集群存储空间不够时,可简单的添加机器以进行水平拓展),但namespace不可以。当前的namespace只能存放在单个namenode上,而namenode在内存中存储了整个分布式文件系统中的元数据信息,这限制了集群中数据块,文件和目录的数目。

1.多个NN共用一个集群DN的存储资源,每个NN都可以单独对外提供服务。

2.每个NN都会定义一个存储池,有单独的id,每个DN都为所有存储池提供存储。

3.DN会按照存储池id向其对应的NN汇报块信息,同时,DN会向所有NN汇报本地存储可用资源情况。

4.如果需要在客户端方便的访问若干个NN上的资源,可以使用客户端挂载表,把不同的目录映射到不同的NN,但NN上必须存在相应的目录。

转载于:https://my.oschina.net/134596/blog/1648278

相关文章:

  • 2021-12-19
  • 2021-05-16
  • 2021-10-13
  • 2021-04-27
  • 2021-05-04
  • 2022-01-19
  • 2022-01-07
  • 2021-12-17
猜你喜欢
  • 2021-12-24
  • 2022-01-10
  • 2021-06-08
  • 2021-07-12
  • 2022-12-23
  • 2021-06-22
  • 2022-12-23
相关资源
相似解决方案