分布式存储的原理

5PB甚至更大的数据集怎么存储 ？

1PB = 1024TB、1TB = 1024GB、1GB = 1024M

• 假设我们将数据块的大小定义成256M，
• 那么5PB的数据集可以划分成20971520左右的数据块，
• 这些数据块可以均匀分布在1000台机器节点（每个节点假设空间为10TB上

一台机器死了怎么办？

每个数据块可以冗余存储在2台机器上

分布式存储特点：

1. 数据分块存储在多台机器上
2. 每一数据块都可以冗余存储在多台机器上，以提高数据块的高可用性

这么多台机器节点与这么多个数据块怎么管理呢？

分布式存储集群： master/slave结构集群