Hadoop 中的深度存储

Question

在浏览 Hadoop 生态系统中的不同列式数据库时，我遇到了“深度存储”一词。我无法理解深度存储的含义。深度存储是否意味着数据湖？与存储在 HDFS 中的数据有区别吗？

Answer 1

在 Druid 设置中，深度存储是可以可靠地检索数据（段）的地方，可以是 HDFS、S3、Google Cloud 等（有可用的连接器插件）。

Druid Historical 节点将在初始引导和重新平衡期间从该深度存储中检索数据。

同样，MiddleManagers 节点、Realtime 节点、索引任务将写入 Deep Storage 并使数据可用于集群。

总的来说节点之间没有数据段的交换，Druid 使用 Deep Storage 作为数据源。