我的 Hadoop 集群可以处理多少数据？

Question

我有一个 4 节点集群，配置为具有 1 个 Namenode 和 3 个 datanode。我正在执行 TPCH 基准测试，我想知道您认为我的集群可以在不影响查询响应时间的情况下处理多少数据。我的总可用 HD 大小约为 700GB，每个节点都有 8 核的 CPU 和 16GB 的 RAM。

我看到了一些我们可以做的计算来找到容量限制，但我不明白它，如果有人能以简单的方式解释如何计算集群可以处理的数据量将非常有帮助。

谢谢

Answer 1

您可以使用集群中 70% 到 80% 的空间来存储数据，剩余的将用于处理和存储集群中的中间结果。

这样不会影响性能

Answer 2

正如您所提到的，您已经配置了 4 节点集群。你可以去NN webUI-->Configured capacity部分查看存储详细信息，如果你发现任何困难，请告诉我。