【发布时间】：2016-02-26 08:59:15
【问题描述】：
我认为在 Storm 集群中拥有更多节点会增加“keep-topology-alive”集群内通信。
鉴于拓扑在 10 个节点（2 或 4 个 CPU，4GB RAM）上可以很好地处理小数据，我们能否将拓扑扩展到 1,000 或 10,000 个节点，并且仍然对（非常）大数据具有竞争力？有没有已知的实际限制？
谢谢
【问题讨论】：
标签： apache-storm
【发布时间】：2016-02-26 08:59:15
【问题描述】：
Storm 集群的扩展受限于 Zookeeper 中状态存储的速度，大部分是来自工作人员的“心跳”。理论上的限制是或多或少 1,200 个节点（取决于磁盘速度，这里考虑 80MB/s 的写入速度）。显然，使用更快的 HDD 会使事情扩大规模。
不过，Yahoo 的人员正在开发用于工作人员心跳的内存存储。他们的解决方案将使用 GigabitE 连接将限制增加到大约 6,250 个节点。 10Gigabit 连接将这个理论限制增加到 62,500 个节点。您可以查看 Bobby Evans 的 2015 年 Hadoop 峰会presentation 了解更多详情。
【讨论】：