【发布时间】:2015-11-23 21:24:54
【问题描述】:
我正在组建一个小型 4 节点集群,我将在该集群上运行风暴。我有一些关于网络方面的问题。首先,所有计算机都配备了千兆以太网,但是我目前拥有的集线器只能达到 100 兆位。我应该升级我的集线器吗?或者性能增益可以忽略不计?其次,我在一些网站上读到集线器不是最好的硬件,而交换机更适合我的目的。我正在尝试使用 Storm 让一台机器从互联网上提取数据,然后将其传递给其他机器进行处理。交换机或集线器会更有用吗?感谢大家的帮助。
【问题讨论】:
-
取决于您的算法。你会受 CPU 限制还是 IO 限制?还是被您的互联网连接所束缚?
-
它会被我的互联网连接绑定。
-
它会一直被连接绑定,还是直到下载数据集完成?计算过程会比下载和上传到互联网需要更多时间吗?计算是否非常并行,在这种情况下它可能需要很少的节点之间的交互,或者不是,在这种情况下它可能需要很多?
标签: networking cluster-computing apache-storm