【问题标题】:Building a small 4 node cluster - few quick questions about networking构建一个小型 4 节点集群 - 关于网络的几个快速问题
【发布时间】:2015-11-23 21:24:54
【问题描述】:

我正在组建一个小型 4 节点集群,我将在该集群上运行风暴。我有一些关于网络方面的问题。首先,所有计算机都配备了千兆以太网,但是我目前拥有的集线器只能达到 100 兆位。我应该升级我的集线器吗?或者性能增益可以忽略不计?其次,我在一些网站上读到集线器不是最好的硬件,而交换机更适合我的目的。我正在尝试使用 Storm 让一台机器从互联网上提取数据,然后将其传递给其他机器进行处理。交换机或集线器会更有用吗?感谢大家的帮助。

【问题讨论】:

  • 取决于您的算法。你会受 CPU 限制还是 IO 限制?还是被您的互联网连接所束缚?
  • 它会被我的互联网连接绑定。
  • 它会一直被连接绑定,还是直到下载数据集完成?计算过程会比下载和上传到互联网需要更多时间吗?计算是否非常并行,在这种情况下它可能需要很少的节点之间的交互,或者不是,在这种情况下它可能需要很多?

标签: networking cluster-computing apache-storm


【解决方案1】:

路由器可以提供强大的网络功能,但它也常常是矫枉过正。如果只有 4 台机器,您可能更需要千兆交换机:在商店中经常以千兆路由器的名义出售——这在技术上是一个谎言,因为它通常是一个桥接器(集线器或交换机,网络有很多过载名称)。如果仅从营销名称中难以识别两者,路由器的价格要比交换机贵许多倍。另一方面,集线器通常是功能较少的哑交换机(有时在高数据流情况下会降低速度)。

是否需要升级的问题取决于您的瓶颈所在。您发送的数据量大吗?您的集群计算机是否花费大量时间计算而不是接收数据?首先确定您的网络速度是否会成为您的瓶颈,然后再决定是否应该升级该瓶颈。如果您担心网络速度但不能 100% 确定它会成为瓶颈,那么便宜的 1 Gigabit Switch 不会花费您太多,而且几乎肯定会满足您的需求。

另请注意,如果您的数据需要首先通过互联网(不是在您的网络侧生成),那么您的瓶颈几乎肯定是您的互联网连接,然后是您的本地网络。

因此,本质上,在做出选择之前先分析您的问题。

【讨论】:

  • 交换机不是路由器,集线器不是交换机。
  • @Wug 你是对的,但他使用了(技术上)错误的术语,我提供了我认为他所指的术语的真实名称。我命名约定的来源是 Rich Seifert 和 Jim Edwards 的“全新 Switch Book”。此外,我试图澄清网络设备的营销名称带来的一些混淆(否则我的陈述可能会在错误类型的设备的上下文中被采用)。
  • ask-leo.com/… - 集线器是哑回声器,交换机是智能回声器,路由器是权威的。他用的正是他的意思。集群不需要 DHCP 和 NAT,所有节点都将使用静态 IP 地址。集线器在集群中存在问题,因为愚蠢的回声会降低效率。出于这个目的,路由器通常是多余的。
  • @Wug 在仔细阅读他的帖子后,我认为您对他的意思是正确的,他指的是路由器组件的真正命名——尽管我提到的名称转换在查看营销时经常需要名称到真正的设备名称。集线器也被视为交换机的子集(如果您使用的是旧术语,则为桥接器)。我更新了我的答案以反映您的 cmets。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-02-09
  • 2022-11-01
  • 1970-01-01
相关资源
最近更新 更多