InfiniBand 解释

Question

谁能解释一下 InfiniBand 是什么？与以太网相比，主要区别是什么，这些区别如何使它比以太网更快？

在 mellanox 的官方 description 中写道

引入 InfiniBand，一种基于交换机的串行 I/O 互连架构，在...

Infiniband 是基于交换机的互连是什么意思？我找到了这个description，但它没有解释如果多个输入想要写入单个输出会发生什么，如何解决冲突？

据说Infiniband有端到端的流量控制。这是否意味着没有（需要）任何其他（中间）流量控制？为什么？

Answer 1

使 Infiniband 更快的以太网和 Infiniband 之间的主要区别在于 RDMA（远程直接内存访问）。 DMA（在网络中）是一种直接从 NIC（网络接口控制器）访问内存的操作，不涉及 CPU。 RDMA也是同样的思路，但是直接内存访问是由远程机器完成的。

更多区别：

1. 通信是在 QP（队列对）而不是通道之间完成的。
2. 数据流向/从用户空间直接流入/流出硬件，而不是通过内核堆栈。

请求者和响应者之间的基本 RDMA 流包括：

1. 握手 - 请求者和响应者之间交换详细信息（主要是分配的内存地址和访问密钥）。
2. 在请求者端创建一个 READ/WRITE/ATOMIC 请求。
3. 将请求发送给响应者。
4. 直接访问响应端的内存。
5. 如果 READ/ATOMIC - 将从响应者的内存读取的数据发送回请求者。

主要好处：

1. 在响应端没有 CPU 访问 - 吞吐量仅受硬件（NIC 和 PCI）的限制。
2. 响应者端没有运行任何软件 - 允许低得多的延迟（比典型的 TCP/UDP 延迟低约 10 倍）。
3. 支持请求端完成的“轮询模式”，这意味着一旦硬件完成传输，软件就会立即知道。以高 CPU 利用率为代价，降低延迟并提高吞吐量。

更多信息请参考Infiniband spec（抱歉很长）。

相关流量协议：

• RoCE（RDMA over Converged Ethernet），通过使用 L2/L3/L4 以太网标头包装 Infiniband 数据包来实现 RDMA over Ethernet 结构。

• IPoIB（IP over Infiniband），通过使用 Infiniband 标头包装 L3/L4 数据包，在 Infiniband 结构上实现常规网络（通过内核堆栈）。

希望这会有所帮助。

Answer 2

要了解 InfiniBand 的基础知识，建议您访问 Mellanox Academy Web-Site 并在注册后参加 InfiniBand Essentials 或 InfiniBand 基础 课程（在 技术 部分）。

在我看来，“基于交换机的架构”意味着交换机是结构的一部分（见下图，我用蓝色显示了交换机）。

端到端流控制，也称为消息级流控制，是一种可靠连接的特性（能力）。响应者可以使用它来优化其接收资源的使用。本质上，请求者不能发送请求消息，除非它有适当的信用这样做。详情请参考InfiniBand specification。

Answer 3

技术信息

据说InfiniBand有端到端的流量控制。

Fabric 内的流量通过称为子网管理器（通常简称为“SM”）的守护程序进行控制。 A well known open source implementation (opensm) 目前支持 9 种不同的路由算法（Min Hop、UPDN、DNUP、Fat Tree、Torus-2QoS 等）。可以写很多页面来介绍这些算法及其不同的流量控制方法。

这是否意味着没有（需要）任何其他（中间）流量控制？为什么？

结构间流量通常需要一个协议，该协议也可以从 InfiniBand 网络和其他网络类型进行路由。 LNet 是可以做到这一点的协议示例。

一般信息

谁能解释一下 InfiniBand 是什么？

这个问题非常宽泛，所以我会尝试添加一些更一般的信息作为对现有答案的补充。

未来路线图

目前有多代 Infiniband（QDR、FDR、EDR），HDR 有望在 2018 年或 2019 年的某个时候问世。Yes, this may become dated quickly, so refer to the roadmap for current information。下一代被称为 NDR 和 XDR，但在当前路线图上甚至没有暂定日期。

主要组织

重要的组织包括Infiniband Trade Association (IBTA) 和Open Fabrics Alliance (OFA)。请参阅他们的网站以获取大量优秀的 Infiniband 信息。