Sandy Bridge QPI 带宽性能事件

Question

我正在尝试找到合适的原始性能事件描述符来监控 Intel Xeon E5-2600（Sandy Bridge）上的 QPI 流量（带宽）。

我发现了一个似乎相对的事件here（qpi_data_bandwidth_tx：传输的数据片段数。源自unc_q_txl_flits_g0.data。单位：uncore_qpi）但我无法在我的系统中使用它。因此，这些事件可能涉及不同的微架构。

此外，我查看了“Intel ® Xeon ® Processor E5-2600 Product Family Uncore Performance Monitoring Guide”，发现最相关的参考如下：

To calculate "data" bandwidth, one should therefore do: 
data flits * 8B / time (for L0) 
or 4B instead of 8B for L0p

监控数据流的事件有：

1. RxL_FLITS_G0.DATA
2. RxL_FLITS_G1.DRS_DATA
3. RxL_FLITS_G2.NCB_DATA

Q1：这些是正确的事件吗？

Q2：如果是，我应该监控所有这些事件并添加它们以获得总数据 flits 还是只是第一个？

Q3：我不太明白8B 和time 指的是什么。

Q4：有什么方法可以验证吗？

另外，如果有任何监控 QPI 流量带宽的方法，请随时提出替代方案。

谢谢！

Answer 1

Xeon E5-2600 处理器有两个 QPI 端口，每个端口在每个 QPI 域时钟周期最多可以发送一个 flit 和接收一个 flit。并非所有 flit 都携带数据，但所有非空闲 flit 都会消耗带宽。在我看来，您似乎只对数据 flit 计数感兴趣，这对于检测套接字级别（而不是套接字中的特定代理）的远程访问带宽瓶颈很有用。

事件RxL_FLITS_G0.DATA 可用于计算接收到的数据flit 的数量。这等于RxL_FLITS_G1.DRS_DATA 和RxL_FLITS_G2.NCB_DATA 的总和。如果您关心故障，您只需要测量后两个事件。请注意，每个 QPI 端口只有 4 个事件计数器。事件TxL_FLITS_G0.DATA可以用来统计传输到其他socket的数据flit数。

事件RxL_FLITS_G0.DATA 和TxL_FLITS_G0.DATA 可用于测量通过指定端口传输的flit 总数。因此，需要从每个端口中可用的四个计数中取两个来计算总数据流。

没有准确的方法将数据 flit 转换为字节。一个 flit 最多可以包含 8 个有效字节。这取决于事务类型和链路方向的电源状态（电源状态是每个链路每个方向的）。通过合理地假设大多数数据 flit 是完整高速缓存行数据包的一部分并且在 L0 电源状态下传输，可以获得一个很好的估计，因此每个 flit 确实包含 8 个有效字节。或者，您可以仅根据数据传输量而不是字节来衡量端口利用率。

时间单位由您决定。最后，如果您想确定 QPI 带宽是否是瓶颈，则必须定期测量带宽并与理论最大带宽进行比较。例如，您可以使用总 QPI 时钟周期，这可以在空闲 QPI 端口 PMU 计数器之一上进行计数。 QPI 频率在 JKT 上是固定的。

对于验证，您可以编写一个简单的程序，在远程内存中分配一个大缓冲区并读取它。测量的字节数应该与缓冲区的大小（以字节为单位）大致相同。