为什么我在使用行优先顺序时会看到性能下降？

Question

我有一段代码在一个大矩阵上运行并计算按列分类的统计信息，其中的 bin 在向量 b 中给出。

代码是这样的：

for (item = 0; item < items; item++) {
    uint8 bin = binvec[item];
    for (col = 0; col < columns; col++) {
        int idx = item * items_stride + col * cols_stride;
        uint8 val = matrix[idx];
        float x = matrix2[idx];
        count[bin][val][col] += x;
    }
}

假设在编译时列数是已知的。 matrix 的值没有特定的结构/顺序 - 假定为纯随机值。 数据量相当大：几百万个项目和数百列。

查看代码，我认为在以下情况下会实现最佳性能：

1. matrix 是主要行，用于更好的缓存局部性。
2. count 将作为count[bin][col][val] 访问，因此可以优化count[bin][col] 地址的计算，从而更容易预取等。

但是，在将matrix 创建为主要列并按照代码中出现的顺序访问count 时，我获得了最佳性能。

尝试使用选项 (1) 或 (2) 会导致约 50% 的运行时间损失。 这违背了我对缓存局部性和编译器优化、矢量化等的直觉。

知道为什么吗？这真的让我很困惑。

Answer 1

我有点困惑。在您的示例中，矩阵是行专业的。您能否分享这两种实现而不考虑计数访问？

您的内部循环会遍历列，因此如果缓存线一次覆盖多个列，那么行主会更好。

至于计数，您的 val 取决于存储在矩阵中的内容，而列是按顺序排列的，因此如果您以这种方式访问​​计数：

count[bin][val][col]

如果列中有多个具有相等 val 的连续行，则从缓存中获取数据。但是以这种方式访问​​它：

count[bin][col][val]

您从缓存中获取数据的机会基本上为零，因为您在增加 col 后跳得太远了。这是我在这部分最好的选择。

您的矩阵（提供 val 的矩阵）是否像您想象的那样随机？