向量的向量的并行 push_back

Question

我有一个大约 13G 的大文本文件，其内容是图形的边缘列表。每行有两个整数u和v代表边的端点。我想把它读成向量的向量作为图的邻接向量。

然后是下面的代码。

const int N = 3328557;
vector<vector<int> >adj{N};

int main() {
    FILE * pFile;
    pFile = fopen("path/to/edge/list", "r");

    int u, v;
    while (fscanf(pFile, "%d%d", &u, &v) == 2) {
        adj[u].push_back(v);
        adj[v].push_back(u);
    }
    
    fclose(pFile);
}

大约需要 7 分钟。经过一些分析，我发现adj[u].push_back(v)和adj[v].push_back(u)由于地址随机而消耗的时间最多。

然后我使用一个二维数组作为缓存。填满后，我将所有值复制到向量并清除它。

const int N = 3328557;
const int threshold = 100;

vector<vector<int> >adj{N};
int ln[N];
int cache[N][threshold];

void write2vec(int node) {
    for (int i = 0; i < ln[node]; i++)
        adj[node].push_back(cache[node][i]);
    ln[node] = 0;
}

int main() {
    FILE * pFile;
    pFile = fopen("path/to/edge/list", "r");

    int u, v;
    while (fscanf(pFile, "%d%d", &u, &v) == 2) {
        cache[u][ln[u]++] = v;
        if (ln[u] == threshold)
            write2vec(u);
        cache[v][ln[v]++] = u;
        if (ln[v] == threshold)
            write2vec(v);
    }

    for (int i = 1; i < N; i++)
        write2vec(i);
    
    fclose(pFile);
}

这次耗时 5.5 分钟。还是太长了。那么我认为第一个代码中的两个push_back可以并行化。但我不知道该怎么做。还有没有人有其他想法？

谢谢。

编辑。

我认为我的第二种方法更快的原因是对向量的向量寻址更慢。向量的向量地址不连续，所以访问adj[u]需要两个操作，先是adj，然后是adj[u]。

所以我想知道是否可以使用多处理来使寻址并行化。

Answer 1

“我认为第一个代码中的两个push_back可以并行化。”

您的 CPU 可能会同意。鉴于数据大小，这很可能会遇到从 L3 缓存到主存的瓶颈。现代 CPU 内核能够乱序执行，这看起来 CPU 会很高兴地从属于第二个 push_back 的指令开始，而第一个正在等待主内存。这正是乱序执行成为常见功能的原因。

主要问题是重新分配 - 您没有预留容量。并且重新分配不是简单的 CPU 操作；它需要访问全局堆。我建议为每个内部向量保留 128/sizeof(int) 元素。这是普通 CPU 上的一两个缓存线，因此您没有向量共享缓存线。