读取文件时无法使用 OpenMP 获得加速

Question

我尝试使用 OpenMP 在 C++ 中读取一个 500M 的文件。我将文件分成几个块，每次并行加载“杀死”记录，重复。

我正在 ubuntu 上使用 gcc 编译文件（g++ mytest.cpp -o mytest -fopenmp）。

这里我提供代码：

（我删除了一些代码以使 ReadFile 功能更加突出。）

map<unsigned int, int> Node2Num;
typedef struct {
    unsigned int num;
    set<unsigned int>adj;
}node; 
node Gnode[4800000];

void ReadFile()
{
    ifstream input("./soc-LiveJournal1.bin", ios::in | ios::binary);
    cout << "start to read the file..." << endl;

    //to get the size of the file
    input.seekg(0, ios_base::end);
    size_t fileSize = input.tellg();
    input.seekg(0, ios_base::beg);

    //to split the file into ReadTime blocks
    int EdgesInFile = fileSize / 8; 
    int ReadTime = EdgesInFile / PerEdges;
    unsigned int buffer[2*PerEdges];

    int tid, i, j, killed;
    unsigned int src, des;
    volatile int cnt = 0; //all the nodes stored in the file

    #pragma omp parallel for num_threads(16) private(i,buffer,killed,j,src,des,kk,tid) firstprivate(ReadTime,EdgesInFile)
    for(i = 0;i < ReadTime+1;i++){
        #pragma omp critical
        {
            input.read((char*)buffer, sizeof(buffer));
            cout<<"Thread Num:"<<omp_get_thread_num()<<" Read Time:"<<i<<endl;
        }
        killed = PerEdges;
        if(i == ReadTime) 
            killed = EdgesInFile - ReadTime*PerEdges; 
        for(j = 0;j < killed;j++) {
            src = (unsigned int)buffer[j];
            des = (unsigned int)buffer[j+1];
            #pragma omp critical
            {
            //to store the src and des... 
            }
        }
    }
    cout << "finish the reading!" << endl;
    input.close();
}

int main()
{
    clock_t T1 = clock();
    ReadFile(); 
    clock_t T2 = clock();
    cout<< "Reading Time:" << (double)(T2 - T1) / CLOCKS_PER_SEC << "seconds" << endl;
    return 0;
}

我在代码中读取的文件存储了一个图形，由连续的线组成，每条线（8字节）包括两个连续节点——源节点（4字节）和目标节点（4字节）。节点号存储为无符号整数类型.

但是我不能通过添加#pragma 子句来获得任何加速。阅读时间与OpenMP 无关，也与我在#pragma 子句中设置的num_threads 无关。阅读时间是同样，大约 200 秒。

谁能告诉我问题出在哪里？

Answer 1

在 I/O 操作之前添加 #pragma omp critical 是对的！

然而

omp critical 指令标识了一段代码，必须 一次由一个线程执行。

循环中的大部分代码都在 omp 关键部分。并且您的其余代码不会占用 CPU。

所以你观察到的是正常的。

除非您使用并行文件系统，否则使用 OpenMP 几乎不会提高 I/O 操作的性能。
OpenMP 确实是为了改善 CPU 密集型部分。