Xeon Phi 上每 60 个线程 pthread_create() 失败（参数无效）

Question

我有一段 pthread 代码在这里列为函数“thread”。它基本上创建了许多线程（通常在 Xeon Phi 上为 240 个，在 CPU 上为 16 个）然后加入它们。

如果我只调用这个 thread() 一次，它在 CPU 和 Xeon Phi 上都能完美运行。如果我再调用一次，它在 CPU 上仍然可以正常工作，但 pthread_create() 将报告“错误 22”，这应该是每 60 个线程的“无效参数”。

例如，线程 0、线程 60、线程 120 等线程（）的第 2 次运行（也是进程中创建的 241、301、361 等线程）将失败（错误 22）。但线程 1~59、61~119、121~240 等工作完美。

请注意，此问题仅在 Xeon Phi 上发生。

我已经检查了堆栈大小和参数本身，但我没有找到原因。论据是正确的。

void thread()
{

...

int i, rv;
cpu_set_t set;
arg_t args[nthreads];
pthread_t tid[nthreads];
pthread_attr_t attr;
pthread_barrier_t barrier;

rv = pthread_barrier_init(&barrier, NULL, nthreads);
if(rv != 0)
{
    printf("Couldn't create the barrier\n");
    exit(EXIT_FAILURE);
}

pthread_attr_init(&attr);

for(i = 0; i < nthreads; i++)
{
    int cpu_idx = get_cpu_id(i,nthreads);

    DEBUGMSG(1, "Assigning thread-%d to CPU-%d\n", i, cpu_idx);

    CPU_ZERO(&set);
    CPU_SET(cpu_idx, &set);
    pthread_attr_setaffinity_np(&attr, sizeof(cpu_set_t), &set);

    args[i].tid = i;
    args[i].ht = ht;
    args[i].barrier = &barrier;

    /* assing part of the relR for next thread */
    args[i].relR.num_tuples = (i == (nthreads-1)) ? numR : numRthr;
    args[i].relR.tuples = relR->tuples + numRthr * i;
    numR -= numRthr;

    /* assing part of the relS for next thread */
    args[i].relS.num_tuples = (i == (nthreads-1)) ? numS : numSthr;
    args[i].relS.tuples = relS->tuples + numSthr * i;

    numS -= numSthr;

    rv = pthread_create(&tid[i], &attr, npo_thread, (void*)&args[i]);
    if (rv)
    {
        printf("ERROR; return code from pthread_create() is %d\n", rv);
        printf ("%d %s\n", args[i].tid, strerror(rv));
        //exit(-1);
    }

}

for(i = 0; i < nthreads; i++)
{
    pthread_join(tid[i], NULL);
    /* sum up results */
    result += args[i].num_results;
}
}

Answer 1

这里有一个最小的例子来重现您的问题并显示您的代码最有可能出错的地方：

#define _GNU_SOURCE
#include <pthread.h>
#include <err.h>
#include <stdio.h>

void *
foo(void *v)
{
        printf("foo\n");
        return NULL;
}

int
main(int argc, char **argv)
{
        pthread_attr_t attr;
        pthread_t thr;
        cpu_set_t set;
        void *v;
        int e;

        if (pthread_attr_init(&attr))
                err(1, "pthread_attr_init");
        CPU_ZERO(&set);
        CPU_SET(255, &set);
        if (pthread_attr_setaffinity_np(&attr, sizeof(set), &set))
                err(1, "pthread_attr_setaffinity_np");

        if ((e = pthread_create(&thr, &attr, foo, NULL)))
                errx(1, "pthread_create: %d", e);

        if (pthread_join(thr, &v))
                err(1, "pthread_join");
        return 0;
}

正如我在 cmets 中对您的问题所推测的那样，pthread_attr_setaffinity_np 不会检查 cpu 集是否正常。相反，该错误被pthread_create 捕获。由于您在 github 上的代码中的 cpu_get_id 函数显然已损坏，因此我将开始寻找问题所在。

在 Linux 上测试过，但 pthread_attr_setaffinity_np 就是从那里来的，所以这可能是一个安全的假设。