使用带有共享文件指针的 MPI-IO 将巨大的数组写入单个文件

Question

我正在尝试使用带有共享文件指针的 MPI-I/O（OpenMPI 实现）将几个长分布式数组写入单个文件。我收到以下错误消息

lseek:无效参数

写入失败

我准备了一个简化的代码 sn-p 来重现这个问题。

        long long globalUpperBnd = 2200000000;// more than size of int
        long long average = globalUpperBnd/commSize;
        long long length = (commRank == commSize-1) ? globalUpperBnd-(average*commRank) : average;
        char *buf = new char[length];
        ... // fill the buffer

        MPI_File file;
        MPI_File_open(comm, "test.bin", MPI_MODE_CREATE|MPI_MODE_WRONLY, MPI_INFO_NULL, &file);

        MPI_File_set_view(file, 0, MPI_BYTE, MPI_BYTE, "native", MPI_INFO_NULL);
        MPI_File_write_ordered(file, buf, length, MPI_BYTE, MPI_STATUS_IGNORE);
        // here I got an error message
        MPI_File_write_ordered(file, buf, length, MPI_BYTE, MPI_STATUS_IGNORE);

        MPI_File_close(&file);

        delete []buf;

看起来MPI_Offset 只是int 并且MPI_File_write_ordered 的第二次调用导致MPI_Offset 溢出，偏移量变为负数。 相当有趣的是，通过将globalUpperBnd 乘以2 并只调用一次MPI_File_write_ordered 可以成功地写入相同数量的数据。所以看起来MPI_File_write_ordered 以某种方式避免了偏移溢出。

我使用 64 位 OpenMPI 库。

这种情况有什么解决办法吗？

Answer 1

我认为解决方法是升级您的 MPI 实现。 OpenMPI 和 MPICH 都在处理这类“巨大的 I/O”错误——共享文件指针并没有引起太多关注，但我认为去年左右的错误修复应该解决这个问题。