用 MPI 分散一个 C++ 向量对答案

【问题标题】：Scatter a c++ vector of pairs with MPI用 MPI 分散一个 C++ 向量对
【发布时间】：2014-03-10 17:03:21
【问题描述】：

我是 MPI 的新手，所以我请求您的帮助。我需要用 MPI 在 C++ 中分散一个对向量。为此，我创建了一个 MPI_Datatype “mytype”。然后我使用 MPI_Scatterv，因为我不希望分散依赖于向量的大小，也不依赖于进程数。

这是我的代码：

#include<mpi.h>
#include<iostream>
#include<vector>

using std::cout;
using std::cerr;
using std::endl;

using std::vector;
using std::pair;

typedef vector<pair< int, int> > Vect;


void Build_mpi_type(unsigned int* i, unsigned int* j, MPI_Datatype* mytype)
{
    int array_of_blocklengths[2]={1,1};
    MPI_Datatype array_of_types[2]={MPI_INT, MPI_INT};
    MPI_Aint i_addr, j_addr;
    MPI_Aint array_of_displacements[2]={0};
    MPI_Get_address(i,&i_addr);
    MPI_Get_address(j,&j_addr);
    array_of_displacements[1]=j_addr-i_addr;
    MPI_Type_create_struct(2,array_of_blocklengths,array_of_displacements,array_of_types,mytype);
    MPI_Type_commit(mytype);
}


int main(int argc, char **argv)
{


    Vect esempio;

    esempio.push_back(std::make_pair(1,1));
    esempio.push_back(std::make_pair(2,2));
    esempio.push_back(std::make_pair(3,3));
    esempio.push_back(std::make_pair(4,4));

    unsigned int size=esempio.size();


    MPI_Init(&argc, &argv);

    int rank;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    int p;
    MPI_Comm_size(MPI_COMM_WORLD, &p);



    unsigned int* index_i=nullptr;
    unsigned int* index_j=nullptr;

    MPI_Datatype mytype;
    Build_mpi_type(index_i, index_j,&mytype);



    //cout<<esempio.size();
    vector<int> elem(p); //number of elements per process
    vector<int> disp(p); // first index for every local vector

    // how to distribute elements
    int split = size / p;
    int extra = size % p;
    for (int i = 0; i < extra; ++i) 
            elem[i] = split + 1;

    for (int i = extra; i < p; ++i) 
            elem[i] = split;

    for (int i = 1; i < p; ++i) 
            disp[i] = disp[i-1] + elem[i-1];

    int local_n = elem[rank]; 
    Vect local_v(local_n); 


    MPI_Scatterv(&esempio[0], &elem[0], &disp[0], mytype,
                 &local_v[0], local_n, mytype,
                 0, MPI_COMM_WORLD);

       if(rank==0){
               for(Vect::const_iterator pos = local_v.begin();pos != local_v.end(); ++pos)
cout<<pos->first<<" "<<pos->second<<endl;
    }

    MPI_Finalize();
    return 0;

}

现在的问题是，当我只用一个进程（根）运行程序时，我得到了这个结果：

当我运行两个和三个进程时，我有：

1 1

0 0

最后有四个进程：

1 0

为什么会这样？我真的无法理解。至少一个过程的结果应该是：

我希望你们中更了解 MPI 的人可以帮助我。

【问题讨论】：

标签： c++ c++11 parallel-processing mpi openmpi

【解决方案1】：

麻烦来自index_i 和index_j 给Build_mpi_type() 的参数。此函数将计算pair<int,int> 的first 和second 元素之间的偏移量。因此，index_i 应该指向第一个元素，index_j 应该指向同一对的第二个元素。

这样的事情应该可以解决问题：

 int* index_i=NULL;
 int* index_j=NULL;
 pair<int,int> bla;
 index_i=&(bla.first);
 index_j=&(bla.second);

您需要更改函数Build_mpi_type() 的原型。

 void Build_mpi_type( int* i,  int* j, MPI_Datatype* mytype)

最好抑制参数i 和j 并创建一个专用函数Build_mpi_type_pairint(MPI_Datatype* mytype)...

您也可以添加disp[0]=0;（即使没有它也可以...）。

再见，

弗朗西斯

【讨论】：

【解决方案2】：

如果您可以依赖 boost 库，请查看 Boost.MPI，我认为它支持通过 boost.serialization 进行序列化，并且可能支持对。

【讨论】：