应用程序缓冲区和系统缓冲区有什么区别

Question

在许多 MPI 教程中有一些含义模糊的术语，例如“应用程序缓冲区”和“系统缓冲区”。我不明白他们之间的区别。我也想知道他们在哪里？我认为应用程序缓冲区是接收或发送节点内的内存。那么如果是，系统缓冲区是什么？

Answer 1

在 MPI 的上下文中，应用程序缓冲区（通常称为用户缓冲区）是保存要发送的信息的缓冲区或要接收信息的地方。应用程序缓冲区是传递给 MPI 通信调用的内容，例如

MPI_Send(buf, len, type, ...);
//       ^^^
//    app. buffer

一旦调用MPI_Send，就会构建一条消息，并根据各种标准通过互连发送消息，互连可以是任何类型的连接机制，例如 InfiniBand、Internet 套接字、共享内存等。传输可能涉及许多中间步骤，或者在内部缓冲以供以后传输。 内部缓冲区（也称为系统缓冲区）是 MPI 运行时系统的一部分并由其管理，对应用程序代码不可见。系统缓冲区不一定是在内核中或应用程序空间之外的其他地方分配的。相反，对于许多 MPI 实现和互连，这些缓冲区分配在程序地址空间中并计入程序内存使用量。

还可以通过MPI_Bsend 调用或其非阻塞变体MPI_Ibsend 来使用显式分配的中间缓冲区。它要求用户首先分配一个缓冲区，然后通过调用MPI_Buffer_attach 将其提供给 MPI 运行时。从那一刻起，这个缓冲区的内容就完全由 MPI 运行时系统管理。

应用程序缓冲区和系统缓冲区之间的区别对于操作完成的概念很重要。当 MPI 不再需要访问应用程序缓冲区时，则认为 MPI 操作已完成。例如：

buf[] = some content;
MPI_Send(buf, len, ...);
// once MPI_Send returns, the buffer can be reused
buf[0] = 1;
MPI_Send(buf, 1, ...);

对于非阻塞调用，操作在后台继续，必须注意不要在异步操作完成之前修改应用程序缓冲区：

MPI_Request req;
buf[] = some content;
MPI_Isend(buf, len, ...,  &req);
buf[0] = 1;                  // DATA RACE: buf might still be in use by
MPI_Send(buf, 1, ...);       // the operation initiated by MPI_Isend

在这种情况下正确使用buf 应该是这样的：

MPI_Request req;
buf[] = some content;
MPI_Isend(buf, len, ...,  &req);
// Do something that does not involve changing buf
// ...
// ...
// Make sure the operation is complete before continuing
MPI_Wait(&req, MPI_STATUS_IGNORE);
// buf is now free for reuse
buf[0] = 1;
MPI_Send(buf, 1, ...);