将使用 C++ 和 Open MPI 生成的处理器等级发送到 Python 脚本答案

【问题标题】：Sending processor rank generated using C++ and Open MPI to Python script将使用 C++ 和 Open MPI 生成的处理器等级发送到 Python 脚本
【发布时间】：2020-12-19 18:58:42
【问题描述】：

我是 C++ 和 MPI 初学者。我在 HPC 环境中工作，需要执行以下操作：

使用 C++ 代码获取处理器等级。
将排名传递给 bash 脚本。
为 python 脚本提供此排名值并运行它（从 bash 脚本）。

这是我写的代码： C++（文件名-cpp2bash_test.cpp）：

#include <iostream>
#include <mpi.h>
int main(int argc, char** argv)
{
  MPI_Init(&argc, &argv);
  int size, rank;
  MPI_Status   status;
  MPI_Comm_size(MPI_COMM_WORLD, &size);
  MPI_Comm_rank(MPI_COMM_WORLD, &rank);
  cout << rank << endl;
  MPI_Finalize();
  return 0;
}

我将文件编译为：

mpicxx -g -std=c++14 -o PRank cpp2bash_test.cpp

重击：

#!/bin/sh

result=$(./PRank)
python3 bash2py_test.py $result

最后，我将 bash 脚本作为 PBS 作业提交。这是输出文件：

“Argument接受=”行来自python脚本，它简单地接受排名并打印它。为了更好地理解为什么 python 脚本会得到一个奇怪的值，我将 shell 脚本更改为不接受来自 C++ 代码的任何输入。相反，C++ 代码只是打印了它的输出。这是我在输出文件中看到的部分截图：

Python 文件输出（未在第二张图片中显示）仍然与之前显示的类似。

我用谷歌搜索了那个警告，但我并没有真正理解我要阅读的大部分内容。事实上，我什至不知道我正在阅读的内容是否与我的问题有关。我怀疑 C++ 代码的完整输出包含警告，当传递给 Python 时，它会被截断为方括号内的那些奇怪的值。如何删除这些警告并将正确的值传递给 python 脚本？

【问题讨论】：

标签： python c++ bash mpi suppress-warnings

【解决方案1】：

请注意，对于大多数队列系统，设置了一些系统变量来指示进程等级。一旦进入您的脚本（以MPI 开始），您应该能够从环境中获取它（您必须查看您的队列系统手册）。

另一种方法是为信息生成一些包装的日志和 grep，例如：

cout << "RANK:" << rank << endl;

然后，你可以这样做：

result=$(echo "RANK:2" | grep RANK | cut -f2 -d':')
echo $result

在你的情况下是

result=$(./PRank | grep RANK | cut -f2 -d':')
echo $result

【讨论】：