如何在 MPI 模式下正确运行 petsc？

Question

我正在使用 petsc 作为我的项目的求解器。但是，并行模式下的求解器创建的过程比我预期的要多。

使用python和petsc4py的代码。该机器有4个核心。 （一种）。如果我直接运行它，petsc 只使用 1 个进程来组装矩阵，并创建 4 个进程来求解方程， (b)。如果我使用注释'mpirun -n 4'，petsc 使用 4 个进程来组装矩阵，但创建 16 个进程来求解方程，

我检查了我自己的python代码，与matrix create关联的主要组件如下：

m = PETSc.Mat().create(comm=PETSc.COMM_WORLD)
m.setSizes(((None, n_vnode[0]*3), (None, n_fnode[0]*3)))
m.setType('dense')
m.setFromOptions()
m.setUp()
m_start, m_end = m.getOwnershipRange()
for i0 in range(m_start, m_end):
    delta_xi = fnodes - vnodes[i0//3]
    temp1 = delta_xi ** 2
    delta_2 = np.square(delta)  # delta_2 = e^2
    delta_r2 = temp1.sum(axis=1) + delta_2  # delta_r2 = r^2+e^2
    delta_r3 = delta_r2 * np.sqrt(delta_r2)  # delta_r3 = (r^2+e^2)^1.5
    temp2 = (delta_r2 + delta_2) / delta_r3  # temp2 = (r^2+2*e^2)/(r^2+e^2)^1.5
    if i0 % 3 == 0:       # x axis
        m[i0, 0::3] = ( temp2 + np.square(delta_xi[:, 0]) / delta_r3 ) / (8 * np.pi)  # Mxx
        m[i0, 1::3] = delta_xi[:, 0] * delta_xi[:, 1] / delta_r3 / (8 * np.pi)    # Mxy
        m[i0, 2::3] = delta_xi[:, 0] * delta_xi[:, 2] / delta_r3 / (8 * np.pi)    # Mxz
    elif i0 % 3 == 1:     # y axis
        m[i0, 0::3] = delta_xi[:, 0] * delta_xi[:, 1] / delta_r3 / (8 * np.pi)    # Mxy
        m[i0, 1::3] = ( temp2 + np.square(delta_xi[:, 1]) / delta_r3 ) / (8 * np.pi)  # Myy
        m[i0, 2::3] = delta_xi[:, 1] * delta_xi[:, 2] / delta_r3 / (8 * np.pi)    # Myz
    else:     # z axis
        m[i0, 0::3] = delta_xi[:, 0] * delta_xi[:, 2] / delta_r3 / (8 * np.pi)    # Mxz
        m[i0, 1::3] = delta_xi[:, 1] * delta_xi[:, 2] / delta_r3 / (8 * np.pi)    # Myz
        m[i0, 2::3] = ( temp2 + np.square(delta_xi[:, 2]) / delta_r3 ) / (8 * np.pi)  # Mzz
m.assemble()

与petsc求解器相关的主要组件如下：

ksp = PETSc.KSP()
ksp.create(comm=PETSc.COMM_WORLD)
ksp.setType(solve_method)
ksp.getPC().setType(precondition_method)
ksp.setOperators(self._M_petsc)
ksp.setFromOptions()
ksp.solve(velocity_petsc, force_petsc)

有没有人可以给我一些建议？谢谢。

Answer 1

设置环境变量 OMP_NUM_THREADS=1。