该程序中的某些进程是否可能比其他进程更快完成？答案

【问题标题】：Is it possible that some processes in this program finish sooner than others?该程序中的某些进程是否可能比其他进程更快完成？
【发布时间】：2016-07-28 21:49:39
【问题描述】：

我有一个设计为高度可并行化的程序。我怀疑某些处理器比其他处理器更早地完成了这个 Python 脚本，这可以解释我在这段代码上游观察到的行为。这段代码是否有可能让某些 mpi 进程比其他进程更快完成？

dacout = 'output_file.out'
comm = MPI.COMM_WORLD
rank = comm.Get_rank()
nam ='lcoe.coe'
csize = 10000
with open(dacout) as f:
    for i,l in enumerate(f):
        pass
numlines = i
dakchunks = pd.read_csv(dacout,  skiprows=0, chunksize = csize, sep='there_are_no_seperators')
linespassed = 0
vals = {}
for dchunk in dakchunks:
    for line in dchunk.values:
        linespassed += 1
        if linespassed < 49 or linespassed > numlines - 50: continue
        else:
            split_line = ''.join(str(s) for s in line).split()
        if len(split_line)==2:
              if split_line[0] == 'nan' or split_line[0] == '-nan': continue

              if split_line[1] != nam: continue
              if split_line[1] not in vals:
                  try: vals[split_line[1]] = [float(split_line[0])]
                  except NameError: continue
              else:vals[split_line[1]].append(float(split_line[0]))
# Calculate mean and x s.t. Percentile_x(coe_dat)<threshold_coe
self.coe_vals = sorted(vals[nam])
self.mean_coe = np.mean(self.coe_vals)
self.p90 = np.percentile(self.coe_vals, 90)
self.p95 = np.percentile(self.coe_vals, 95)

count_vals = 0.00
for i in self.coe_vals:
    count_vals += 1
    if i > coe_threshold: break
self.perc = 100 * (count_vals/len(self.coe_vals))
if rank==0:
    print>>logf, self.rp, self.rd, self.hh, self.mean_coe
    print self.rp, self.rd, self.hh, self.mean_coe, self.p90, self.perc

【问题讨论】：

你在上游观察到的行为是什么意思？一个错误？
请更清楚地描述预期、期望和观察到的行为，并提供minimal reproducible example。
在您发布的代码中，所有进程都在读取同一个文件并计算相同的东西。但是打印结果的唯一进程是进程 0。这不是并行计算，这是多次执行相同的操作！一些进程可以在其他进程之前完成此脚本，因为脚本不会以障碍结束。使用comm.barrier()同步通信器comm的所有进程。仅在必要时才这样做：障碍会损害性能...
@francis 你能发表你的评论作为答案吗？你回答了我的问题。

标签： python mpi hpc mpi4py multiple-processes

【解决方案1】：

在您发布的代码中，所有进程都在读取同一个文件并计算相同的东西。但是打印结果的唯一进程是进程 0。这不是并行计算，这是多次执行相同的操作！

某些进程可以先于其他进程完成此脚本，因为脚本不会以障碍结束。使用comm.barrier()同步通信器comm的所有进程。仅在必要时才这样做：障碍会损害性能...

【讨论】：