与 mpi4py 并行分析文本文件

Question

我有一个输入制表符分隔的文本文件：

0   .4
1   .9
2   .2
3   .12
4   .55
5   .98

我用普通的 Python 将其分析为：

lines = open("songs.tsv").readlines()

def extract_hotness(line):
        return float(line.split()[1])

songs_hotness =map(extract_hotness, lines)
max_hotness = max(songs_hotness)

如何使用mpi4py 并行执行相同的操作？ 我开始使用scatter 实现它，但这不会立即起作用，因为scatter 需要列表元素的长度与节点数相同。

Answer 1

并行处理文本文件很困难。你在哪里分割文件？你甚至从并行文件系统中读取吗？如果您有足够大的输入文件，您可能会考虑使用 MPI-IO。如果你走这条路，这些在 C 上下文中提供的答案描述了 mpi4py 中仍然存在的挑战：https://stackoverflow.com/a/31726730/1024740 和 https://stackoverflow.com/a/12942718/1024740

另一种方法不是分散数据，而是在 rank 0 上将其全部读取并广播给其他所有人。这种方法需要足够的内存来一次性暂存所有输入数据，或者是一次只读取部分数据的主从方案。