【问题标题】:Iterate over lines of document in parallel并行迭代文档行
【发布时间】:2018-10-18 23:43:52
【问题描述】:

我有一个名为 words 的文档,每一行都有一个新词。我想将这些单词中的每一个都变成其组成字符的列表。我只是通过list(x) 来做到这一点,其中 x 是单词。

这就是我正在做的事情,但我想要一种并行化的方法:

split = []
with open('wordprob.txt','rt') as lines:
    for line in lines:
        split.append(list(line))

我使用这种方法是为了不必将整个文件(超过 3 GB)加载到内存中。通过首先加载文件来并行化它时,我的内存使用量超过了 16 GB。

如何在不将文件加载到内存的情况下并行化它,就像上面的循环一样?

谢谢!

编辑:下面指出该列表将占用大量内存。相反,我将如何将每个字符列表(最初来自单个单词)作为空格分隔的字符串存储在新文档的新行上。同样,我正在寻找并行解决方案。

【问题讨论】:

  • 但是您将整个 list 存储在内存中,并且该列表将比文本文件大 很多。也许告诉我们你想做什么?
  • @RayToal 好的,有道理。我们可以将每组字符作为空格分隔的值存储在一个新文件中,每个单词(现在是字符)单独一行吗?

标签: python parallel-processing multiprocessing python-multiprocessing


【解决方案1】:

如果我对问题的理解正确,您有一个文件,例如

sushi
banana
sujuk
strawberry
tomato
pho
ramen
manaqish

并且您想像这样生成一个新文件:

s u s h i
b a n a n a
s u j u k
s t r a w b e r r y
t o m a t o
p h o
r a m e n
m a n a q i s h

然后你可以写一个简单的标准输入标准输出程序,比如

import sys
for line in sys.stdin:
    sys.stdout.write(' '.join(list(line)))

如果所有数据都进入同一个文件,那么即使您进行并行化,您的每个线程或进程也会竞争写入同一个输出文件。

如果您真的想要并行化并且想要坚持使用 Python,您可以使用 Hadoop Streaming。你的工作将是一个只有映射器的工作;实际上映射器就是上面的三行脚本。但我不确定这对你有多大帮助,除非你的数据集大得离谱。转换非常简单,但您可以随意对工作进行概要分析,看看您是否获得了很多好处。

我认为 3GB 不是很多,但这在 Hadoop 中可能是一个有趣的练习(或者现在孩子们正在使用的任何东西。)

【讨论】:

  • 真的需要减速机吗?那会是什么样子?如果您能指导我完成此操作,我将不胜感激 - 我以前从未使用过 Hadoop。
  • Hadoop 肯定有一点学习曲线,但基本思想是你有一个海量文件(可以是面向行的)。文件被分割成多个片段,映射器转换每个片段的每一行(或每个对象)。然后这些块按键排序,reducers 将它们全部重新组合到一个输出中。你的工作不需要减速机。您只是将字符串映射到带空格的字符串。您不会看到太多的加速,因为拆分单词所需的时间并不比读取/写入所有内容的时间多。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2015-08-24
  • 1970-01-01
  • 2019-05-02
  • 1970-01-01
  • 2010-10-06
  • 2010-11-16
  • 2014-07-08
相关资源
最近更新 更多