【发布时间】:2018-10-18 23:43:52
【问题描述】:
我有一个名为 words 的文档,每一行都有一个新词。我想将这些单词中的每一个都变成其组成字符的列表。我只是通过list(x) 来做到这一点,其中 x 是单词。
这就是我正在做的事情,但我想要一种并行化的方法:
split = []
with open('wordprob.txt','rt') as lines:
for line in lines:
split.append(list(line))
我使用这种方法是为了不必将整个文件(超过 3 GB)加载到内存中。通过首先加载文件来并行化它时,我的内存使用量超过了 16 GB。
如何在不将文件加载到内存的情况下并行化它,就像上面的循环一样?
谢谢!
编辑:下面指出该列表将占用大量内存。相反,我将如何将每个字符列表(最初来自单个单词)作为空格分隔的字符串存储在新文档的新行上。同样,我正在寻找并行解决方案。
【问题讨论】:
-
但是您将整个 list 存储在内存中,并且该列表将比文本文件大 很多。也许告诉我们你想做什么?
-
@RayToal 好的,有道理。我们可以将每组字符作为空格分隔的值存储在一个新文件中,每个单词(现在是字符)单独一行吗?
标签: python parallel-processing multiprocessing python-multiprocessing