高效读取python中的文本文件

Question

使用 python 在大量文本文件中搜索字符串出现的“最佳”方法是什么？

据我了解，我们可以使用以下内容：

for f in files:
    with open("file.txt") as f:
        for line in f:
            # do stuff

Python 在后台将文件缓存在块中，因此 IO 损失远没有乍看之下那么严重。如果我最多只能阅读几个文件，这是我的首选。

但对于文件列表（或 os.walk），我也可以执行以下操作：

for f in files:
    with open("file.txt") as f:
        lines = list(f)
    for line in lines:
        #do stuff
    # Or a variation on this

如果我有数百个文件要读取，我想在扫描它们之前将它们全部加载到内存中。这里的逻辑是将文件访问时间保持在最低限度（并让操作系统发挥其文件系统的魔力）并保持逻辑最小化，因为 IO 通常是瓶颈。这显然会消耗更多内存，但它会提高性能吗？

我的假设是否正确和/或有更好的方法来做到这一点？如果没有明确的答案，在 python 中衡量这个的最佳方法是什么？

Answer 1

这是过早的优化吗？

您是否真的对整个过程进行了剖析，是否真的需要加快速度？ 见：https://stackify.com/premature-optimization-evil/

如果你真的需要加快速度，你应该考虑一些线程化的方法，因为它是 I/O 绑定的。

一种简单的方法是，要使用 ThreadPoolExecutor，请参阅：https://docs.python.org/3/library/concurrent.futures.html#threadpoolexecutor

另一种方法（如果您在 linux 上）只是执行一些 shell 命令，如 'find'、'grep' 等 - 这些小 C 程序经过高度优化，肯定是最快的解决方案。您可以使用 Python 来包装这些命令。

正则表达式并不快，正如@Abdul Rahman Ali 所说的错误：

$ python -m timeit '"aaaa" in "bbbaaaaaabbb"'
10000000 loops, best of 3: 0.0767 usec per loop
$ python -m timeit -s 'import re; pattern = re.compile("aaaa")' 'pattern.search("bbbaaaaaabbb")'
1000000 loops, best of 3: 0.356 usec per loop

Answer 2

在文本中搜索模式的最佳方法是使用正则表达式：

import re
f = open('folder.txt')
list_of_wanted_word=list()
for line in f:
    wanted_word=re.findall('(^[a-z]+)',l)  #find a text in a line and extract it
        for k in wanted_word:#putting the word in a list
            list_of_wanted_word.append(k)
print(list_of_wanted_word)