在 Python 中逐行读取多个文件的最快方法

Question

我有一个概念性问题。我是 Python 新手，我正在寻找涉及处理更大日志文件的任务。其中一些可以达到 5 和 6GB

我需要解析一个位置的许多文件。这些是文本文件。

我知道 with open() 方法，最近刚刚遇到了 pathlib。因此，我不仅需要逐行读取文件以提取要上传到数据库的值，还需要获取 Pathlib 为您提供的文件属性并上传它们。

使用 open 和在它下面是否更快，调用一个从中读取文件的路径对象......像这样：

for filename in glob('**/*.*', recursive=False):
    fpath = Path(filename)
    with open(filename, 'rb', buffering=102400) as logfile:
        for line in logfile:
            #regex operation
            print(line)

还是使用 Pathlib 会更好：

with Path("src/module.py") as f:
    contents = open(f, "r")
    for line in contents:
        #regex operation
        print(line)

另外，因为我从来没有使用 Pathlib 打开文件进行阅读。说到这里：Path.open(mode=’r’, buffering=-1, encoding=None, errors=None, newline=None)

换行和错误是什么意思？我假设这里的缓冲和 with open 函数中的缓冲是一样的？

我还看到了这个与路径对象结合使用的装置，虽然它是如何工作的，但我不知道：

path = Path('.editorconfig')
with open(path, mode='wt') as config:
    config.write('# config goes here')

Answer 1

pathlib 旨在成为与文件系统交互的更优雅的解决方案，但这不是必需的。它会增加少量的固定开销（因为它封装了其他较低级别的 API），但不应以任何有意义的方式改变性能扩展方式。

如前所述，由于pathlib 主要是对较低级别API 的封装，您应该知道Path.open 是根据open 实现的，并且参数对两者都意味着相同的东西；阅读the docs for the built-in open 将描述这些论点。

至于您问题的最后一点（将Path 对象传递给内置open），这是因为大多数文件相关的API 都已更新为支持任何实现the os.PathLike ABC 的对象。