在python中将单独的文件视为一个文件对象

Question

我有一个拆分文件（比如说 name.a0、name.a1、name.a2、...）

有没有一种方法可以拥有一个可读的类似文件的对象，将这些对象串联起来，而不使用临时文件并且不将它们全部加载到内存中？

Answer 1

python 标准库中的fileinput 模块正是用于此目的。

import fileinput
with fileinput.input(files=('name.a0', 'name.a1', 'name.a2')) as f:
    for line in f:
        process(line)

Answer 2

您始终可以创建一个代理对象，将一系列文件视为一个文件。您需要实现足够的file object interface 来满足您的程序需求。

例如，如果您所做的只是遍历所有这些文件中的行，那么对于 Python 2，以下对象就足够了：

class MultiFile(object):
    def __init__(self, *filenames, mode='r'):
        self._filenames = reversed(filenames) # reversed iterable
        self._mode = mode
        sef._openfile = open(next(self._filenames), self._mode)

    def __enter__(self):
        return self

    def __exit__(self, *exception_info):
        self._openfile.close()

    __del__ = __exit__

    def __iter__(self):
        return self

    def __next__(self):
        try:
            return next(self._openfile)
        except StopIteration:
            # find next file to yield from, raises StopIteration
            # when self._filenames has run out
            while True:
                self._opefile.close()
                self._openfile = next(self._filenames)
                try:
                    return next(self._openfile, self._mode)
                except StopIteration:
                    continue

这使您可以像阅读一个文件一样阅读 一系列 文件，边读边读（因此永远不会将所有内容都放入内存）：

import glob

for line in MultiFile(glob.glob('name.a?')):
    # ...

请注意，在 Python 3 中（或在 Python 2 中使用 io library 时）您需要为文件模式（原始、缓冲或文本）实现适当的 base classes 之一。