从 tar 文件中读取单个 bz2 文件

Question

我正在尝试读取 tar 文件中的许多 bz2 文件，文件具有以下结构：

2013-01.tar
  01\01\00\X.json.bz2\X.json
  01\01\02\X.json.bz2\X.json

我可以得到如下文件名：

import tarfile
tar = tarfile.open(filepath, 'r')
tar_members_names = [filename for filename in tar.getnames()]
# Side question: How would I only return files and no directories?

返回 .bz2 文件的列表。现在我正在尝试（暂时）使用以下方法提取它们：

inner_filename = tar_members_names[0]
t_extract = tar.extractfile(inner_filename)

但是，以下用于提取 json 文件的代码会返回错误。我将如何逐行检索 JSON 文件？

import bz2
txt = bz2.BZ2File(t_extract)
TypeError: coercing to Unicode: need string or buffer, ExFileObject found
txt = bz2.decompress(t_extract)
TypeError: must be convertible to a buffer, not ExFileObject

我一直无法弄清楚如何从 tar 文件而不是当前的 ExFileObject 返回缓冲区（如何将其转换为缓冲区？），非常感谢任何建议。

Answer 1

BZ2File 需要一个文件 name 作为第一个参数，然后你传递一个文件 object（即一个对象，它与 Python 返回的 open() 具有相同的 API )。

要做你想做的事，你必须自己从t_extract读取所有字节并调用bz2.decompress(data)或使用BZ2Decompressor通过它流式传输数据。